import
org.apache.commons.httpclient.Cookie; import org.apache.commons.httpclient.HttpClient; import org.apache.commons.httpclient.cookie.CookiePolicy; import org.apache.commons.httpclient.NameValuePair; import org.apache.commons.httpclient.methods.GetMethod; import org.apache.commons.httpclient.methods.PostMethod; public class TestLogin { public static void main(String[] args) { // 登陆 Url String loginUrl = "http://139.196.40.80:3000/login"; // 需登陆后访问的 Url String dataUrl = "http://139.196.40.80:3000/index"; HttpClient httpClient = new HttpClient(); // 模拟登陆,按实际服务器端要求选用 Post 或 Get 请求方式 PostMethod postMethod = new PostMethod(loginUrl); // 设置登陆时要求的信息,用户名和密码 NameValuePair[] data = { new NameValuePair("username", "lixiuming"), new NameValuePair("password", "lixiuming") }; postMethod.setRequestBody(data); try { // 设置 HttpClient 接收 Cookie,用与浏览器一样的策略 httpClient.getParams().setCookiePolicy( CookiePolicy.BROWSER_COMPATIBILITY); httpClient.executeMethod(postMethod); // 获得登陆后的 Cookie Cookie[] cookies = httpClient.getState().getCookies(); StringBuffer tmpcookies = new StringBuffer(); for (Cookie c : cookies) { tmpcookies.append(c.toString() + ";"); // 进行登陆后的操作1581,1602,1603,1610,1609,1608,1607,1606,1605,1620,1619,1617,1616,1622,1626,1642,1648,1647,1657 GetMethod getMethod = new GetMethod(dataUrl); // 每次访问需授权的网址时需带上前面的 cookie 作为通行证 getMethod.setRequestHeader("cookie", tmpcookies.toString()); // 你还可以通过 PostMethod/GetMethod 设置更多的请求后数据 // 例如,referer 从哪里来的,UA 像搜索引擎都会表名自己是谁,无良搜索引擎除外 postMethod.setRequestHeader("Referer", "http://139.196.40.80:3000/index"); postMethod.setRequestHeader("User-Agent", "www Spot"); httpClient.executeMethod(getMethod); // 打印出返回数据,检验一下是否成功 String text = getMethod.getResponseBodyAsString(); System.out.println(text); } catch (Exception e) { e.printStackTrace();

  以上代码看看就好了,因为httpclient 这个工具使用还是有限的。我还是推荐使用htmlunit,这个工具,个人感觉,对于一般的网站简直无敌。基本上可以满足你的所有需求。比如说,你想登入,那么她可以模拟点击让你登入,不用考虑所谓的session啊,cookies等等让人头疼的问题。比如你需要select。。。她也可以满足,她通过代码的方式来操作页面,还可以执行JavaScript....总之一句话,完美。下面写个简单的demo吧。

package test;
import java.io.IOException;
import java.net.MalformedURLException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;
import org.junit.Test;
import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.WebClientOptions;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
public class TestUtil {
    @Test
    public void getTVMall(){
        WebClient webClient = new WebClient(BrowserVersion.FIREFOX_52); 
        //webclient参数载体  
        WebClientOptions clientOptions = webClient.getOptions();  
        // 设置webClient的相关参数  
        clientOptions.setJavaScriptEnabled(true);  
        clientOptions.setCssEnabled(false);  
        webClient.setAjaxController(new NicelyResynchronizingAjaxController());  
        clientOptions.setTimeout(35000);  
        clientOptions.setThrowExceptionOnScriptError(false);  
        try {
            HtmlPage htmlPage = webClient.getPage("https://www.tvmao.com/program");//进入电视猫节目单
//            System.out.println(htmlPage.asXml());//这里打印获取到的整张页面。
            Document dom = Jsoup.parse(htmlPage.asXml());//若要提取数据,那就解析她。
            Elements ele = dom.getElementsByClass("tdchn");
            for(int i=0;i<ele.size();i++){
                ele.get(i);
                System.out.println(ele.get(i).child(0).text());//获取所有电视台。。。。这就这样,当然还可以获取电视节目。。。。不演示了!
        } catch (FailingHttpStatusCodeException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (MalformedURLException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();

这里需要的jar包。htmlunit系列jar包(多个),还有Jsoup.jar 。

htmlunit+Jsoup完美。

再来一个相对复杂点的吧,需要模拟点击的。。。()。

找例子中。。。。

博客园地址:https://www.cnblogs.com/lixiuming521125/