解决Jsoup网页抓取过程中需要cookie的问题
浏览数：54 /
时间：2015年06月09日
最近在做城觅网的信息抓取，发现城觅网上海与北京的url是一样的。那怎样才确定信息的来源呢？折腾了半天，才发现城觅网是使用cookie的，如果你把网站的cookie禁用了，就无法在上海与北京之间切换了。
于是便想到了请求时将cookie带上。方法如下：
第一步，拿到上海或者北京的cookie
Map<String, String> cookies = null;
Response res = Jsoup.connect("http://www.chengmi.com/shanghai").timeout(30000).execute();
cookies = res.cookies();
第二步，抓取网页信息时将cookie信息带上
Document doc = null; doc = Jsoup.connect(url).cookies(cookies).timeout(30000).get();
这样就解决了抓取网页需要cookie的问题
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
