python爬虫笔记3
浏览数：30 /
时间：2015年06月08日
10.伪装成浏览器访问 某些网站反感爬虫的到访，于是对爬虫一律拒绝请求 这时候我们需要伪装成浏览器，这可以通过修改http包中的header来实现
headers = {
‘User-Agent‘:‘Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6‘
}
req = urllib2.Request(
url = ‘http://secure.verycd.com/signin/*/http://www.verycd.com/‘,
data = postdata,
headers = headers
)
11.对付"反盗链" 某些站点有所谓的反盗链设置，其实说穿了很简单，
就是检查你发送请求的header里面，referer站点是不是他自己，
所以我们只需要像把headers的referer改成该网站即可，以cnbeta为例：
headers = {
‘Referer‘:‘http://www.cnbeta.com/articles‘
}
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
