抓取网页时,乱码问题
1 def get_content(): 2 user_agent="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36" 3 headers = { ‘User-Agent‘ : user_agent } 4 url = "http://bj.58.com/" 5 req = urllib2.Request(url, headers = headers) 6 response = urllib2.urlopen(req) 7 the_page = response.read() 8 type = sys.getfilesystemencoding() 9 the_page = the_page.decode("UTF-8").encode(type) 10 print the_page
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。