python爬虫抓取全国pm2.5的空气质量(BeautifulSoup3)
这个编码格式真的是很闹心啊,看来真的得深入学习一下编码格式,要不这各种格式错误。
这个编码还和编辑器有关系,最开始的时候实在sublime Text里编辑的代码,运行起来卡卡的,特别顺畅,但突然发现它不支持raw_input和input,所以令临时换到了python官方提供的idle中。之后就出现了各种奇葩编码错误。。。。。。
程序大概意思就是,你输入一个城市的拼音,它就会返回这个城市的空气污染情况啊,有些城市可能会没有,这个完全取决与网站上有那些城市啊,当你想退出的时候就输入quit,就退出来了。
里面还有一个多线程的写法,可以体验一下单线程和多线程之间的速度是有很大差距的。。。
# -*- coding: utf-8 -*- import urllib2 import threading from time import ctime import BeautifulSoup #besutifulsoup的第三版 import re def getPM25(cityname): site = 'http://www.pm25.com/' + cityname + '.html' html = urllib2.urlopen(site) soup = BeautifulSoup.BeautifulSoup(html) #city = soup.find(class_ = 'bi_loaction_city') # 城市名称 city = soup.find("h2",{"class":"bi_loaction_city"}) aqi = soup.find("a",{"class":"bi_aqiarea_num"}) # AQI指数 quality = soup.find("span",{"class":"bi_aqiarea_wuran wuranlevel_1"}) # 空气质量等级 result = soup.find("div",{"class":'bi_aqiarea_bottom'}) # 空气质量描述 replacechar = re.compile("<.*?>") #为了将<>全部替换成空 print city.string + u'\nAQI指数:' + aqi.string + u'\n空气质量:' + quality.string + replacechar.sub('',str(result)).decode('utf-8') print '*'*20 + ctime() + '*'*20 def one_thread(cityname1): # 单线程 print 'One_thread Start: ' + ctime() + '\n' getPM25(cityname1) def two_thread(): # 多线程 print 'Two_thread Start: ' + ctime() + '\n' threads = [] t1 = threading.Thread(target=getPM25,args=('beijing',)) threads.append(t1) t2 = threading.Thread(target=getPM25,args=('shenyang',)) threads.append(t2) for t in threads: # t.setDaemon(True) t.start() if __name__ == '__main__': print "*"*20+"welcome to 京东放养的爬虫"+"*"*20 while True: cityname1 = raw_input("please input cityname:") if cityname1 == 'quit': break one_thread(cityname1) #print '\n' * 2 #two_thread(cityname)
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。