Python爬虫Csdn系列III

浏览数：23 / 时间：2015年06月08日

Python爬虫Csdn系列III

By 白熊花田(http://blog.csdn.net/whiterbear) 转载需注明出处，谢谢。

说明：

在上一篇博客中，我们已经能够获取一个用户所有文章的链接了，那么这一节自然就是要将这些博客下载下来咯。

分析：

有了链接下载文章自然是不难。但是，获取的数据该怎么处理？每一篇文章都带有格式换行这些信息，自然，我们存储它们也是要存储其对应的html格式的数据的（注意，我们编辑的带有格式的博客或者其他文本都是以html代码格式存储的）。如何存？使用数据库，每篇文章字数都挺大的，没必要用数据库，还是存储文件更方便。

这里我将下载的每篇博客都取出文章的div部分，然后给这个部分添加必要的html头部及其尾部，将其封装成一个完整的html文本，最后再保存成html格式的文件。这里要注意的就是在html中一定要添加<meta http-equiv="Content-Type" content="text/html;charset=utf-8" />这句话，否则显示的会是乱码。

核心代码在前两篇文章已经提到了，难度也不是很大。

代码：

#-*- coding:utf-8 -*-
import sys
import os
import codecs
import urllib
import urllib2
import cookielib
import MySQLdb
import re
from bs4 import BeautifulSoup
from article import CsdnArticle

reload(sys)
sys.setdefaultencoding('utf-8')

class CsdnCrawler(object):
	def __init__(self, author = 'whiterbear'):
		self.author = author
		self.domain = 'http://blog.csdn.net/'
		self.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.57 Safari/537.36'}
		self.articles = []
	
	#给定url，得到所有的文章lists
	def getArticleLists(self, url= None):
		req = urllib2.Request(url, headers=self.headers)
		response = urllib2.urlopen(req)
		soup = BeautifulSoup(''.join(response.read()))
		listitem =  soup.find(id='article_list').find_all(attrs={'class':r'list_item article_item'})
		href_regex = r'href="(.*?)"'
		for i,item in enumerate(listitem):
			enitem = item.find(attrs={'class':'link_title'}).contents[0].contents[0]
			href = re.search(href_regex,str(item.find(attrs={'class':'link_title'}).contents[0])).group(1)
			art = CsdnArticle()
			art.author = self.author
			art.title = enitem.lstrip()
			art.href = (self.domain + href[1:]).lstrip()
			self.articles.append(art)


	def getPageLists(self, url= None):
		url = url if url else 'http://blog.csdn.net/%s?viewmode=list'%self.author
		req = urllib2.Request(url, headers=self.headers)
		response = urllib2.urlopen(req)
		soup = BeautifulSoup(''.join(response.read()))
		num_regex = '[1-9]\d*'
		pagelist = soup.find(id='papelist')
		self.getArticleLists(url)
		if pagelist:
			pagenum = int(re.findall(num_regex, pagelist.contents[1].contents[0])[1])
			for i in range(2, pagenum + 1):
				self.getArticleLists(self.domain + self.author + '/article/list/%s'%i)
	
	def getAllArticles(self):
		#我们创建一个该作者的文件夹来存放作者的文章
		if not os.path.exists(self.author):
			os.mkdir(self.author)
		for subarticle in self.articles:
			articleurl = subarticle.href
			#依次打开每一篇文章并下载
			req = urllib2.Request(articleurl, headers=self.headers)
			response = urllib2.urlopen(req)
			soup = BeautifulSoup(''.join(response.read()))
			article_content = soup.find(id='article_content')
			title = subarticle.title.rstrip().encode('utf-8')
			#将提取的内容封装成html格式的字符串
			article = u'<html><head><title>%s</title><meta http-equiv="Content-Type" 			content="text/html; charset=utf-8" /></head><body>%s</body></html>' % (title, article_content)

			fobj = codecs.open(u'%s/%s.htm'%(self.author, title),'w','utf-8')
			fobj.writelines(article.encode('utf-8'))
			fobj.close()

def main():
	csdn = CsdnCrawler(author='whiterbear')#'pongba'，可以将填入你想下载的博主的博客
	csdn.getPageLists()
	csdn.getAllArticles()

if __name__ == '__main__':
	main()

结果：

生成了该博主命名的文件夹，文件夹中包含该博主的所有文章。如下图：

随便打开一个文章，显示的效果是这样的：（显示的效果很赞。）

感悟：

1> 中文编码问题。虽然已经了解了几种编码问题的解决方式，但是还是常常被这个问题给卡住。

2> 保持代码的正交性。虽然我还没做过大项目，但是已经能够感受到，如果两个模块的正交性提高，即一个模块的改动并不会影响到另一个模块的正常运行。这样子能够迫使你去思考一种清晰的框架，而不会写了一团糟的代码。

3> 常见的错觉，总觉得这个很简单啊，今天就可以做完啊，结果总是遇到这样那样的问题，还是缺少经验。

4> 其他：保持代码的整洁，尝试迭代，从小的代码开始一点点往上累计新的代码，时刻保持两个版本（其中一个含有大量输出来帮你确定每一步发生了什么）。