Python Show-Me-the-Code 第 0008 题 提取HTML正文内容
第 0008 题:一个HTML文件,找出里面的正文。
思路:我把这里的正文理解为网页中我主要内容,那么怎么去抓取这个主要内容呢?我一开始的想法是用beautifulsoup来解析网页,但是又想到如果要抽取正文的话这样做还涉及到比较复杂的算法,而且对于不同的网页来说效果可能做不到很好。后来我发现了Python-goose(Github)这个神器,它是基于NLTK和Beautiful Soup的,分别是文本处理和HTML解析的领导者,目标是给定任意资讯文章或者任意文章类的网页,不仅提取出文章的主体,同时提取出所有元信息以及图片等信息,支持中文网页(用到了结巴分词)。这个正好符合需求,所以直接拿来用了。
安装python goose:
- git clone https://github.com/grangier/python-goose.git
- cd python-goose
- pip install -r requirements.txt
- python setup.py install
0008.提取HTML正文内容.py
#!/usr/bin/env python
#coding: utf-8
from goose import Goose
from goose.text import StopWordsChinese
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
# 要分析的网页url
url = ‘http://www.ruanyifeng.com/blog/2015/05/thunk.html‘
def extract(url):
‘‘‘
提取网页正文
‘‘‘
g = Goose({‘stopwords_class‘: StopWordsChinese})
article = g.extract(url=url)
return article.cleaned_text
if __name__ == ‘__main__‘:
print extract(url)
拿阮一峰博客上一篇文章测试,效果如下:
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。