【Python】爬取IMDBTOP250

在网上看到有人利用python+beautifulsoup爬取豆瓣Top250

试着自己模仿这个做了个爬取IMDB的,

可惜只能爬取到11个。

后来检查了超久,

才发现,

soup=BeautifulSoup(contents)这里,内容不完整,只能到11个电影为止。

代码如下:

import urllib2
from bs4 import BeautifulSoup
mylist=[]

def crawl(url):
    headers={User-Agent:Mozilla/5.0(Windows;U;Windows NT 6.1;en-US;rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6}
    req=urllib2.Request(url,headers=headers)
    page=urllib2.urlopen(req,timeout=200)
    contents=page.read()
    soup=BeautifulSoup(contents)
    for tag in soup.find_all(tr,class_={odd,even}):
            m_order=tag.find(td,class_=titleColumn).span.get_text()
            m_name=tag.find(td,class_=titleColumn).a.get_text()
            m_rating_score=float(tag.find(td,class_=ratingColumn imdbRating).strong.get_text())
            print("%s %s %s" % (m_order,m_name,m_rating_score))
            mylist.append((m_order,m_name,m_rating_score))

crawl(http://www.imdb.com/chart/top?ref_=nv_ch_250_4)

        

后来,好像需使用正则表达式,把爬取来的网页进行处理后才好弄。

但是正则表达式未操作过,

如果有人看到,想问下是否可以不通过正则表达式来解决这个问题呢?

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。