使用Node.js实现简单的网络爬取
由于最近要实现一个爬取H5游戏的代理服务器，隧看到这么一篇不错的文章（http://blog.miguelgrinberg.com/post/easy-web-scraping-with-nodejs），加之最近在学习Node.js，所以就准备翻译出来加深一下印象。
转载请注明来源：（www.cnblogs.com/xdxer ）
在这篇文章中，我将会向大家展示如何用JavaScript配合Node.js写一个网络爬取的脚本。
网络抓取工具
在大部分情况下，一个网络抓取的脚本只需要一种方法去下载整个页面，然后搜索里面的数据。所有的现代语言都会提供方法去下载网页，或者至少会有人实现了某个library或者一些其他的扩展包，所以这并不是一个难点。然后，要精确定位并且找出在HTML中的数据是比较有难度的。一个HTML页面混杂了许多内容、布局和样式的变量，所以去解释并且识别出那些我们关注的部分是一个挺不容易的工作。
举个例子，考虑如下的HTML页面：
<html> <head>...</head> <body> <div id="content"> <div id="sidebar"> ... </div> <div id="main"> <div class="breadcrumbs"> ... </div> <table id="data"> <tr><th>Name</th><th>Address</th></tr> <tr><td class="name">John</td><td class="address">Address of John</td></tr> <tr><td class="name">Susan</td><td class="address">Address of Susan</td></tr> </table> </div> </div> </body> </html>
如果我们需要获取到出现在 id = “data”这个表中的人名，那么应该怎么做呢？
一般的，网页会被下载成一个字符串的形式，然后只需要很简单的对这个网页进行检索，检索出那些出现在<td class = “name”> 之后，以</td>结尾的字符串就可以了。
但是这种方式很容易会获取到不正确的数据。网页可能会有别的table，或者更加糟糕的是，原先的<td class="name"> 变成了 <td align="left" class="name"> ，这将会让我们之前所制定的方案什么都找不到。虽然说网页的变化很容易导致一个爬取脚本失效，但是假如我们可以清楚的知道元素是如何在HTML中组织的，那么我们就不必总是重写我们的爬取脚本，当网页改变的时候。
如果你写过前端的js代码，使用过jQuery,那么你就会发现使用CSS selector 来选择DOM中的元素是一件非常简单的事情。举个例子，在浏览器中，我们可以很简单的爬取到那些名字使用如下的方式：
$(‘#data .name‘).each(function() { alert($(this).text()); });
介绍一下Node.js
http://nodejs.org （get it here!）
Javascript 是一个嵌入web浏览器的语言，感谢Node.js工程，我们现在可以编写能够独立运行，并且甚至可以作为一个web server 的编程语言。
有很多现成的库，例如jQuery那样的。所以使用Javrscript+Node.js去实现这么一个任务就非常便利了，因为我们可以使用那些现有的操作DOM元素的技术，这些技术在web浏览器上已经应用的比较成熟了。
Node.js有很多的库，它是模块化的。本例子中需要用到两个库，request 和 cheerio。 request主要是用于下载那些网页，cheerio 会在本地生成一棵DOM树，然后提供一个jQuery子集去操作它们。安装Node.js模块需要用到npm操作，类似于Ruby的gem 或者 Python的easy_install
有关于cheerio的一些API 可以参考这一篇CNode社区的文章 （https://cnodejs.org/topic/5203a71844e76d216a727d2e）
$ mkdir scraping
$ cd scraping
$ npm install request cheerio
如以上代码所示，首先我们创建了一个目录“scraping”，并且我们在在这个目录下安装了request 和 cheerio模块，事实上，nodejs的模块是可以进行全局性的安装的，但是我更加喜欢locally的安装，安装的效果如下图所示。
那接下来我们就看看如何使用cheerio，来爬取上面的例子中的name，我们创建一个.js文件 example.js，代码如下：
var cheerio = require(‘cheerio‘); $ = cheerio.load(‘<html><head></head><body><div id="content">
<div id="sidebar"></div><div id="main">
<div id="breadcrumbs"></div><table id="data"><tr>
<th>Name</th><th>Address</th></tr><tr><td class="name">
John</td><td class="address">Address of John</td></tr>
<tr><td class="name">Susan</td><td class="address">
Address of Susan</td></tr></table></div></div></body></html>‘); $(‘#data .name‘).each(function() { console.log($(this).text()); });
输出如下：
$ node example.js
John
Susan实际例子
http://www.thprd.org/schedules/schedule.cfm?cs_id=15 爬取这个网站中的日程表
代码如下：
var request = require(‘request‘); var cheerio = require(‘cheerio‘); days = [‘Monday‘, ‘Tuesday‘, ‘Wednesday‘, ‘Thursday‘, ‘Friday‘, ‘Saturday‘, ‘Sunday‘]; pools = { ‘Aloha‘: 3, ‘Beaverton‘: 15, ‘Conestoga‘: 12, ‘Harman‘: 11, ‘Raleigh‘: 6, ‘Somerset‘: 22, ‘Sunset‘: 5, ‘Tualatin Hills‘: 2 }; for (pool in pools) { var url = ‘http://www.thprd.org/schedules/schedule.cfm?cs_id=‘ + pools[pool]; request(url, (function(pool) { return function(err, resp, body) { $ = cheerio.load(body); $(‘#calendar .days td‘).each(function(day) { $(this).find(‘div‘).each(function() { event = $(this).text().trim().replace(/\s\s+/g, ‘,‘).split(‘,‘); if (event.length >= 2 && (event[1].match(/open swim/i) || event[1].match(/family swim/i))) console.log(pool + ‘,‘ + days[day] + ‘,‘ + event[0] + ‘,‘ + event[1]); }); }); }})(pool)); }
输出如下：
$ node thprd.js
Conestoga,Monday,4:15p-5:15p,Open Swim - M/L
Conestoga,Monday,7:45p-9:00p,Open Swim - M/L
Conestoga,Tuesday,7:30p-9:00p,Open Swim - M/L
Conestoga,Wednesday,4:15p-5:15p,Open Swim - M/L
Conestoga,Wednesday,7:45p-9:00p,Open Swim - M/L
Conestoga,Thursday,7:30p-9:00p,Open Swim - M/L
Conestoga,Friday,6:30p-8:30p,Open Swim - M/L
Conestoga,Saturday,1:00p-4:15p,Open Swim - M/L
Conestoga,Sunday,2:00p-4:15p,Open Swim - M/L
Aloha,Monday,1:05p-2:20p,Open Swim
Aloha,Monday,7:50p-8:25p,Open Swim
Aloha,Tuesday,1:05p-2:20p,Open Swim
Aloha,Tuesday,8:45p-9:30p,Open Swim
Aloha,Wednesday,1:05p-2:20p,Open Swim
Aloha,Wednesday,7:50p-8:25p,Open Swim
Aloha,Thursday,1:05p-2:20p,Open Swim
Aloha,Thursday,8:45p-9:30p,Open Swim
Aloha,Friday,1:05p-2:20p,Open Swim
Aloha,Friday,7:50p-8:25p,Open Swim
Aloha,Saturday,2:00p-3:30p,Open Swim
Aloha,Saturday,4:30p-6:00p,Open Swim
Aloha,Sunday,2:00p-3:30p,Open Swim
Aloha,Sunday,4:30p-6:00p,Open Swim
Harman,Monday,4:25p-5:30p,Open Swim*
Harman,Monday,7:30p-8:55p,Open Swim
Harman,Tuesday,4:25p-5:10p,Open Swim*
Harman,Wednesday,4:25p-5:30p,Open Swim*
Harman,Wednesday,7:30p-8:55p,Open Swim
Harman,Thursday,4:25p-5:10p,Open Swim*
Harman,Friday,2:00p-4:55p,Open Swim*
Harman,Saturday,1:30p-2:25p,Open Swim
Harman,Sunday,2:00p-2:55p,Open Swim
Beaverton,Tuesday,10:45a-12:55p,Open Swim (No Diving Well)
Beaverton,Tuesday,8:35p-9:30p,Open Swim No Diving Well
Beaverton,Thursday,10:45a-12:55p,Open Swim (No Diving Well)
Beaverton,Thursday,8:35p-9:30p,Open Swim No Diving Well
Beaverton,Saturday,2:30p-4:00p,Open Swim
Beaverton,Sunday,4:15p-6:00p,Open Swim
Sunset,Tuesday,1:00p-2:30p,Open Swim/One Lap Lane
Sunset,Thursday,1:00p-2:30p,Open Swim/One Lap Lane
Sunset,Sunday,1:30p-3:00p,Open Swim/One Lap Lane
Tualatin Hills,Monday,7:35p-9:00p,Open Swim-Diving area opens at 8pm
Tualatin Hills,Wednesday,7:35p-9:00p,Open Swim-Diving area opens at 8pm
Tualatin Hills,Sunday,1:30p-3:30p,Open Swim
Tualatin Hills,Sunday,4:00p-6:00p,Open Swim要注意的几个问题： 异步js的作用域问题，还有对网站结构的分析，我会在其他博客中提到。其实我只翻译了很少的一部分，有兴趣的可以去看一下原文，每一步都说的很仔细。郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
