linux命令行抓取网页快照-(xvfb+CutyCapt)
linux命令行抓取网页快照-(xvfb+CutyCapt)
linux命令行抓取网页快照-(xvfb+CutyCapt)
目的:
在一台没有安装X-server的Debian服务器上实现命令行抓取网页快照
软件:
- xvfb(在命令行下实现对X-server的模拟,渲染图形进行缓存)-在没有安装X-Server的环境下提供图像渲染
- CutyCapt(模拟浏览器对网页进行下载、HTML、css渲染、Javascript执行,并将最终渲染完成的网页进行快照)- 主力干将
- Qt(CutyCapt是基于此框架开发的)
实践:
1.安装CutyCapt、Qt及相关软件包:
12345sudo
apt-get
install
subversion libqt4-webkit libqt4-dev g++
svn co https:
//cutycapt
.svn.sourceforge.net
/svnroot/cutycapt
cd
cutycapt
/CutyCapt
qmake
make
2.安装xvfb:
1apt-get
install
xvfb
3.抓取测试:
1xvfb-run --server-args=
"-screen 0, 1024x768x24"
.
/CutyCapt
--url=http:
//www
.zol.com.cn --out=zol.png
发现抓到的中文网页时乱码:
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。