pycurl之初体验

Pycurl是Python的libcurl接口。liburl是客户端的URL传输库,它支持FTP,FTPS,HTTP,HTTPS,TELNET,LDAP等诸多协议,同时支持HTTP认证,代理,FTP上传,cookies等。


一、提取网络资源

用Pycurl来提取网络资源主要有三个步骤:

1、创造一个pycurl.Curl实例

2、使用setopt设置选项

3、调用perform来执行

import pycurl
from StringIO import StringIO

buffer=StringIO()
c=pycurl.Curl()
c.setopt(pycurl.URL,‘
c.setopt(pycurl.WRITEFUNCTION,buffer.write)
c.perform()
c.close()

body=buffer.getvalue()
print body

pycurl并不能储存返回的结果,所以设置了一个缓冲区用来接收结果。官网上是用的“c.setopt(c.WRITEDATA,buffer)”,不过可能是因为版本的问题,我用Python2.7的时候这么写会报错,不知何原因。。。

如果是用Python2.X的话,输出无需转码,如果是用Python3.X,输出需要转码:print (body.decode(‘utf-8‘))


二、检验HTTP响应的头部

c.HEADERFUNCTION:可用来获取HTTP响应的头部,并将其传给一个函数进行处理。

import pycurl
from StringIO import StringIO

def header_function(head_line):
    print head_line,
    
buffer=StringIO()
c=pycurl.Curl()
c.setopt(pycurl.URL,‘http://www.baidu.com‘)
c.setopt(pycurl.WRITEFUNCTION, buffer.write)
c.setopt(pycurl.HEADERFUNCTION,header_function)
c.perform()
c.close()


三、写入文件

import pycurl

with open(‘/tmp/test‘, ‘w‘) as f:
    c=pycurl.Curl()
    c.setopt(pycurl.URL, ‘http://www.baidu.com‘)
    c.setopt(pycurl.WRITEDATA, f)
    c.perform()
    c.close()

在这里用到了WRITEDATA,可以通过。因此我猜测之前在用到StringIO时出错是因为没有指明buffer是写入模式。


四、跟踪重定向

import pycurl

c=pycurl.Curl()
c.setopt(pycurl.URL, ‘http://www.python.org‘)
c.setopt(pycurl.FOLLOWLOCATION, True)
c.perform()
c.close()

虽然并没有调用write函数,但是默认情况下会将重定向后的网页body输出到标准输出中。


五、设置选项

Pycurl的其他一些选项:http://curl.haxx.se/libcurl/c/curl_easy_setopt.html

只要把CURLOPT_前缀去掉就是Pycurl的选项。


六、检验响应

import pycurl
from StringIO import StringIO

buffer=StringIO()
c=pycurl.Curl()
c.setopt(pycurl.URL, ‘http://www.baidu.com‘)
c.setopt(pycurl.WRITEFUNCTION, buffer.write)
c.perform()

print ‘Status: %d‘%c.getinfo(pycurl.RESPONSE_CODE)
print ‘Status: %d‘%c.getinfo(pycurl.TOTAL_TIME)

c.close()

一些HTTP响应的信息可以通过getinfo()获得。在这里设置一个缓冲区是避免打印那些不需要的内容。一些获取信息的参数在:http://curl.haxx.se/libcurl/c/curl_easy_getinfo.html。只要把前缀CURLINFO_去掉就行了。


七、发送表单数据

import pycurl
import urllib

c=pycurl.Curl()
c.setopt(pycurl.URL, ‘http://pycurl.sourceforge.net/tests/testpostvars.php‘)

post_data={‘field‘:‘value‘}
postfileds=urllib.urlencode(post_data)

c.setopt(pycurl.POSTFIELDS, postfileds)

c.perform()
c.close()

使用POSTFIELDS选项。。

本文出自 “莲的思念” 博客,请务必保留此出处http://liandesinian.blog.51cto.com/7737219/1564852

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。