Bloglines | My Blogs

来源:百度文库 编辑:神马文学网 时间:2024/04/28 06:31:30
[Python学习]PycURL简单学习
By limodou
PycURL 是一个C语言写的libcurl 的Python 绑定库。libcurl 是一个自由的,并且容易使用的用在客户端的 URL 传输库。它的功能很强大,在PycURL 的主页上介绍的支持的功能有:
supporting FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE and LDAP.libcurl supports HTTPS certificates, HTTP POST, HTTP PUT, FTP uploading, kerberos, HTTP form based upload, proxies, cookies, user+password authentication, file transfer resume, http proxy tunneling and more!
那一大堆的协议已经让人惊喜了,特别是还有代理服务器和用户认证之类的功能。这个库相对于 urllib2 来说,它不是纯 python 的,它是一个 C 库,但因此速度更快,但它不是很 pythonic ,学起来有些复杂。它在多种平台下都有移植,象 Linux , Mac, Windows, 和多种Unix。
我安装了一个,并且测试了一小段代码,是有些复杂,代码如下:
importPycURL
c =PycURL.Curl()
c.setopt(pycurl.URL, ‘http://feeds.feedburner.com/solidot‘)
import StringIO
b = StringIO.StringIO()
c.setopt(pycurl.WRITEFUNCTION, b.write)
c.setopt(pycurl.FOLLOWLOCATION, 1)
c.setopt(pycurl.MAXREDIRS, 5)
#        c.setopt(pycurl.PROXY, ‘http://11.11.11.11:8080‘)
#        c.setopt(pycurl.PROXYUSERPWD, ‘aaa:aaa‘)
c.perform()
print b.getvalue()
上述代码将会把奇客(Solidot)的RSS抓下来。如果有代理服务器,那么修改一下注释的两行即可。在PycURL 的主页上还有一个多线程抓取的例子,有兴趣的可以看一看。