获取http响应时间，pycurl,python

最近需要对节点到源站自己做个监控，简单的ping可以检测到一些东西，但是http请求的检查也要进行，于是就研究了下pycurl
pycurl是个用c语言实现的python 库，虽然据说不是那么pythonic，但是却很高效，它支持的协议居多：

supporting FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE andLDAP. libcurl supports HTTPS certificates, HTTP POST, HTTP PUT, FTPuploading, kerberos, HTTP form based upload, proxies, cookies,user+password authentication, file transfer resume, http proxytunneling and more!


这一堆协议已经很多了，我需要就是http一个，相对urlib来说，这个库可能更快些。

以下这个脚本是对某一个给定的url进行检查，并打印出http相应码，响应大小，建立连接时间，准备传输时间，传输第一个字节时间，完成时间

脚本运行效果

pycurl 的一些响应信息：
(参考： http://curl.haxx.se/libcurl/c/curl_easy_getinfo.html )

pycurl.NAMELOOKUP_TIME 域名解析时间
pycurl.CONNECT_TIME 远程服务器连接时间
pycurl.PRETRANSFER_TIME 连接上后到开始传输时的时间
pycurl.STARTTRANSFER_TIME 接收到第一个字节的时间
pycurl.TOTAL_TIME 上一请求总的时间
pycurl.REDIRECT_TIME 如果存在转向的话，花费的时间

pycurl.EFFECTIVE_URL
pycurl.HTTP_CODE HTTP 响应代码
pycurl.REDIRECT_COUNT 重定向的次数
pycurl.SIZE_UPLOAD 上传的数据大小
pycurl.SIZE_DOWNLOAD 下载的数据大小
pycurl.SPEED_UPLOAD 上传速度
pycurl.HEADER_SIZE 头部大小
pycurl.REQUEST_SIZE 请求大小
pycurl.CONTENT_LENGTH_DOWNLOAD 下载内容长度
pycurl.CONTENT_LENGTH_UPLOAD 上传内容长度
pycurl.CONTENT_TYPE 内容的类型
pycurl.RESPONSE_CODE 响应代码
pycurl.SPEED_DOWNLOAD 下载速度
pycurl.SSL_VERIFYRESULT
pycurl.INFO_FILETIME 文件的时间信息

pycurl.HTTP_CONNECTCODE HTTP 连接代码
pycurl.HTTPAUTH_AVAIL
pycurl.PROXYAUTH_AVAIL
pycurl.OS_ERRNO
pycurl.NUM_CONNECTS
pycurl.SSL_ENGINES
pycurl.INFO_COOKIELIST
pycurl.LASTSOCKET
pycurl.FTP_ENTRY_PATH

########################################################

http://icyleaf.com/2012/08/url-request-time-test-using-python-with-argparse

 123456789
10
11
12
13
14
15
16
17
18
19
20
21
22

#!/usr/bin/env rubyrequire 'rubygems'
require 'net/http'urls = ["http://icyleaf.com"]
50.times dourls.each do |url|start_at = Time.nowNet::HTTP.get URI.parse(url)end_at = Time.nowdiff = end_at - start_atif diff <</span> 0.3 thencolor_code = 32elsif diff > 0.8 thencolor_code = 31elsecolor_code = 33endputs "#{url}\n time: \033[#{color_code}m#{diff}\033[0m seconds"end
end

 123456789
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

#!/usr/bin/env pythonimport urllib2
import time
import sys
import argparsedef benchmark(url, count):for i in range(count):s = time.time()r = urllib2.urlopen(urllib2.Request(url))e = time.time()diff = e - sif diff <</span> 0.3:color_code = 32elif diff > 0.8:color_code = 31else:color_code = 33print '# %d' % (i + 1)print '\tStauts: %s' % r.getcode()print '\tTime: \033[%dm%f\033[0m second(s)' % (color_code, diff)def main(argv):parser = argparse.ArgumentParser(description='url request time test')parser.add_argument('URL', help='request url')parser.add_argument('-t', '--time', action='store', dest='count', type=int, default=10, help='request times')args = parser.parse_args(argv)benchmark(args.URL, args.count)if __name__ == '__main__':main(sys.argv[1:])

Posted by icyleaf on 2012-08-02

#########################################################

http://blog.raphaelzhang.com/2012/03/issues-in-python-crawler/

用Python抓网页的注意事项