比urllib2.open()快吗?

2024-10-04 11:29:09 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在建立一个从站点收集数据的东西。有时,它需要浏览>;10000页,而使用urllib2.urlopen()打开每一页都需要时间。我对此不抱太大希望,但有人知道从网站上获取html的更快方法吗?你知道吗

我的代码是:

import urllib, json, time
import requests
##########################
start_time = time.time()
##########################

query = "hill"
queryEncode = urllib.quote(query)
url = 'https://www.googleapis.com/customsearch/v1?key={{MY API KEY}}&cx={{cxKey}}:omuauf_lfve&fields=queries(request(totalResults))&q='+queryEncode
response = urllib.urlopen(url)
data = json.loads(str(response.read()))    

##########################
elapsed_time = time.time() - start_time
print " url to json time : " + str(elapsed_time)
##########################

输出为

 url to json time : 4.46600008011
[Finished in 4.7s]

Tags: to数据importjsonurltime站点response