我正在建立一个从站点收集数据的东西。有时,它需要浏览>;10000页,而使用urllib2.urlopen()打开每一页都需要时间。我对此不抱太大希望,但有人知道从网站上获取html的更快方法吗?你知道吗
我的代码是:
import urllib, json, time
import requests
##########################
start_time = time.time()
##########################
query = "hill"
queryEncode = urllib.quote(query)
url = 'https://www.googleapis.com/customsearch/v1?key={{MY API KEY}}&cx={{cxKey}}:omuauf_lfve&fields=queries(request(totalResults))&q='+queryEncode
response = urllib.urlopen(url)
data = json.loads(str(response.read()))
##########################
elapsed_time = time.time() - start_time
print " url to json time : " + str(elapsed_time)
##########################
输出为
url to json time : 4.46600008011
[Finished in 4.7s]
目前没有回答
相关问题 更多 >
编程相关推荐