我有个很奇怪的问题。scrape1中的以下代码有时可以正常工作,但大多数情况下它只会在第24行停止,其中请求.get正在被使用。但是,我总是得到这个keyror异常:
Exception KeyError: KeyError(140186412830800,) in module <'threading' from '/usr/lib/python2.7/threading.pyc'> ignored
只有在导入模块时才会引发异常代理获取.py但只要我不执行代码代理获取.py,scrape1.py不中断(在名义执行之后引发异常)。Proxyfetch基于github上的DanMcInerney elite proxy finder。我只是编辑了它,这样我就可以用它作为一个模块,返回代理列表,而不是打印它们。在
下面是两个脚本:
刮伤1.py:
#scrape1.py
from bs4 import BeautifulSoup
from proxyfetch import getprox
import requests
proxcount=3
listz = getprox(proxcount)
proxfile = open("proxysave.txt", "w")
base_url = "http://google.com"
def pagefetch(url):
print "Test"
http_proxy = "http://"+listz[0]
#http_proxy = "http://103.25.203.227:3127"
print "Test2"
proxydict = {
"http" : http_proxy
#"https_proxy" : https_proxy
}
print "Test3"
page = requests.get(url, proxies=proxydict) #with proxy
#page = requests.get(url) #without proxy
print "Test4"
return page
page = pagefetch(base_url)
soup = BeautifulSoup(page.text)
links = soup.find_all("a")
if links:
for n in links:
print n
else:
print "I got nuthin."
而且代理获取.py
^{pr2}$
目前没有回答
相关问题 更多 >
编程相关推荐