Python KeyError异常/退出代码

2024-09-28 01:22:57 发布

您现在位置:Python中文网/ 问答频道 /正文

我有个很奇怪的问题。scrape1中的以下代码有时可以正常工作,但大多数情况下它只会在第24行停止,其中请求.get正在被使用。但是,我总是得到这个keyror异常:

Exception KeyError: KeyError(140186412830800,) in module <'threading' from '/usr/lib/python2.7/threading.pyc'> ignored

只有在导入模块时才会引发异常代理获取.py但只要我不执行代码代理获取.py,scrape1.py不中断(在名义执行之后引发异常)。Proxyfetch基于github上的DanMcInerney elite proxy finder。我只是编辑了它,这样我就可以用它作为一个模块,返回代理列表,而不是打印它们。在

下面是两个脚本:
刮伤1.py:

#scrape1.py
from bs4 import BeautifulSoup
from proxyfetch import getprox
import requests


proxcount=3

listz = getprox(proxcount)
proxfile = open("proxysave.txt", "w")

base_url = "http://google.com"
def pagefetch(url):
    print "Test"
    http_proxy = "http://"+listz[0]
    #http_proxy = "http://103.25.203.227:3127"
    print "Test2"
    proxydict = {
                "http"  : http_proxy
                #"https_proxy"  : https_proxy
                }

    print "Test3"
    page = requests.get(url, proxies=proxydict) #with proxy
    #page = requests.get(url) #without proxy
    print "Test4"
    return page
page = pagefetch(base_url)
soup = BeautifulSoup(page.text)
links = soup.find_all("a")

if links:
        for n in links:
            print n
else:
    print "I got nuthin."

而且代理获取.py

^{pr2}$

Tags: 代码frompyimporthttpurl代理get

热门问题