我对urllopen.rquest
有一些问题,我甚至不能确切地说是怎么回事,所以我将提供代码和回溯。首先,守则:
import re as rex
import urllib.request
import os
#qui ci piazzo le classi per i vari siti
class Amazon:
def __init__(self,manager,dati):
self.manager=manager
self.indirizzo=None
self.datiAttuali=dati
self.URLimmagine=None
self.prezzo=None
self.speseSped=None
self.setURLimmagine()
self.setPrezzoSpese()
self.caricaDati()
def setURLimmagine(self):
patBlocco=rex.compile(r'<div id="imgTagWrapperId"[\s\S]*</div>')
patUrl=rex.compile(r'http://ecx.images-amazon.com/images/I/[^.]{0,13}')
blocco=rex.search(patBlocco,self.datiAttuali)
if blocco==None:
self.URLimmagine='ND'
else:
url=rex.search(patUrl,blocco.group())
if url!=None:
self.URLimmagine=url.group()+'.jpg'
else:
self.URLimmagine='blocco trovato,ND'
def setPrezzoSpese(self):
patBlocco=rex.compile(r'<div class="a-box"[\s\S]*</div>')
blocco=rex.search(patBlocco,self.datiAttuali)
if blocco!=None:
patSpanPrezzo=rex.compile(r'<span class="a-color-price price3P[\s\S]*</span>')
patSpanSped=rex.compile(r'<span class="a-size-small a-color-secondary shipping3P[\s\S]*</span>')
spanPrezzo=rex.search(patSpanPrezzo,self.datiAttuali)
spanSped=rex.search(patSpanSped,self.datiAttuali)
if spanPrezzo!=None:
patPrezzoText=rex.compile(r'EUR \w+,\w{0,2}')
patSpedText=rex.compile(r'(EUR \w+,\w{0,2})|(Spedizione gratuita)')
prezzoPulito=rex.search(patPrezzoText,spanPrezzo.group()).group()
spedPulito=rex.search(patSpedText,spanSped.group()).group()
self.prezzo=prezzoPulito
self.speseSped=spedPulito
else:
patPrezzo=rex.compile(r'(<span id="priceblock_saleprice"[\s\S]*</span>)|(<span id="priceblock_ourprice"[\s\S]*</span>)')
prezzo=rex.search(patPrezzo,self.datiAttuali)
if prezzo!=None:
patPrezzoRifinito=rex.compile(r'(EUR \w+,\w{0,2})( - )?(EUR \w+,\w{0,2})?')
prezzoRifinito=rex.search(patPrezzoRifinito,prezzo.group())
prezzoRaffinato=prezzoRifinito.group()
self.prezzo=prezzoRaffinato
self.speseSped='ND'
else:
self.prezzo='ND'
self.speseSped='ND'
else:
patPrezzo=rex.compile(r'<span id="priceblock_ourprice"[\s\S]*</span>')
prezzo=rex.search(patPrezzo,self.datiAttuali)
if prezzo!=None:
patPrezzoPulito=rex.compile(r'rice">[\s\S]{1,21}</span>')
prezzoPulito=rex.search(patPrezzoPulito,prezzo.group())
prezzoFinale=prezzoPulito.group()
patPrezzoRifinito=rex.compile(r'(EUR \w+,\w{0,2})( - )?(EUR \w+,\w{0,2})?')
prezzoRifinito=rex.search(patPrezzoRifinito,prezzoFinale)
prezzoRaffinato=prezzoRifinito.group()
self.prezzo=prezzoRaffinato
self.speseSped='ND'
else:
self.prezzo='ND'
self.speseSped='ND'
def caricaDati(self):
self.manager.URLimmagine=self.URLimmagine
self.manager.prezzo=self.prezzo
self.manager.spedizione=self.speseSped
#qui la classe principale
class DBmanager:
def __init__(self,nome):
self.percorso=None
self.nomeDB=nome
self.siti={'amazon':lambda self,URL:Amazon(self,dati)}
self.nomeSito=None #quando verrà passato un URL, per prima cosa verrà pescato il nome del sito, per poter chiamare la
#classe adeguata
self.ID=None
self.URL=None
self.sorgente=None
self.URLimmagine=None
self.prezzo=None
self.spedizione=None
self.descrizione='descrizione'
self.contenuti=[] #qui verranno posizionati gli atomi, creati dopo aver raccolto le info necessarie tramite la classe
#apposita
self.setPercorso()
self.inizializza(nome)
def setPercorso(self):
file=open('config.txt')
percorso=file.readline()
file.close()
self.percorso=percorso[:len(percorso)-1] #questo serve a togliere il \n finale
def setURL(self,URL):
self.URL=URL
pat=rex.compile=r'.+\.(.*)\.'
trovaNome=rex.search(pat,self.URL)
self.nomeSito=trovaNome.group(1)
apri=urllib.request.urlopen(URL)
self.sorgente=str(apri.read())
def chiamaSito(self):
self.siti[self.nomeSito](self,self.sorgente)
def inizializza(self,nome):
try:
file=open(self.percorso+'DATABASE/'+nome+'.adb','r')
file.close()
except:
file=open(self.percorso+'DATABASE/'+nome+'.adb','w')
file.write('<<0>>\n') #se il file adb non esiste, crealo e scrivi l'ID generale
file.close()
os.mkdir(self.percorso+'DATABASE/'+nome) #crea la cartella che conterrà le immagini
def main():
nome='piripacchio'
URL=r'http://www.amazon.it/IMMACOLATA-PORCELLANA-SCULTURA-IMMACULATE-INMACULAD/dp/B016APLOEE/ref=sr_1_1?ie=UTF8&qid=1453325779&sr=8-1&keywords=madonna+statua'
man=DBmanager(nome)
man.setURL(URL)
man.chiamaSito()
if __name__=='__main__':
main()
这个程序的想法是,用户从亚马逊或其他类似的网站输入一个URL,程序将检索对象的图像、售价和(最终)运费。这是通过创建一种简单的数据库(DBmanager
)来填充列表来完成的自我。内容一些包含数据的字典)。现在,DBmanager
必须完全相同,不管站点是什么,这是通过创建特定的类来实现的(比如类Amazon
),这些类具有检索数据的特定功能(每个站点都有自己的结构,所以我不能使用同一个regex并简单地将它们放入字典self.siti
:每当调用self.chiamaSito
时,相应的类(这里我只有Amazon
)将被称为传递self.sorgente
作为参数,这将是所提供站点的内容,转换成str,因此,类Amazon可以通过regex搜索适当的信息。在
这是为家庭使用,我已经创建了一个类似的程序,用收集到的数据,编写一个简单的HTML文件,它是所有感兴趣对象的图像库。我想在这里使用DBmanager
下载图像,以便在编写GUI时将其显示在tkinter标签中。不需要HTML文件,整个过程都是基于GUI的,就像一种数据库。在
问题是,无论我提供什么URL(为了调试目的,我在main()
函数中这样做),我都会得到这样一个邪恶的“东西”:
据我所知,问题出在urllib中:由于某些原因,URL没有被正确解析,最后我得到了错误。所以,我试着写下:
import urllib.request
sito=urllib.request.urlopen('http://www.amazon.it/Shaving-Factory-rasoio-professionali-singolo/dp/B003DRL6KK/ref=sr_1_2?ie=UTF8&qid=1453313892&sr=8-2&keywords=rasoio')
sorgente=sito.read()
print('yup')
这是在另一个模块中编写的,出于测试目的,只有这段代码。如果我有它自己的,它工作完美,没有错误。我尝试使用其他url,同样的事情:如果我尝试第二段代码,没有错误;如果我试图将它传递给DBmanager
,我得到了错误。怎么回事?在
您将
re.compile()
绑定到setURL
方法中的字符串:这有两个赋值,一个赋值给
pat
,同一个对象赋给rex.compile
(您将re
模块作为rex
导入)。在你可能是想给
^{pr2}$re.compile()
打电话:因为您反弹
re.compile
任何其他试图使用该函数的代码都会失败,并出现相同的异常;您不能调用字符串。在相关问题 更多 >
编程相关推荐