我正试图从一个图书馆的网页上抓取搜索结果。但由于我想要的不仅仅是书名,我希望脚本能够打开每个搜索结果,并从详细的网站中获取更多信息。
到目前为止,我掌握的情况如下:
import bs4 as bs
import urllib.request, urllib.error, urllib.parse
from http.cookiejar import CookieJar
from bs4 import Comment
cj = CookieJar()
basisurl = 'http://mz-villigst.cidoli.de/index.asp?stichwort=hans'
#just took any example page similar to the one i have in mind
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
p = opener.open(basisurl)
for mednrs in soup.find_all(string=lambdatext:isinstance(text,Comment)):
#and now when i do [0:] it gives me the medianumbers and i can create the links like this:
links = 'http://mz-villigst.cidoli.de/index.asp?MEDIENNR=' + mednrs[10:17]
我现在的主要问题是:如何让它给我一个列表(比如:[“1”,“2”]…),然后我就可以通过它了?你知道吗
创建一个列表并将其附加到循环中:
或者使用列表:
相关问题 更多 >
编程相关推荐