如何使用python同时从多个页面中提取数据？

Question

我使用Python3.6，我尝试从页面中提取数据，但我希望同时从多个页面中提取数据，代码如下：

   page = requests.get('http://www.poetsgate.com/ViewPoem.aspx?id=12343')
   tree = html.fromstring(page.content)
   text1 = tree.xpath('//div[@class="col1 first"]/text()')
   text2 = tree.xpath('//div[@class="col2 second"]/text()')

有没有任何方法来提取数据，但我不喜欢使用所有网页的网址列表！你知道吗

Answer 1

如果没有更多的细节，我假设不使用url列表是不可能的（不管你是手工制作，还是通过编程获得它们都是另一个问题；）。你知道吗

我建议使用helper function来使用列表composable：

url_list = ["http://example.com/route/page", ...]
for url in url_list:
    output = extract_data(url)
    do_something(output)

def extract_data(url):
   page = requests.get(url)
   tree = html.fromstring(page.content)
   text1 = tree.xpath('//div[@class="col1 first"]/text()')
   text2 = tree.xpath('//div[@class="col2 second"]/text()')
   return text1, text2