在搜索引擎上使用fi中的关键字

Question

尝试使用Scrapy从搜索引擎中获取基于我在文件中的关键字的网站列表。在

以下是scray的错误输出：

Redirecting (301) to <GET https://duckduckgo.com/?q=> from <GET https://www.duckduckgo.com/?q=>
2014-07-18 16:23:39-0500 [wnd] DEBUG: Crawled (200) <GET https://duckduckgo.com/?q=> (referer: None)

代码如下：

^{pr2}$

Answer 1

您需要将url附加到forloop中的start_urls上。在

start_urls = []
base_url = 'https://www.duckduckgo.com/?q='
for line in open(searchstrings, 'r'):
    url = base + line.strip()
    start_urls.append(url)

如果关键字包含特殊字符，请尝试urllib.urlencode。在