如何建立一个独立的刮伤蜘蛛?

2024-10-03 11:20:55 发布

您现在位置:Python中文网/ 问答频道 /正文

很抱歉转贴,我之前的帖子标题很混乱。在spider示例(下面的代码)中,如何使用“pyinstaller”(或其他安装程序)来构建可执行文件(例如myspidy.exe文件)那么最终用户不需要在windows环境中安装scrapy和python?安装了Python和Scrapy后,spider通过执行命令“Scrapy crawl quotes”来运行。最终用户将运行下载并运行“myspidy.exe文件“在没有预装Python和Scrapy的Windows电脑中。非常感谢!在

import scrapy
class QuotesSpider(scrapy.Spider): 
    name = "quotes"
    def start_requests(self):
        urls = [
            'http://quotes.toscrape.com/page/1/',
            'http://quotes.toscrape.com/page/2/',
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        page = response.url.split("/")[-2]
        filename = 'quotes-%s.html' % page
        with open(filename, 'wb') as f:
           f.write(response.body)
        self.log('Saved file %s' % filename)

谢谢你。我按照您的建议对代码进行了更改,并在运行时遇到以下错误。在

^{pr2}$

Tags: 文件代码selfurlresponsedefpagefilename
1条回答
网友
1楼 · 发布于 2024-10-03 11:20:55

为了将所有内容保存在python文件中,只需执行以下操作即可执行:

python script.py

您可以使用现有的代码,并添加一些内容:

^{pr2}$

另存为script.py。然后,使用pyinstaller

^{3}$

将在名为dist的子目录中生成包。在

相关问题 更多 >