数据库插入失败,没有任何错误 我正在使用scray和dataset(https://dataset.readthedocs.io/en/latest/quickstart.html#storing-data),它是sqlalch ...2024-09-30 已阅读: n次
发痒的响应.css/带有损坏的HTML的xpath。有什么提示吗?我仍在学习scrapy,并试图从这个页面中获取一些信息:Schlotzskys store 但是,在用scray通过scrapy shell解析页面之后,我遇到了一些问题,特别是在解析站点上的地址时。 ...2024-09-30 已阅读: n次
使用“刮痧”作为物品生成我有一个现有的脚本(主.py)这就需要收集数据。在 我开始了一个很糟糕的项目来检索这些数据。现在,有什么办法吗主.py是否可以将scray作为项生成器检索数据,而不是使用项管道持久化数据?在 像这样的 ...2024-09-30 已阅读: n次
我如何查看/获取垃圾帖子/获取请求标题我想知道当scray在livelogs、shell或其他类似的方式发出POST/GET请求时,是否有任何方法可以查看发送的头。谢谢!在 ...2024-09-30 已阅读: n次
提取错误的IMG SRC我正在尝试使用scray来获取ID为HERO_PHOTO的{a1}。目标元素具有以下HTML代码 <img alt="Photo of Gray Line" style="position: r ...2024-09-30 已阅读: n次
无法启动Scrapyd当我想在一个无聊的项目里开始scrapyd的时候。我得到了一个错误: server: error: Scrapyd is not available in this system 我通过源包安装scr ...2024-09-30 已阅读: n次
从命令行向废规则传递参数或动态修改规则我是python编程新手,我很难让python爬行脚本工作。我需要你的提示来修理它。 实际上,我有一个正在工作的scrapy脚本,它在给定的url中爬行并提取链接。我想让它在任何动态给定的url上工作 ...2024-09-30 已阅读: n次
在搜索引擎上使用fi中的关键字尝试使用Scrapy从搜索引擎中获取基于我在文件中的关键字的网站列表。在 以下是scray的错误输出: Redirecting (301) to <GET https://duckduckgo. ...2024-09-30 已阅读: n次
Scrapy似乎已安装,但在python sh中无法导入我使用了命令:sudopip install scray在虚拟环境中安装scray。完成后,我使用了命令:scrapy--version 屏幕如下: 但是当我试图在pythonshell中导入scr ...2024-09-30 已阅读: n次
Django能得到我网站上所有应用程序的查询数吗?如何获得我的网站上所有应用程序的查询数 我用过刮痧和姜戈。通过scray,我试图请求所有的url,通过django中间件,我认为我可以计算查询的数量。但在提出要求时,我所面临的错误是 1)我无法为dj ...2024-09-30 已阅读: n次
Scrapy:覆盖先前导出fi的命令设置 我通过终端(macos)中的标准命令将数据导出到.csv文件中,例如 scrapy crawl spider -o spider_ouput.csv 问题 导出新的spider_outpu ...2024-09-30 已阅读: n次
scrapy post头有两个“ContentLength”字段当我使用scrapy.http.请求为了将空数据发布到特定的url,我总是发现scray发送的post头有两个“Content Length”字段,下面是我的请求代码: yield Reque ...2024-09-30 已阅读: n次