Python中文
首页
教程
问答
标签
搜索
登录
注册
在Python/Scrapy中屈服时,项正在丢失名称
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>在Python3.8.x上的Scrapy2.4.x中,我生成了一个条目,目的是将一些统计数据保存到数据库中。刮刀还有另一个物品也会被放弃</p> <p>虽然项目名称出现在主脚本“StatsItem”中,但它在另一个类中丢失。我正在使用项的名称来决定调用哪个方法:</p> <p>在scraper.py中:</p> <pre><code>import scrapy from crawler.items import StatsItem, OtherItem class demo(scrapy.Spider): def parse_item(self, response): stats = StatsItem() stats['results'] = 10 yield stats print(type(stats).__name__) # Output: StatsItem print(stats) # Output: {'results': 10} </code></pre> <p>在管道中.py</p> <pre><code>import scrapy from crawler.items import StatsItem, OtherItem class mysql_pipeline(object): def process_item(self, item, spider): print(type(item).__name__) # Output: NoneType if isinstance(item, StatsItem): self.save_stats(item, spider) elif isinstance(item, OtherItem): # call other method return item </code></pre> <p>第一个类中的print输出为“StatsItem”,而管道中的print输出为“NoneType”,因此永远不会调用save_stats()方法</p> <p>我对Python非常陌生,因此可能有更好的方法来实现这一点。我知道没有错误消息或异常。非常感谢您的帮助</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>我终于找到了问题所在。特定的爬虫程序几乎与所有其他没有此问题的爬虫程序相同,但有一个例外,我正在自定义设置项目管道:</p> <pre><code>custom_settings.update({ 'ITEM_PIPELINES' : { 'crawler.pipelines.mysql_pipeline': 301, } }) </code></pre> <p>删除此项后,修复了该问题</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
为什么在使用strptime时会出现未进行转换的数据错误?
8 回答
为什么在使用strptim时会出现这个datetime日期错误
1 回答
为什么在使用StyleFrame时索引列的标题不显示sf.至excel()?
3 回答
为什么在使用sum()函数时会发生“int”对象不可调用的错误?
9 回答
为什么在使用sympy.dsolve时会得到“'list'对象没有属性'func'”?
1 回答
为什么在使用tabla时会得到一个空的数据帧?
9 回答
为什么在使用tensorboard时需要add_graph()的第二个参数?
6 回答
为什么在使用TensorFlow Lite转换YOLOv4时,推断时间/大小没有改进?有什么可能的改进吗?
5 回答
为什么在使用Tensorflow加载训练批时会出现内存泄漏?
1 回答
为什么在使用tensorflow时会收到警告/错误(使用函数API,但未实现错误)
6 回答
为什么在使用tetpyclient发出POST请求时出现403错误?
9 回答
为什么在使用TextBlob时会出现HTTP错误?
2 回答
为什么在使用TFIDF时出现错误“IndexError:list index out of range”pyspark.ml.feature?
9 回答
为什么在使用timedelta格式化之后,我在python中的日期是错误的?
5 回答
为什么在使用timeit或exec函数时,函数中的变量不会在提供的全局命名空间中搜索?
3 回答
为什么在使用tkinter时不能使用复选框?
9 回答
为什么在使用todoistpythonapi时会返回这个奇怪的ID?
7 回答
为什么在使用TQM时,在调整图像大小时,处理时间会有很大的差异?
3 回答
为什么在使用Tweepy下载用户时间线时收到错误消息
6 回答
为什么在使用twitter帐户登录Django应用程序时重定向127.0.0.1:8000?
4 回答