scrapy:这个简单的管道怎么了

Question

我有两个粘糊糊的蜘蛛，比如说spider1和spider2spider1爬网一些页面并收集文件中的url。代码如下：

class FileWriterPipeline(object):

    def __init__(self):
        self.file = open('somefile.txt'), 'wb')

    def process_item(self, item, spider):
        if spider.name == 'spider1':
            line = item['url'] + "\n"
            self.file.write(line)
            return item

问题是，只要我运行spider2，somefile.txt就会被擦干净。有人知道这里怎么了吗

Answer 1

不管你以后做什么，只要你打电话：

open('somefile.txt', 'wb')

使用'wb'参数，file is erased completely。如果您想附加，应该改用'ab'