将不同类型的报废项导出到多个提要。

scrapy-multifeedexporter的Python项目详细描述


Scrapy扩展导出 多个提要的不同类型。默认情况下,每个项目都有自己的 喂。

安装

$ pip install scrapy-multifeedexporter

配置

您必须使用 MultiFeedExporter将以下行添加到 settings.py蜘蛛文件:

frommultifeedexporterimportMultiFeedExporterEXTENSIONS={'scrapy.contrib.feedexport.FeedExporter':None,'multifeedexporter.MultiFeedExporter':500,}# Automatically configure available item names from your moduleMULTIFEEDEXPORTER_ITEMS=MultiFeedExporter.get_bot_items(BOT_NAME)

用法

调用scrapy crawl时,需要使用%(item_name)s 输出文件/uri名称中的占位符。以下呼叫 scrapy crawl演示占位符:

$ scrapy crawl -o "spider_name_%(item_name)s.csv" -t csv spider_name
$ scrapy crawl -o "ftp://foo:bar@example.com/spider_name_%(item_name)s.csv" -t csv spider_name

如果省略占位符,则所有项目都将放置在一个文件中。

许可证

Scrapy MultifeedExporter是根据麻省理工学院的许可证出版的

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
直接组件的javacamel-Junit测试   java@ConfigurationProperties在控制器注释类中工作,但在组件类中不工作   Eclipse中的java相对路径   java如何检查变量名是否包含字符串,然后输出字符串变量内容   java JPA CriteriaQuery<Object[]。类>和单个字段的多选返回列表<Object>   java通用同步代码块[无对象锁定]   JAVA网安卓中的URL。。新手问题   java如何分析运行Tomcat的嵌入式H2数据库的内存消耗?   这里不允许使用java Void   hibernate警告[commonLogger.java:60]ognl。MethodFailedException:对象[java.lang.NoSuchMethodException:([Ljava.lang.String;)]的方法失败   java静态类代替Oracle表如何   JAVA LWJGL纹理旋转   java是否有用于ical4j的类型化包装器?   java使用maven生成校验和并存储指定文件夹中的MD5文件   java如何定义文件的相对路径?   java对于gradle项目是否有一个等价的“mvn依赖项:buildclasspath”?   JavaHadoop文件系统。mkdirs(路径,权限)忽略该权限