我试图从我们公司创建的网站中提取内容。我在mssqlserver中为无用数据创建了一个表。我还设置了scrpy并配置了Python来抓取和提取网页数据。我的问题是,如何将Scrapy抓取的数据导出到本地MSSQL服务器数据库中?在
这是Scrapy提取数据的代码:
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'http://quotes.toscrape.com/page/1/',
'http://quotes.toscrape.com/page/2/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'text': quote.css('span.text::text').extract_first(),
'author': quote.css('small.author::text').extract_first(),
'tags': quote.css('div.tags a.tag::text').extract(),
}
您可以使用
pymssql
模块将数据发送到SQL Server,如下所示:另外,您还需要将
'spider_name.pipelines.DataPipeline' : 300
添加到ITEM_PIPELINES
dict-in设置中。在我认为最好的做法是将数据保存到CSV,然后将CSV加载到sqlserver表中。在
或者
^{pr2}$相关问题 更多 >
编程相关推荐