我使用python3.6x版本和scrapy来提取一些在线数据。在
import scrapy
class QuotesSpider(scrapy.Spider):
name = "extract"
start_urls = [
'https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q10174455955',
]
def parse(self, response):
question_title = response.css("div.ptsQes P::text").extract_first().strip()
question_content = response.css("div.ptsQes P.queTxt::text").extract()
best_answer = response.css("div.mdPstd.mdPstdBA.othrAns.lstLast.clrfx div.ptsQes p.queTxt::text").extract()
filename = 'extract.json'
with open(filename, 'wb') as f:
f.write(question_title.encode("utf8")),
f.write(question_content[0].encode("utf8")),
f.write(best_answer[0].encode("utf8"))
self.log('Saved file %s' % filename)
我试着从上面写的代码中提取数据,但是遇到了几个问题,如果有人愿意帮忙的话,我将不胜感激。在
我怎样才能把它变成json格式,即[问题名称:'XXX','question'u content':'XXX','best_answer':'XXX',因为我只能得到一些字符串
为什么我不能把编码(“utf8”)放在后面响应.css…,即
response.css("div.ptsQes P::text").extract_first().strip().encode("utf8")
它不起作用。它没有编码任何数据,但留给我unicode。在
如果有人知道,谢谢。在
将数据设置为json格式。我会使用内置的json库。在
相关问题 更多 >
编程相关推荐