垃圾编码和json格式问题

2024-10-02 04:17:25 发布

您现在位置:Python中文网/ 问答频道 /正文

我使用python3.6x版本和scrapy来提取一些在线数据。在

import scrapy

class QuotesSpider(scrapy.Spider):
name = "extract"

start_urls = [
    'https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q10174455955',
]

def parse(self, response):
    question_title = response.css("div.ptsQes P::text").extract_first().strip()
    question_content = response.css("div.ptsQes P.queTxt::text").extract()
    best_answer = response.css("div.mdPstd.mdPstdBA.othrAns.lstLast.clrfx div.ptsQes p.queTxt::text").extract()
    filename = 'extract.json'
    with open(filename, 'wb') as f:
        f.write(question_title.encode("utf8")),
        f.write(question_content[0].encode("utf8")),
        f.write(best_answer[0].encode("utf8"))
    self.log('Saved file %s' % filename)

我试着从上面写的代码中提取数据,但是遇到了几个问题,如果有人愿意帮忙的话,我将不胜感激。在

  1. 我怎样才能把它变成json格式,即[问题名称:'XXX','question'u content':'XXX','best_answer':'XXX',因为我只能得到一些字符串

  2. 为什么我不能把编码(“utf8”)放在后面响应.css…,即

response.css("div.ptsQes P::text").extract_first().strip().encode("utf8")

它不起作用。它没有编码任何数据,但留给我unicode。在

如果有人知道,谢谢。在


Tags: 数据textanswerdivresponseextractcontentutf8
1条回答
网友
1楼 · 发布于 2024-10-02 04:17:25

将数据设置为json格式。我会使用内置的json库。在

import json
json.dumps({'question_title' : question_title,
            'question_content':'question_content',
            'best_answer': 'best_answer'}).encode('utf8')

相关问题 更多 >

    热门问题