python使用urllib检索web内容,但得到的内容与我使用brows得到的不同

2024-06-25 23:27:27 发布

您现在位置:Python中文网/ 问答频道 /正文

我想使用this site编写一个翻译api,在处理带有通配符的句子时,它有许多可取的特性

首先,我在chrome中使用F12来查看请求url用于生成结果的内容。  Here is the screen shot:

我检查了当我使用不同的输入时,只有saltsigh发生了变化。 所以我查看js源代码来了解saltsigh是如何产生的。 然后我使用python库urllib发送请求并获得响应。但是当我使用浏览器获取它时,响应翻译是不一样的。例如

Input :"what album was #head_entity# released on?"

Output_browser: "#head_entity#发布了什么专辑?"

Output_python:"发布的专辑是什么# head_entity?#"

这显然是不同的

这是生成结果的代码:

import urllib.request
import urllib.parse 
import json 
import time 
import random 
import hashlib 
def translator(content):
    """arg:content"""
    url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule' 
    data = {} 
    u = 'fanyideskweb' 
    d = content 
    f = str(int(time.time()*1000) + random.randint(1,10)) 
    c = 'rY0D^0\'nM0}g5Mm1z%1G4' 
    sign = hashlib.md5((u + d + f + c).encode('utf-8')).hexdigest() 
    data['i'] = content 
    data['from'] = 'AUTO' 
    data['to'] = 'AUTO' 
    data['smartresult'] = 'dict' 
    data['client'] = 'fanyideskweb' 
    data['salt'] = f 
    data['sign'] = sign 
    data['doctype'] = 'json' 
    data['version'] = '2.1' 
    data['keyfrom'] = 'fanyi.web' 
    data['action'] = 'FY_BY_CL1CKBUTTON' 
    data['typoResult'] = 'true' 
    data = urllib.parse.urlencode(data).encode('utf-8') 
    request = urllib.request.Request(url=url,data=data,method='POST') 
    response = urllib.request.urlopen(request) 
    d = json.loads(response.read().decode('utf-8'))
    return d['translateResult'][0][0]['tgt']
translator('what album was #head_entity# released on?')

我认为,为了使请求与原始页面不同,我只更改了代码中的url参数:

My_url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'

Original_url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule' which gave me an error {"errorCode":50}

我逐个检查了头和数据参数,但仍然无法解决问题。我不知道为什么会这样。有什么想法吗


Tags: importjsonhttpurldatatimerequestcontent