我怎么把饼干传给spynner浏览器在痒吗?

2024-09-19 03:55:36 发布

您现在位置:Python中文网/ 问答频道 /正文

我试着爬网,但它必须运行js才能让页面完全加载。 我用过spynner浏览器在中间件中如下所示。 问题是我尝试爬网的网络需要启用cookie。在

我怎么把饼干传给spynner浏览器在痒吗?在

在恶心的请求->;spynner浏览器()—>;恶心的反应在

import spynner import pyquery
from scrapy.http import HtmlResponse

class WebkitDownloaderTest( object ):
    def process_request( self, request, spider ):
        browser = spynner.Browser()
        if 'Cookie' in request.headers.keys():
            browser.set_cookies(request.headers.Cookie) # is this correct?
        browser.create_webview()
        browser.set_html_parser(pyquery.PyQuery)
        browser.load(request.url, 20)
        try:
            browser.wait_load(10)
        except:
            pass
        string = browser.html
        string=string.encode('utf-8')
        renderedBody = str(string)
        browser.close()
        return HtmlResponse(request.url, 
            Cookies = browser.cookies, # is this correct?
            body=renderedBody )

Tags: importgtbrowserstringiscookierequest浏览器