我试着爬网,但它必须运行js才能让页面完全加载。 我用过spynner浏览器在中间件中如下所示。 问题是我尝试爬网的网络需要启用cookie。在
我怎么把饼干传给spynner浏览器在痒吗?在
在恶心的请求->;spynner浏览器()—>;恶心的反应在
import spynner import pyquery
from scrapy.http import HtmlResponse
class WebkitDownloaderTest( object ):
def process_request( self, request, spider ):
browser = spynner.Browser()
if 'Cookie' in request.headers.keys():
browser.set_cookies(request.headers.Cookie) # is this correct?
browser.create_webview()
browser.set_html_parser(pyquery.PyQuery)
browser.load(request.url, 20)
try:
browser.wait_load(10)
except:
pass
string = browser.html
string=string.encode('utf-8')
renderedBody = str(string)
browser.close()
return HtmlResponse(request.url,
Cookies = browser.cookies, # is this correct?
body=renderedBody )
目前没有回答
相关问题 更多 >
编程相关推荐