Python中文
首页
教程
问答
标签
搜索
登录
注册
Scrapy支持JavaScript进行网络绘图吗?
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我听说scrapy不支持javascript。我想知道我是否可以使用scrapy来爬网链接,使用crawspider到我们的内部网站点,我们的内部网站点有javascript,我相信它会在你点击一个链接时生成,但我不能百分之百确定。在</p> <p>但是视图源代码是由xml样式表组成的,它的数据与我使用firebug时的html相同。我也不能使用html标记来抓取站点,我需要使用xml标记来进行抓取。我搞不懂为什么它既有html又有xml,而且两者都有数据,为什么我不能只抓取html中的xml?在</p> <p>我知道我可以使用xml标记抓取第一页,但我可以继续跟踪链接并继续爬行吗?在</p> <p>我还能用scrapy的爬行蜘蛛来爬行每一个链接还是不行?如果我不能,你能给我推荐另一种工具吗?它支持javascripts和身份验证后登录(https)。?在</p> <p>谢谢!在</p> <p>以下是我使用firebug时的HTML数据(与XML相同的数据)</p> <pre><code><tr> <td class="crt">1</td> <td class="listCell" align="center"> <td class="listCell" align="center"> <a href="/dis/packages.jsp?view=list&show=perdevice&device_gid=3651746C4173775343535452414567746D75643855673D3D53564A6151624D41716D534C68395A6337634E2F62413D3D&hwdid=probe0&subscrbid=6505550000&mdn=6505550000&maxlength=100">probe0</a> </td> <td class="listCell" align="center"> <a href="/dis/packages.jsp?view=list&show=perdevice&device_gid=3651746C4173775343535452414567746D75643855673D3D53564A6151624D41716D534C68395A6337634E2F62413D3D&hwdid=probe0&subscrbid=6505550000&mdn=6505550000&maxlength=100">6505550000</a> </td> <td class="listCell" align="center"> <a href="/dis/packages.jsp?view=timeline&show=perdevice&device_gid=3651746C4173775343535452414567746D75643855673D3D53564A6151624D41716D534C68395A6337634E2F62413D3D&hwdid=probe0&subscrbid=6505550000&mdn=6505550000&maxlength=100&date=20130716T141624949">2013-07-16 14:16:24.949</a> </td> <td class="cell" align="center">2013-07-16 14:16:24.949</td> <td class="cell" align="left">1 - SMS_PullRequest_CS</td> <td class="listCell" align="right"> <a href="/dis/profile_download?profileId=4294967295">4294967295</a> </td> <td class="listCell" align="center"> <a href="/dis/sessions.jsp?view=list&device_gid=3651746C4173775343535452414567746D75643855673D3D53564A6151624D41716D534C68395A6337634E2F62413D3D&hwdid=probe0&mdn=6505550000&subscrbid=6505550000&maxlength=100">view sessions</a> </td> <td class="listCell" align="center"> <a href="/dis/errors_agg.jsp?view=list&device_gid=3651746C4173775343535452414567746D75643855673D3D53564A6151624D41716D534C68395A6337634E2F62413D3D&hwdid=probe0&mdn=6505550000&subscrbid=6505550000&maxlength=100">view errors</a> </td> </tr> </code></pre> <p>以下是我使用视图源XML样式表(与HTML相同的数据)时的数据</p> ^{pr2}$
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>通常对于JS,您使用一个无头浏览器来执行javascript。^使用scrapy splash中间件的{a1}和{a2}是其中两个流行的选择。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
我想从用户inpu创建一个类的实例
3 回答
我想从用户导入值,为此
5 回答
我想从用户那里得到一个整数输入,然后让for循环遍历该数字,然后调用一个函数多次
5 回答
我想从用户那里收到一个列表,并在其中执行一些步骤,然后在步骤完成后将其打印回来,但它没有按照我想要的方式工作
10 回答
我想从用户那里获取输入,并将值传递给(average=dict[x]/6),然后在那里获取resu
2 回答
我想从第一个列表中展示第一个词,然后从第二个列表中展示十个词,以此类推- Python
7 回答
我想从第一个空lin开始解析文本文件
4 回答
我想从简历、简历中提取特定部分
4 回答
我想从给定字典(python)的字符串中删除\u00a9、\u201d和类似的字符。
10 回答
我想从给定的网站Lin下载许多文件扩展名相同的Wget或Python文件
5 回答
我想从网上搜集一些关于抵押贷款的数据
7 回答
我想从网站上删除电子邮件地址
9 回答
我想从网站上读取数据该网站包含可下载的文件,然后我想用python脚本把它发送给oracle如何?
10 回答
我想从网站中提取数据,然后将其显示在我的网页上
8 回答
我想从网页上提取统计数据。
1 回答
我想从网页上解析首都城市,并在用户输入国家时在终端上打印它们
5 回答
我想从色彩图中删除前n个颜色,而不丢失原始颜色数
6 回答
我想从课堂上打印字典里的键
4 回答
我想从费用表中获取学生上次支付的费用,其中学生id=id
3 回答
我想从较低的顺序对多重列表进行排序,但我无法在一行中生成结果
7 回答