用于python的轻量级javascript感知的无头web抓取库

scrapejs的Python项目详细描述


javascript框架现在风靡一时。不幸的是,这意味着我最喜欢的一些工具wget和curl已经不能胜任这个任务了。在浏览器上加载一个页面,然后打开源代码,然后复制它实在太麻烦了。

我最初想创建一个扩展来帮助解决这个问题。不幸的是,对于像我这样与终端有关系的不幸用户来说,扩展永远不会有wget或curl的无缝感觉。另外,在那些快速而肮脏的bash/perl/python脚本中也不能使用扩展。

因此,pyscrape及其http兄弟pyrun。希望它能帮助您浏览javascript渲染的笨拙世界:)。

##安装

pip安装pyscrape

  1. 克隆https://github.com/animeshkundu/pyscrape
  2. pip install-r requirements.txt
  3. python setup.py安装

##测试 一。pyscrapehttp://www.google.co.in/ 2.pyrun-p 1234;curl本地主机:1234/scrape?url=http://www.google.co.in/

欢迎改进。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java密钥适配器在JComponent中不工作   动态编程我试图在java中使用递归自顶向下DP实现TSP。逻辑是正确的,但答案不同   java当我在BundleActivator中注册Servlet而不使用web时,“TransportGuarrance”的等价物是什么。xml?   java膨胀视图与膨胀元素   用zxing从图像中检测二维码的java   使用GroupLayout将java组件呈现在彼此的顶部   Java Android:如何在一秒钟内添加15次数组?   tomcat无法查找java邮件会话的JNDI资源。无法连接到主机,端口:localhost,25;超时1;   spring如何使用org。springframework。网状物滤器CharacterEncodingFilter以更正字符编码?   数据集的java并发处理   爪哇反应堆:如何从标准丁烷中产生助焊剂?   java在本地运行storm NoClassDefFoundError   为用户定义的类使用setDate的数组。。JAVA   如何将节点附加到java中现有的XML文件中