一个包,用于提供用于构建垃圾查询的UI工具

scrapy-GU的Python项目详细描述


需要Python 3.6+

皮屑鬼

一个简单的,Qt-Webengine支持的web浏览器,具有测试垃圾蜘蛛代码的内置功能。在

还包括一个插件,使GUI可以与scrapy shell一起使用。在

目录

安装

可以使用从PyPi导入包

pip install scrapy_gui

然后可以使用import scrapy_gui将其导入shell。在

独立用户界面

standloane用户界面可以通过使用pythonshell中的scrapy_gui.open_browser()打开。这包括一个web浏览器和一组分析其内容的工具。在

浏览器选项卡

在搜索栏中输入任何url,然后单击return或按Go按钮。加载动画完成后,可以在“工具”选项卡中进行分析。在

Browser tab

“工具”选项卡

“工具”选项卡包含用于分析页面内容的各个部分。这是一个很容易使用的蜘蛛测试标签页和代码。在

NOTE: This will use the initial html response. If additional requests, javascript, etc alter the page later this will not be taken into account.

它将使用requests包加载带有附加请求的初始html。当运行查询时,它将使用parsel包中的Selection创建一个选择器对象。在

Tools tab

查询框

查询框允许您使用parsel兼容的CSS和XPath查询从页面中提取数据。在

它返回的结果就好像调用了selection.css/xpath('YOUR QUERY').getall()。在

如果没有结果或查询中有错误,将弹出一个对话框,通知您该问题。在

EHEx 3盒

通过此框,您可以添加一个正则表达式模式,该模式将在上一个css查询之外使用。在

它返回的结果就好像调用了selection.css/xpath('YOUR QUERY').re(r'YOUR REGEX')'。这意味着,如果使用组,它将只返回括号内的内容。在

功能盒

此框允许您定义可以在查询结果和正则表达式上运行的其他python代码。代码可以是任意长和复杂的,包括添加额外的函数、类、导入等

唯一的要求是必须包含一个名为user_fun(results, selector)的函数,该函数返回list。在

结果框

此表将列出通过正则表达式和函数传递的所有结果(如果已定义)。在

“源”选项卡

此选项卡包含“工具”选项卡中使用的html源代码。可以使用文本框搜索特定内容。所有搜索都不区分大小写。在

Source Tab

“注释”选项卡

这只是一个纯文本框。退出应用程序时不会保存此处的内容。在

与碎壳集成

可以将此工具与废壳集成。这将允许您在通过中间件传递的响应上使用它,访问更复杂的请求和更具体的选择器。在

激活

要在shell中使用它,请使用以下命令导入load_selector方法:

{cd9}

然后您可以编写load_selector(您的_selector)来打开一个加载了选择器的窗口。在

For example load_selector(response) will load your response into the UI.

运行代码时,将打开一个名为Scrapy GUI的窗口,其中包含上述独立窗口中的ToolsSource和{}选项卡。在

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java Android:在内部存储器中保存两个同名位图   java如何获取每个月的记录?   java错误:找不到com。安卓工具。构建:渐变:3.2.1   Java反射,如何使用构造函数获取newInstance是一个很重要的问题。类别ex:Class<Customer>customerClass   java具体类不使用泛型标识符编译   java InputStream在Apache FileUpload API中关闭   java自动隐藏任务栏和最大屏幕空间   java端点返回对象而不是直接JSON   java打印BST的直径   在Java中将节点追加到xml   java如何在Jersey中注册静态类?   java如何修改for循环,使其不比较第一个循环和最后一个循环,而是将所有其他循环与最后一个循环进行比较?   java扩展主机意外终止(vscode)   如何使用Java进程读取mysql控制台输出   java从现有列表创建元素列表   java将数据流式传输到BigQuery新表中?   java如何从绑定结果验证失败返回错误响应?