用于从URL、目录和文件收集有用信息的命令行工具
hamburglar的Python项目详细描述
汉堡包
设置
有两个版本的汉堡包,完整和精简。主分支是完整版本,而hamburglar lite是在一个单独的分支上。在
Hamburglar
用于从多个来源检索工件的成熟的抓取工具。有一些依赖项,请先安装它们:
pip3 install -r requirements.txt
Hamburglar还可以在hexdump期间检查文件签名。如果不设置,将跳过它。要使其正常工作,您需要首先创建数据库和用户:
CREATEDATABASECREATEUSER'hamman'@'localhost'IDENTIFIEDBY'deadbeef';GRANTALLPRIVILEGESONfileSign.signaturesTO'hamman'@'localhost';
然后,运行魔术刮刀。这可以在cronjob上运行以定期更新,也可以只运行一次:
python3 magic_sig_scraper.py
Hamburglar Lite
多线程和递归目录抓取脚本。在文件路径和查找中存储有用的信息。Hamburglar lite永远不需要外部软件包,并且将始终保持为单个脚本。安装过程非常简单,只需请求并使用该文件:
wget https://raw.githubusercontent.com/needmorecowbell/Hamburglar/hamburglar-lite/hamburglar-lite.py
这是为了快速下载并在机器上执行而设计的。在
操作
^{pr2}$目录遍历
python3 hamburglar.py ~/Directory/
- 这将递归地扫描给定目录中的文件,然后使用regex过滤器分析每个文件中的各种结果
单文件分析
python3 hamburglar.py ~/Directory/file.txt
- 这将递归地扫描给定目录中的文件,然后使用regex过滤器分析每个文件中的各种结果
YARA基于规则的分析
python3 hamburglar.py -y rules/ ~/Directory
- 这将编译rules目录中的yara规则文件,然后对照目录中的每个项检查它们。在
Git抓取模式
python3 hamburglar.py -g https://www.github.com/needmorecowbell/Hamburglar
- 添加
-y <rulepath>
将允许使用yara规则对repo进行擦除
- 添加
Web请求模式
python3 hamburglar.py -w https://google.com
- 将
-w
添加到汉堡.py告诉脚本将路径作为url处理。在 - 目前,这并不爬行页面,它只是分析请求的html内容
- 将
IOC提取
python3 hamburglar.py -w -i https://pastebin.com/SYisR95m
- 添加
-i
将使用iocextract从请求的url中提取任何ioc
- 添加
Hex转储模式
python3 hamburglar.py -x ~/file-to-dump
- 这只是执行一个十六进制转储,现在没有其他内容可以通过管道传输到文件中
- 这将最终用于二进制分析
小费
- 添加
-v
将使脚本进入详细模式,-h
将显示可用参数的详细信息 - 添加
-o FILENAME
将设置结果文件名,这在需要多个结果表(即github repo spidering)的脚本环境中特别有用
设置
whitelistOn
:打开或关闭白名单检查maxWorkers
:读取文件堆栈时并发运行的工作线程数whitelist
:要独占扫描的文件或目录的列表(如果whitelistOn=True)blacklist
:扫描时要阻止的文件、扩展名或目录的列表regexList
:以filter type为键的regex过滤器字典
汉堡可以找到
- ipv4地址(公用和本地)
- 电子邮件
- 私钥
- 网址
- ioc的(使用iocextract)
- 加密货币地址
- 您可以想象使用regex过滤器和yara规则的任何东西
输出示例:
{"/home/adam/Dev/test/email.txt":{"emails":"{'testingtesting@gmail.com'}"},"/home/adam/Dev/test/email2.txt":{"emails":"{'loall@gmail.com'}"},"/home/adam/Dev/test/ips.txt":{"ipv4":"{'10.0.11.2', '192.168.1.1'}"},"/home/adam/Dev/test/test2/email.txt":{"emails":"{'ntested4@gmail.com', 'ntested@gmail.com'}"},"/home/adam/Dev/test/test2/ips.txt":{"ipv4":"{'10.0.11.2', '192.168.1.1'}"},"/home/adam/Dev/test/test2/links.txt":{"site":"{'http://login.web.com'}"}}
捐款
- 在
请投稿!如果有错误,请告诉我--如果您能修复它,则会更好:)
在 - 在
非常感谢所有帮助过我们的人:
- adi928
- {a2}
- {a3}
- {a4}和{a5}表示来自yara-forensics的规则
- 项目
标签: