从校园管理平台studip和moodle获取所有可用文件的简单爬虫
filecrawl的Python项目详细描述
文件爬网
从校园管理平台获取所有可用文件的简单爬虫 为大学试验者提供学习和学习机会
免责声明
此版本仅适用于大学Trier和Studip 4。 使用Studip RESTAPI 如果可能的话,许多大学都禁止爬虫。
还有其他开源客户端支持api,例如studip-fuse 或者STUD.IP-FileSync。
安装
窗口
- 下载Python 3.4+
- 下载文件爬网并解压缩。
- 打开命令
cd /path/to/filecrawl/
python -m pip install -r requirements.txt
MacOS和Linux
- 下载Python 3.4+
- 下载文件爬网并解压缩。
- 打开终端
cd /path/to/filecrawl/
pip3 install -r requirements.txt
- 使用后端不支持的Linux发行版时(例如raspbian)
您还需要运行
pip3 install keyrings.alt
- 使用后端不支持的Linux发行版时(例如raspbian)
您还需要运行
用法
窗口
只需在filecrawn文件夹中使用python filecrawl.py
运行脚本。
当您第一次运行脚本时,它将引导您完成设置。
MacOS和Linux
只要在filecrawn文件夹中使用python3 filecrawl.py
运行脚本。
当您第一次运行脚本时,它将引导您完成设置。
- 在macos上的安装程序中使用
help
时,可能会出现一个错误,指出FIFinderSyncExtensionHost
在两个路径中实现-忽略这个。这也会导致Finder窗口卡住 只要脚本还在运行。
crontab键
当您想作为crontab运行filecrawn时,您必须拥有根权限或使用sudo
运行所有内容。
此外,您可能还必须更改保存配置的路径
filecrawl/L233,
config_handling/L89
和config_handling/L100
因为根用户没有/user/文件夹来存储配置。
信贷和许可证
在MIT LICENCE下面。