从校园管理平台studip和moodle获取所有可用文件的简单爬虫

filecrawl的Python项目详细描述


文件爬网

从校园管理平台获取所有可用文件的简单爬虫 为大学试验者提供学习和学习机会

免责声明

此版本仅适用于大学Trier和Studip 4。 使用Studip RESTAPI 如果可能的话,许多大学都禁止爬虫。

还有其他开源客户端支持api,例如studip-fuse 或者STUD.IP-FileSync

安装

窗口

  1. 下载Python 3.4+
  2. 下载文件爬网并解压缩。
  3. 打开命令
  4. cd /path/to/filecrawl/
  5. python -m pip install -r requirements.txt

MacOS和Linux

  1. 下载Python 3.4+
  2. 下载文件爬网并解压缩。
  3. 打开终端
  4. cd /path/to/filecrawl/
  5. pip3 install -r requirements.txt
    • 使用后端不支持的Linux发行版时(例如raspbian) 您还需要运行pip3 install keyrings.alt

用法

窗口

只需在filecrawn文件夹中使用python filecrawl.py运行脚本。 当您第一次运行脚本时,它将引导您完成设置。

MacOS和Linux

只要在filecrawn文件夹中使用python3 filecrawl.py运行脚本。 当您第一次运行脚本时,它将引导您完成设置。

  • 在macos上的安装程序中使用help时,可能会出现一个错误,指出FIFinderSyncExtensionHost 在两个路径中实现-忽略这个。这也会导致Finder窗口卡住 只要脚本还在运行。

crontab键

当您想作为crontab运行filecrawn时,您必须拥有根权限或使用sudo运行所有内容。 此外,您可能还必须更改保存配置的路径 filecrawl/L233config_handling/L89config_handling/L100 因为根用户没有/user/文件夹来存储配置。

信贷和许可证

MIT LICENCE下面。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java如何从下拉列表中获取所选号码?   Java代码不允许我将一个方法从一个类调用到另一个类   java如何在集合的Assertj集合中进行验证   java最少重复/在数组中出现一次的项   java如何将复选框值传递给动作\u发送   java排序2D数组或排序1D+线性搜索。   java有没有比使用CountDownLatch更好的等待两个线程完成任务的方法?   java如何从liferay portlet读取Excel文件?   NumberFormatException,因为在准备好的Java语句上无法识别NULL   如何在JavaJDBC中运行SQL(MYSQL)存储过程?   使用开放街道地图的java路由   java我正在尝试添加两个多项式,它们的系数不同,度数也不同   java二叉树的垂直顺序遍历   java多数组输入   最终量化方法的java方法拦截器   eclipse中的java Tomcat 404错误   java异常在提交后从EntityManager获取会话时发生,在会话前关闭   java可以在另一个属性文件中生成一个属性文件吗   java通过文件输入计算最小/最大值   混合Java配置和XML Spring 4