php仅从给定网站/url下载“.java”文件

Question

出于某些研究目的，我想从给定的网站下载1000个java类（“.java”）文件。我不想手动执行此操作

例如，下面有许多Java源文件，我希望使用脚本/编程获得这些文件。我使用过Linux shell脚本、PHP和Java。因此，任何使用这些的解决方案都是值得赞赏的

http://www.cs.uic.edu/~sloan/CLASSES/java/

谢谢

Answer 1

谢谢大家

我已经使用了“wget-r-l1-nd-nc-A.javahttp://www.cs.uic.edu/~sloan/CLASSES/java/”

然而，这是我必须完成的任务。但我只是在想，也许我们可以改进同样的“wget”在互联网上，让我得到1000个“.java”文件。也许，我们可以调用谷歌搜索（从脚本）搜索关键字“java教程”，然后从返回的URL扫描“.java”文件

再次感谢大家

维基

Answer 2

你举的例子

curl -vs https://www.cs.uic.edu/~sloan/CLASSES/java/ 2>&1 | grep -oP '(?<=").*.java(?=")' | sed -e 's|^|https://www.cs.uic.edu/~sloan/CLASSES/java/|' | xargs wget

解释

1）获取页面并打印到标准输出。它将为您提供完整的html

curl -vs https://www.cs.uic.edu/~sloan/CLASSES/java/ 2>&1

2）找到单词。java在引号中，但输出时不带引号"[ANYTHING].java"。它会给你一些类似HelloWorld.java

grep -oP '(?<=").*.java(?=")'

3）添加前缀，使其成为完整的url，以便您可以下载它们。它会给你一些类似https://www.cs.uic.edu/~sloan/CLASSES/java/HelloWorld.java

sed -e 's|^|https://www.cs.uic.edu/~sloan/CLASSES/java/|'

4）下载到当前目录

xargs wget

Answer 3

基于这个问题

wget -A java -r https://www.cs.uic.edu/~sloan/CLASSES/java/

将下载与服务器上相同目录结构中的所有“.java”文件。 这也将下载机器人。txt文件