擅长:python、mysql、java
<p>根据需要,有不同的写刮板的方法。它还取决于使用了哪些库来获取数据(scrapy用于抓取数据,或者selenium描述浏览器交互并获取所需的数据)。根据我的个人经验,我们可以调用scraper脚本(我们的scraper脚本使用selenium和BeautifulSoup库)。
下面是我们如何使用子进程执行脚本。在</p>
<pre><code> const spawn = require("child_process").spawn;
const pythonProcess = spawn('python',["./Scraper_script.py",p]);
</code></pre>
<p>如果使用scrapy spider来抓取数据,那么这种方法就行不通了。在</p>