处理web上长时间运行任务的最佳方法

Question

过去几天，我一直在google上搜索如何处理web服务器上长时间运行的任务。我找到了很多很好的答案，如何用一种特定的语言来运行它们，但没有找到适合这种工作的语言。在

所以，我有一个web服务器，它运行某种定制的电子商务平台。还有另一个服务器，有些产品dostributor通过API提供对其数据的访问。我必须在这两台服务器上同步产品列表。产品基础相当大（约10万件）。在

我的想法是编写php脚本，从各种API端点收集数据并相应地更新数据库。但是这需要很长的时间，所以如果没有严格的修改和对php本身的深入研究，它将超时。在

现在我在想，也许我应该编写python脚本，通过API端点收集每个产品的数据。在收集到关于产品的数据之后，python脚本可以启动php脚本，该脚本可以更新数据库中关于该特定产品的数据。。在

你对它有什么看法？最好的处理方法是什么？在

Answer 1

这听起来像是在服务器端使用Cron而不是从浏览器中进行更好的操作。当然，除非您需要由没有终端访问权限的用户随机手动执行此操作。在

如果必须是PHP，可以使用cron或from terminal运行它，并禁用超时（请参见：http://php.net/manual/en/function.set-time-limit.php），如果需要，还可以使用&；将其作为后台进程处理；。这样您就不会受到Apache（或您正在使用的任何服务器）时间限制。在