在一段时间后被卡住了

Question

我在awsec2上有一个使用dask分布式库的master-worker网络。现在我有一个主机器和一个工人机器。主机有restapi（flask）用于调度工人机器上的零碎作业。我对主容器和工作容器都使用docker，这意味着主容器和工作容器都使用分布式dask进行通信。在

当我调度scrapy作业时，爬行成功启动，scrapy也将数据上传到s3。但过了一段时间后，斯皮奇一度陷入困境，之后什么也没发生。在

请检查附加的日志文件以了解更多信息

log.txt

2019-01-02 08:05:30 [botocore.hooks] DEBUG: Event needs-retry.s3.PutObject: calling handler <bound method S3RegionRedirector.redirect_from_error of <botocore.utils.S3RegionRedirector object at 0x7f1fe54adf28>>

刮伤在上面的点卡住了。在

运行docker的命令：

^{pr2}$

我在新的ec2机器上也面临这个问题

Answer 1

（这将是一个评论，但我还没有这样做的要点。）

你可能遇到了某种DDOS防护。你试过刮取控制点吗？在

Answer 2

我解决了问题。问题出在我用它来执行scrapy with argument stdout的子进程中=子流程.管道而根据子进程的文档wait（）函数在使用stdout时会导致死锁=子流程.管道或stderr=子流程.管道. 在