计算机挂起大量Python异步aiohttp请求

Question

我有一个超过2000万行的文本文件，格式如下：

ABC123456|fname1 lname1|fname2 lname2
.
.
.
.

我的任务是逐行读取文件，并将两个名称发送到Google音译API并在终端（linux）上打印结果。以下是我的代码：

^{pr2}$

在上面的代码中，我的文件tg.txt包含2000多万行。当我运行它时，我的笔记本电脑冻结，我不得不硬重启它。但是当我使用另一个只有10行的文件tg1.txt时，这段代码可以正常工作。我错过了什么？在

Answer 1

您可以尝试使用asyncio.gather(*futures)而不是asyncio.wait。 也可以尝试使用固定大小的批处理（例如每批10行），并在每个处理过的批处理后添加打印，这将有助于您调试应用程序。 另外，您的未来可能会以不同的顺序完成，最好在批量处理完成后存储收集结果并打印出来。在