如何将一堆装满图像的zip文件夹加载到云上,并对它们进行集中分析?

2024-10-05 14:26:49 发布

您现在位置:Python中文网/ 问答频道 /正文

所以我正试图下载这个数据集:https://data.broadinstitute.org/bbbc/BBBC006/ 我有一个python脚本,可以提取zip文件并在本地提取它。它在我的本地机器上工作,但每个都是1GB+的,我不想在本地存储。当我试着在谷歌云上加载34个文件夹,内存大约为50GB时,它每次都会在第9个文件夹附近崩溃,并出现内存错误。 有一位朋友告诉我,我需要先将它们加载到存储中,然后将它们以集合的形式拉到VM中,但idk非常了解云基础设施,可以使用一些指针

规格: 34个文件夹(来自网站) 每个1gb以上 压缩文件 在谷歌云上

谢谢


Tags: 文件数据内存httpsorg脚本文件夹机器