在同一个Amazon s3bu中复制文件

2024-09-30 06:11:00 发布

您现在位置:Python中文网/ 问答频道 /正文

我试图将bucket上的整个/contentstore/文件夹复制到一个带有时间戳的版本。基本上,/contenstore/将被复制到/contentstore/20130729/。在

我的整个脚本首先使用s3s3mirror将生产S3存储桶克隆到备份。然后,我想将备份重命名为带有时间戳的副本,这样我就可以保留相同的多个版本。在

我有一个使用s3cmd的工作版本,但它似乎花费了异常长的时间。两个bucket之间的s3s3mirror部分在几分钟内完成,可能是因为它是对现有文件夹的刷新。但即使是干净的s3s3mirror(备份中没有现有的contentstore),也需要大约20分钟。在

另一方面,将conentstore复制到备份bucket上带有时间戳的副本需要1小时10分钟以上。在

我做错事了吗?同一存储桶上的数据拷贝是否应该比两个不同存储桶之间的完整克隆花费更长的时间?在

任何想法都将不胜感激。在

我正在运行的命令是s3cmd --recursive cp backupBucket/contentStore/ backupBucket/20130729/


Tags: 版本脚本文件夹s3bucket时间副本备份
1条回答
网友
1楼 · 发布于 2024-09-30 06:11:00

因为源路径包含目标路径,所以实际上您可能不止一次地将内容复制到目标路径中,然后在目标路径与源前缀匹配时再次复制。这也解释了为什么复制到不同的bucket比在同一个bucket中更快。在

如果您使用的是s3s3mirror,那么使用-v选项,您将看到被复制的内容。它是否显示同一个密钥被多次复制?在

相关问题 更多 >

    热门问题