将大数据复制到多个较小磁盘的工具
partialCop的Python项目详细描述
局部复制
将大数据复制到多个较小磁盘的工具
动机
随着大型项目中存储空间的增大，我们需要一种工具将大文件夹（100 TB）拆分为更小的块，这样我们就可以迁移到另一个位置或将其存储在磁带上。在
它是如何工作的？在
该工具找到文件的最佳位置，并在--save to directory中创建一个文件列表，可以使用--files-from参数传递rsync。在
安装
sudo pip install partialCopy
使用
usage: pcp.py [-h] [--dest DEST | --dest-size DEST_SIZE] [-s SAVE_TO] [-f]
[-n] [-ma MODIFIED_AFTER] [-fp FIND_PARAMS]
src
positional arguments:
src Source Directory
optional arguments:
-h, --help show this help message and exit
--dest DEST Destionation mountpoint
--dest-size DEST_SIZE
Destination size, given in bytes or using 1 letter
unit B,K,M,G,T,P
-s SAVE_TO, --save-to SAVE_TO
Where to save rsync list,default
'$src/pcp_rsync_list/'
-f, --force Rewrite all lists again
-n, --new Find New Files
-ma MODIFIED_AFTER, --modified-after MODIFIED_AFTER
Find files modified after certain time (YYYY-mm-dd)
-fp FIND_PARAMS, --find-params FIND_PARAMS
Parameters to find command
变更
- 允许提供尺寸而不是安装点。在
- 使用
-n参数仅查找新文件。在 - 使用
-ma参数查找在某个日期之后修改的文件。在 - 允许使用
-f标志重写所有列表。在
贡献者
- 项目
标签：
欢迎加入QQ群-->： 979659372
