Python中文
首页
教程
问答
标签
搜索
登录
注册
我应该使用Python还是Assembly来实现超快速复制程序
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>作为维护问题,我需要定期(每年3-5次)复制一个存储库,该存储库现在有超过2000万个文件,总磁盘空间超过1.5 TB。我目前正在使用RICHCOPY,但也尝试过其他方法。RICHCOPY似乎是最快的,但我不相信我正在接近XP机器的能力极限。在</p> <p>我在玩弄用我在汇编语言艺术中读到的东西来写一个程序来复制我的文件。我的另一个想法是开始学习如何在Python中多线程进行复制。在</p> <p>我一直在考虑在汇编中做这件事,因为它看起来很有趣,但是虽然我的时间并不是非常宝贵,但它足够宝贵,我正试图弄清楚我是否会看到复制速度有足够大的提高。我想我会的,但我才开始真正学习编程18个月,它仍然或多或少是一个爱好。因此,我可能遗漏了一些关于解释语言发生什么的基本概念。在</p> <p>任何观察或经验将不胜感激。注意,我不是在找任何代码。我已经用python2.6编写了一个不比RICHCOPY慢的基本复制程序。我在寻找一些能让我更快的观察结果。现在我要花50多个小时从磁盘复制到Drobo,然后从Drobo复制到磁盘。我有一个逻辑立方体,当我只是复制一个磁盘,但有时我需要从一个磁盘到Drobo或相反的方向。我在想,如果我可以使用LogicCube在不到7个小时内扇区复制一个3/4个2 TB的驱动器,那么我应该可以使用汇编来接近它,但我不知道足够的知识来知道这是否有效。(是的,有时候无知就是幸福)</p> <p>我需要加快速度的原因是我有两到三个周期,在复制过程中发生了一些事情(50小时是一个很长的时间来期待世界静止),这导致我不得不扔掉复制品并重新开始。例如,上周我们大楼下面的水管坏了,停电了。在</p> <p>感谢您的早期响应,但我不认为这是I/O限制。我不是通过网络,硬盘通过sata连接插入母板,Drobo插入火线端口,我的想法是这两个连接都应该允许更快的传输。在</p> <p>实际上我不能使用扇区拷贝,只能从一个磁盘到Drobo。因为Drobo文件结构是个谜,所以它不会以另一种方式工作。我不科学的观察是,从一个内部磁盘复制到另一个内部磁盘并不比从Drobo复制到内部磁盘快。在</p> <p>我受硬件的束缚,我买不起10K rpm 2 TB的硬盘(如果他们生产的话)。在</p> <p>你们中的许多人建议使用文件同步解决方案。但这并不能解决我的问题。首先,我用过的文件同步解决方案构建了一个数据的映射(为了更好的术语),首先,我有太多的小文件,所以他们窒息。我使用RICHCOPY的原因之一是它立即开始复制,它不使用内存来构建映射。第二,几周前我的三个Drobo备份中有一个失败了。我的规则是,如果我有一个备份失败,其他两个必须保持离线,直到新的一个建立。所以我需要从我的三个备份单驱动器拷贝中的一个拷贝,我用的是LogicCube。在</p> <p>一天下来,我必须在一个驱动器上有一个好的拷贝,因为这是我交付给客户的。因为我的客户有不同的系统,我提供给他们的是SATA驱动器。在</p> <p>我从别人那里租了一些云空间,我的数据也作为最深的备份存储在那里,但如果离开那里的话,代价很高。在</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>复制文件是一个I/O绑定的过程。您不太可能看到在汇编中重写它的速度会加快,甚至多线程也可能会导致速度变慢,因为同时请求不同文件的不同线程将导致更多的磁盘查找。在</p> <p>使用标准工具可能是最好的方法。如果有什么需要优化的,您可能需要考虑更改文件系统或硬件。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如何添加虚拟方法
5 回答
如何添加表示整数的擦边字符串?
9 回答
如何添加要在Bokeh中使用的新font.ttf文件?
3 回答
如何添加要显示的矩阵XY轴编号和XY轴
8 回答
如何添加计数?
10 回答
如何添加计数器函数?
4 回答
如何添加计数器列来计算数据帧中另一列中的特定值?
9 回答
如何添加计数器来跟踪while循环中的月份和年份?
3 回答
如何添加计数并删除countplot的顶部和右侧脊椎?
4 回答
如何添加计时器wx.应用程序更新窗口对象的主循环?
7 回答
如何添加评论到帖子?PostDetailVew,Django 2.1.5
10 回答
如何添加评论拉梅尔亚姆
8 回答
如何添加诸如矩阵Python/Pandas之类的数据帧?
5 回答
如何添加谷歌地点自动完成到Flask?
8 回答
如何添加超时、python discord bot
5 回答
如何添加超过1dp的检查
3 回答
如何添加距离方法
9 回答
如何添加跟随游戏的敌人精灵
8 回答
如何添加路径以便python可以找到程序?
5 回答
如何添加身份验证/安全性以使用happybase访问HBase?
3 回答