擅长:python、mysql、java
<p>2.1GB的数据读取需要21(@100 MB/s)到70(@30 MB/s)秒。然后,将其格式化并写入可能是其五倍大的数据。这意味着总共13 GB的读写操作需要130-420秒。在</p>
<p>你的抽样显示,阅读需要24秒。因此,写作大约需要两分钟。例如,可以使用SSD来改进读写时间。在</p>
<p>当我转换文件(使用我用C编写的程序)时,我假设转换所需的时间不应超过读取数据本身所需的时间,通常情况下可能要少得多。重叠读写还可以减少I/O时间。因为printf通常太慢,所以我编写自己的自定义格式化例程。在</p>
<p>24秒多少钱?在现代CPU上至少有400亿条指令。这意味着在这段时间内,你可以用至少19条指令来处理每一个数据字节。对于C程序很容易实现,但对于解释性语言(Python、Java、C#、VB)则不行。在</p>
<p>525秒处理(549-24)的剩余时间表明,Python至少要花费8750亿条指令来处理,或者每读取一个字节的数据就要花费415条指令。结果是22比1:解释语言和编译语言之间的比例并不少见。一个构造良好的C程序应该每字节减少大约10条指令。在</p>