如何从大文件中随机删除多行？

Question

我有一个13GB的大文本文件，有158609739行，我想随机选择155000000行。在

我尝试过对文件进行置乱，然后剪切155000000行，但是看起来我的ram内存（16GB）不够大。我尝试过的管道是：

shuf file | head -n 155000000
sort -R file | head -n 155000000

现在不再选择行，我认为更节省内存从文件中删除3609739行随机行，得到155000000行的最终文件。在

Answer 1

当您将文件的每一行复制到输出时，评估它应该被删除的概率。第一行应该有3609739/158609739被删除的可能性。如果生成一个介于0和1之间的随机数，并且该数小于该比率，请不要将其复制到输出。现在第二行的赔率是3609738/158609738；如果不删除那一行，第三行的赔率是3609738/158609737。重复直到完成。在

因为每行处理的几率都会变化，所以该算法保证了精确的行数。一旦你删除了3609739，几率就变为零；如果在任何时候你需要删除文件中剩下的每一行，那么几率就变成了1。在