计算行出现次数并除以总行数unix/python

Question

我有一个文本文件test.in如下：

english<tab>walawala
foo bar<tab>laa war
foo bar<tab>laa war
hello world<tab>walo lorl
hello world<tab>walo lorl
foo bar<tab>laa war

所需输出应为：

^{pr2}$

新列是行数除以总行数。在

目前我正在做这个：

cat test.in | uniq -c | awk '{print $2"\t"$3"\t"$1}' > test.out

但这只给了我行数，而不是概率。而且，我的文件非常大，比如1000000000行，每列至少有20个字符。在

如何正确快速地获得所需的输出？

有没有一种Python的解决方案同样快？

Answer 1

注意uniq只计算重复的行数，并且必须在其前面加上sort，以便考虑文件中的所有行。对于sort | uniq -c，以下使用collections.Counter的代码更有效，因为它根本不需要对任何内容进行排序：

from collections import Counter

with open('test.in') as inf:
    counts = sorted(Counter(line.strip('\r\n') for line in inf).items())
    total_lines = float(sum(i[1] for i in counts))
    for line, freq in counts:
         print("{}\t{:.4f}".format(line, freq / total_lines))

此脚本输出

^{pr2}$

对于你描述中给出的输入。在

---

但是，如果您只需要合并连续的行，比如uniq -c，请注意使用Counter的任何解决方案都会给出问题中给出的输出，但是您的uniq -c方法将而不是。uniq -c will be的输出：

  1 english<tab>walawala
  2 foo bar<tab>laa war
  2 hello world<tab>walo lorl
  1 foo bar<tab>laa war

不

  1 english<tab>walawala
  3 foo bar<tab>laa war
  2 hello world<tab>walo lorl

如果这是您想要的行为，您可以使用^{}：

from itertools import groupby

with open('foo.txt') as inf:
    grouper = groupby(line.strip('\r\n') for line in inf)
    items = [ (k, sum(1 for j in i)) for (k, i) in grouper ]
    total_lines = float(sum(i[1] for i in items))
    for line, freq in items:
        print("{}\t{:.4f}".format(line, freq / total_lines))

不同之处在于，给定一个test.in包含您指定的内容，uniq管道将而不是生成您在示例中给出的输出，而您将得到：

english<tab>walawala<tab>0.1667
foo bar<tab>laa war<tab>0.3333
hello world<tab>walo lorl<tab>0.3333
foo bar<tab>laa war<tab>0.1667

由于这不是您的输入示例所说的，可能是没有sort就不能使用uniq来解决问题，那么您需要求助于我的第一个示例，Python肯定会比Unix命令行更快。在

---

顺便说一句，这些功能在所有python>；2.6中都是一样的。在