unix标准工具

Question

下面的python脚本打印文件中第一个出现的行。你知道吗

#!/usr/bin/env python
import sys

x = set() 

for line in sys.stdin:
    if line not in x:
        print line,
        x.add(line)

uniq仅适用于相邻线路。这个文件非常大，所以sort | uniq并不理想。有没有标准的工具可以做到这一点？你知道吗

Answer 1

你试过sort -u吗？至少这是uniq man page所暗示的。你知道吗

Answer 2

使用awk

awk '!x[$0]++' file.old > file.new