擅长:python、mysql、java
<p>有时候你最好只用命令行</p>
<p>如果您可以访问类unix的环境,那么grep/sed/awk/cut就是为这个环境构建的,因为它们处理流</p>
<p>见<a href="https://stackoverflow.com/questions/30906191/uniq-without-sorting-an-immense-text-file?utm_medium=organic&utm_source=google_rich_qa&utm_campaign=google_rich_qa">here for an example</a></p>
<p>另一种方法是拆分csv并对其进行批处理(以“,”分隔第一个零索引列)</p>
<pre><code>cat some.csv | cut -d, -f1 | sort | uniq -c
</code></pre>