擅长:python、mysql、java
<p>就像上面提到的,使用一个10GB的文件,你可能会很快达到磁盘的极限。对于纯代码的改进,生成器的建议非常好。在Python2.x中,它看起来像</p>
<pre><code>uuid_generator = (line.split(SPLIT_CHAR)[UUID_FIELD] for line in file)
</code></pre>
<p>听起来这不一定是python的问题。如果您没有做任何比计算uuid更复杂的事情,那么Unix可能比python更快地解决您的问题。</p>
<pre><code>cut -d${SPLIT_CHAR} -f${UUID_FIELD} log_file.txt | sort | uniq -c
</code></pre>