java如何改进对日志文件的数据处理 1 年 Questions & Answers 42 我需要对日志文件进行一些数据处理，例如带有时间戳的行。 运行1MB数据需要1秒的时间。我们如何在10秒内对1TB数据文件执行此处理
# 1 楼答案 您可以使用线程并行化并同时处理日志文件的不同部分 这是假设对日志的处理是可并行的，并且不需要顺序读取日志。它还假设您有足够快的硬盘驱动器（一些旋转硬盘硬盘无法读取100MB/s，这是1TB/10s所需的速度）
# 1 楼答案
您可以使用线程并行化并同时处理日志文件的不同部分
这是假设对日志的处理是可并行的，并且不需要顺序读取日志。它还假设您有足够快的硬盘驱动器（一些旋转硬盘硬盘无法读取100MB/s，这是1TB/10s所需的速度）