如何加速：在python中打开数据文件

Question

我用一个简单的代码行打开一个bigdata.xls文件workbook = xlrd.open_workbook('file_name.xls')。它也需要相当长的时间来执行。我使用的是python2。有没有办法加快这一步？在

Answer 1

按需访问工作簿将减少内存使用量，这可能会大大缩短加载时间。请尝试以下代码

import xlrd
try:
    work_book = xlrd.open_workbook('file_name.xls', on_demand=True)
finally:
    work_book.release_resources()

PS-别忘了释放资源

Answer 2

一种选择是将文件分成多个部分并使用多线程（http://www.tutorialspoint.com/python/python_multithreading.htm）。在

然而，Python不是世界上最快的语言也是有原因的。。。考虑用不同的语言来处理这个问题（如果可能的话）。在

您也可以从Python中启动一个C程序来完成这项工作。你很可能会看到一些显著的改善。Run C program from Python and then capture output