Python pandaps从CSV-fi获取指定行

Question

我试图用python中的pandas从CSV文件中读取一组非常大的数据。我需要将数据分解为多个部分才能接收，因此我希望先将一半的行，然后再将另一半放入其中。在

我看到read_csv中有chunksize参数。然而，我似乎不知道如何将其全部放入矩阵或稀疏矩阵中。在

wow = pd.read_csv('TestingCSV.csv', sep=',', header='infer', low_memory=False, chunksize=10, usecols=(range(3, 5)))

这将返回一个类型：<class 'pandas.io.parsers.TextFileReader'>

什么是一种可能的方法，采取不同的块，然后重建一个矩阵或稀疏矩阵从他们？在

Answer 1

当您使用read_csv时，您需要读取整个文件，而不能读取其中的一部分。在

当涉及到chunksize时，您需要获取在wow和{a1}下面列出的那些“块”。在

例如：

chunks = pd.read_csv(data, chunksize = 100)
df = pd.concat(chunks, ignore_index=True)

现在你有了一个完整的数据帧，你可以做任何你需要做的分析。在

它也是一个iterable对象，因此可以执行以下操作：

^{pr2}$