有选择地将数据从文本文件加载到数组中

Question

我发现自己无法正确地从数据日志文件中提取数据。我的数据源文件如下所示：

 0.80 1.20 3.00 3.00 0.05 0.01 0.60 0.35 0.45 1
 2.00E-02 2.020 0.700 0.173 0.053 0.482 0.099 0
 1.00E+08 0.00E+00 4.00E-01 0.00E+00 0.00E+00 3
 1.00E+03 0.00E+00 0.00E+00 1.00E+00 1.00E-04 0
 0 0 0.00E+00 1 0.10E+02 0.50 0.00
 1 700.0 0   0.0 0.00 1 1 0.10E-02 0.10E+04

   4.999526E+00  7.821430E+01  1.098711371E+08 
 Remeshing model

  K      P         rho         T          r    
 999  4.170E+23  6.164E+06  1.577E+08  2.584E-0
 998  4.014E+23  6.004E+06  1.599E+08  8.277E-0
 997  3.859E+23  5.843E+06  1.622E+08  1.152E-0
 996  3.705E+23  5.682E+06  1.646E+08  1.411E-0
 995  3.553E+23  5.520E+06  1.673E+08  1.638E-0
 994  3.401E+23  5.357E+06  1.701E+08  1.844E-0
 993  3.252E+23  5.193E+06  1.730E+08  2.036E-0
 992  3.104E+23  5.029E+06  1.762E+08  2.218E-0
 991  2.957E+23  4.864E+06  1.795E+08  2.393E-0
 990  2.813E+23  4.699E+06  1.831E+08  2.563E-0

 989  2.671E+23  4.534E+06  1.870E+08  2.729E-0
 988  2.530E+23  4.368E+06  1.911E+08  2.892E-0
 987  2.392E+23  4.202E+06  1.957E+08  3.052E-0
 986  2.257E+23  4.036E+06  2.006E+08  3.212E-0
 985  2.124E+23  3.870E+06  2.060E+08  3.371E-0
 984  1.993E+23  3.703E+06  2.118E+08  3.530E-0
 983  1.866E+23  3.537E+06  2.183E+08  3.690E-0
 982  1.741E+23  3.371E+06  2.254E+08  3.851E-0
 981  1.620E+23  3.205E+06  2.332E+08  4.013E-0
 980  1.502E+23  3.039E+06  2.417E+08  4.177E-0

 979  1.388E+23  2.874E+06  2.508E+08  4.344E-0
 978  1.277E+23  2.710E+06  2.604E+08  4.513E-0
 977  1.170E+23  2.547E+06  2.704E+08  4.686E-0

（这只是其中的一小部分，但基本上应该足以说明我的问题。实际文件大约有160万行，因此处理速度必须是一个高优先级的问题…）

现在我需要导入

^{pr2}$

排成单独的数组。但这还不是全部。。。这个从999到1的行表每隔几百行或几千行用不同的值重复出现（除了“K”部分，它总是999到1）。在

我想将每列数据导入数组或类似的东西。（也许1d阵列比2d阵列性能更好）。在

我想在数组结束时再多看一眼：

^{3}$

我在考虑用.readline()逐行扫描文件，并检查每一行是否与"K, P, rho and T"对应，如果找到，用np.loadtext()导入下千行左右。但这只是一个想法，可能做起来相当糟糕。在

另一个问题是每隔十行就有空行，我认为这是为了人类的可读性而实现的。我不知道他们是否对我的方法有问题。在

编辑： 我想a已经找到了一个可能的解决方案。。。但这是一个“好”的方法吗？在

K = []
P = []
Density = []
Temp  = []
Radius = []
Mass = []

outTP = open('../Data/out_TP1-9', 'r')
line = outTP.readline()
i = 0
j = 0
while line:
    if line[:10] == "  K      P":
        i += 1
        K.append([])
        P.append([])
        Density.append([])
        Temp.append([])
        Radius.append([])
        Mass.append([])
        n = 0
        while n < 999:
            line = outTP.readline()
            if line == '\n':
                line = outTP.readline()
            data = np.array(line.split())
            data = data.astype(np.float)
            K[i-1].append(data[0])
            P[i-1].append(data[1])
            Density[i-1].append(data[2])
            Temp[i-1].append(data[3])
            Radius[i-1].append(data[4])
            Mass[i-1].append(data[7])
            n += 1
    j += 1
    line = outTP.readline()
print len(K), type(K), type(K[0]), type(K[0][0])
return K, Temp, Mass, Radius, Density

最后，我为每个参数提供了一个二维浮动列表，第一个维度是出现的次数，第二个维度是值本身。在

你同意还是有人认为有更好的方法？（肯定会有……）

Answer 1

检查一下：

file = 'c:\\file.txt'

k = []
p = []
rho = []
t = []
r = []

with open(file) as f:
    lines = f.read().splitlines()

i = 999
for line in lines:
    line = line.strip()
    if line.startswith(str(i)):
        lineSplitted = line.split('  ')
        k.append(lineSplitted[0])
        p.append(lineSplitted[1])
        rho.append(lineSplitted[2])
        t.append(lineSplitted[3])
        r.append(lineSplitted[4])
        i-=1