将数据帧列表中的每个数据帧附加到另一个数据帧列表中

Question

我有两组从大数据帧分割的数据帧。比如说,

    import pandas as pd, numpy as np

   np.random.seed([3,1415])
ind1 = ['A_p','B_p','C_p','D_p','E_p','F_p','N_p','M_p','O_p','Q_p']
col1 = ['sap1','luf','tur','sul','sul2','bmw','aud']
df1  = pd.DataFrame(np.random.randint(10, size=(10, 7)), columns=col1,index=ind1)
ind2 = ['G_l','I_l','J_l','K_l','L_l','M_l','R_l','N_l']
col2 = ['sap1','luf','tur','sul','sul2','bmw','aud']
df2  = pd.DataFrame(np.random.randint(20, size=(8, 7)), columns=col2,index=ind2)

# Split the dataframes into two parts 
pc_1,pc_2   = np.array_split(df1, 2)
lnc_1,lnc_2 = np.array_split(df2, 2)

现在，我需要将来自df1（pc1, pc2）的每个分割数据帧与来自df2（ln_1,lnc_2）的每个数据帧连接起来。目前，我正在做以下工作：

# concatenate each split data frame pc1 with lnc1

pc1_lnc_1 =pd.concat([pc_1,lnc_1])
pc1_lnc_2 =pd.concat([pc_1,lnc_2])
pc2_lnc1  =pd.concat([pc_2,lnc_1])
pc2_lnc2  =pd.concat([pc_2,lnc_2])

在每个连接的数据帧上，我需要运行一个相关分析函数，例如

correlation(pc1_lnc_1)

我想单独保存结果，例如，

  pc1_lnc1=   correlation(pc1_lnc_1)
  pc1_lnc2=   correlation(pc1_lnc_2)
     ......

  pc1_lnc1.to_csv(output,sep='\t')

问题是，是否有一种方法可以使上述连接部分自动化，而不是在每一行中使用某种循环（目前用于每个连接的数据帧）对其进行编码。我正在单独运行函数correlation。我有一个很长的分割数据框列表

Answer 1

如果数组中没有单独的数据帧（并且假设数据帧的数量非常多），最简单的方法（代码修改最少）是在循环中抛出eval

差不多

for counter in range(0,n):
    for counter2 in range(0:n);
        exec("pc{}_lnc{}=correlation(pd.concat([pc_{},lnc_{}]))".format(counter,counter2,counter,counter2))

        eval("pc{}_lnc{}.to_csv(filename,sep='\t')".format(counter,counter2)

关于eval的标准免责声明仍然适用（不要这样做，因为它是懒惰的编程实践，不安全的输入可能会导致代码中的各种问题）

有关为什么eval is bad的更多详细信息，请参见此处

编辑更新问题的答案

Answer 2

还有一个想法

def correlation(data):
    # do some complex operation..
    return data

# {"pc_1" : split_1, "pc_2" : split_2}
pc = {f"pc_{i + 1}": v for i, v in enumerate(np.array_split(df1, 2))}
lc = {f"lc_{i + 1}": v for i, v in enumerate(np.array_split(df2, 2))}

for pc_k, pc_v in pc.items():
    for lc_k, lc_v in lc.items():
        # (pc_1, lc_1), (pc_1, lc_2) ..
        correlation(pd.concat([pc_v, lc_v])). \
            to_csv(f"{pc_k}_{lc_k}.csv", sep="\t", index=False)

# will create csv like pc_1_lc_1.csv, pc_1_lc_2.csv.. in the current working dir

Answer 3

您可以在拆分的数据帧上循环：

for pc in np.array_split(df1, 2):
    for lnc in np.array_split(df2, 2):
         print(correlation(pd.concat([pc,lnc])))