在Python/Pandas中,我尝试使用以下代码将数据帧的所有数字列标准化为百万计数:
import pandas as pd
def normalize(df):
numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']
numeric_cols = [col for col in df.columns if df[col].dtype in numerics]
sums = df.sum(axis=0, skipna = True)
for col in numeric_cols:
df.insert(df.columns.get_loc(col)+1, col+'_norm', ((df[col]/sums[col])*1000000)+1)
return df
dataset = pd.read_csv(csv_file, index_col=['Guide1', 'Guide2'], sep=',')
dataset = normalize(dataset)
这是一个简短的输入示例:
Guide1,Guide2,Gene1,Gene2,NHT1,NHT2,hart_essential_1,hart_essential_2,lib,RPE1_n1,RPE1_n2,RPE1_n3
Gene_1-KO-3,Non-Human-Target-150-KO-26,Gene_1,Non-Human-Target-150,False,True,False,False,12426.0,10634.0,8701.0,8084.0
Gene_2-KO-3,Non-Human-Target-150-KO-26,Gene_2,Non-Human-Target-150,False,True,False,False,12300.0,12383.0,6252.0,5388.0
Gene_1-KO-3,Gene_4-KO-2,Gene_1,Gene_4,False,False,False,False,11685.0,10006.0,10621.0,7002.0
Gene_1-KO-3,Gene_5-KO-2,Gene_1,Gene_5,False,False,False,False,11347.0,6726.0,3927.0,3943.0
Gene_1-KO-3,Gene_6-KO-1,Gene_1,Gene_6,False,False,False,False,11250.0,12469.0,3552.0,3334.0
该代码按预期工作,并规范化该数据帧的所有数字列,但它的工作速度似乎非常慢,其他规范化方法也是如此。我经常使用包含数百万行的数据帧。对于大约100万行,只有4个数字列,在我的移动计算机上使用Intel Core i7-6600U@2.6GHz进行标准化几乎需要10分钟,尽管我预先计算了每列的总和。 有没有一种方法可以加速这个过程,例如并行化或一些简单的技巧
非常感谢您的帮助和/或指点
代码的这种调整中的规范化几乎是即时的。大部分时间都用来生成那些随机数
谢谢你花时间回答我!我提出了另一个解决方案,我想与大家分享YaoYao启发我测试多处理库来解决我的问题。下面的解决方案运行速度非常快。该脚本首先读取.csv文件,确定数值列的名称并计算其总和。然后,它将数据集分割为大小相等的块,并将规范化函数映射到每个块。生成的规范化数据帧被连接回以生成整个规范化数据集
不过,我不知道为什么速度会如此之快。我本来预计会有60%的加速,因为我把数据分成了3块。但它确实是瞬间运行的。如果有人能在这里发表评论并给出一些见解,我将非常高兴
相关问题 更多 >
编程相关推荐