在一个有两列的目录中有多个文件(20),例如
transcript_id value
ENMUST001 2
ENMUST003 3
ENMUST004 5
每个文件中的行数不同我想做的是以这种方式将所有20个文件合并到一个巨大的矩阵中
transcript_id value_file1 value_file2....value_file20
ENMUST001 2 3
ENMUST003 3 4
ENMUST004 5 0
从transcript\u id列收集所有id,并从每个文件收集相应的值(filename作为列名),如果没有值,则使用0。你知道吗
我试着用熊猫做这个
import os
import glob
import pandas as pd
path = 'pathtofiles'
transFiles = glob.glob(path + "*.tsv")
df_files = []
for file in transFiles:
df = pd.read_csv(file, sep='\t')
df.set_index('transcript_id')
df_files.append(df)
df_combine = pd.concat(df_files, axis=1).fillna(0)
Error:
ValueError: No objects to concatenate
想知道非熊猫方式是否更好?任何伪代码都是值得赞赏的。你知道吗
找到输出
df.set_index('transcript_id')
print (df.shape)
(921, 1)
(1414, 1)
(659, 1)
(696, 1)
(313, 1)
print (df.is_unique)
(921, 1)
False
(1414, 1)
False
(659, 1)
False
(696, 1)
False
(313, 1)
False
df = df.drop_duplicates(inplace=True)
df_files.append(df)
df_combine = pd.concat(df_files, axis=1).fillna(0)
New error
ValueError: All objects passed were None
before: (921, 1)
after: (914, 1)
before: (1414, 1)
after: (1410, 1)
before: (659, 1)
after: (658, 1)
before: (696, 1)
after: (694, 1)
before: (313, 1)
after: (312, 1)
set_index的默认行为是
inplace=False
。尝试用df = df.set_index('transcript_id')
替换df.set_index('transcript_id')
。还可以使用df = df[~df.index.duplicated(keep='first')]
删除索引中的重复值。你知道吗相关问题 更多 >
编程相关推荐