Python csv合并具有不同列的多个文件问题的回答

Python csv合并具有不同列的多个文件

回答此问题可获得 20 贡献值，回答如果被采纳可获得 50 分。

0 条评论
分类：Python问答

默认排序时间排序

1 个回答

匿名 1天前

　擅长：python、mysql、java

正如您在原始问题中已经解释的，如果您知道需要多少列，您可以轻松地扩展Awk中的列 <pre class="lang-sh prettyprint-override"><code>awk -F ',' -v cols=5 'BEGIN { OFS=FS } FNR == 1 && NR > 1 { next } NF<cols { for (i=NF+1; i<=cols; ++i) $i = "" } 1' *.csv >file.csv </code></pre> 我稍微重构了它，用<code>next</code>跳过不需要的行，而不是相反；这稍微简化了脚本的其余部分。我还添加了缺少的逗号分隔符 您可以轻松打印每个文件中的列数，只需注意最大列数： <pre class="lang-sh prettyprint-override"><code>awk -F , 'FNR==1 { print NF, FILENAME }' *.csv </code></pre> 如果您不知道文件中还有多少字段是您还没有的，或者如果您需要处理带引号的复杂CSV字段，那么可以切换到Python。在Awk中进行字段号嗅探并不难，但处理引用是很棘手的 <pre class="lang-py prettyprint-override"><code>import csv import sys # Sniff just the first line from every file fields = 0 for filename in sys.argv[1:]: with open(filename) as raw: for row in csv.reader(raw): # If the line is longer than current max, update if len(row) > fields: fields = len(row) titles = row # Break after first line, skip to next file break # Now do the proper reading writer = csv.writer(sys.stdout) writer.writerow(titles) for filename in sys.argv[1:]: with open(filename) as raw: for idx, row in enumerate(csv.reader(raw)): if idx == 0: next row.extend([''] * (fields - len(row))) writer.writerow(row) </code></pre> 这只是假设附加字段位于末尾。如果文件可能在其他列之间有额外的列，或者列的顺序不同，则需要一个更复杂的解决方案（虽然不是很复杂；Python CSV<code>DictReader</code>子类可以完成大部分繁重的工作） 演示：<a href="https://ideone.com/S998l4" rel="nofollow noreferrer">https://ideone.com/S998l4</a> 如果要在Awk中执行相同类型的嗅探，基本上必须两次指定输入文件的名称，或者在启动主脚本之前在<code>BEGIN</code>块中执行一些非平凡的处理以读取所有文件

Python csv合并具有不同列的多个文件

1 个回答

相关Python问题