将标题添加到csv fi

Question

我有一个维度为100*512的csv文件，我想在spark中进一步处理它。文件的问题是它不包含头，即column names。我需要这些列名以便在machine learning中进一步ETL。我在另一个文件（文本文件）中有列名。我必须把这些列名作为头放在上面提到的csv文件中。 e、 g

CSV文件：

ab 1 23 sf 23 hjh

hs 6 89 iu 98 adf

gh 7 78 pi 54 ngj

jh 5 22 kj 78 jdk

列标题文件：

one,two,three,four,five, six

我想要这样的输出：

one two three four five six

ab 1 23 sf 23 hjh

hs 6 89 iu 98 adf

gh 7 78 pi 54 ngj

jh 5 22 kj 78 jdk

请建议将列标题添加到CSV文件中的方法（不替换CSV文件的行）。 我试过把它转换成pandas数据帧，但无法得到预期的输出。

Answer 1

Unix系统：

cat header_file.csv data_file.csv > data_file.csv

窗口：

type header_file.csv data_file.csv > data_file.csv

Answer 2

首先读取csv文件：

from pandas import read_csv      
df = read_csv('test.csv')

如果数据集中有两列（a列和b列），请使用：

df.columns = ['a', 'b']

将此新数据帧写入csv

df.to_csv('test_2.csv')

Answer 3

你可以使用它：

    import csv

    with open('names.csv', 'w') as csvfile:
        fieldnames = ['first_name', 'last_name']
        writer = csv.DictWriter(csvfile, fieldnames=fieldnames)

        writer.writeheader()
        writer.writerow({'first_name': 'Baked', 'last_name': 'Beans'})
        writer.writerow({'first_name': 'Lovely', 'last_name': 'Spam'})
        writer.writerow({'first_name': 'Wonderful', 'last_name': 'Spam'})