如何在Pyspark中读取多行CSV文件

Question

我将这个tweets数据集与Pyspark一起使用，以便处理它，并根据tweet的位置获得一些趋势。但是我在尝试创建数据帧时遇到了一个问题。我正在使用spark.read.options(header="True").csv("hashtag_donaldtrump.csv")创建数据帧，但是如果我查看tweets列，我得到的结果是：

您知道如何清理CSV文件以便Spark处理它吗？提前谢谢你

Answer 1

它看起来像一个多行csv。试着做

df = spark.read.csv("hashtag_donaldtrump.csv", header=True, multiLine=True)