Spark读取选项中的可用选项

Question

当我阅读其他人的python代码，比如spark.read.option("mergeSchema", "true")时，代码编写者似乎已经知道要使用哪些参数。但是对于初学者来说，有没有地方可以查找这些可用的参数？我查找apche文档，它显示参数未记录。

谢谢。

Answer 1

你可以从这里走

https://spark.apache.org/docs/2.0.2/api/java/org/apache/spark/sql/DataFrameReader.html

更改突出显示的部分以获取您要查找的版本。

Answer 2

对于内置格式，所有选项都在官方文档中列出。每种格式都有自己的一组选项，因此必须引用所使用的选项。

• 对于read，打开^{}的文档并展开各个方法的文档。假设对于JSON格式expandjson方法（只有一个变量包含完整的选项列表）

  json options

• 为^{}编写打开的文档。例如拼花：

  parquet options

但是，合并模式不是通过选项执行的，而是使用会话属性执行的

 spark.conf.set("spark.sql.parquet.mergeSchema", "true")