如何在pyspark中使用转义或引号在文件中写入数据帧时获得精确匹配？

Question

我正在尝试将数据帧加载到文件中，但无法获得精确匹配。你能帮我一下吗

example:

"From...............\"dawood\"...........\"oral use\"........"

but i am getting:

"From................\"dawood\"...........\\"oral use\\\"......"

i am using below code to write the dataframe:
df.repartition(1).write.format('com.databricks.spark.csv').mode('overwrite').save(output_path,quote='"', sep='|',header='True',nullValue=None)

你能帮助我如何获得所有REORD的精确匹配吗

Answer 1

只需在shell脚本中复制以下内容：

python imed_consump.py 'Smart Source'

但是你的参数总是固定的。如果不需要这样做，则在外壳内部执行以下操作

python imed_consump.py "$1"

并像执行shell一样执行：

bash imed_consump.sh 'Smart Source'