2024-09-26 04:53:16 发布
网友
我知道我应该在启动pyspark时将其添加为一个包要求:
$SPARK_HOME/bin/spark-shell --packages com.databricks:spark-csv_2.11:1.4.0
但是在Bluemix中,spark已经在运行,并且已经定义了spark上下文。如何添加此包?在
顺便说一句,我能在Scala中做到这一点吗?在
目前在Bluemix上,在Python笔记本中使用PySpark,无法将spark-csv添加到环境中。在
PySpark
spark-csv
但是,您可以使用以下命令将其添加到Scala笔记本中:
%AddDeps com.databricks spark-csv_2.10 1.3.0 transitive
当然,您可以选择其他版本的软件包。在
对于Scala笔记本电脑和相应的Spark内核,请参阅以下文档: https://github.com/ibm-et/spark-kernel/wiki/List-of-Current-Magics-for-the-Spark-Kernel
目前在Bluemix上,在Python笔记本中使用
PySpark
,无法将spark-csv
添加到环境中。在但是,您可以使用以下命令将其添加到Scala笔记本中:
当然,您可以选择其他版本的软件包。在
对于Scala笔记本电脑和相应的Spark内核,请参阅以下文档: https://github.com/ibm-et/spark-kernel/wiki/List-of-Current-Magics-for-the-Spark-Kernel
相关问题 更多 >
编程相关推荐