必须用蜂箱构建Spark(Spark 1.5.0)

2024-10-03 02:33:34 发布

您现在位置:Python中文网/ 问答频道 /正文

下载了spark 1.5.0预构建并通过pyspark运行这个简单的代码

from pyspark.sql import Row
l = [('Alice', 1)]
sqlContext.createDataFrame(l).collect

产生误差:

^{pr2}$

所以我试着自己编的

c:\bigdata\spark-1.5\spark-1.5.0>.\build\apache-maven-3.3.3\bin\mvn  -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests -Phive -Phive-t

hriftserver清理包

但在编译后的版本中仍然会出现相同的错误。在

有什么建议吗?在


Tags: 代码fromimportsqlsparkpyspark误差row
1条回答
网友
1楼 · 发布于 2024-10-03 02:33:34

导入行后添加这些行

from pyspark import  SparkContext
from pyspark.sql import SQLContext
sc = SparkContext( 'local', 'pyspark')
sqlContext = SQLContext(sc)  

相关问题 更多 >