Python中文
首页
教程
问答
标签
搜索
登录
注册
Spark流(run-example vs spark-submit)
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>这是<a href="https://stackoverflow.com/questions/33590622/spark-with-flume-configuration-classpath">Spark with Flume (configuration/classpath?)</a>的后续问题</p> <p>在尝试了几件事之后,问题就出现了</p> <p>$spark submit--jars/opt/scala/spark-streaming-flume_2.10-1.5.1.jar--master local[*]/home/user/spark/FlumeStreaming.py在</p> <pre><code>from pyspark import SparkContext from pyspark.streaming import StreamingContext from pyspark.streaming.flume import FlumeUtils sc = SparkContext(appName="Newapp") strm = StreamingContext(sc,1) flume = FlumeUtils.createStream(strm,"localhost",9999) lines = flume.map(lambda x: x[1]) counts = lines.flatMap(lambda line: line.split(" ")) \ .map(lambda word: (word, 1)) \ .reduceByKey(lambda a, b: a+b) counts.pprint() strm.start() strm.awaitTermination() </code></pre> <hr/> ^{pr2}$ <p>我的问题是,它和水槽的代码是一样的_字数.py在spark示例中提供的示例中,示例中的示例可以正常工作,但我的版本不起作用。不同之处在于它的运行方式一个使用runexample,另一个使用spark submit,这表明了类路径和jar文件的管理方式。有什么我该做的吗?在</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>解决了这个问题,必须有正确的jar并将其传递给spark submit</p> <pre><code>$spark-submit jars /path/to/spark-streaming-flume-assembly*.jar FlumeStreaming.py localhost 12345 </code></pre>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
区分轴上的像素大小
10 回答
区分过度拟合与良好预测
7 回答
区分通过POST接收的数据并在Cherrypy中获取
8 回答
区分重写和重载
7 回答
区分金贾二号的类型
4 回答
区别:IF IN和IF==python
9 回答
区别:list.append()与incrementequal?
4 回答
区别:创建在启动wx应用程序时不“阻止”控制台的脚本
3 回答
区别于python中的命令行和CGI
3 回答
区别关系
1 回答
区别是什么APIClient.enforce\ csrf\检查以及APIClient.handler.enforce\ csrf\ u检查
4 回答
区块.draw()未在python空闲模式下工作
7 回答
区块链API调用输出对象名称而不是内容
5 回答
区块链nonce值随负载变化
9 回答
区块链Python语法错误(Snakecoin)
10 回答
区块链不连接到服务器和矿工
5 回答
区块链信息钱包支票支付员
4 回答
区块链和区块链密码错误
5 回答
区块链尝试向Transaction字典添加键/值以创建区块链
2 回答
区域:IOError:[Errno 22]无效模式('w')或filenam
3 回答