java从当前livy会话访问数据文件

Question

我在Hadoop上有一个以纱线模式运行的Spark集群。我已将Livy server配置为交互并将客户端spark作业提交到spark群集。 我将jar和一个数据文件从java程序上传到Livy，Livy在。HDFS中的livySessions文件夹

LivyClient client = new LivyClientBuilder(true).setURI(new URI("http://191.111.123.11:8998")).build();
client.uploadFile(new File("/C:/HAL/kmeans_data.txt")).get();
Object str = client.uploadJar(new File("/C:/Users/msingh/livy-spring-app-1.3.6.RELEASE.jar")).get();

我应该如何配置我的程序以从当前Livy会话读取数据文件以执行

Answer 1

你可以用火花笔。get（），它将从spark作业中获取这些文件。试着让我知道