有 Java 编程相关的问题?

你可以在下面搜索框中键入要查询的问题!

java Spark与ElasticSearch的集成

我试图通过spark接收数据并将其推送到ElasticSearch

我已经按照基本教程从Oracle中摄取,通过Spark将其放入内存,并将其推送到ElasticSearch

当我试图调用JavaEsSparkSQL.saveToEs(jdbcDF, "spark/test")时。jdbcDF是从Oracle加载的数据集。我正在简化从Oracle数据库读取的内容,并调用saveToEs

我得到以下错误:

java.lang.NoClassDefFoundError: org/elasticsearch/spark/sql/api/java/JavaEsSparkSQL

我读到这可能是因为不同版本的spark,因为Hadoop库使用的是单独的驱动程序? 以下是我的家属:

        <dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch-hadoop</artifactId>
            <version>7.3.2</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>2.4.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.12</artifactId>
            <version>2.4.3</version>
        </dependency>

共 (0) 个答案