Exception in thread “streaming-start” java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer

lvtula 最新推荐文章于 2022-10-16 13:03:00 发布 阅读量2.8k

Exception in thread “streaming-start” java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)V

Ask Question

When I submit the spark application, getting the below error:

Exception in thread "streaming-start" java.lang.NoSuchMethodError:

org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)V

Went through the below URL: http://apache-spark-developers-list.1001551.n3.nabble.com/testing-the-kafka-0-10-connector-td17956.html

Set the below environment variable: SPARK_KAFKA_VERSION=0.10

Added the below dependency:

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
  <version>2.1.0.cloudera1</version>
</dependency>

Added the below jar: spark-streaming-kafka-0-10-assembly_2.11.jar

Versions I'm using:

• Spark-2.0.2
• Scala-2.11
• Kafka-0.10

A piece of code:

val CLASS_NAME = this.getClass
val log = org.apache.log4j.LogManager.getLogger(CLASS_NAME)

Your help is highly appreciated.

解决办法：export SPARK_KAFKA_VERSION=0.10

转自： https://stackoverflow.com/questions/45840824/exception-in-thread-streaming-start-java-lang-nosuchmethoderror-org-apache-ka

Exception in thread “streaming-start” java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer Exception in thread “streaming-start” java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)VAsk QuestionWhen I submit the spark application... scala：2.12.10 kafka ：2.12-2.2.2 spark-streaming： org . apache .spark:spark-streaming- kafka -0-10_2.12-3.0.0.jar 使用spark-streaming连接 Kafka 并读取数据，出现如下错误： Exception in thread " streaming-start " java . lang .NoClassDefFoundError: org / apache /spark/ka scalaVersion := "2.11.8" val sparkVersion = "2.2.0" libraryDependencies += " org . apache .spark" % "spark-core_2.11" % "2.2.0"// % Provided libraryDependenci... 本文对于 Kafka 对接Spark Streaming进行学习。 官方地址，但是需要注意的是： Kafka 项目在版本0.8和0.10之间引入了新的消费者API，因此有两个独立的相应Spark Streaming软件包可用。所以使用的时候要注意版本的问题。如下图所示版本选择： 作者使用版本介绍（伪分布式）： kafka _2.11-0.10.0.1.tgz scala-2.11.8... 1、有这个类，该类没有这个方法 2、类冲突、Jar包冲突、Jar包版本冲突 3、有这个类（A），类中也有方法，但在B类中引用了A类，并调用A类的方法，后面修改A类，把该A类的方法返回值类型改变（如将方法返回类型由void类型改成String类型），只部署A类，没有重新部署B类，将导致 NoSuchMethodError 错误。 二、解决方案 1、有这个类，该类没有这个方法 在类增加方法。 2、类冲突、Jar包冲突、Jar包版本