小夏同学____ 2020-04-20 23:03 采纳率: 0%
浏览 485

求大佬指点:spark streaming无法对接kafka

求大佬指点:spark streaming无法对接kafka;
1. 程序中spark streaming可以消费子系统(ubuntu)上netcat发送的数据,
1. kafka自己的消费者可以消费自己生产的数据,
1. windows10上程序代码如下:

val kafkaParam = Map(
      "bootstrap.servers" -> "localhost:9092",
      "key.deserializer" -> classOf[StringDeserializer],
      "value.deserializer" -> classOf[StringDeserializer],
      "group.id" -> "recommender",
      "auto.offset.reset" -> "latest"
    )
    // 创建一个DStream
    val kafkaStream = KafkaUtils.createDirectStream[String, String](ssc,
      LocationStrategies.PreferConsistent,
      ConsumerStrategies.Subscribe[String, String](Array(config("kafka.topic")), kafkaParam)
    )

控制台warn:

图片说明
图片说明


Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

overriding enable.auto.commit to false for executor
overriding auto.offset.reset to none for executor
overriding executor group.id to spark-executor-recommender
overriding receive.buffer.bytes to 65536 see KAFKA-3135

然后ssc.start()一直无反应,debug跟进,

发现卡在StreamingContext.scala里的 ThreadUtils.runInNewThread("streaming-start")这里,
再跟进 ThreadUtils.scala 里面
thread.setDaemon(isDaemon)
thread.start()
thread.join()
发现最终卡在这里:thread.join(),无报错信息

注:程序启动前已经在子系统(ubuntu)上已经启动了kafka

  • 写回答

5条回答 默认 最新

  • panchen1998 2021-03-19 16:02
    关注

    请问这个问题后来解决了吗,我也遇到了这个问题

    评论

报告相同问题?

悬赏问题

  • ¥15 slam rangenet++配置
  • ¥15 对于相关问题的求解与代码
  • ¥15 ubuntu子系统密码忘记
  • ¥15 信号傅里叶变换在matlab上遇到的小问题请求帮助
  • ¥15 保护模式-系统加载-段寄存器
  • ¥15 电脑桌面设定一个区域禁止鼠标操作
  • ¥15 求NPF226060磁芯的详细资料
  • ¥15 使用R语言marginaleffects包进行边际效应图绘制
  • ¥20 usb设备兼容性问题
  • ¥15 错误(10048): “调用exui内部功能”库命令的参数“参数4”不能接受空数据。怎么解决啊