东北炸鸡 2022-01-24 16:19 采纳率: 0%
浏览 42

spark streaming进行词频统计,使用netcat发送数据,日志(8088)端口没有内容

问题遇到的现象和发生背景

spark streaming进行词频统计,使用netcat发送数据,日志(8088)端口没有内容

问题相关代码,请勿粘贴截图
def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("wc1")
    //设置DStream批次时间间隔为5秒
    val ssc = new StreamingContext(conf, Seconds(5))
    //通过网络读取数据
    val lines = ssc.socketTextStream("192.168.159.120", 9999)
    //将读到的数据用空格切成单词
    val words = lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
    //打印结果
    words.print()
    //开始计算
    ssc.start()
    ssc.awaitTermination()
  }

运行结果及报错内容

Error connecting to 192.168.159.120:9999 - java.net.ConnectException: 拒绝连接 (Connection refused)

我的解答思路和尝试过的方法
我想要达到的结果
  • 写回答

2条回答 默认 最新

  • Tomshidi 2022-01-24 16:27
    关注

    你代码里链接的是9999端口,你的netcat创建的又是8088端口的会话?

    评论

报告相同问题?

问题事件

  • 创建了问题 1月24日