问题遇到的现象和发生背景
spark streaming进行词频统计,使用netcat发送数据,日志(8088)端口没有内容
问题相关代码,请勿粘贴截图
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("wc1")
//设置DStream批次时间间隔为5秒
val ssc = new StreamingContext(conf, Seconds(5))
//通过网络读取数据
val lines = ssc.socketTextStream("192.168.159.120", 9999)
//将读到的数据用空格切成单词
val words = lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
//打印结果
words.print()
//开始计算
ssc.start()
ssc.awaitTermination()
}
运行结果及报错内容
Error connecting to 192.168.159.120:9999 - java.net.ConnectException: 拒绝连接 (Connection refused)