qq_40939785
Eumenides-Z
2018-11-27 10:55

能否用spark streaming和flume或kafka对实时网络数据进行检测

5
  • spark streaming
  • 机器学习
  • pcap
  • flume
  • kafka

目前已经有一个训练好的机器学习分类模型,存在于HDFS上,可以对LibSVMFile格式的数据进行检测。它是对很多的一段时间内的流量数据(比如1s,很多个1s)提取特征训练之后得到的。
我们知道streaming是将输入流分成微切片,微切片能否可以是从pcap文件读取呢?因为提取特征包括训练模型的时候是需要对pcap文件操作的。
flume和kafka都是可以传输txt的,能不能传输pcap文件呢?要将输入的网络数据流像tcpdump一样可以存为pcap文件,又有像kafka一样的缓存功能可以用哪些技术呢?
最后就是能否用spark streaming利用分类模型对网络数据流进行提特征并预测,而且与防火墙联动,这在技术上是否可行?

  • 点赞
  • 回答
  • 收藏
  • 复制链接分享

1条回答