Eumenides-Z
2018-11-27 10:55能否用spark streaming和flume或kafka对实时网络数据进行检测
5目前已经有一个训练好的机器学习分类模型,存在于HDFS上,可以对LibSVMFile格式的数据进行检测。它是对很多的一段时间内的流量数据(比如1s,很多个1s)提取特征训练之后得到的。
我们知道streaming是将输入流分成微切片,微切片能否可以是从pcap文件读取呢?因为提取特征包括训练模型的时候是需要对pcap文件操作的。
flume和kafka都是可以传输txt的,能不能传输pcap文件呢?要将输入的网络数据流像tcpdump一样可以存为pcap文件,又有像kafka一样的缓存功能可以用哪些技术呢?
最后就是能否用spark streaming利用分类模型对网络数据流进行提特征并预测,而且与防火墙联动,这在技术上是否可行?
- 点赞
- 回答
- 收藏
- 复制链接分享
1条回答
为你推荐
- 如何更改从Go服务器返回数据而不保存数据的格式
- json
- 2个回答
- 如何使用通道和goroutines构造Go Web服务器?
- channel
- goroutine
- streaming
- 1个回答
- 如何从AWS S3将文件流式传输到Zip中
- zip
- streaming
- php
- 1个回答
- Php使用Fopen功能和直播(rtp)
- vlc
- rtp
- php
- 1个回答
- 使用Twitter Streaming API和ReactPHP的错误请求
- oauth
- api
- php
- 2个回答
换一换