网络数据如何区分正常数据和异常数据

Question

我目前在做一个网络入侵检测工具，我使用tcpdump抓取了数据包，然后用python库去进行分析。现在的话有一个需求是排除掉播放网络视频和上传下载文件的数据包，这个该怎么实现？

我在tcpdump时可以用参数指定相关的端口和协议，但是播放视频的端口和协议并不固定。
在抓取到后想分析数据包中某些变量，比如http.contet_type，但是我查看时候抓取到的包的这个值很多没有，或者有的话也不是我期待的"video/"

还有什么好的思路吗？刚接触这方面不久，希望各位可以帮忙提出建议

Answer 1

引自免费微信小程序：皆我百晓生

非常理解你在这个问题上遇到的困扰，处理这个问题需要理解网络数据的结构和特点，并采用适当的方式来区分正常数据和异常数据。以下是一些建议和思路：

基于内容的分析

1. 分析HTTP头部信息

对于HTTP协议的数据包，可以通过分析请求或响应的头部信息来判断内容类型。虽然http.content_type不一定总是存在或者等于期望的"video/"，但你可以结合其他HTTP头部字段如Accept、User-Agent等来辅助判断。例如，某些视频播放器在请求时可能会在User-Agent中包含特定的字符串。

2. 基于流量的模式识别

视频播放通常会产生连续且相对稳定的流量模式。你可以通过分析流量的时序和大小来识别视频播放相关的数据包。例如，视频流往往具有特定的数据传输速率和模式，可以通过分析这些特征来区分。

基于行为分析

使用机器学习或深度学习模型

对于复杂的网络行为分析，尤其是区分正常和异常流量，机器学习或深度学习模型是非常有效的工具。你可以训练一个模型来学习已知的正常行为模式，并基于这个模式来识别异常行为。这通常需要大量的标注数据来训练和优化模型。

结合端口和协议分析与其他特征

使用深度包检测（DPI）技术

尽管播放视频的端口和协议可能不固定，但可以通过深度包检测（DPI）技术来分析数据包的内容，以识别特定的应用层协议或特征。这可以帮助你更准确地识别与视频相关的流量。

组合多种方法

结合上述几种方法，例如结合HTTP头部分析、流量模式识别以及机器学习模型等，来提高识别的准确性。每种方法都有其优点和局限性，组合使用可以弥补单一方法的不足。

实现建议

编写自定义分析脚本或工具

由于网络环境和应用层的复杂性，可能需要编写自定义的分析脚本或工具来适应你的具体需求。Python有很多库可以帮助你实现这些功能，如requests库用于HTTP请求分析，scikit-learn或tensorflow等用于机器学习模型的构建和训练。

数据预处理和特征工程

对于数据分析来说，数据预处理和特征工程是非常关键的步骤。确保你的数据集具有足够的代表性，并进行适当的特征提取和转换，以提高分析的准确性。

调试和优化

在实现过程中，可能会遇到一些挑战和问题。建议逐步调试和优化你的方法，通过不断调整参数和方法来提高分析的准确性。

希望这些建议能够帮助你解决问题！如果你还有其他问题或需要进一步的帮助，请随时提问。