如何高效采集几万台服务器的数据

Question

几万台服务器，每台服务器部署了一个采集端，现在有个聚合应用需要收集这些服务器采集的数据，请问要怎么样才能高效的获取到这些数据？

采集端采用的是定时任务，目前一分钟采集一次，有其他更好的方案吗？

方案一:
聚合应用发送消息到消息队列，各应用订阅这个队列去采集数据，将采集到的数据发送到mq推送给聚合应用
Leader:几万台服务器都去消费这个队列？

方案二:
将服务器的采集到的数据定时保存到NoSql，聚合应用再去查数据
Leader:几万台服务器都要定时去取？

Answer 1

1. 使用数据管道：数据管道是一种将数据从一个系统传输到另一个系统的工具，可以将采集到的数据从源系统传输到目标系统。数据管道可以根据需要定制，以适应不同的数据源和目标。
2. 使用ETL工具：ETL（Extract, Transform, Load）工具是一种用于从源系统提取数据，进行必要的转换和清洗，然后将数据加载到目标系统的工具。这些工具通常具有强大的数据处理功能，可以处理大规模的数据。
3. 使用数据处理框架：例如Apache Spark等数据处理框架，可以处理大规模的数据，并且支持多种数据处理模式，包括批处理、流处理和机器学习等。
4. 使用API接口：如果源系统提供了API接口，可以使用API从源系统获取数据。这种方法可以更直接地获取到源系统的数据，并且可以更好地控制数据的获取和处理方式。
5. 使用数据库中间件：数据库中间件是一种用于连接不同数据库的系统，可以将数据从一个数据库传输到另一个数据库。数据库中间件可以处理大规模的数据传输，并且支持多种数据库类型。