感觉处理的很慢，12台机器（16c32g）每秒才10w。filter也很简单，只是对字段做了些操作。怎么能提升下
0条回答 默认 最新
- 2020-12-20 06:05weixin_39682940的博客 说明接着上一篇的部署文章后，本篇就跟着笔者来看看相关组件的调优吧，其实优化方式可粗略分为：水平优化和垂直优化。水平优化主要就是水平扩展...硬件优化服务组件CPU内存硬盘Filebeat高高低Logstash高高低Kafka高...
- 2025-08-28 09:04友莘居士的博客 本文详细介绍了如何在Logstash中配置从Elasticsearch读取数据并输出到Kafka的完整流程。主要包括三个核心部分：input（使用Elasticsearch插件定义数据源）、filter（可选的数据处理）和output（配置Kafka输出）。...
- 2025-08-15 23:13程序员光剑的博客 Kafka 是应对实时数据洪流的分布式消息系统引擎，高吞吐、低延迟、高可靠、可扩展是其核心价值。Topic（逻辑流）、Partition（并行子流）、Producer（写入者）、Consumer & Consumer Group（组内并行消费）、Broker...
- 2025-09-23 22:19AI架构全栈开发实战笔记的博客 在大数据时代，数据像决堤的洪流般涌来——电商的交易日志、物联网的传感器数据、社交媒体的用户行为，每一秒都有TB级数据需要处理。传统消息队列（如ActiveMQ、RabbitMQ）在这种场景下往往“力不从心”：要么吞吐量...
- 2025-05-13 00:20程序员光剑的博客 在大数据时代，企业对实时数据处理与检索的需求日益增长。传统离线搜索系统无法满足秒级甚至亚秒级的实时性要求，而基于Kafka的实时搜索系统能够通过消息队列解耦数据生产与消费，实现高吞吐量的数据流转和低延迟的...
- 2021-10-25 15:48大往生指导员的博客 所使用集群架构组件及版本信息如下： 名称 版本号 filebeat 7.10.0 kafka 2.4.1 zookeeper 3.5.7 logstash 7.5.2 elasticsearch 7.5.2 kibana 7.5.2
- 2024-09-14 21:34青云交的博客 本文深入探讨 Kafka 消息队列在大数据时代实现高吞吐量数据传输的奥秘及广泛应用场景。详细阐述了分布式架构、异步处理等六大技术优势，涵盖电商、金融、物联网等多领域应用。分析实际案例及注意事项，展望与新兴...
- 2025-04-22 19:04程序员光剑的博客 教育科技（EdTech）的数字化转型催生了海量数据：在线课程的播放记录、学生作业提交行为...本文聚焦Kafka在教育科技数据处理中的核心价值与实践方法Kafka适配教育数据特性的架构设计教育场景下的Kafka集群部署与调优。
- 2025-07-06 16:10AI大数据智能洞察的博客 在当今数据驱动的世界中，Apache Kafka已成为连接系统、处理实时数据流的核心枢纽。然而，随着Kafka集群规模扩大和使用复杂度增加，确保其稳定运行和性能优化变得愈发挑战。本文将带您深入探索Kafka监控的艺术与科学...
- 2025-08-19 21:24Agentic AI人工智能与大数据的博客 想象一下，你是一家大型电商平台的技术负责人。"双11"购物节期间，每秒有数百万用户同时浏览商品、加入购物车、下单支付。每个用户行为都会产生数据...这正是大数据时代面临的普遍挑战：如何在数据量爆炸式增长的背景下
- 没有解决我的问题, 去提问
问题事件
系统已结题
10月6日
修改了问题
9月28日-
创建了问题
9月28日