问题遇到的现象和发生背景
hadoop MR如何稳定发压支持几万qps？
具体背景：数据规模常规是亿级别。想了解下通过mr脚本发送http请求，这个请求最长处理时长可能为2000s，如果该请求结果返回body里显示被限流，该请求需要进行重试。有哪些方案达到稳定发几万qps（最多仅能接受上下波动5%，锯齿不能太严重)？
hadoop 稳定发压设计方案
- 写回答
- 好问题 0 提建议
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2024-06-12 08:19### 基于Hadoop的旅游大数据平台设计与实现 #### 一、课题来源及意义 本课题来源于实际工作中的需求，旨在通过构建一个旅游大数据平台来解决当前旅游业中存在的数据分析难题。随着移动互联网的普及，大量的用户...
- 2021-06-30 15:07大数据设计方案是企业在开展大数据项目时的关键文档，它涵盖了系统数据流程设计、具体版本选型、服务器选型、运维成本分析以及集群规模规划等多个方面。以下是对这些内容的详细阐述： 1. **系统数据流程设计**： -...
- 2018-12-06 17:23### 大数据设计方案知识点 #### 一、项目背景与目的 **项目背景：** 西安旅游集团作为一家拥有丰富旅游资源的企业，希望通过运用先进的信息技术手段来整合并最大化利用其资源。集团旗下的业务涵盖了餐饮、旅游、...
- 2024-05-26 17:09m0_74438917的博客 本文旨在从专业的角度对Hadoop技术进行全面而深入的剖析，探讨其在大数据处理领域的核心地位、关键特性、架构设计、数据存储与处理机制，以及在实际应用中所展现的优势与面临的挑战。同时，本文还将对Hadoop的发展...
- 2025-11-11 21:21本毕业设计项目构建了一个面向金融信贷风险管控的大数据处理平台，采用Hadoop与Spark相结合的技术架构。该项目在导师的专业指导下完成，并通过学术评审，获得98分的优异成绩。所有程序源代码均已在本地环境完成编译...
- 2025-09-01 10:01武汉唯众智创的博客 据教育部网站数据，自 2016 年首批 3 所高校获批开设大数据技术专业以来，截至 2025 年，全国开设大数据相关专业的高校已近 1600 所，其中本科院校 800 余所，高职院校 860 余所，整体呈增长趋势，且高职院校相关...
- 2023-10-23 16:04Hadoop是一个开源框架，主要用于存储和处理大规模数据，而HDFS（Hadoop Distributed File System）是Hadoop的核心部分，是一个分布式文件系统，为大数据处理提供了可靠且可扩展的存储解决方案。HBase则是在Hadoop之...
- 2022-06-16 23:30码出人生的意义的博客 概述Hadoop
- 2021-08-08 22:38为了解决这些问题，本文提出了一种基于Hadoop的分布式集群大数据动态存储系统的设计方案。 首先，需要明确Hadoop在大数据处理中的地位和作用。Hadoop是一个开源的分布式存储和计算平台，它提供了一套完整的生态系统...
- 没有解决我的问题, 去提问
问题事件
系统已结题
11月12日
创建了问题
11月4日