weixin_38290411 2017-05-09 14:03 采纳率: 0%
浏览 1280

怎么用hadoop测试大数据检索过程的性能瓶颈

大牛们，求助啊，我是一名在读的研一学生，刚接触hadoop，现在接触的项目要求用hadoop测试大数据检索过程的性能瓶颈。。。到时给的要求是不用mapreduce，深入到hdfs源码，了解具体哪段代码段使用哪个硬件，比如"cpu,io,磁盘“等，再打上时间戳这样方向对吗？？感觉实现难度好大呀？？还麻烦您给点建议及意见ps，之前搭了个ganglia工具的环境，导师不满意，说只是外部应用，测不准，最好能得到各部分硬件的具体使用时间长短

  • 写回答

3条回答 默认 最新

  • threenewbee 2017-05-09 15:52
    关注

    逐步增加负载，监测各个性能参数，然后找你的问题所在

    评论

报告相同问题？

  • hadoop和大数据、spark的关系该怎么理解？ hadoop spark 大数据
    2022-06-23 13:55
    回答 1 已采纳 Hadoop和Spark都是处理大数据的框架。就象你说关系型数据库，这只是一个概念，但是代表了一系列的含意，比如数据是结构化的，基于关系模型存储的。而MySQL、Oracle、SqlServer这些就
  • 大数据、Hadoop hadoop 大数据
    2022-12-19 16:44
    回答 1 已采纳 format只需要对NameNode做，如果你在node3做了也没关系，删除node3上的、hdfs-site.xml中配置的NameNode对应的目录即可，然后在node1上也删除相同的目录后，重新
  • 关于hadoop和spark大数据开发 大数据
    2016-06-12 05:52
    回答 2 已采纳 你好 本人刚在大数据库处理方面 学习 对此有以下理解 1，大数据处理看到的注重点是对数据处理 ，字段与字段在oracle与oracle ，oracle与mysql，oracle与mariadb等数据
  • 大数据测试-功能&性能
    2022-08-05 14:18
    耿小洋的博客 大数据测试-功能&性能
  • hadoop大数据平台搭建–集群部署hadoop平台 linux
    2021-08-22 22:43
    回答 3 已采纳 服务器性能不够，或者是配置文件没配置对。
  • 大数据hadoop完全分布式安装配置怎么做 hadoop
    2023-03-02 16:06
    回答 3 已采纳 小魔女参考了bing和GPT部分内容调写:要安装配置Hadoop的完全分布式，首先需要准备好master节点和slave节点，其中master节点需要安装jdk，slave节点只需要安装ssh服务，并
  • Hadoop平台搭建 hadoop
    2022-04-20 08:36
    回答 3 已采纳 排查方向：1、检查host文件，看IP地址跟主机名对应关系2、检查防火墙，需要关闭3、在这一步，即使你做了ssh免密登录，排查方向还是在ssh这里，主要是检查node23节点有没有把公钥传输到你的ma
  • 大数据基础-测试过程
    2023-03-06 19:10
    软件测试君的博客 大数据是一个大的数据集合，通过传统的计算技术无法处理。这些数据集的测试需要用各种工具、技术、框架进行处理。大数据涉及数据创建，存储、检索、分析，而且它在数量、多样性、速度都很出色。
  • Hadoop集群搭建时问题 big data hadoop 大数据
    2022-02-09 08:07
    回答 1 已采纳 题主的hadoop102 和 hadoop103 应该没有开sudo 对吧，直接使用ssh进行命令的启动恐怕是不行的，可以尝试写一个跳转的shell到每个node中进行sudo启动，关于sudo权限
  • java对于大数据来说需要掌握到什么程度? hadoop java 大数据 有问必答
    2021-09-07 10:41
    回答 2 已采纳 大数据细分成很多工种,我猜你想问的是大数据开发岗,大数据开发岗要求Java掌握程度不算太高,JavaSE学完就可以了,实际工作中需要用Java做UDF等简单封装
  • 大数据排序，请高手指点 sql 中间件 大数据
    2018-01-06 14:34
    回答 3 已采纳 典型的topK算法问题，自己参考： https://www.cnblogs.com/xudong-bupt/archive/2013/03/20/2971262.html
  • 《Hadoop大数据技术原理与运用》知识点总结
    2020-12-25 10:50
    呆小黎的博客 参考书籍《Hadoop大数据技术原理与应用》清华大学出版社 黑马程序员/编著 1.什么是大数据？大数据的四个特征是什么？ 答：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合...
  • hadoop集群测试pi实例出错 hadoop
    2022-04-24 18:59
    回答 1 已采纳 你好，我之前测试成功过，如有帮助，请采纳！ 然后进入到etc/hadoop 目录下，使用命令vim mapred-site.xml将路径添加到<property></property
  • Hadoop大数据技术栈详解
    2022-09-19 09:32
    wespten的博客 大数据（Big Data）∶指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决：海量...
  • 大数据测试
    2021-12-16 10:05
    wangmcn的博客 大数据测试是对大数据应用程序的测试过程，以确保大数据应用程序的所有功能按预期工作。大数据测试的目标是确保大数据系统在保持性能和安全性的同时，平稳无差错地运行。 大数据是无法使用传统计算技术处理的大型...
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥15 c程序不知道为什么得不到结果
  • ¥40 复杂的限制性的商函数处理
  • ¥15 程序不包含适用于入口点的静态Main方法
  • ¥15 素材场景中光线烘焙后灯光失效
  • ¥15 请教一下各位，为什么我这个没有实现模拟点击
  • ¥15 执行 virtuoso 命令后，界面没有，cadence 启动不起来
  • ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
  • ¥20 有关区间dp的问题求解
  • ¥15 多电路系统共用电源的串扰问题
  • ¥15 slam rangenet++配置