阿黄Ahuang 2022-01-10 09:45 采纳率: 50%
浏览 62

大数据如何进行数据阶段的验证

通过查询资料，我了解到大数据的测试非常重要的是数据库测试。
而数据库测试又分为：数据验证，过程验证，输出验证
数据验证要做的事情如下：

  • 来自各方面的数据资源应该被验证，来确保正确的数据被加载进系统
  • 验证加载到Hadoop的数据和源数据是一致的
  • 验证正确的提取和加载数据至hdfs中

我有看到可以使用Talend做数据阶段验证，但Talend没有Linux版本，有别的方法做数据验证吗，除了Talend

  • 写回答

1条回答 默认 最新

  • DarkAthena ORACLE应用及数据库设计方案咨询师 2022-01-10 14:29
    关注

    对于源端和目标端,分别对所有行列的数据用同一种hash算法得出一个值,比如计算md5,再比较这个值是否一致,这是在验证阶段最减少数据输出的方式了

    评论

报告相同问题？

  • 数据仓库 大数据 apachhive hive 大数据 数据仓库
    2023-02-24 15:51
    回答 1 已采纳 是的，Apache Hive的分层就是指把不同维度的数据抽取出来，并根据不同的维度进行分类存放。通过这种方式，可以更好的管理数据，便于后续的查询和分析处理。
  • 大数据离线数仓的学习路线是什么？ 大数据 数据仓库 有问必答
    2021-11-03 15:23
    回答 1 已采纳 Java或者python基础 hdfs zookeeper flume kafka hive mysql sqoop azkaban,离线数仓只是大数据一部分内容，发展方向这个不好说，你不能只靠这一个
  • 大数据离线数仓遇到工作瓶颈 大数据 数据仓库
    2022-08-06 14:55
    回答 2 已采纳 看你是要横向发展还是纵向发展了，如果继续大数据离线数仓的纵向发展工作，那么对各种数据库，nosql，olap的操作方式，每种工具底层原理都要比较熟悉，其实不管怎样，核心关注的都是时间复杂度和空间复杂度
  • 大数据决策的五个阶段
    2022-12-11 18:11
    汉森老师的博客 互联网和消费金融是大数据应用最为...很多人都在谈“数据驱动”，但不是有数据就能驱动决策，数据与决策中间的一环是知识，而从大数据到知识需要一些“想象力”。有想象力（或是有想法）的人在任何一个时代都是稀缺的。
  • 数据科学与大数据技术和数据科学与大数据技术（智能信息处理） 大数据 有问必答
    2022-01-11 20:09
    回答 2 已采纳 学习的基础都是一样的，带括号就代表学习路线更倾向于智能信息处理，数据科学与大数据技术的方向有很多的，那个只是其中一个，出来后你也不一定会走那个路线，主要看自己的选择，就比如说软件工程专业的倾向于Jav
  • 华为认证大数据工程师 大数据
    2022-03-29 22:18
    回答 3 已采纳 如果家里条件允许的话可以考虑一下，华为认证社会认可度还是蛮高的
  • Java建议转大数据吗本科 etl工程师 大数据 数据库开发
    2022-07-02 22:58
    回答 2 已采纳 你所搜的岗位都有，但是每个岗位的工作内容有很大的区别比如大数据开发工程师，这是一个比较宽泛的定义，没有具体到岗位职责，可以是etl工程师，也可以是大数据平台开发，也可以是大数据实时开发，也有大数据运维
  • 大数据离线集群数据迁移实战项目
    2022-07-09 23:54
    岁月的眸的博客 大数据离线集群数据迁移与元数据迁移
  • python大数据整理 python 大数据
    2023-01-30 19:57
    回答 2 已采纳 如果数据是按照天来统计的，可以参考以下步骤： 利用 pandas 读取每天的数据并将其合并到一个大的 DataFrame 里面在 DataFrame 里面根据日期列创建一个新的日期列，用来储存日期的月
  • java后端转大数据怎么样 java 大数据
    2022-06-17 21:25
    回答 1 已采纳 前端和云原生也不错
  • 转行大数据要学什么框架 大数据
    2022-07-09 09:51
    回答 1 已采纳 学flink和hadoop把，我最近也在学，同学加油
  • 大数据技术之集群数据迁移
    2023-04-20 16:43
    运维仙人的博客 在大数据集群数据迁移的项目中涉及到很多技术细节，本博客记录了迁移的大致的操作步骤。迁移借用Hadoop自带的插件：distcp。
  • 大数据、Hadoop hadoop 大数据
    2022-12-19 16:44
    回答 1 已采纳 format只需要对NameNode做，如果你在node3做了也没关系，删除node3上的、hdfs-site.xml中配置的NameNode对应的目录即可，然后在node1上也删除相同的目录后，重新
  • 大数据的处理是怎样的过程
    2022-04-11 13:46
    中琛源科技的博客 大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 　既然是通过大数据来做...
  • 大数据建模应用案例
    2021-02-23 22:57
    汽车电子控制器嵌入式软件开发也需要在研发早期阶段开展更充分的验证与测试，以便达到一次设计正确的目的，节省开发成本，缩短研发周期。ETAS作为汽车行业一流的嵌入式软件研发工具与服务供应商，提供的新能源汽车...
  • 没有解决我的问题, 去提问

问题事件

  • 创建了问题 1月10日

悬赏问题

  • ¥15 如何在scanpy上做差异基因和通路富集？
  • ¥20 关于#硬件工程#的问题，请各位专家解答！
  • ¥15 关于#matlab#的问题：期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707，使系统具有较小的超调量
  • ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
  • ¥30 截图中的mathematics程序转换成matlab
  • ¥15 动力学代码报错，维度不匹配
  • ¥15 Power query添加列问题
  • ¥50 Kubernetes&Fission&Eleasticsearch
  • ¥15 報錯：Person is not mapped，如何解決？
  • ¥15 c++头文件不能识别CDialog