本人用的hive，可以理解为关系型数据库，现在的需求是，有一塔数据，数据中都有手机号，我需要看看这一沓数据中有哪些是数据里已经有了的。
目前我的做法是，先取一条，然后按照手机号遍历整张表，然后下一条，遍历，下一条，遍历。。。。。。
我觉得此法即使加了索引效率也很低，求一个效率高的sql，或者思路
10条回答
lPsycongroo 2018-03-21 08:26关注用分组查询不行吗，根据手机号码分组，总数大于1的就是有重复的
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报
分享
- 2018-03-19 08:39回答 10 已采纳 用分组查询不行吗，根据手机号码分组，总数大于1的就是有重复的
- 2022-07-02 22:58回答 2 已采纳 你所搜的岗位都有，但是每个岗位的工作内容有很大的区别比如大数据开发工程师，这是一个比较宽泛的定义，没有具体到岗位职责，可以是etl工程师，也可以是大数据平台开发，也可以是大数据实时开发，也有大数据运维
- 2018-12-04 04:33回答 1 已采纳 百度地图api就可以批量获取经纬度。 [](https://bbs.csdn.net/topics/391040534 "")
- 2022-05-19 20:37大数据求学路的博客 散列分区：通过指定分区数量或编号来均匀分布数据的一种分区类型，分区数量常采用2的N次方；当列的值没有合适的条件时，采用散列分区； 组合分区:范围分区和列表分区组合；范围分区和散列分区组合，分区中的分区被...
- 2022-03-31 17:24回答 5 已采纳 其实没有实际的标准明确定义多少数据量算大数据，不过阿里开发手册中建议，表数据超过500万条时，建议考虑分表，以防影响查询效率，不过我们公司也有单表超过几千万条的数据，效率确实不高，所以理论上百万级别以
- 2021-04-03 00:10回答 2 已采纳 nosql和sql并不是一个对立的概念。 大数据其实不光使用nosql的数据库，也使用传统关系型数据库。 hbase和mysql最终要的一个差别就是存储上hbase是按列存储，mysql是按行存储
- 2021-10-01 20:36回答 3 已采纳 开发，买内存大一点的，因为比较耗内存。条件允许可以考虑苹果笔记本。否则可以考虑买联想系列。如果是学生，买价格4000多的就够了，i5处理器，4g或者8g运行内存。如果为了工作中用，买价格6000左右的
- 2020-12-23 10:55阿猴HOSEA的博客 数据库中有有一张表专门存储用户的维度数据，由于随着时间的推移，用户的维度数据也可能发生变化，故每一次查看都会保存一次记录。现在需要对数据按用户分析，但当中有大量的重复数据，仅用数据库的等值去重明显不...
- 2017-01-20 15:22回答 3 已采纳 这边没人，具体大家看下面这个吧，这个讨论出了一些解决方案。 http://bbs.csdn.net/topics/392079561
- 2017-05-25 07:52回答 6 已采纳 以Oracle数据库为例：把jsp的内容存进clob类型的字段中；点击某个按钮，从数据库中取出该jsp内容，加载的前台的空jsp页面中即可。 不知道是不是你要的答案。
- 2015-06-06 01:35回答 4 已采纳 select * from table a where exists(select pk from (select count(*) n ,pk from table group by pk) b w
- 2022-07-28 11:02m0_62653861的博客 大数据生态系统，特别是几大主流数据库之间的基础语法学习
- 2017-09-16 02:26回答 2 已采纳 https://www.2cto.com/database/201701/589415.html
- 2019-06-19 16:12数通畅联的博客 大数据理念从被炒火至今一直持续着热度，很多企业也开始抱着理性的态度去看待大数据分析，在笔者之前的文章中曾写道，大数据并不是适合所有企业，即使要做大数据分析，也要有一套正确的理念和落地方案，包括：意识...
- 2023-07-30 00:58欧叶冲冲冲的博客 MapReduce是hadoop的核心组件之一，...Windows下登录Hadoop102lcd切换Windows路径，cd切换Linux路径，get下载，put上传MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop 的数据分析应用”的核心框架。
- 没有解决我的问题, 去提问
悬赏问题
- ¥20 腾讯企业邮箱邮件可以恢复么
- ¥15 有人知道怎么将自己的迁移策略布到edgecloudsim上使用吗？
- ¥15 错误 LNK2001 无法解析的外部符号
- ¥50 安装pyaudiokits失败
- ¥15 计组这些题应该咋做呀
- ¥60 更换迈创SOL6M4AE卡的时候，驱动要重新装才能使用，怎么解决？
- ¥15 让node服务器有自动加载文件的功能
- ¥15 jmeter脚本回放有的是对的有的是错的
- ¥15 r语言蛋白组学相关问题
- ¥15 Python时间序列如何拟合疏系数模型