本人用的hive，可以理解为关系型数据库，现在的需求是，有一塔数据，数据中都有手机号，我需要看看这一沓数据中有哪些是数据里已经有了的。
目前我的做法是，先取一条，然后按照手机号遍历整张表，然后下一条，遍历，下一条，遍历。。。。。。
我觉得此法即使加了索引效率也很低，求一个效率高的sql，或者思路
10条回答 默认 最新
lPsycongroo 2018-03-21 08:26关注用分组查询不行吗，根据手机号码分组，总数大于1的就是有重复的
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报
分享
- 2022-07-02 22:58回答 2 已采纳 你所搜的岗位都有，但是每个岗位的工作内容有很大的区别比如大数据开发工程师，这是一个比较宽泛的定义，没有具体到岗位职责，可以是etl工程师，也可以是大数据平台开发，也可以是大数据实时开发，也有大数据运维
- 2018-12-04 04:33回答 1 已采纳 百度地图api就可以批量获取经纬度。 [](https://bbs.csdn.net/topics/391040534 "")
- 2022-03-31 17:24回答 4 已采纳 其实没有实际的标准明确定义多少数据量算大数据，不过阿里开发手册中建议，表数据超过500万条时，建议考虑分表，以防影响查询效率，不过我们公司也有单表超过几千万条的数据，效率确实不高，所以理论上百万级别以
- 2024-12-07 16:54FHKHH的博客 在面对超出内存处理能力的大数据场景（如日志处理、大型文件去重等）时，需要设计高效的算法和系统架构。以下是针对不同场景提出的几种解决方案，包括具体实现思路及适用场景。根据实际需求和资源条件选择合适的方案...
- 2017-01-08 12:56回答 2 已采纳 ``` --问题一：（下面以SQL Server为例，其它类似） --题目 create table question( questionId int identity(1,
- 2021-04-03 00:10回答 2 已采纳 nosql和sql并不是一个对立的概念。 大数据其实不光使用nosql的数据库，也使用传统关系型数据库。 hbase和mysql最终要的一个差别就是存储上hbase是按列存储，mysql是按行存储
- 2021-10-01 20:36回答 3 已采纳 开发，买内存大一点的，因为比较耗内存。条件允许可以考虑苹果笔记本。否则可以考虑买联想系列。如果是学生，买价格4000多的就够了，i5处理器，4g或者8g运行内存。如果为了工作中用，买价格6000左右的
- 2020-07-20 17:42文章中提到的系统构建了一个包含某高校几年内所有相关学术论文的数据库，以此为基础进行查重。 在系统设计上，首先进行了需求分析，这包括明确查重的目标、确定系统应具备的功能以及用户群体的需求。系统采用敏捷...
- 2017-01-20 15:22回答 3 已采纳 这边没人，具体大家看下面这个吧，这个讨论出了一些解决方案。 http://bbs.csdn.net/topics/392079561
- 2017-05-25 07:52回答 6 已采纳 以Oracle数据库为例：把jsp的内容存进clob类型的字段中；点击某个按钮，从数据库中取出该jsp内容，加载的前台的空jsp页面中即可。 不知道是不是你要的答案。
- 2015-06-06 01:35回答 4 已采纳 select * from table a where exists(select pk from (select count(*) n ,pk from table group by pk) b w
- 2022-05-19 20:37大数据求学路的博客 散列分区：通过指定分区数量或编号来均匀分布数据的一种分区类型，分区数量常采用2的N次方；当列的值没有合适的条件时，采用散列分区； 组合分区:范围分区和列表分区组合；范围分区和散列分区组合，分区中的分区被...
- 2023-11-06 17:29Hadoop是Apache基金会开发的一个开源框架，主要设计用于处理和存储大规模数据。它的核心思想是分布式存储和并行计算，使得处理海量数据变得可能。Hadoop架构由两个主要部分组成：Hadoop Distributed File System ...
- 2021-07-04 15:111. 信息建设尚处于探索阶段：主要表现在数据库中存在大量闲置数据，科研人员还在搜集价值不高的数据，导致资源浪费和科研管理效率低下。 2. 信息化理念落后：部分高校科研管理人员理念滞后，重视经费和项目管理，...
- 2018-06-22 10:16PaperPass利用大数据和先进的文本比对技术，对比用户提交的论文与海量的网络资源、学术文献库和已发表论文，找出相似度高的段落，生成详细的查重报告。报告通常会显示相似内容的比例、来源及具体相似段落，供作者...
- 没有解决我的问题, 去提问
