2000万条开房数据,如何快速查询(数据库优化)

某酒店泄漏 2000 万条数据。http://kfxx.info/

如何快速查询某个姓名的全部记录。

姓名不是唯一的,有可能重名。

csv 格式数据大概 3G 大小,如果导入数据库中,大概1.5G(MySQL),而且 2000万也不是个小数目。

5
suannai0314
鹳狸媛 楼主的这个问题解决了么?下边的答案能解决问题么?如果可以麻烦点击答案旁的√采纳哦~如果没有也可以将自己的答案贴上然后进行采纳的。
5 年多之前 回复

32个回答

索引啊,这还有什么好想的,如果你知道表结构的话,如果没有导数据库,放在linux上用cat | grep也可以

如果你舍得花时间,你可以把数据整个重构一遍,按照姓名或者其他的查询字段做分表,这样查询起来更快,如果直接用导入的csv文件的话就没办法了,只能直接索引

3
avi9111
avi9111 1张图片的数据量几乎都比你2000万条数据多了,没见过1.5G的图片么?几百M该见过了吧,加载到内存那是秒秒钟的事情,1是加载内存没问题,而且索引只是快速定位用的,所以2是索引跟内存加载没什么太大关系吧
4 年多之前 回复
huiyuanzaixian
wukonggaoxing 索引当然是很自然我们能想到的查询优化方法,,可是如果数据量非常大,无法一次 性载入全部载入内存,又该怎么办?
4 年多之前 回复

索引处理,配合表分区处理

2

只是查找的话就用社工库的查询工具http://www.weigongkai.com/

2

还是在姓名字段加上合适的索引 并将你所感兴趣的列用INCLUDE包含在内。

1

在姓名字段建立索引,速度提高不是一点点,本人已经将2000w数据进行导入测试,亲测可行!

1

如果要支持模糊查询,简单的索引就不行了。但是无论如何,采用索引是一种解决的方法。

1

可以利用redis数据库,把mysql的数据都写入到redis中,在利用reids查询,效率非常高,只不过在写入的时候费一些时间

1
weixin_42413519
weixin_42413519 写入到redis中
11 个月之前 回复
huiyuanzaixian
wukonggaoxing 你的意思是说把数据库中的数据全部写入到redis中?这个工作量都有点大,更何况要再上面做查询优化?
4 年多之前 回复

别的不清楚,加索引是必然的,可以采取分库的方式(前提是这2000W数据可以划分出来)

1

排序了
不知道数据库的结构,就是一堆杂乱的数据
先查姓、查名
若有生疏字,先查

1

把网站提出来,作si?

这不是老新闻么,sql server的备份文件当时都流出来了.

8GB的库,虚拟机分8G内存,查得像飞一样。
优化当然是建立索引了。

1
共32条数据 1 3 4 尾页
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
利用Powrshell 查看在2000万信息中看看自己在不在所谓的开房信息中!
最近从网上下载了所谓的2000W的开房数据,我不会告诉你从哪里下载的,因为那是犯罪滴,给大家过过眼瘾就好了。仔细分析了下数据,发现表的内容其实不像是酒店的开房流水表,而是所谓的会员数据,能够达到2000万的数据,这是很恐怖的一件事情,我怀疑这个不仅仅是某单个会员数据库泄露,你想想如果全国2000万的用户都办理了某个酒店会员,这是多恐怖的一件事情,所以这个应该是某个系统的数据,我更加认为!
汉庭如家2000万条开房记录免费下载
之前忘了把密码放上去,现在更新了。有问题欢迎给我留言 里面是种子所以才显示100k................... 链接: https://pan.baidu.com/s/1_NsjuRY0mdBupC75BEwYwA 密码: hqhn...
快速插入2000万数据
前提设置表主键为自动递增 #默认主键为1 :alter table user modify id integer default '1'; #默认主键:alter table user modify id integer auto_increment ; #时间主键:alter table user add createtime timestamp default curre
从2000万条开房数据谈检索
看到以前一个帖子 2000万条开房数据,如何快速查询(数据库优化)。(按照规矩,先把福利贴上 http://kfxx.info)   一、引言 对数据库索引的关注从未淡出我的们的讨论,那么数据库索引是什么样的?聚集索引与非聚集索引有什么不同?希望本文对各位同仁有一定的帮助。有不少存疑的地方,诚心希望各位不吝赐教指正,共同进步。[最近首页之争沸沸扬扬,也不知道这个放在这合适么,苦劳?功劳?…...
某酒店2000W条数据如何打开
背景:最近关于酒店开房信息泄露的新闻很火,哥也按耐不住好奇心,准备一探究竟, 在网络赶快找源,终于找到一个数据库的备份,名称是: 某酒店2000W数据.rar ;解压密码:sjisauisa是就数据8很舒适好sjjss, 解压之后文件名是shifenzheng.bak, 有7.8G左右, 猜测可能是SQL Server的数据库备份的. 但是到底用那个版本呢? 不过有一个规律是: 微软的数据库高版本向下兼容的,高版本一般肯定能打开低版本的. 所以我直接下载了,SQL Server 2008 R2的光盘镜像.
Spark SQL 初探: 使用大数据分析2000万数据
去年网上曾放出个2000W的开房记录的数据库, 不知真假。 最近在学习Spark, 所以特意从网上找来数据测试一下, 这是一个绝佳的大数据素材。 如果数据涉及到个人隐私,请尽快删除, 本站不提供此类数据。你可以写个随机程序生成2000W的测试数据, 以CSV格式。 Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于
2000万开房数据【多线程】写入同一文件
2000万开房数据【多线程】写入同一文件 源代码下载地址:hhttp://www.zuidaima.com/share/1665015160769536.htm
从2000万条开房数据优化谈检索
看到以前一个帖子 2000万条开房数据,如何快速查询(数据库优化)。(按照规矩,先把福利贴上 http://kfxx.info)  一、引言 对数据库索引的关注从未淡出我的们的讨论,那么数据库索引是什么样的?聚集索引与非聚集索引有什么不同?希望本文对各位同仁有一定的帮助。有不少存疑的地方,诚心希望各位不吝赐教指正,共同进步。[最近首页之争沸沸扬扬,也不知道这个放在这合适么,苦劳?功劳?……
数据处理案例,数据质量案例【2000万开房记录泄露数据处理】
数据处理案例,数据质量案例
测试2000线程并发下同时查询1000万条数据库表及索引优化
再送一波干货,测试2000线程并发下同时查询1000万条数据库表及索引优化 时间 2016-08-15 18:53:24  博客园精华区 原文  http://www.cnblogs.com/fanwencong/p/5774117.html 主题 数据库 并发 线程 继上篇文章《 绝对干货,教你4分钟插入1000万条数据到mysql数据库表,快快进来 》发布后在博客园
某酒店2000W数据
某酒店2000W数据 2000万开房信息 【某酒店2000w数据 ct2000(解压密码:sjisauisa是就数据8很舒适好sjjss).rar】 国内安全漏洞监测平台乌云(WooYun.org)近日发布报告,称如家、汉庭等大批酒店的2000万开房信息被第三方存储,并且因为漏洞而泄露。  该漏洞早在8月份就已经被发现并确认,随后按照标准流程通知厂商,并逐步向专家和技术人员公开,而如今已将漏洞
如何在1000万条记录中快速检索? 数据追踪
一些大规模的系统,如人口系统的数据甚至超过了1000万条,可谓海量。那么,如何实现快速地从这些超大容量的数据库中提取数据(查询)、分析、统计以及提取数据后进行数据分页已成为各地系统管理员和数据库管理员亟待解决的难题。 在以下的文章中,我将以“办公自动化”系统为例,探讨如何在有着1000万条数据的MS SQL SERVER数据库中实现快速的数据提取和数据分页。以下代码说明了我们实例中数据库的“红头
Mysql学习总结(35)——Mysql两千万数据优化及迁移
最近有一张2000W条记录的数据表需要优化和迁移。2000W数据对于MySQL来说很尴尬,因为合理的创建索引速度还是挺快的,再怎么优化速度也得不到多大提升。不过这些数据有大量的冗余字段和错误信息,极不方便做统计和分析。所以我需要创建一张新表,把旧表中的数据一条一条取出来优化后放回新表; 一. 清除冗余数据,优化字段结构 2000W数据中,能作为查询条件的字段我们是预知的。所以将这部分数据单
(日入数据2000万条)的数据库选择和接口的写法
场景 清洗数据,每天大概要清洗2000万条数据量; 数据源是别的项目组接口提供,我这边需要进行的处理是 整理数据后入库 分析 初始化数据的时候 大概是先要执行20亿的数据 选数据库 结论: 数据库的类型选MyisAm 原因: 1. 执行效率有10倍的差距 innodb autocommit 默认开启,这个机制在...
【Mysql】给你100万条数据的一张表,你将如何查询优化?
author:咔咔 wechat:fangkangfk 1.两种查询引擎查询速度(myIsam 引擎 ) InnoDB 中不保存表的具体行数,也就是说,执行select count(*) from table时,InnoDB要扫描一遍整个表来计算有多少行。 MyISAM只要简单的读出保存好的行数即可。 注意的是,当count(*)语句包含 where条件时,两种表的操作有些不同,Inno...
面试常见问题--数据库优化 百万数据怎么优化
一、数据库访问优化的五个法则     在实际开发,我们主要是需要对SQL语句进行优化,我们需要快速定位能性的瓶颈点,也就是说快速找到我们SQL主要的开销在哪里?根据木桶原理可以知道,最慢的设备往往是性能瓶颈。例如:互联网运用中的带宽,本地数据复制时的硬盘的访问速度。     根据当前计算机硬件的基本性能指标及其在数据库中主要操作内容,可以整理出如下五条性能基本优化法则:  
几千万条数据,怎么让查询效率高起来?
大数据量的优化,自己总结了下,在自己的认知范围内,整理了两个大方面 一、sql语句方面的优化 1、使用索引查询         1、造成全表查询的(索引失效的情况):避免null值查询。索引列的数据不要大量重复。where语句中or(union替代)、in not in(between and)、like、!=和  select id from t where num=@num 可
php处理上百万条的数据库如何提高处理查询速度(小白数据库优化)
php 处理上百万条的数据库如何提高处理查询速度 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如: select id from t where num is null 可以在num上设置默认值0,确保表
如何快速生成2000万行数据
文本三个要求 1,字符串长度为16   2,字符串只能包含大小写字母和数字(随机的) 3,要求生成2000万行的TXT文本 想通过shell完成,不知最快需要多久 生成的部分文本: hISzOp0nkN9d2Amg Ztv3RtSMDXjjxqBa hyGpHQjO7qw0kMEL 1Rbx0t4Rsha8OpI4 QQiZTaLrVO
如家开房记录查看器
如家开房记录查看器,再也不用担心你的他(她)偷人了.随时查看
一次MySQL两千万数据大表的优化过程,三种解决方案!(干货)
一、问题概述 使用阿里云rds for MySQL数据库(就是MySQL5.6版本),有个用户上网记录表6个月的数据量近2000万,保留最近一年的数据量达到4000万,查询速度极慢,日常卡死。严重影响业务。 问题前提:老系统,当时设计系统的人大概是大学没毕业,表设计和sql语句写的不仅仅是垃圾,简直无法直视。原开发人员都已离职,到我来维护,这就是传说中的维护不了就跑路,然后我就是掉坑的那个!!...
由于单表数据已经达到2000万数据,所以想分表,现假如分1000万为一单表,例有如一两个表:
由于单表数据已经达到2000万数据,所以想分表,现假如分1000万为一单表,例有如一两个表: 表a: id    title 1    张三 2    李四 ............ 表b: id    title 3    王五 4    赵六 ............. 表a和表b的结构是一样的,其中id为主键int型,title为varchar型字符串 现在的
如何一条SQL快速生成100万条测试数据
<br />创建大量的测试数据,动不动就需要上万条,如何通过一条SQL快速生成大量的测试数据的方法。SQL> select rownum as id,<br />  2                 to_char(sysdate + rownum / 24 / 3600, 'yyyy-mm-dd hh24:mi:ss') as inc_datetime,<br />  3                 trunc(dbms_random.value(0, 100)) as random_id,<br
SQL查询效率:100w数据查询只需要1秒钟
 机器情况: p4: 2.4 内存: 1 G os: windows 2003 数据库: SQL Server 2000 目的: 查询性能测试,比较两种查询的性能 SQL查询效率 step by step -- setp 1. -- 建表 create table t_userinfo ( userid int identity(1,1) pri
2000万开房记录泄露 开房星座排行榜:天秤座最爱开房
 2000万开房记录泄露 开房星座排行榜天秤座最爱开房。近日,网络上流传着一份名为“2000万开房数据”的资料在各大论坛提供下载,很多人可谓是捏了一把冷汗,随后有“查开房”网站出现并引发热议,大量网友“躺枪”,惊呼后脊梁“直冒冷汗”。其实像这样的“查开房”网站被封后不断复活,也有许多类似的网站不断出现。 小编在响应大数据时代的好觉做个简单统计,发现开房的人最多的就是天秤座,紧随其后的是天
Android数据库大批量数据插入优化
对比在android中批量插入数据的3中方式对比(各插入1W条数据所花费的时间): 1、 一个一个插入 1 public static boolean insert(SQLiteOpenHelper openHelper, 2 RemoteAppInfo appInfo) { 3 if (null == appInfo) { 4
数据库SQL优化大总结 百万级数据库优化方案
百万级数据库优化方案
mysql 百万级数据库优化方案
 一、百万级数据库优化方案1.对查询进行优化,要尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null最好不要给数据库留NULL,尽可能的使用 NOT NULL填充数据库.备注、描述、评论...
实际开发中遇到几百万条的数据,怎样查询出来的最快啊?
今天面试时被问及:当开发中发现数据库中的数据量很大,比如几百万条数据,怎么能最快的速度将数据查出放入结果集. 我实在没经历过这么大的数据量所以根本找不到北. 后面他说了几种方式 (1)存储过程 (2)分布式的查询 (3)建立检索 (4)分区什么的。。。。。(记不清了) 但是他说的这几种我任意一种我都不知道具体怎么实现还望各位相助。最好能给出现代码实现...
高性能分布式查询五千万条数据3秒查询完毕
package com.dinglin; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; public class Main { private static Connection c = null;...
5亿开房信息被脱库泄露!或成为近几年规模最大的数据泄露事件!
架构师成长的好伙伴连接技术 接力价值8月28日,朋友圈被一条信息刷屏:华住旗下多个连锁酒店开房信息数据正在暗网出售,受到影响的酒店,包括汉庭酒店、美爵、禧玥、漫心、诺富特...
数据库sql的优化问题的面试题
想一下这个道面试题怎么做有一张user表有1000万条数据,请为下面的sql提供优化建议?字段分别为: 主键id,用户id,姓名,性别select * from user where 姓名 like  '%张%' order by 主键id limit 0,100提示:一张表可以建多少个主键?可以建3~4个索引。正确答案:*换成 对应的字段姓名可以加索引,%如果姓名是张开头可以去掉前面的%注:wh...
数据库sql优化总结之1-百万级数据库优化方案+案例分析
项目背景 有三张百万级数据表 知识点表(ex_subject_point)9,316条数据 试题表(ex_question_junior)2,159,519条数据 有45个字段 知识点试题关系表(ex_question_r_knowledge)3,156,155条数据 测试数据库为:mysql (5.7)   1.对查询进行优化,要尽量避免全表扫描,首先应考虑在 where 及 or...
java一次性查询处理几百万数据解决方法
java一次性查询处理几百万数据解决方法 几百万数据是可以处理的 暂时还没试过几千万级的数据处理
如何提高sql查询100万条数据count(*)汇总的速度
SELECT o.name AS "Table Name", i.rowcnt AS "Row Count" FROM sysobjects o, sysindexes i WHERE i.id = o.id AND i.indid IN(0,1) AND o.xtype = 'u' --只统计用户表 AND o.name <> 'sysdiagrams' ORDER BY i.rowcnt DE
java一次性查询几十万,几百万数据解决办法 .
java查询一次性查询几十万,几百万数据解决办法 很早的时候写工具用的一个办法。 当时是用来把百万数据打包 成rar文件。 所以用了个笨办法。 希望高手指导一下,有什么好方法没有啊 1、先批量查出所有数据,例子中是一万条一批。 2、在查出数据之后把每次的数据按一定规则存入本地文件。 3、获取数据时,通过批次读取,获得大批量数据。此方法参见:http://yijianfen
高mysql千万级大数据SQL查询优化几条经验
高mysql千万级大数据SQL查询优化几条经验
华住被脱裤,旗下酒店上亿条开房记录被泄漏
今天上午( 8月28日),暗网中文论坛一个ID为 helen250 的发帖人发帖出售华住旗下所有酒店数据,包括汉庭、美爵、禧玥、漫心、诺富特、美居、CitiGo、桔子、怡...
Java一次性查询几十万 几百万数据解决办法
Java一次性查询几十万 几百万数据解决办法 Java查询一次性查询几十万,几百万数据解决办法。很早的时候写工具用的一个办法,当时是用来把百万数据打包成rar文件。所以用了个笨办法。 希望高手指导一下,有什么好方法没有啊。 Java查询一次性查询几十万,几百万数据解决办法。 很早的时候写工具用的一个办法,当时是用来把百万数据打包成rar文件。 所以用了个
分页查询十万条以上数据的sql语句
普通的select语句当查询超过10万条语句列表时速度会严重影响,下面是公司DBA写出的优化版的sql语句 SELECT T.POI_ID, T.POI_NAME, T.X_AXIS, T.Y_AXIS, T.POI_STATE, T.POI_DESC, T.POI_ADDRES
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 数据库优化培训 数据库优化培训