MySql 千万级数据量 查询很慢

图片说明

图片说明

如图:numberrecord 表 3600W数据量。
需求是去重掉 time 与 number一致的数据。 我用的去重插入复制表的方法。
目前已经执行12个小时了,一夜没睡。
试过用java去处理,多线程分页查询去重,jvm直接崩溃。
图片说明

VM options : -Xms5000m -Xmx8000m 电脑内存16G的

问题2就是3600W数据
SELECT number FROM numberrecord where time <'2019-07-08' group by number
需要查询出 2019-07-08之前的所有number数据. 这个sql 如何优化。
time,number都有索引
求大牛给个高效率解决方案。

5个回答

按月分表完美解决问题

对time列做索引,time列使用timestamp类型存储,千万不要字符串,还不行的话,分库份表查询再union

首先这么复杂和数据量大的操作是一定不能放在SQL中来实现。
应该考虑在代码中分页实现,你在代码中报错只是因为没写好而已。
思路大概是:对应表建好索引。分页十万条查询去重后的数据,循环查询分1万条批量插入。

还有类似记录日志统计的数据,应该考虑放在mongodb上

qq_18630487
真-酸辣土豆丝 回复且听聆讯: 你分这么多线程每个线程一个十万的集合加上其他集合内存肯定不够啊。不要开线程,你开这么多线程没意义瓶,数据库处理不了这么快。就一个线程跑。数据处理很快的,时间耗费在数据库
6 个月之前 回复
qq_34771955
且听聆讯 回复: 这些数据是不是最好不要放MYSQL数据库,要不全部放mongodb上会不会快很多?
6 个月之前 回复
qq_34771955
且听聆讯 我是分20个线程每条线程分页查10万条然后 每1000条批量入库一次。还是报了上面的错
6 个月之前 回复
  1. 这种去重方案,本身不合理。在sql查询中,所有否定谓语,如not like, not in, not exist都不能应用索引
  2. 去掉重复,可以考虑采用distinct或者group by实现
  3. 数据量巨大,考虑按时间分区或分库分表,然后在分组查询和合并

使用时间索引,程序中按天进行查询,where条件必须是指定的天,不能是时间范围

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
mysql更新数据的同时查询记录
多线程更新mysql数据库表里的某个字段值,更新过程中查询特别慢,有什么好办法解决吗,数据量很小,就几条记录
mysql单表千万数据如何优化
mysql 单表一千万的数据 多对多中间表 有A,B,C三张表 A表 表结构 id,name,time,.... B表 表结构 id,name.... C表(多对多中间表)表结构 id,Aid,Atime,Bid 为了优化把A表的time也放在了C表 C表 索引,index_Aid, index_Bid, index_Bid_Atime,index_Atime 查询语句:select DISTINCT Aid from C where Bid in (.....) order by Atime desc limit 0,20 在in大量的情况下 看解释器 走的索引是 index_Bid_Atime (Using index condition; Using temporary; Using filesort ) 很慢,如果把联合索引去掉 走排序的索引很快 在in只有1,2个的情况下 走联合索引很快,在排序索引很慢。有大神有优化办法吗?
为什么 mysql 单表数据很大的时候查询就很慢
## 如图,求解释 ![图片说明](https://img-ask.csdn.net/upload/201901/25/1548394013_910375.jpg) ## 。假设现在订单表,订单里面有个字段 卖家id, ## 那么在家了 卖家id索引的情况下,按理来说根据卖家id分表跟不分表的效率 ## 差别应该不是很大的,那么为什么说 表数据量大了,查询就很慢呢。 ## 而且分表的策略是根据卖家id。
mysql查询性能优化(数据量非常小,但查询很慢,初步确认是因为使用了左外连接)
首先,是这么一段sql: <br/> <font color="red">**SQL 1:**</font> <br/> ``` sql SELECT d.id, d.project_code, d.push_type, d.push_name, d.push_to, d.push_from, d.push_way, tr.isread, d.push_content, d.push_attachment, d.add_time, d.push_status, d.push_reviewer, push_time, d.reviewer_time, d.push_class, d.rel_object, p.short_name AS project_name, u1. NAME AS push_to_name, u2. NAME AS push_from_name, u3. NAME AS push_reviewer_name FROM tb_push_data d LEFT JOIN tb_project p ON p.short_code = d.project_code LEFT JOIN tb_user u1 ON u1. CODE = d.push_to LEFT JOIN tb_user u2 ON u2. CODE = d.push_from LEFT JOIN tb_user u3 ON u3. CODE = d.push_reviewer LEFT JOIN tb_push_log tr ON tr.pushdata_id = d.id WHERE 1 = 1 AND d.add_time BETWEEN '2017-01-01' and '2018-01-11' GROUP BY d.id LIMIT 0,100 受影响的行: 0 时间: 24.933s ``` <br/> 可以看到,仅仅是100条数据,查询时间竟然高达24秒,于是我尝试将左外连接改为交叉连接: <br/> <font color="red">**SQL 2:**</font> ``` sql SELECT d.id, d.project_code, d.push_type, d.push_name, d.push_to, d.push_from, d.push_way, tr.isread, d.push_content, d.push_attachment, d.add_time, d.push_status, d.push_reviewer, push_time, d.reviewer_time, d.push_class, d.rel_object, p.short_name AS project_name, u1. NAME AS push_to_name, u2. NAME AS push_from_name, u3. NAME AS push_reviewer_name FROM tb_push_data d, tb_project p, tb_user u1, tb_user u2, tb_user u3, tb_push_log tr WHERE 1 = 1 and p.short_code = d.project_code and u1. CODE = d.push_to and u2. CODE = d.push_from and u3. CODE = d.push_reviewer and tr.pushdata_id = d.id AND d.add_time BETWEEN '2017-01-01' and '2018-01-11' GROUP BY d.id LIMIT 0,100 受影响的行: 0 时间: 0.189s ``` <br/> 这一下查询时间终于算是正常了,看来很多人说的数据库查询不用外键不用join还是有道理的。 但是这又出现了一个问题,<font color="red">**因为SQL 2没有使用外连接,比如我某条数据是没有推送人的,那这条记录都显示不出来了。**</font> <br/> 那么,针对目前的这种情况,该如何优化?
mysql数据库设计问题,优化改进
现业务需求共有5张表 role(角色表)、tag(标签表)、role_tag(角色标签表)、file(文件表)、file_tag(标签文件表) 其中 角色和标签为多对多关系、文件与标签为多对多关系 标签表 为动态维护的树形结构 标签文件表大体结构:![图片说明](https://img-ask.csdn.net/upload/201912/31/1577773774_249056.jpg) 业务需求:根据选择的标签条件(多选)同时符合条件(and关系)筛选需要的文件 有没有什么好的设计方案,按照现在这种结构感觉很笨重。而且数据量大的情况下很慢。
大数据量Mysql查询后经过循环使用python分片
1 问题描述: (1)使用mysql查询基础数据,这里只有三四个基础的查询条件,联了一个表,同时有limit分页了; (2)之后经过一系列逻辑处理,在这些处理中又包含了很多sql查询,而且是在第(1)条查询出来的结果基础上查询,以前是先分页的,第(1)一次只查询了十条,第二步最多循环十次,但是现在的新逻辑是,查询出来后,经过(2)的处理,不满足筛选条件的数据remove掉,然后再返回最后剩下的数据 (3)由于每一页都会remove()掉部分数据,我曾经尝试定义全局变量,记录删除数据,但是只能得到我当前查询这一页删除了多少,无法获取总共删除了多少,而且每一页的数量都不一定是10条,一般来说是10条以下(因为会删除部分不符合筛选条件的数据),但是要求是要获取满足筛选条件的总数据量,而且需要正常分页 (4)于是我不用limit分页,直接取全量数据,然后再记录删除的数据量,使用切片手动分页,就能获取总数据了,每页也都是10条,但是循环次数过多,数据量稍微大一点儿,就需要49秒左右 2 部分相关代码: (1)基础查询: ``` SELECT op.order_id, opc.order_code, op.created_at AS create_time, opc.departure_date, opc.end_date, opc.company, opc.channel_id, opc.retail, opc.final_cost, opc.has_pay, opc.commission_price, opc.commission_type, opc.commission_value \ FROM order_product_customize AS opc \ LEFT JOIN order_product AS op ON opc.order_product_id = op.order_product_id \ WHERE { 0 } ORDER BY opc.created_at DESC { 1 } ``` (2) 手动分页: ``` nextPage = limit_start+page_size result['data_list'] = result['data_list'][limit_start:nextPage] result['total_num'] = result['total_num'] - self.delNum ``` 3 报错信息: 没有报错,只是执行时间极其长 一台比较好的机器,执行时间为27.72秒,本地执行时间接近40秒,无法上传图片 4 已经尝试过的办法 (1)记录删除次数再减去(因为每次都只查一页,只能获取当前页删除的条数) (2)取符合筛选条件的全量数据(数据量太大,又有循环,导致速度极其慢) (3)每次查20条左右数据,然后获取没删除的前10条,记录最后一条的id(动态分页,无法获取每一页第一条数据,无法保证20条经过筛选后还能剩下10条)
mysql 数据量太大,怎么优化一下
SELECT dir1.url from dir1 LEFT JOIN dir2 on dir2.url=dir1.url where dir2.id is null or dir1.md5<>dir2.md5 如题,此语句当数据量大的时候会宕机 求助大神帮我想想怎么优化一下 因为我不是做这个的,我只是在c语言一个程序中用到了 然后用我的程序的人说会很慢,而且cpu占用率高 求助帮我优化
如何从mysql数据库中随机获取任意条数据?
我在做一个随机出题的小应用,需要在mysql数据库的题库表里随机选出任意条数据作为 题目,每条数据为一道题目,从网上查了很多资料,基本上有两种,一种是使用 ORDER BY rand()语句,这个语句可以实现取任意条数据,但是官网提示数据量大时内存消耗会很大,查询会很慢,另一种是SELECT table. * FROM (SELECT ROUND(RAND() * (SELECT MAX(id) FROM table)) random_num, @num:=@num + 1 FROM (SELECT @num:=0) AS a, table LIMIT N) AS b, table AS t WHERE b.random_num = t.id; 这种语句有一个问题,就是我想选出20条数据,有时候会返回19条,就是会出现返回数据不够的情况,请问各位大神有什么好办法没?最好返回的数据可以不按自增长id排序,题目顺序需要打乱。
关于mysql优化连表查询的问题
mysql中查询两张表中的数据,一张表的数据量大,一张数据量小,有一个id关联,但是这个id在两张表都不是主键,怎么 查才能速度快呢?sql大概在下面,数据a表10w条,b表几十条 select * from a a ,b b where a.c_id = b.c_id ORDER BY a.cid limit 1,20 大概要0.8秒,如果去掉排序只要3ms,试过用inner join ,但是有条件的情况下也很慢
MySQL数据库性别,省份字段索引问题
如题,当数据量达到单表千万以上的时候,检索已经很慢了,如果检索条件是根据性别或者省份来做就需要全表遍历,而性别这种选择性低的又不适合建立索引,我应该怎么提升用性别或省份作为检索条件的语句检索速度呢?
SSH+Druid+mysql启动后,首次查询延时问题?急……
问题:项目中用了hibernate+spring, spring AOP控制事务,数据库mysql,工程每天凌晨两点自动构建并重新启动,等到9点多上班每次第一个请求数据量不大的查询时,DEBUG打印日志查看查询速度很慢(详看截图)。为什么? 项目中使用的是alibaba的druid 设置了最小的连接数,mysql的wait_timeout都设置了很长时间,但是每次第一次请求还是很长时间(猜测是连接超时,重新请求连接后再执行的查询),但是查看mysql的日志也没有发现重连迹象;所以请求各位大神给出问题可能出现的地方!![图片说明](https://img-ask.csdn.net/upload/201607/05/1467687721_3848.jpg)
Mysql的关联查询语句查询优化
SELECT a.org_no orgNo, a.rcvbl_ym rcvblYm, SUM(IFNULL(a.rcvbl_amt, 0)) rcvblAmtTotal, SUM(IFNULL(a.rcvbl_inprice_amt, 0)) rcvblInpriceAmtTotal, SUM(a.city) city, SUM(a.agriculturalLoan) agriculturalLoan, SUM(a.renewableEnergy) renewableEnergy, SUM(a.lowVoltagePower) lowVoltagePower, SUM(a.nationalMajor) nationalMajor, SUM(a.powerConstruction) powerConstruction, SUM(a.smallReservoir) smallReservoir, SUM(a.largeReservoirs) largeReservoirs FROM (SELECT a.org_no, a.release_date, a.calc_id, a.t_pq, a.rcvbl_ym, a.rcvbl_amt, a.rcvbl_inprice_amt, SUM( CASE WHEN b.item_code = '03' THEN IFNULL(b.pl_amt, 0) ELSE 0 END ) city, SUM( CASE WHEN b.item_code = '04' THEN IFNULL(b.pl_amt, 0) ELSE 0 END ) agriculturalLoan, SUM( CASE WHEN b.item_code = '07' THEN IFNULL(b.pl_amt, 0) ELSE 0 END ) renewableEnergy, SUM( CASE WHEN b.item_code = '08' THEN IFNULL(b.pl_amt, 0) ELSE 0 END ) lowVoltagePower, SUM( CASE WHEN b.item_code = '11' THEN IFNULL(b.pl_amt, 0) ELSE 0 END ) nationalMajor, SUM( CASE WHEN b.item_code = '9901' THEN IFNULL(b.pl_amt, 0) ELSE 0 END ) powerConstruction, SUM( CASE WHEN b.item_code = '9902' THEN IFNULL(b.pl_amt, 0) ELSE 0 END ) smallReservoir, SUM( CASE WHEN b.item_code = '9904' THEN IFNULL(b.pl_amt, 0) ELSE 0 END ) largeReservoirs FROM m_a_rcvbl_flow a LEFT JOIN m_a_rcvbl_pl_flow b ON a.id = b.rcvbl_amt_id WHERE a.org_no IN (SELECT a.id FROM ac_org a WHERE a.id_path LIKE (SELECT CONCAT(id_path, '%') FROM ac_org WHERE id = "14416"))) a 数据量大的时候很慢,有什么方法能稍微加快查询吗
hibernate + mysql由于sq语句跨表多而导致执行效率低,这样解决好吗?
<p>我在开发web系统,持久层框架是hibernate,数据库是mysql,由于之前没有考虑到sql执行效率的问题,现在不到10万的数据,查询就很慢了,很棘手啊~</p> <p>查了一些资料,想到了一个办法,比如,在解决子查询的时候,能否把sql拆开,分部执行,先写一个方法,执行完原来子查询的方法,结果集装入List,然后迭代这个List,再去执行原来sql中,子查询外面的主查询,这样,两步执行完,得到目标结果集,我想知道这种方法和原来的子查询哪个执行效率更高,请各位大侠给予指点~</p> <p>我觉得sql中包含in、or和exists都对系统是很大的累赘,系统的数据量在持续增长,这是个很棘手的问题啊!</p> <p>另外,还有其他什么好的优化方法,也请大侠们给予指点啊~</p>
sql大数据自关联查询优化
1. 一张表a,字段有date(日期),city(城市),area(区域),cl(期初人口数量),ml(期末人口数量),zl(增加的人口数量) 2. 只有当天zl有变动的时候才会有数据,如果不变动,则当天不记录 3. 表内容示例: 4. date city area cl ml zl 5. 2018-05-01 cc1 a11 100 99 -1 6. 2018-05-02 cc1 a12 200 205 5 7. 2018-05-02 cc2 a21 50 100 50 8. 2018-05-03 cc1 a11 99 140 51 9. 要查每一个区域的一定时间范围内的期初数量和期末数量,例:查2018-05-01至2018-05-03,cc1-a11的期初是100.期末是140,cc1-a12的期初是200,期末是205,cc2-a21的期初是50,期末是100 10. 找到两种方式查期初和期末:一是取最小日期和最大日期所在的日期,据日期取找值;二是自关联。目前因为数据量到2千万,查询速度很慢,寻找优化方案 11. 在线等,着急,谢谢!
mysql 中使用 order by,view,text~慢原因
最近优化项目,数据量就10-20w,应该说很小了, 不过发现几个问题 表中有text、longtext字段的查询变慢,[color=red]>3秒[/color],没有text类型字段则在 [color=red]0.x秒[/color] 使用排序遇到问题, order by 字段 (主键很快,where 中 使用到的也很快,) +limit 5000,50 速度慢的离谱 [color=red]>10秒[/color]。。 如果没有order by 或者 用order by主键或其他在where出现的条件(和业务冲突),速度在[color=red]0.3秒[/color]左右 描述不清楚见下面: [code="sql"]SELECT id,title,content,url,ctime,is_deleted,state,hip_num FROM news WHERE ctime between '2007-03-20 15:58:03' AND '2009-05-05 09:56:27' AND is_deleted = 0 AND state = 4 ORDER BY hip_num DESC LIMIT 5200,30 [/code] order by hip_num desc 很慢 order by ctime 很慢 order by is_deleted 快 order by state 快 order by id 很快 [b]问题补充:[/b] 那如何避免这种问题?拆分表?数据查询缓存??? 我的查询要求很快,还请各位帮忙
分表分库后如何进行批量查询
请问:mysql分表分库后如何进行批量查询 假如:我把一个read表分为二个数据库,30个表, 单独查询一条数据没任何问题,但是如果批量数据,,就需要同时连接二个数据库和30个表,其速度可想而知会很慢的.. 参考答案给出的是:启几个线程并行来查,最后把结果集合并,我想每个人都知道,最关键是结果集怎么合并 ? 假定你查询的数据量有1万条并且要求按时间排序显示,难道你要每条都比较?如果这样的话,不用比较,单数据放到内存就受不了。 如果再要求按时间分页排序显示呢?肯定更麻烦,怎么准确按时间分页呢? 我想请问你:实际项目中,你对分表分库批量查询 是怎样做得?或者有什么心得? 期待你的帮助
SAAS系统过十亿的操作日志要如何做列表展示?
刚接手系统的时候,发现过亿的操作日志写在 MySql的一张表中,主要是记录用户登录,做了那些动作(增删改查),随之便做了如下处理(索引、sql均已优化过了): 1、刚开始接手以为查询并不频繁,做了分区,后来发现查询很频繁; 2、对数据做了分表,一个月一个表,发现夸月查询又很频繁,并且每个用户都强烈要求看至今所有的数据; 3、这些查询会集中在某个点并发查询,会产生大量的慢查询导致影响到其他业务,所以对这些查询频繁的用户做了redis数据缓存; 以上做完之后,系统算是稳定下来了,但随着用户的增加单表数据也会随之增加,并且在某个点同样会爆发高并发访问数据库的情况,近期在考虑是否可以用搜索引擎来做这个事情,因为历史数据是不可变的,思路如下,请大神指点: 1、将此模块单独出一个微服务 2、创建总索引 3、每天定时增量索引,并将增量索引数据搬入和业务隔离的日志数据库中对应历史表(同样每个月创建一个表) 4、在查询的时候有多种情况的考虑,对当天的数据进行数据库查询,对历史数据进行搜索引擎索引查询,若夸有当天和历史数据的查询,进行分别查询后结果合并 不知此方法是否可行,因为我在网上找了很久,都并没搜索到使用搜索引擎这种方法,全都是分库分表,或者用hbase等解决方案,所以担心是否会有弊端。
数据库读取出来的数据如何组装多层嵌套的json
数据库字段如图 三个主键 day,hour,store ,就是按要可以查出某天的某小时的某个店铺的具体销售情况, day,hour,store的数据可重复,但三个字段组成的数据是唯一的。 要求用java  mysql  jdbc(其它数据库连接技术也可以)但语言必须是java。 如何读取数据库组成下面这种格式的json  我自己用jdbc然后多层while循环可以组成这种格式,但是非常低效。数据量一大就很慢很慢了 求高效的解决办法 多层嵌套格式 {   2016-07-16:      {          1:           [             nike:{             sales_count:1000             profit:200             sales_value:10000                                       }            adidas:            {                           sales_count:1001             profit:201             sales_value:10001            }                      ]                       2:           [             nike:{             sales_count:1002             profit:203             sales_value:10004                                       }            adidas:            {                           sales_count:1005             profit:206             sales_value:10007            }                      ]           ......                        2016-07-17:      {          1:           [             nike:{             sales_count:1008             profit:208             sales_value:10008                                       }            adidas:            {                           sales_count:1009             profit:209             sales_value:10009            }                      ]                       2:           [             nike:{             sales_count:2002             profit:204             sales_value:20004                                       }            adidas:            {                           sales_count:1505             profit:216             sales_value:10077            }                      ] ...... } ![图片](https://img-ask.csdn.net/upload/201608/18/1471477502_619516.jpg)
海量数据分析设计思路?
本人刚接手了一个宽带数据分析的项目,由于本人经验不足,现在很茫然,不知道如何开始。 项目的情况大概是这样的:原始数据是一个大概80M的txt文件,里面数据大概是100多万行, 我要做的就是从根据业务需求基于这些原始数据做一些报表的统计分析,我现在的思想是用程序将txt里的数据解析导入到mysql中,然后再根据业务去做功能。但这肯定会很慢,而且这个原始数据还会隔一段时间更新的,所以如果导入数据库中,数据量也会非常庞大的。请有经验的大侠帮我分析分析!!谢谢!!
相见恨晚的超实用网站
搞学习 知乎:www.zhihu.com 简答题:http://www.jiandati.com/ 网易公开课:https://open.163.com/ted/ 网易云课堂:https://study.163.com/ 中国大学MOOC:www.icourse163.org 网易云课堂:study.163.com 哔哩哔哩弹幕网:www.bilibili.com 我要自学网:www.51zxw
花了20分钟,给女朋友们写了一个web版群聊程序
参考博客 [1]https://www.byteslounge.com/tutorials/java-ee-html5-websocket-example
爬虫福利二 之 妹子图网MM批量下载
爬虫福利一:27报网MM批量下载    点击 看了本文,相信大家对爬虫一定会产生强烈的兴趣,激励自己去学习爬虫,在这里提前祝:大家学有所成! 目标网站:妹子图网 环境:Python3.x 相关第三方模块:requests、beautifulsoup4 Re:各位在测试时只需要将代码里的变量 path 指定为你当前系统要保存的路径,使用 python xxx.py 或IDE运行即可。
字节跳动视频编解码面经
引言 本文主要是记录一下面试字节跳动的经历。 三四月份投了字节跳动的实习(图形图像岗位),然后hr打电话过来问了一下会不会opengl,c++,shador,当时只会一点c++,其他两个都不会,也就直接被拒了。 七月初内推了字节跳动的提前批,因为内推没有具体的岗位,hr又打电话问要不要考虑一下图形图像岗,我说实习投过这个岗位不合适,不会opengl和shador,然后hr就说秋招更看重基础。我当时
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
linux系列之常用运维命令整理笔录
本博客记录工作中需要的linux运维命令,大学时候开始接触linux,会一些基本操作,可是都没有整理起来,加上是做开发,不做运维,有些命令忘记了,所以现在整理成博客,当然vi,文件操作等就不介绍了,慢慢积累一些其它拓展的命令,博客不定时更新 顺便拉下票,我在参加csdn博客之星竞选,欢迎投票支持,每个QQ或者微信每天都可以投5票,扫二维码即可,http://m234140.nofollow.ax.
比特币原理详解
一、什么是比特币 比特币是一种电子货币,是一种基于密码学的货币,在2008年11月1日由中本聪发表比特币白皮书,文中提出了一种去中心化的电子记账系统,我们平时的电子现金是银行来记账,因为银行的背后是国家信用。去中心化电子记账系统是参与者共同记账。比特币可以防止主权危机、信用风险。其好处不多做赘述,这一层面介绍的文章很多,本文主要从更深层的技术原理角度进行介绍。 二、问题引入 假设现有4个人...
Python 基础(一):入门必备知识
目录1 标识符2 关键字3 引号4 编码5 输入输出6 缩进7 多行8 注释9 数据类型10 运算符10.1 常用运算符10.2 运算符优先级 1 标识符 标识符是编程时使用的名字,用于给变量、函数、语句块等命名,Python 中标识符由字母、数字、下划线组成,不能以数字开头,区分大小写。 以下划线开头的标识符有特殊含义,单下划线开头的标识符,如:_xxx ,表示不能直接访问的类属性,需通过类提供
这30个CSS选择器,你必须熟记(上)
关注前端达人,与你共同进步CSS的魅力就是让我们前端工程师像设计师一样进行网页的设计,我们能轻而易举的改变颜色、布局、制作出漂亮的影音效果等等,我们只需要改几行代码,不需...
国产开源API网关项目进入Apache孵化器:APISIX
点击蓝色“程序猿DD”关注我回复“资源”获取独家整理的学习资料!近日,又有一个开源项目加入了这个Java开源界大名鼎鼎的Apache基金会,开始进行孵化器。项目名称:AP...
程序员接私活怎样防止做完了不给钱?
首先跟大家说明一点,我们做 IT 类的外包开发,是非标品开发,所以很有可能在开发过程中会有这样那样的需求修改,而这种需求修改很容易造成扯皮,进而影响到费用支付,甚至出现做完了项目收不到钱的情况。 那么,怎么保证自己的薪酬安全呢? 我们在开工前,一定要做好一些证据方面的准备(也就是“讨薪”的理论依据),这其中最重要的就是需求文档和验收标准。一定要让需求方提供这两个文档资料作为开发的基础。之后开发
网页实现一个简单的音乐播放器(大佬别看。(⊙﹏⊙))
今天闲着无事,就想写点东西。然后听了下歌,就打算写个播放器。 于是乎用h5 audio的加上js简单的播放器完工了。 欢迎 改进 留言。 演示地点跳到演示地点 html代码如下`&lt;!DOCTYPE html&gt; &lt;html&gt; &lt;head&gt; &lt;title&gt;music&lt;/title&gt; &lt;meta charset="utf-8"&gt
Python十大装B语法
Python 是一种代表简单思想的语言,其语法相对简单,很容易上手。不过,如果就此小视 Python 语法的精妙和深邃,那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点,并附上详细的实例代码。如能在实战中融会贯通、灵活使用,必将使代码更为精炼、高效,同时也会极大提升代码B格,使之看上去更老练,读起来更优雅。 1. for - else 什么?不是 if 和 else 才
数据库优化 - SQL优化
前面一篇文章从实例的角度进行数据库优化,通过配置一些参数让数据库性能达到最优。但是一些“不好”的SQL也会导致数据库查询变慢,影响业务流程。本文从SQL角度进行数据库优化,提升SQL运行效率。 判断问题SQL 判断SQL是否有问题时可以通过两个表象进行判断: 系统级别表象 CPU消耗严重 IO等待严重 页面响应时间过长
2019年11月中国大陆编程语言排行榜
2019年11月2日,我统计了某招聘网站,获得有效程序员招聘数据9万条。针对招聘信息,提取编程语言关键字,并统计如下: 编程语言比例 rank pl_ percentage 1 java 33.62% 2 c/c++ 16.42% 3 c_sharp 12.82% 4 javascript 12.31% 5 python 7.93% 6 go 7.25% 7
通俗易懂地给女朋友讲:线程池的内部原理
餐厅的约会 餐盘在灯光的照耀下格外晶莹洁白,女朋友拿起红酒杯轻轻地抿了一小口,对我说:“经常听你说线程池,到底线程池到底是个什么原理?”我楞了一下,心里想女朋友今天是怎么了,怎么突然问出这么专业的问题,但做为一个专业人士在女朋友面前也不能露怯啊,想了一下便说:“我先给你讲讲我前同事老王的故事吧!” 大龄程序员老王 老王是一个已经北漂十多年的程序员,岁数大了,加班加不动了,升迁也无望,于是拿着手里
经典算法(5)杨辉三角
杨辉三角 是经典算法,这篇博客对它的算法思想进行了讲解,并有完整的代码实现。
编写Spring MVC控制器的14个技巧
本期目录 1.使用@Controller构造型 2.实现控制器接口 3.扩展AbstractController类 4.为处理程序方法指定URL映射 5.为处理程序方法指定HTTP请求方法 6.将请求参数映射到处理程序方法 7.返回模型和视图 8.将对象放入模型 9.处理程序方法中的重定向 10.处理表格提交和表格验证 11.处理文件上传 12.在控制器中自动装配业务类 ...
腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹?
昨天,有网友私信我,说去阿里面试,彻底的被打击到了。问了为什么网上大量使用ThreadLocal的源码都会加上private static?他被难住了,因为他从来都没有考虑过这个问题。无独有偶,今天笔者又发现有网友吐槽了一道腾讯的面试题,我们一起来看看。 腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹? 在互联网职场论坛,一名程序员发帖求助到。二面腾讯,其中一个算法题:64匹
面试官:你连RESTful都不知道我怎么敢要你?
面试官:了解RESTful吗? 我:听说过。 面试官:那什么是RESTful? 我:就是用起来很规范,挺好的 面试官:是RESTful挺好的,还是自我感觉挺好的 我:都挺好的。 面试官:… 把门关上。 我:… 要干嘛?先关上再说。 面试官:我说出去把门关上。 我:what ?,夺门而去 文章目录01 前言02 RESTful的来源03 RESTful6大原则1. C-S架构2. 无状态3.统一的接
求小姐姐抠图竟遭白眼?痛定思痛,我决定用 Python 自力更生!
点击蓝色“Python空间”关注我丫加个“星标”,每天一起快乐的学习大家好,我是 Rocky0429,一个刚恰完午饭,正在用刷网页浪费生命的蒟蒻...一堆堆无聊八卦信息的网页内容慢慢使我的双眼模糊,一个哈欠打出了三斤老泪,就在此时我看到了一张图片:是谁!是谁把我女朋友的照片放出来的!awsl!太好看了叭...等等,那个背景上的一堆鬼画符是什么鬼?!真是看不下去!叔叔婶婶能忍,隔壁老王的三姨妈的四表...
为啥国人偏爱Mybatis,而老外喜欢Hibernate/JPA呢?
关于SQL和ORM的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行了一番讨论,感触还是有一些,于是就有了今天这篇文。 声明:本文不会下关于Mybatis和JPA两个持久层框架哪个更好这样的结论。只是摆事实,讲道理,所以,请各位看官勿喷。 一、事件起因 关于Mybatis和JPA孰优孰劣的问题,争论已经很多年了。一直也没有结论,毕竟每个人的喜好和习惯是大不相同的。我也看
SQL-小白最佳入门sql查询一
不要偷偷的查询我的个人资料,即使你再喜欢我,也不要这样,真的不好;
项目中的if else太多了,该怎么重构?
介绍 最近跟着公司的大佬开发了一款IM系统,类似QQ和微信哈,就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if(msgType = "图片") { // doshomething } else if(msgType = "视频") { // doshomething } else { // doshom...
致 Python 初学者
欢迎来到“Python进阶”专栏!来到这里的每一位同学,应该大致上学习了很多 Python 的基础知识,正在努力成长的过程中。在此期间,一定遇到了很多的困惑,对未来的学习方向感到迷茫。我非常理解你们所面临的处境。我从2007年开始接触 python 这门编程语言,从2009年开始单一使用 python 应对所有的开发工作,直至今天。回顾自己的学习过程,也曾经遇到过无数的困难,也曾经迷茫过、困惑过。开办这个专栏,正是为了帮助像我当年一样困惑的 Python 初学者走出困境、快速成长。希望我的经验能真正帮到你
“狗屁不通文章生成器”登顶GitHub热榜,分分钟写出万字形式主义大作
一、垃圾文字生成器介绍 最近在浏览GitHub的时候,发现了这样一个骨骼清奇的雷人项目,而且热度还特别高。 项目中文名:狗屁不通文章生成器 项目英文名:BullshitGenerator 根据作者的介绍,他是偶尔需要一些中文文字用于GUI开发时测试文本渲染,因此开发了这个废话生成器。但由于生成的废话实在是太过富于哲理,所以最近已经被小伙伴们给玩坏了。 他的文风可能是这样的: 你发现,...
程序员:我终于知道post和get的区别
是一个老生常谈的话题,然而随着不断的学习,对于以前的认识有很多误区,所以还是需要不断地总结的,学而时习之,不亦说乎
《程序人生》系列-这个程序员只用了20行代码就拿了冠军
你知道的越多,你不知道的越多 点赞再看,养成习惯GitHub上已经开源https://github.com/JavaFamily,有一线大厂面试点脑图,欢迎Star和完善 前言 这一期不算《吊打面试官》系列的,所有没前言我直接开始。 絮叨 本来应该是没有这期的,看过我上期的小伙伴应该是知道的嘛,双十一比较忙嘛,要值班又要去帮忙拍摄年会的视频素材,还得搞个程序员一天的Vlog,还要写BU...
相关热词 c#处理浮点数 c# 生成字母数字随机数 c# 动态曲线 控件 c# oracle 开发 c#选择字体大小的控件 c# usb 批量传输 c#10进制转8进制 c#转base64 c# 科学计算 c#下拉列表获取串口
立即提问