impala、hive、hbase整合之后进行数据分析,例如count()会特别慢,大家有什么方法么?

如题,还不如impala整合hive快呢,但数据在hbase中怎么可以提高效率?

1个回答

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
整合hive和hbase,zk不释放

整合hive和hbase,把hbase的表映射到hive,然后去hive查询表信息,此过程会建立zookeeper连接,但是hive不会释放连接,导致连接占满后就会堵死,求解决方案,hive使用的版本是apache-hive-1.2.1-bin

hive on hbase报错,在hive中创建映射表,关联到hbase上

hive on hbase,在hive中创建映射表,关联到hbase上,在hive中已经创建hbase中的row_key,还是报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=xlwang5, access=EXECUTE, inode="/user/hive/warehouse":hive:hive:drwxrwx--T

Impala 不能同步hive元数据

我在hive中建立表,再到impala-shell中却找不到该表,只有强制执行invalidate metadata命令后,才能在impala-shell中查找到该表 。impala的statestored,catalogd进程状态都好的。查看日志未发现异常。麻烦大家帮忙看看,谁遇到过类似的问题。 版本:impala2.2 cdh,hive1.1 cdh

impala读取hive元数据问题

hive可以正常使用,切换成impal时可以读取到hive库表元数据,单数读取不到标的字段信息,查询时就报错![图片说明](https://img-ask.csdn.net/upload/201808/06/1533552128_262405.png) 请教各位大神,又遇到过类似问题么?

hive数据批量导入hbase过程中遇到分区文件不存在异常

在做一个hive数据批量导入hbase的方法,根据官方文档一步一步的做下来,但是在生成HFILE文件时却报了一个比较让人纠结的错误,在网上找了很长时间,都木有合适的答案,在hive命令行中执行的代码如下: SET mapred.reduce.tasks=5; SET hive.mapred.partitioner=org.apache.hadoop.mapred.lib.TotalOrderPartitioner; SET total.order.partitioner.path=/ws/hbasetest/hbase_splits; INSERT OVERWRITE TABLE hbase_hfiles SELECT * FROM pgc CLUSTER BY rowkey; 然后报了如下异常: Error: java.lang.IllegalArgumentException: Can't read partitions file > at org.apache.hadoop.mapreduce.lib.partition.TotalOrderPartitioner.setConf(TotalOrderPartitioner.java:116) > at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:73) > at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133) > at org.apache.hadoop.mapred.MapTask$OldOutputCollector.<init>(MapTask.java:569) > at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:430) > at org.apache.hadoop.mapred.MapTask.run(MapTask.java:342) > at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168) > at java.security.AccessController.doPrivileged(Native Method) > at javax.security.auth.Subject.doAs(Subject.java:415) > at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548) > at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163) > Caused by: java.io.FileNotFoundException: File file:/inm/app/cdh5/cdhworkspace/yarn/local/usercache/hadoop/appcache/application_1397722576517_0053/container_1397722576517_0053_01_000005/_partition.lst does not exist > at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:511) > at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:724) > at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:501) > at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:402) > at org.apache.hadoop.io.SequenceFile$Reader.<init>(SequenceFile.java:1749) > at org.apache.hadoop.io.SequenceFile$Reader.<init>(SequenceFile.java:1773) > at org.apache.hadoop.mapreduce.lib.partition.TotalOrderPartitioner.readPartitions(TotalOrderPartitioner.java:301) > at org.apache.hadoop.mapreduce.lib.partition.TotalOrderPartitioner.setConf(TotalOrderPartitioner.java:88) > ... 10 more > > > FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask > MapReduce Jobs Launched: > Job 0: Map: 1 Reduce: 5 HDFS Read: 0 HDFS Write: 0 FAIL > Total MapReduce CPU Time Spent: 0 这个异常说是找不到分区文件,但我的明明存在分区文件,但却找不着,有点郁闷了; 网上常见一种解答方式说是job运行在本地,但是这个异常和网上说的似乎不一样,有一样的,但没有答案,求高手指教

用Hive load数据到表里面,load成功之后无法进行select

各位大侠,我在hive 的beeline下,新建了一个表test,创建语句如下: beeline->create table u_data(colname string); beeline->select * from u_data;(现在这个select可以运行) 之后把hdfs上/hive/warehouse/u_data.txt load到这个表里面,test.txt只有一行数据一个单词:“test”,语句如下: beeline->load data inpath '/bigdata/apache-hive-2.2.0-bin/conf' into table test; 返回结果成功 接下来运行: beeline->select * from u_data; 报错了:Error:java.io.Exception:java.io.IOException:java.lang.reflect.UndeclaredThrowableExcetpion; 尝试了好多遍了,都是在我load完数据之后,select就会报错,没load数据,表为空的时候select就没有问题。 因为公司的系统好复杂,我刚开始用不知道去那里看hive 日志。。有哪个好心人给个提示吗?感激!

spark(自带hive)不能读取主子表的数据

【问题详细描述】 spark(自带hive)读取不了主子表的数据,非主表的数据可以读取。spark版本:spark-1.3.0-bin-hadoop2.4 使用的jar包: spark-sequoiadb-1.12.jar sequoiadb-driver-1.12.jar hadoop-sequoiadb-1.12.jar hive-sequoiadb-1.12.jar postgresql-9.4-1201-jdbc41.jar 查询主表错误如下: select * from test201607_cs.tb_order limit 1 ; Error: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 16.0 failed 4 times, most recent failure: Lost task 0.3 in stage 16.0 (TID 362, sdb-223.3golden.hq): com.sequoiadb.exception.BaseException: errorType:SDB_DMS_CS_NOTEXIST,Collection space does not exist Exception Detail:test201607_cs at com.sequoiadb.base.Sequoiadb.getCollectionSpace(Sequoiadb.java:598) at com.sequoiadb.hive.SdbReader.<init>(SdbReader.java:145) at com.sequoiadb.hive.SdbHiveInputFormat.getRecordReader(SdbHiveInputFormat.java:120) at org.apache.spark.rdd.HadoopRDD$anon$1.<init>(HadoopRDD.scala:236) at org.apache.spark.rdd.HadoopRDD.compute(HadoopRDD.scala:212) 复制代码 查询非主表结果: select * from test201607_cs.test_hive limit 1 ; +----------+ | shop_id | +----------+ | 10048 | +----------+

impala对百万级数据group by速度问题?

请问以下impala查询该如何优化,查询速度有点慢(5s以上) impala查询语句: select case when t.nl>=18 and t.nl<=25 then '18-25岁' when t.nl>=26 and t.nl<=32 then '26-32岁' when t.nl>=33 and t.nl<=40 then '33-40岁' when t.nl>=41 and t.nl<=48 then '41-49岁' when t.nl>=49 and t.nl<=55 then '49-55岁' end as nld,count(1) jls from (select case when length(sfzh)=18 then cast(from_unixtime(unix_timestamp(xxrq,'yyyy-MM-dd'),'yyyy') as int)-cast(substr(sfzh,7,4) as int) else cast(from_unixtime(unix_timestamp(xxrq,'yyyy-MM-dd'),'yyyy') as int)-cast(concat('19',substr(sfzh,7,2)) as int) end as nl,xxrq,sfzh from hbase_impala.impala_table39119_1550771711308 where sfzh is not null and year(now())-year(xxrq) <=4 ) t where t.nl>=18 and t.nl<=55 group by nld order by nld; explain结果:![图片说明](https://img-ask.csdn.net/upload/201902/22/1550800918_484083.png)

Hive分割符的问题,求大神解决

问题描述如下:首先我用的Hadoop集群环境是CDH版本5.3.0的,在往HDFS中导入数据 的时候,文本文件用^A(文本文件格式UTF-8,也就是Ctrl-A作为分隔符)。 然后Hive SQL的脚本用书写如下: use default; DROP TABLE IF EXISTS test; create external table test ( test1 string, test2 string, test3 string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' LOCATION '/tmp/test'; 用于测试的文本文件内容如下: 1^A2^A3 A^AB^AC 我^A爱^A你 而我得到建立的表的样式在附件图片。 也就是说完全没有按照Hive相关的文档上说的用\001作为分隔符,纠结了我好长时间的问题,求大神帮忙解决![图片说明](https://img-ask.csdn.net/upload/201504/17/1429252966_205380.jpg) 没有金币了,先谢谢各位帮忙

使用Impala的SQL语句,迁移数据至新表报错

$ impala-shell -i slaver2 -f realdata_raw_to_parq.hql Starting Impala Shell without Kerberos authentication Connected to slaver2:21000 Server version: impalad version 2.5.0-cdh5.7.2 RELEASE (build 1140f8289dc0d2b1517bcf70454bb4575eb8cc70) Query: invalidate metadata changqing.t_wtdata_realdata_raw Fetched 0 row(s) in 0.06s Query: insert overwrite table changqing.t_wtdata_realdata partition(acqdate) select *, to_date(DateAcqTime) from changqing.t_wtdata_realdata_raw WARNINGS: Memory limit exceeded Error converting column: 12 TO DOUBLE (Data is: null) Error converting column: 13 TO DOUBLE (Data is: null) Error converting column: 27 TO DOUBLE (Data is: null) Error converting column: 51 TO DOUBLE (Data is: null) Error converting column: 52 TO DOUBLE (Data is: null) Error converting column: 53 TO DOUBLE (Data is: null) Error converting column: 54 TO DOUBLE (Data is: null) Error converting column: 60 TO DOUBLE (Data is: null) Error converting column: 61 TO DOUBLE (Data is: null) Error converting column: 62 TO DOUBLE (Data is: null) Error converting column: 63 TO DOUBLE (Data is: null) Error converting column: 64 TO DOUBLE (Data is: null) Error converting column: 65 TO DOUBLE (Data is: null) Error converting column: 66 TO DOUBLE (Data is: null) Error converting column: 67 TO DOUBLE (Data is: null) Error converting column: 68 TO DOUBLE (Data is: null) Error converting column: 69 TO DOUBLE (Data is: null) Error converting column: 70 TO DOUBLE (Data is: null) Error converting column: 71 TO DOUBLE (Data is: null) Error converting column: 72 TO DOUBLE (Data is: null) Error converting column: 73 TO DOUBLE (Data is: null) Error converting column: 74 TO DOUBLE (Data is: null) Error converting column: 75 TO DOUBLE (Data is: null) Error converting column: 76 TO DOUBLE (Data is: null) Error converting column: 77 TO DOUBLE (Data is: null) Error converting column: 78 TO DOUBLE (Data is: null) Error converting column: 79 TO DOUBLE (Data is: null) Error converting column: 80 TO DOUBLE (Data is: null) file: hdfs://master.hadoop.com:8020/user/hive/warehouse/changqing.db/t_wtdata_realdata_raw/part-m-00003_copy_3 record: 10,2015-02-01 00:00:00.0,10,-7,-6,409,408,408,0,0,0,50.03,null,null,0.726,2.52,2.98,2.77,-1.44,303.6,0.09,89.0,6,32.6,27.0,27.8,18.4,null,23.4,20.9,30.2,32.6,27.7,5.6,151.0,315.5,-0.4,7.0,3.0,9.9,-9.0E-4,0.0051,0.0,-44.5,1,1,233712,100.0,100.0,100.0,3,null,null,null,null,-0.3,11.0,89.0,89.0,89.0,null,null,null,null,null,null,null,null,null,null,null,null,null,null,null,null,null,null,null,null,null,0.0 Error converting column: 12 TO DOUBLE (Data is: null) Error converting column: 13 TO DOUBLE (Data is: null) Error converting column: 27 TO DOUBLE (Data is: null) Error converting column: 51 TO DOUBLE (Data is: null) Error converting column: 52 TO DOUBLE (Data is: null) Error converting column: 53 TO DOUBLE (Data is: null) Error converting column: 54 TO DOUBLE (Data is: null) Error converting column: 60 TO DOUBLE (Data is: null) Error converting column: 61 TO DOUBLE (Data is: null) Error converting column: 62 TO DOUBLE (Data is: null) Error converting column: 63 TO DOUBLE (Data is: null) Error converting column: 64 TO DOUBLE (Data is: null) Error converting column: 65 TO DOUBLE (Data is: null) Error converting column: 66 TO DOUBLE (Data is: null) Error converting column: 67 TO DOUBLE (Data is: null) Error converting column: 68 TO DOUBLE (Data is: null) Error converting column: 69 TO DOUBLE (Data is: null) Error converting column: 70 TO DOUBLE (Data is: null) Error converting column: 71 TO DOUBLE (Data is: null) Error converting column: 72 TO DOUBLE (Data is: null) Error converting column: 73 TO DOUBLE (Data is: null) Error converting column: 74 TO DOUBLE (Data is: null) Error converting column: 75 TO DOUBLE (Data is: null) Error converting column: 76 TO DOUBLE (Data is: null) Error converting column: 77 TO DOUBLE (Data is: null) Error converting column: 78 TO DOUBLE (Data is: null) Error converting column: 79 TO DOUBLE (Data is: null) Error converting column: 80 TO DOUBLE (Data is: null) Could not execute command: insert overwrite table changqing.t_wtdata_realdata partition(acqdate) select *, to_date(DateAcqTime) from changqing.t_wtdata_realdata_raw

Cloudera Impala & Facebook Presto & Hive

Hive将SQL语言映射为MapReduce进而实现查询,但往往相应较慢,在实时性上有欠缺。而Cloudera公司的Impala和Facebook提出的Presto同样支持SQL语言,但都没有使用MapReduce框架,查询的实时性很好。 我想请问一下Impala和Presto工作的具体原理是什么?

jdbc 操作impala insert 中文乱码

jdbc 操作impala insert 中文乱码 如何解决 求大神指点

Hbase Regionserver启动出错

replace_conf_dir + find /var/run/cloudera-scm-agent/process/469-hbase-REGIONSERVER -type f '!' -path '/var/run/cloudera-scm-agent/process/469-hbase-REGIONSERVER/logs/*' '!' -name '*.log' '!' -name '*.keytab' '!' -name '*jceks' -exec perl -pi -e 's#{{CMF_CONF_DIR}}#/var/run/cloudera-scm-agent/process/469-hbase-REGIONSERVER#g' '{}' ';' **Can't open /var/run/cloudera-scm-agent/process/469-hbase-REGIONSERVER/supervisor.conf: Permission denied. **+ acquire_kerberos_tgt hbase.keytab + '[' -z hbase.keytab ']' + '[' -n '' ']' + export 'HBASE_OPTS=-Djava.net.preferIPv4Stack=true ' + HBASE_OPTS='-Djava.net.preferIPv4Stack=true ' + locate_hbase_script + '[' 5 -ge 5 ']' + export BIGTOP_DEFAULTS_DIR= + BIGTOP_DEFAULTS_DIR= + HBASE_BIN=/opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/hbase/../../bin/hbase + '[' upgrade = regionserver ']' + '[' region_mover = regionserver ']' + '[' toggle_balancer = regionserver ']' + '[' shell = regionserver ']' + '[' hfileCheck = regionserver ']' + '[' remoteSnapshotTool = regionserver ']' + '[' '' '!=' '' ']' + '[' regionserver = regionserver -a -n '' ']' + '[' start = start -a 5 -gt 4 ']' + '[' regionserver = regionserver -o master = regionserver ']' + export HBASE_ZNODE_FILE=/var/run/cloudera-scm-agent/process/469-hbase-REGIONSERVER/znode59836 + HBASE_ZNODE_FILE=/var/run/cloudera-scm-agent/process/469-hbase-REGIONSERVER/znode59836 + exec /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/hbase/../../bin/hbase --config /var/run/cloudera-scm-agent/process/469-hbase-REGIONSERVER regionserver start + znode_cleanup regionserver ++ date + echo 'Thu Aug 10 15:01:12 CST 2017 Starting znode cleanup thread with HBASE_ZNODE_FILE=/var/run/cloudera-scm-agent/process/469-hbase-REGIONSERVER/znode59836 for regionserver' ++ replace_pid -Djava.net.preferIPv4Stack=true ++ sed 's#{{PID}}#59836#g' ++ echo -Djava.net.preferIPv4Stack=true + HBASE_OPTS=-Djava.net.preferIPv4Stack=true + '[' '' '!=' '' ']' + LOG_FILE=/var/run/cloudera-scm-agent/process/469-hbase-REGIONSERVER/logs/znode_cleanup.log + set +x

impala catalog起不来 报错如下

log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info. E0511 11:33:51.635500 13048 catalog.cc:66] java.lang.IllegalStateException: java.lang.NumberFormatException: For input string: "0s" at com.cloudera.impala.catalog.MetaStoreClientPool$MetaStoreClient.<init>(MetaStoreClientPool.java:59) at com.cloudera.impala.catalog.MetaStoreClientPool$MetaStoreClient.<init>(MetaStoreClientPool.java:49) at com.cloudera.impala.catalog.MetaStoreClientPool.addClients(MetaStoreClientPool.java:116) at com.cloudera.impala.catalog.Catalog.<init>(Catalog.java:89) at com.cloudera.impala.catalog.CatalogServiceCatalog.<init>(CatalogServiceCatalog.java:102) at com.cloudera.impala.service.JniCatalog.<init>(JniCatalog.java:78) Caused by: java.lang.NumberFormatException: For input string: "0s" at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) at java.lang.Long.parseLong(Long.java:441) at java.lang.Long.parseLong(Long.java:483) at org.apache.hadoop.conf.Configuration.getLong(Configuration.java:1113) at org.apache.hadoop.hive.conf.HiveConf.getLongVar(HiveConf.java:913) at org.apache.hadoop.hive.conf.HiveConf.getLongVar(HiveConf.java:926) at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:351) at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.<init>(HiveMetaStore.java:289) at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:56) at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:61) at org.apache.hadoop.hive.metastore.HiveMetaStore.newHMSHandler(HiveMetaStore.java:4014) at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:120) at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:103) at com.cloudera.impala.catalog.MetaStoreClientPool$MetaStoreClient.<init>(MetaStoreClientPool.java:56) ... 5 more

急】hive,insert从parquet表插入到textfile(cvs)表时,字段内容为NULL

我有两张表,字段数量名字相同 A表示parquet表 B表是textfile表,放cvs数据的按tab分割 现在A表有10条数据,B表无数据,我想使用insert overwrite A到B,然后insert完毕以后, 使用hive查询B表数据,发现某些列成为了null(目前发现仅内容为数字的会是null,但为null字段当时设置的类型是String,只是内容填的数字而已) **简单叙述** 我把parquet表的数据insert overwrite到textfile(或者反过来操作),使用hive查询的时候都会出现部分字段变为null的情况,但同时使用impala查询发现是有内容的,请问这是怎么回事?我猜是parquet转textfile或者textfile转parquet时就是会有问题, 所以请问怎么解决,因为目前需求需要从一张新表转到老表,老表是textfile类型的,新表是parquet 我们程序使用的java(不过上述操作我都是直接用命令行测试的)

spark和impala的应用场景区别大吗

以前的spark因为基于hive,所以在未来有一定的局限性,现在新的spark分为两个部分,sparksql和sparkstreaming,在sql部分感觉和impala有很大的重合,那么这两个在这方面的优缺点有大神能说说吗

python链接impala出错

这是什么原因呀!ip没有错 Traceback (most recent call last): File "mid_tables.py", line 17, in <module> cursor= conn.cursor() File "/usr/lib/python2.6/site-packages/impala/hiveserver2.py", line 125, in cursor session = self.service.open_session(user, configuration) File "/usr/lib/python2.6/site-packages/impala/hiveserver2.py", line 995, in open_session resp = self._rpc('OpenSession', req) File "/usr/lib/python2.6/site-packages/impala/hiveserver2.py", line 923, in _rpc response = self._execute(func_name, request) File "/usr/lib/python2.6/site-packages/impala/hiveserver2.py", line 940, in _execute return func(request) File "/usr/lib/python2.6/site-packages/impala/_thrift_gen/TCLIService/TCLIService.py", line 175, in OpenSession return self.recv_OpenSession() File "/usr/lib/python2.6/site-packages/impala/_thrift_gen/TCLIService/TCLIService.py", line 193, in recv_OpenSession result.read(self._iprot) File "/usr/lib/python2.6/site-packages/impala/_thrift_gen/TCLIService/TCLIService.py", line 1109, in read fastbinary.decode_binary(self, iprot.trans, (self.__class__, self.thrift_spec)) AttributeError: 'TBufferedTransport' object has no attribute 'trans' ![图片说明](https://img-ask.csdn.net/upload/201704/26/1493177392_630187.png)

apache hadoop-2.5.0上安装impala的问题

在安装impala上遇到了一个问题 因为本人目前使用的系统是centos6.5,搭建了hadoop-2.5.0(非cdh,无cm)的集群,部署了hive-1.2.1以及mysql,但是不知道怎么把impala部署在apache hadoop上,也不能重新换用cdh hadoop,想问一下有没有可以在hadoop-2.5.0上安装相应版本impala的资料和方法?

使用Oracle SQL Developer连接hive出不来

我想用Oracle SQL Developer来连接hive(如果能用navicat更好) 我按照他的方法去做,结果没有出来 这是我按照他的加入一些包 ![图片说明](https://img-ask.csdn.net/upload/201807/23/1532318598_916020.png) 最下面那个,是我另外去抓的 ![图片说明](https://img-ask.csdn.net/upload/201807/23/1532318619_659212.png) 这是我没有出来hive 如果能用navicat for hive更好,但我看文章也是试不出来 谢谢

大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了

大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

程序员请照顾好自己,周末病魔差点一套带走我。

程序员在一个周末的时间,得了重病,差点当场去世,还好及时挽救回来了。

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

和黑客斗争的 6 天!

互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...

点沙成金:英特尔芯片制造全过程揭密

“亚马逊丛林里的蝴蝶扇动几下翅膀就可能引起两周后美国德州的一次飓风……” 这句人人皆知的话最初用来描述非线性系统中微小参数的变化所引起的系统极大变化。 而在更长的时间尺度内,我们所生活的这个世界就是这样一个异常复杂的非线性系统…… 水泥、穹顶、透视——关于时间与技艺的蝴蝶效应 公元前3000年,古埃及人将尼罗河中挖出的泥浆与纳特龙盐湖中的矿物盐混合,再掺入煅烧石灰石制成的石灰,由此得来了人...

讲一个程序员如何副业月赚三万的真实故事

loonggg读完需要3分钟速读仅需 1 分钟大家好,我是你们的校长。我之前讲过,这年头,只要肯动脑,肯行动,程序员凭借自己的技术,赚钱的方式还是有很多种的。仅仅靠在公司出卖自己的劳动时...

上班一个月,后悔当初着急入职的选择了

最近有个老铁,告诉我说,上班一个月,后悔当初着急入职现在公司了。他之前在美图做手机研发,今年美图那边今年也有一波组织优化调整,他是其中一个,在协商离职后,当时捉急找工作上班,因为有房贷供着,不能没有收入来源。所以匆忙选了一家公司,实际上是一个大型外包公司,主要派遣给其他手机厂商做外包项目。**当时承诺待遇还不错,所以就立马入职去上班了。但是后面入职后,发现薪酬待遇这块并不是HR所说那样,那个HR自...

女程序员,为什么比男程序员少???

昨天看到一档综艺节目,讨论了两个话题:(1)中国学生的数学成绩,平均下来看,会比国外好?为什么?(2)男生的数学成绩,平均下来看,会比女生好?为什么?同时,我又联想到了一个技术圈经常讨...

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

我说我不会算法,阿里把我挂了。

不说了,字节跳动也反手把我挂了。

优雅的替换if-else语句

场景 日常开发,if-else语句写的不少吧??当逻辑分支非常多的时候,if-else套了一层又一层,虽然业务功能倒是实现了,但是看起来是真的很不优雅,尤其是对于我这种有强迫症的程序"猿",看到这么多if-else,脑袋瓜子就嗡嗡的,总想着解锁新姿势:干掉过多的if-else!!!本文将介绍三板斧手段: 优先判断条件,条件不满足的,逻辑及时中断返回; 采用策略模式+工厂模式; 结合注解,锦...

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

为什么你不想学习?只想玩?人是如何一步一步废掉的

不知道是不是只有我这样子,还是你们也有过类似的经历。 上学的时候总有很多光辉历史,学年名列前茅,或者单科目大佬,但是虽然慢慢地长大了,你开始懈怠了,开始废掉了。。。 什么?你说不知道具体的情况是怎么样的? 我来告诉你: 你常常潜意识里或者心理觉得,自己真正的生活或者奋斗还没有开始。总是幻想着自己还拥有大把时间,还有无限的可能,自己还能逆风翻盘,只不是自己还没开始罢了,自己以后肯定会变得特别厉害...

男生更看重女生的身材脸蛋,还是思想?

往往,我们看不进去大段大段的逻辑。深刻的哲理,往往短而精悍,一阵见血。问:产品经理挺漂亮的,有点心动,但不知道合不合得来。男生更看重女生的身材脸蛋,还是...

为什么程序员做外包会被瞧不起?

二哥,有个事想询问下您的意见,您觉得应届生值得去外包吗?公司虽然挺大的,中xx,但待遇感觉挺低,马上要报到,挺纠结的。

当HR压你价,说你只值7K,你该怎么回答?

当HR压你价,说你只值7K时,你可以流畅地回答,记住,是流畅,不能犹豫。 礼貌地说:“7K是吗?了解了。嗯~其实我对贵司的面试官印象很好。只不过,现在我的手头上已经有一份11K的offer。来面试,主要也是自己对贵司挺有兴趣的,所以过来看看……”(未完) 这段话主要是陪HR互诈的同时,从公司兴趣,公司职员印象上,都给予对方正面的肯定,既能提升HR的好感度,又能让谈判气氛融洽,为后面的发挥留足空间。...

面试:第十六章:Java中级开发(16k)

HashMap底层实现原理,红黑树,B+树,B树的结构原理 Spring的AOP和IOC是什么?它们常见的使用场景有哪些?Spring事务,事务的属性,传播行为,数据库隔离级别 Spring和SpringMVC,MyBatis以及SpringBoot的注解分别有哪些?SpringMVC的工作原理,SpringBoot框架的优点,MyBatis框架的优点 SpringCould组件有哪些,他们...

面试阿里p7,被按在地上摩擦,鬼知道我经历了什么?

面试阿里p7被问到的问题(当时我只知道第一个):@Conditional是做什么的?@Conditional多个条件是什么逻辑关系?条件判断在什么时候执...

你打算用Java 8一辈子都不打算升级到Java 14,真香

我们程序员应该抱着尝鲜、猎奇的心态,否则就容易固步自封,技术停滞不前。

无代码时代来临,程序员如何保住饭碗?

编程语言层出不穷,从最初的机器语言到如今2500种以上的高级语言,程序员们大呼“学到头秃”。程序员一边面临编程语言不断推陈出新,一边面临由于许多代码已存在,程序员编写新应用程序时存在重复“搬砖”的现象。 无代码/低代码编程应运而生。无代码/低代码是一种创建应用的方法,它可以让开发者使用最少的编码知识来快速开发应用程序。开发者通过图形界面中,可视化建模来组装和配置应用程序。这样一来,开发者直...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

《经典算法案例》01-08:如何使用质数设计扫雷(Minesweeper)游戏

我们都玩过Windows操作系统中的经典游戏扫雷(Minesweeper),如果把质数当作一颗雷,那么,表格中红色的数字哪些是雷(质数)?您能找出多少个呢?文中用列表的方式罗列了10000以内的自然数、质数(素数),6的倍数等,方便大家观察质数的分布规律及特性,以便对算法求解有指导意义。另外,判断质数是初学算法,理解算法重要性的一个非常好的案例。

《Oracle Java SE编程自学与面试指南》最佳学习路线图(2020最新版)

正确选择比瞎努力更重要!

一文带你入门Java Stream流,太强了

两个星期以前,就有读者强烈要求我写一篇 Java Stream 流的文章,我说市面上不是已经有很多了吗,结果你猜他怎么说:“就想看你写的啊!”你看你看,多么苍白的喜欢啊。那就“勉为其难”写一篇吧,嘻嘻。 单从“Stream”这个单词上来看,它似乎和 java.io 包下的 InputStream 和 OutputStream 有些关系。实际上呢,没毛关系。Java 8 新增的 Stream 是为...

立即提问
相关内容推荐