使用Export/Import方案进行HBase集群迁移,表数据量减少 5C

HBase使用Export和Import进行集群之间表的迁移,源集群的表在HDFS中的大小为800G,使用Export导出到目标集群的hdfs上,然后执行import进行导入,执行结束后,目标集群的表大小只有400G不到,目标表和源表的格式完全一样,都使用的SNAPPY压缩,使用count 统计名发现行数也少了一半多,mapreduce程序并没有报错,求大神指点

1个回答

gele1005
Little_Cigar 我试了几次都没问题啊,可能和版本和环境有关系吧
接近 2 年之前 回复
px_dn
我心明月 同样的操作,不一样的结果,是不是hbase自身的bug
大约 2 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
0.98.7Hbase集群数据迁移问题,重构元数据时报的错误

Hbase集群数据迁移,由于两个集群不能相互通信,因此采用磁盘拷贝数据表的方式,数据量不是很大,只有几个G而已,拷贝到hdfs文件系统的hbase目录下,最后执行copy_tables_desc.rb脚本重构meta表分区信息时报如下错误,[hadoop@master bin]$ ./hbase org.jruby.Main replication/copy_tables_desc.rb NameError: cannot load Java class org.apache.hadoop.hbase.EmptyWatcher get_proxy_or_package_under_package at org/jruby/javasupport/JavaUtilities.java:54 method_missing at file:/home/hadoop/netOFths/hbase-0.98.7-hadoop2/lib/jruby-complete-1.6.8.jar!/builtin/javasupport/java.rb:51 (root) at replication/copy_tables_desc.rb:30 显示加载不了EmptyWatcher这个类,小弟已经忙活了快一天了,网上各种百度,但还是解决不了,求各位大哥大姐帮帮忙吧

Hbase启动时报错,有没有大佬解决下

Hbase启动时报错,有没有大佬解决下 Sat Apr 18 00:33:38 PDT 2020 Starting master on hadoop01 core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited scheduling priority (-e) 0 file size (blocks, -f) unlimited pending signals (-i) 3804 max locked memory (kbytes, -l) 64 max memory size (kbytes, -m) unlimited open files (-n) 1024 pipe size (512 bytes, -p) 8 POSIX message queues (bytes, -q) 819200 real-time priority (-r) 0 stack size (kbytes, -s) 10240 cpu time (seconds, -t) unlimited max user processes (-u) 3804 virtual memory (kbytes, -v) unlimited file locks (-x) unlimited 2020-04-18 00:33:40,217 INFO [main] util.VersionInfo: HBase 1.2.1 2020-04-18 00:33:40,218 INFO [main] util.VersionInfo: Source code repository git://asf-dev/home/busbey/projects/hbase revision=8d8a7107dc4ccbf36a92f64675dc60392f85c015 2020-04-18 00:33:40,218 INFO [main] util.VersionInfo: Compiled by busbey on Wed Mar 30 11:19:21 CDT 2016 2020-04-18 00:33:40,218 INFO [main] util.VersionInfo: From source with checksum f4bb4a14bb4e0b72b46f729dae98a772 2020-04-18 00:33:41,174 INFO [main] util.ServerCommandLine: env:HBASE_LOGFILE=hbase-root-master-hadoop01.log 2020-04-18 00:33:41,213 INFO [main] util.ServerCommandLine: env:PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/export/servers/jdk/bin:/export/servers/hadoop-2.9.2/bin:/export/servers/hadoop-2.9.2/sbin:/export/servers/apache-hive-1.2.1-bin/bin:/export/servers/jdk/bin:/export/servers/hadoop-2.9.2/bin:/export/servers/hadoop-2.9.2/sbin:/export/servers/zookeeper-3.4.10/bin:HBASE_CLASSPATH/bin:/root/bin:/export/servers/jdk/bin:/export/servers/hadoop-2.9.2/bin:/export/servers/hadoop-2.9.2/sbin:/export/servers/apache-hive-1.2.1-bin/bin:/export/servers/jdk/bin:/export/servers/hadoop-2.9.2/bin:/export/servers/hadoop-2.9.2/sbin:/export/servers/zookeeper-3.4.10/bin:HBASE_HIVE/bin:/export/servers/jdk/bin:/export/servers/hadoop-2.9.2/bin:/export/servers/hadoop-2.9.2/sbin:/export/servers/apache-hive-1.2.1-bin/bin:/export/servers/jdk/bin:/export/servers/hadoop-2.9.2/bin:/export/servers/hadoop-2.9.2/sbin:/export/servers/zookeeper-3.4.10/bin:HBASE_HIVE/bin 2020-04-18 00:33:41,213 INFO [main] util.ServerCommandLine: env:HISTCONTROL=ignoredups 2020-04-18 00:33:41,213 INFO [main] util.ServerCommandLine: env:HISTSIZE=1000 2020-04-18 00:33:41,213 INFO [main] util.ServerCommandLine: env:HBASE_REGIONSERVER_OPTS= -XX:PermSize=128m -XX:MaxPermSize=128m 2020-04-18 00:33:41,213 INFO [main] util.ServerCommandLine: env:JAVA_HOME=/export/servers/jdk 2020-04-18 00:33:41,214 INFO [main] util.ServerCommandLine: env:TERM=vt100 2020-04-18 00:33:41,214 INFO [main] util.ServerCommandLine: env:LANG=en_US.UTF-8 2020-04-18 00:33:41,214 INFO [main] util.ServerCommandLine: env:G_BROKEN_FILENAMES=1 2020-04-18 00:33:41,214 INFO [main] util.ServerCommandLine: env:SELINUX_LEVEL_REQUESTED= 2020-04-18 00:33:41,214 INFO [main] util.ServerCommandLine: env:SELINUX_ROLE_REQUESTED= 2020-04-18 00:33:41,214 INFO [main] util.ServerCommandLine: env:MAIL=/var/spool/mail/root 2020-04-18 00:33:41,214 INFO [main] util.ServerCommandLine: env:LD_LIBRARY_PATH=:/export/servers/hadoop-2.9.2/lib/native 2020-04-18 00:33:41,220 INFO [main] util.ServerCommandLine: env:LOGNAME=root 2020-04-18 00:33:41,220 INFO [main] util.ServerCommandLine: env:HBASE_REST_OPTS= 2020-04-18 00:33:41,221 INFO [main] util.ServerCommandLine: env:PWD=/export/servers/hbase-1.2.1/bin 2020-04-18 00:33:41,221 INFO [main] util.ServerCommandLine: env:HBASE_ROOT_LOGGER=INFO,RFA 2020-04-18 00:33:41,221 INFO [main] util.ServerCommandLine: env:LESSOPEN=||/usr/bin/lesspipe.sh %s 2020-04-18 00:33:41,221 INFO [main] util.ServerCommandLine: env:SHELL=/bin/bash 2020-04-18 00:33:41,221 INFO [main] util.ServerCommandLine: env:ZK_HOME=/export/servers/zookeeper-3.4.10 2020-04-18 00:33:41,221 INFO [main] util.ServerCommandLine: env:SELINUX_USE_CURRENT_RANGE= 2020-04-18 00:33:41,221 INFO [main] util.ServerCommandLine: env:HBASE_ENV_INIT=true 2020-04-18 00:33:41,221 INFO [main] util.ServerCommandLine: env:HBASE_IDENT_STRING=root 2020-04-18 00:33:41,221 INFO [main] util.ServerCommandLine: env:HBASE_ZNODE_FILE=/tmp/hbase-root-master.znode 2020-04-18 00:33:41,221 INFO [main] util.ServerCommandLine: env:SSH_TTY=/dev/pts/1 2020-04-18 00:33:41,222 INFO [main] util.ServerCommandLine: env:SSH_CLIENT=192.168.121.1 50359 22 2020-04-18 00:33:41,222 INFO [main] util.ServerCommandLine: env:HIVE_HOME=/export/servers/apache-hive-1.2.1-bin 2020-04-18 00:33:41,245 INFO [main] util.ServerCommandLine: env:HBASE_LOG_PREFIX=hbase-root-master-hadoop01 2020-04-18 00:33:41,246 INFO [main] util.ServerCommandLine: env:HBASE_LOG_DIR=/export/servers/hbase-1.2.1/logs 2020-04-18 00:33:41,247 INFO [main] util.ServerCommandLine: env:USER=root 2020-04-18 00:33:41,248 INFO [main] util.ServerCommandLine: env:CLASSPATH=/export/servers/hbase-1.2.1/conf:/export/servers/jdk/lib/tools.jar:/export/servers/hbase-1.2.1:/export/servers/hbase-1.2.1/lib/activation-1.1.jar:/export/servers/hbase-1.2.1/lib/asm-3.1.jar:/export/servers/hbase-1.2.1/lib/avro-1.7.4.jar:/export/servers/hbase-1.2.1/lib/commons-beanutils-1.7.0.jar:/export/servers/hbase-1.2.1/lib/commons-beanutils-core-1.7.0.jar:/export/servers/hbase-1.2.1/lib/commons-cli-1.2.jar:/export/servers/hbase-1.2.1/lib/commons-codec-1.9.jar:/export/servers/hbase-1.2.1/lib/commons-collections-3.2.2.jar:/export/servers/hbase-1.2.1/lib/commons-configuration-1.6.jar:/export/servers/hbase-1.2.1/lib/commons-digester-1.8.jar:/export/servers/hbase-1.2.1/lib/commons-el-1.0.jar:/export/servers/hbase-1.2.1/lib/commons-httpclient-3.1.jar:/export/servers/hbase-1.2.1/lib/commons-io-2.4.jar:/export/servers/hbase-1.2.1/lib/commons-lang-2.6.jar:/export/servers/hbase-1.2.1/lib/commons-logging-1.2.jar:/export/servers/hbase-1.2.1/lib/commons-math3-3.1.1.jar:/export/servers/hbase-1.2.1/lib/commons-net-3.1.jar:/export/servers/hbase-1.2.1/lib/findbugs-annotations-1.3.9-1.jar:/export/servers/hbase-1.2.1/lib/guava-12.0.1.jar:/export/servers/hbase-1.2.1/lib/hadoop-annotations-2.5.1.jar:/export/servers/hbase-1.2.1/lib/hadoop-common-2.5.1.jar:/export/servers/hbase-1.2.1/lib/hbase-annotations-1.2.1.jar:/export/servers/hbase-1.2.1/lib/hbase-annotations-1.2.1-tests.jar:/export/servers/hbase-1.2.1/lib/hbase-client-1.2.1.jar:/export/servers/hbase-1.2.1/lib/hbase-common-1.2.1.jar:/export/servers/hbase-1.2.1/lib/hbase-common-1.2.1-tests.jar:/export/servers/hbase-1.2.1/lib/hbase-examples-1.2.1.jar:/export/servers/hbase-1.2.1/lib/hbase-external-blockcache-1.2.1.jar:/export/servers/hbase-1.2.1/lib/hbase-hadoop2-compat-1.2.1.jar:/export/servers/hbase-1.2.1/lib/hbase-hadoop-compat-1.2.1.jar:/export/servers/hbase-1.2.1/lib/hbase-it-1.2.1.jar:/export/servers/hbase-1.2.1/lib/hbase-it-1.2.1-tests.jar:/export/servers/hbase-1.2.1/lib/hbase-prefix-tree-1.2.1.jar:/export/servers/hbase-1.2.1/lib/hbase-procedure-1.2.1.jar:/export/servers/hbase-1.2.1/lib/hbase-protocol-1.2.1.jar:/export/servers/hbase-1.2.1/lib/hbase-rest-1.2.1.jar:/export/servers/hbase-1.2.1/lib/hbase-server-1.2.1.jar:/export/servers/hbase-1.2.1/lib/hbase-server-1.2.1-tests.jar:/export/servers/hbase-1.2.1/lib/hbase-shell-1.2.1.jar:/export/servers/hbase-1.2.1/lib/hbase-thrift-1.2.1.jar:/export/servers/hbase-1.2.1/lib/htrace-core-3.1.0-incubating.jar:/export/servers/hbase-1.2.1/lib/httpclient-4.2.5.jar:/export/servers/hbase-1.2.1/lib/httpcore-4.4.1.jar:/export/servers/hbase-1.2.1/lib/jackson-core-asl-1.9.13.jar:/export/servers/hbase-1.2.1/lib/jackson-jaxrs-1.9.13.jar:/export/servers/hbase-1.2.1/lib/jackson-mapper-asl-1.9.13.jar:/export/servers/hbase-1.2.1/lib/jackson-xc-1.9.13.jar:/export/servers/hbase-1.2.1/lib/jasper-compiler-5.5.23.jar:/export/servers/hbase-1.2.1/lib/jasper-runtime-5.5.23.jar:/export/servers/hbase-1.2.1/lib/java-xmlbuilder-0.4.jar:/export/servers/hbase-1.2.1/lib/jaxb-api-2.2.2.jar:/export/servers/hbase-1.2.1/lib/jaxb-impl-2.2.3-1.jar:/export/servers/hbase-1.2.1/lib/jersey-core-1.9.jar:/export/servers/hbase-1.2.1/lib/jersey-json-1.9.jar:/export/servers/hbase-1.2.1/lib/jersey-server-1.9.jar:/export/servers/hbase-1.2.1/lib/jets3t-0.9.0.jar:/export/servers/hbase-1.2.1/lib/jettison-1.3.3.jar:/export/servers/hbase-1.2.1/lib/jetty-6.1.26.jar:/export/servers/hbase-1.2.1/lib/jetty-util-6.1.26.jar:/export/servers/hbase-1.2.1/lib/jsr305-1.3.9.jar:/export/servers/hbase-1.2.1/lib/junit-4.12.jar:/export/servers/hbase-1.2.1/lib/log4j-1.2.17.jar:/export/servers/hbase-1.2.1/lib/paranamer-2.3.jar:/export/servers/hbase-1.2.1/lib/protobuf-java-2.5.0.jar:/export/servers/hbase-1.2.1/lib/slf4j-api-1.7.7.jar:/export/servers/hbase-1.2.1/lib/slf4j-log4j12-1.7.5.jar:/export/servers/hbase-1.2.1/lib/snappy-java-1.0.4.1.jar:/export/servers/hbase-1.2.1/lib/xmlenc-0.52.jar:/export/servers/hadoop-2.9.2/etc/hadoop:/export/servers/hadoop-2.9.2/share/hadoop/common/lib/*:/export/servers/hadoop-2.9.2/share/hadoop/common/*:/export/servers/hadoop-2.9.2/share/hadoop/hdfs:/export/servers/hadoop-2.9.2/share/hadoop/hdfs/lib/*:/export/servers/hadoop-2.9.2/share/hadoop/hdfs/*:/export/servers/hadoop-2.9.2/share/hadoop/yarn:/export/servers/hadoop-2.9.2/share/hadoop/yarn/lib/*:/export/servers/hadoop-2.9.2/share/hadoop/yarn/*:/export/servers/hadoop-2.9.2/share/hadoop/mapreduce/lib/*:/export/servers/hadoop-2.9.2/share/hadoop/mapreduce/*:/export/servers/hadoop-2.9.2/contrib/capacity-scheduler/*.jar 2020-04-18 00:33:41,248 INFO [main] util.ServerCommandLine: env:HBASE_MASTER_OPTS= -XX:PermSize=128m -XX:MaxPermSize=128m 2020-04-18 00:33:41,249 INFO [main] util.ServerCommandLine: env:HBASE_MANAGES_ZK=false 2020-04-18 00:33:41,249 INFO [main] util.ServerCommandLine: env:SSH_ASKPASS=/usr/libexec/openssh/gnome-ssh-askpass 2020-04-18 00:33:41,249 INFO [main] util.ServerCommandLine: env:SSH_CONNECTION=192.168.121.1 50359 192.168.121.134 22 2020-04-18 00:33:41,249 INFO [main] util.ServerCommandLine: env:HOSTNAME=hadoop01 2020-04-18 00:33:41,249 INFO [main] util.ServerCommandLine: env:HADOOP_HOME=/export/servers/hadoop-2.9.2 2020-04-18 00:33:41,249 INFO [main] util.ServerCommandLine: env:HBASE_NICENESS=0 2020-04-18 00:33:41,249 INFO [main] util.ServerCommandLine: env:HBASE_OPTS=-XX:+UseConcMarkSweepGC -XX:PermSize=128m -XX:MaxPermSize=128m -Dhbase.log.dir=/export/servers/hbase-1.2.1/logs -Dhbase.log.file=hbase-root-master-hadoop01.log -Dhbase.home.dir=/export/servers/hbase-1.2.1 -Dhbase.id.str=root -Dhbase.root.logger=INFO,RFA -Djava.library.path=/export/servers/hadoop-2.9.2/lib/native -Dhbase.security.logger=INFO,RFAS 2020-04-18 00:33:41,249 INFO [main] util.ServerCommandLine: env:HBASE_START_FILE=/tmp/hbase-root-master.autorestart 2020-04-18 00:33:41,249 INFO [main] util.ServerCommandLine: env:HBASE_SECURITY_LOGGER=INFO,RFAS 2020-04-18 00:33:41,250 INFO [main] util.ServerCommandLine: env:HBASE_THRIFT_OPTS= 2020-04-18 00:33:41,250 INFO [main] util.ServerCommandLine: env:HBASE_HOME=/export/servers/hbase-1.2.1 2020-04-18 00:33:41,250 INFO [main] util.ServerCommandLine: env:LS_COLORS=rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:mi=01;05;37;41:su=37;41:sg=30;43:ca=30;41:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arj=01;31:*.taz=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.zip=01;31:*.z=01;31:*.Z=01;31:*.dz=01;31:*.gz=01;31:*.lz=01;31:*.xz=01;31:*.bz2=01;31:*.tbz=01;31:*.tbz2=01;31:*.bz=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.rar=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.jpg=01;35:*.jpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.axv=01;35:*.anx=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=01;36:*.au=01;36:*.flac=01;36:*.mid=01;36:*.midi=01;36:*.mka=01;36:*.mp3=01;36:*.mpc=01;36:*.ogg=01;36:*.ra=01;36:*.wav=01;36:*.axa=01;36:*.oga=01;36:*.spx=01;36:*.xspf=01;36: 2020-04-18 00:33:41,250 INFO [main] util.ServerCommandLine: env:HOME=/root 2020-04-18 00:33:41,250 INFO [main] util.ServerCommandLine: env:SHLVL=4 2020-04-18 00:33:41,250 INFO [main] util.ServerCommandLine: env:MALLOC_ARENA_MAX=4 2020-04-18 00:33:41,254 INFO [main] util.ServerCommandLine: vmName=Java HotSpot(TM) 64-Bit Server VM, vmVendor=Oracle Corporation, vmVersion=25.161-b12 2020-04-18 00:33:41,590 INFO [main] util.ServerCommandLine: vmInputArguments=[-Dproc_master, -XX:OnOutOfMemoryError=kill -9 %p, -XX:+UseConcMarkSweepGC, -XX:PermSize=128m, -XX:MaxPermSize=128m, -Dhbase.log.dir=/export/servers/hbase-1.2.1/logs, -Dhbase.log.file=hbase-root-master-hadoop01.log, -Dhbase.home.dir=/export/servers/hbase-1.2.1, -Dhbase.id.str=root, -Dhbase.root.logger=INFO,RFA, -Djava.library.path=/export/servers/hadoop-2.9.2/lib/native, -Dhbase.security.logger=INFO,RFAS] 2020-04-18 00:33:42,227 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 2020-04-18 00:33:45,999 INFO [main] regionserver.RSRpcServices: master/hadoop01/192.168.121.134:16000 server-side HConnection retries=350 2020-04-18 00:33:46,311 INFO [main] ipc.SimpleRpcScheduler: Using deadline as user call queue, count=3 2020-04-18 00:33:46,371 INFO [main] ipc.RpcServer: master/hadoop01/192.168.121.134:16000: started 10 reader(s) listening on port=16000 2020-04-18 00:33:46,473 INFO [main] impl.MetricsConfig: loaded properties from hadoop-metrics2-hbase.properties 2020-04-18 00:33:46,674 INFO [main] impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s). 2020-04-18 00:33:46,674 INFO [main] impl.MetricsSystemImpl: HBase metrics system started 2020-04-18 00:33:46,746 ERROR [main] master.HMasterCommandLine: Master exiting java.lang.RuntimeException: Failed construction of Master: class org.apache.hadoop.hbase.master.HMaster. at org.apache.hadoop.hbase.master.HMaster.constructMaster(HMaster.java:2401) at org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:232) at org.apache.hadoop.hbase.master.HMasterCommandLine.run(HMasterCommandLine.java:138) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLine.java:126) at org.apache.hadoop.hbase.master.HMaster.main(HMaster.java:2411) Caused by: java.lang.NoClassDefFoundError: com/yammer/metrics/stats/Sample at org.apache.hadoop.metrics2.lib.DynamicMetricsRegistry.newTimeHistogram(DynamicMetricsRegistry.java:305) at org.apache.hadoop.hbase.ipc.MetricsHBaseServerSourceImpl.<init>(MetricsHBaseServerSourceImpl.java:99) at org.apache.hadoop.hbase.ipc.MetricsHBaseServerSourceFactoryImpl.getSource(MetricsHBaseServerSourceFactoryImpl.java:48) at org.apache.hadoop.hbase.ipc.MetricsHBaseServerSourceFactoryImpl.create(MetricsHBaseServerSourceFactoryImpl.java:38) at org.apache.hadoop.hbase.ipc.MetricsHBaseServer.<init>(MetricsHBaseServer.java:39) at org.apache.hadoop.hbase.ipc.RpcServer.<init>(RpcServer.java:2032) at org.apache.hadoop.hbase.regionserver.RSRpcServices.<init>(RSRpcServices.java:923) at org.apache.hadoop.hbase.master.MasterRpcServices.<init>(MasterRpcServices.java:230) at org.apache.hadoop.hbase.master.HMaster.createRpcServices(HMaster.java:517) at org.apache.hadoop.hbase.regionserver.HRegionServer.<init>(HRegionServer.java:535) at org.apache.hadoop.hbase.master.HMaster.<init>(HMaster.java:364) at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at org.apache.hadoop.hbase.master.HMaster.constructMaster(HMaster.java:2394) ... 5 more Caused by: java.lang.ClassNotFoundException: com.yammer.metrics.stats.Sample at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:338) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ... 21 more

Hbase Regionserver启动出错

replace_conf_dir + find /var/run/cloudera-scm-agent/process/469-hbase-REGIONSERVER -type f '!' -path '/var/run/cloudera-scm-agent/process/469-hbase-REGIONSERVER/logs/*' '!' -name '*.log' '!' -name '*.keytab' '!' -name '*jceks' -exec perl -pi -e 's#{{CMF_CONF_DIR}}#/var/run/cloudera-scm-agent/process/469-hbase-REGIONSERVER#g' '{}' ';' **Can't open /var/run/cloudera-scm-agent/process/469-hbase-REGIONSERVER/supervisor.conf: Permission denied. **+ acquire_kerberos_tgt hbase.keytab + '[' -z hbase.keytab ']' + '[' -n '' ']' + export 'HBASE_OPTS=-Djava.net.preferIPv4Stack=true ' + HBASE_OPTS='-Djava.net.preferIPv4Stack=true ' + locate_hbase_script + '[' 5 -ge 5 ']' + export BIGTOP_DEFAULTS_DIR= + BIGTOP_DEFAULTS_DIR= + HBASE_BIN=/opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/hbase/../../bin/hbase + '[' upgrade = regionserver ']' + '[' region_mover = regionserver ']' + '[' toggle_balancer = regionserver ']' + '[' shell = regionserver ']' + '[' hfileCheck = regionserver ']' + '[' remoteSnapshotTool = regionserver ']' + '[' '' '!=' '' ']' + '[' regionserver = regionserver -a -n '' ']' + '[' start = start -a 5 -gt 4 ']' + '[' regionserver = regionserver -o master = regionserver ']' + export HBASE_ZNODE_FILE=/var/run/cloudera-scm-agent/process/469-hbase-REGIONSERVER/znode59836 + HBASE_ZNODE_FILE=/var/run/cloudera-scm-agent/process/469-hbase-REGIONSERVER/znode59836 + exec /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/hbase/../../bin/hbase --config /var/run/cloudera-scm-agent/process/469-hbase-REGIONSERVER regionserver start + znode_cleanup regionserver ++ date + echo 'Thu Aug 10 15:01:12 CST 2017 Starting znode cleanup thread with HBASE_ZNODE_FILE=/var/run/cloudera-scm-agent/process/469-hbase-REGIONSERVER/znode59836 for regionserver' ++ replace_pid -Djava.net.preferIPv4Stack=true ++ sed 's#{{PID}}#59836#g' ++ echo -Djava.net.preferIPv4Stack=true + HBASE_OPTS=-Djava.net.preferIPv4Stack=true + '[' '' '!=' '' ']' + LOG_FILE=/var/run/cloudera-scm-agent/process/469-hbase-REGIONSERVER/logs/znode_cleanup.log + set +x

HBase集群可能遇到的问题及解决方案

目前搭建的HBase集群即将上线,但是怕生产遇到问题,所以有大神遇到过各种问题吗? 比如NamNode主备切换的过程中有数据写入怎么办?某一个Datanode崩溃后region是否会被分配到其他的regionserver中

hadoop集群间数据迁移

bin/hadoop distcp hftp://master:50070/user/wp hdfs://ns1/user/ hadoop集群间数据迁移org.apache.hadoop.tools.mapred.RetriableFileCopyCommand$CopyReadException: java.net.SocketTimeoutException: connect timed out

hbase shell 无法启动 页面能正常访问

安装了hbase 1.3.1 hadoop 2.8.2 jdk 9.0.1 hbase 启动没问题,但当启动 hbase shell 错误如下: root@Master bin]# ./hbase shell Java HotSpot(TM) 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release. WARNING: An illegal reflective access operation has occurred WARNING: Illegal reflective access by org.jruby.java.invokers.RubyToJavaInvoker (file:/usr/local/hadoop/hbase-1.2.6/lib/jruby-complete-1.6.8.jar) to method java.lang.Object.registerNatives() WARNING: Please consider reporting this to the maintainers of org.jruby.java.invokers.RubyToJavaInvoker WARNING: Use --illegal-access=warn to enable warnings of further illegal reflective access operations WARNING: All illegal access operations will be denied in a future release ArgumentError: wrong number of arguments (0 for 1) method_added at file:/usr/local/hadoop/hbase-1.2.6/lib/jruby-complete-1.6.8.jar!/builtin/javasupport/core_ext/object.rb:10 method_added at file:/usr/local/hadoop/hbase-1.2.6/lib/jruby-complete-1.6.8.jar!/builtin/javasupport/core_ext/object.rb:129 Pattern at file:/usr/local/hadoop/hbase-1.2.6/lib/jruby-complete-1.6.8.jar!/builtin/java/java.util.regex.rb:2 (root) at file:/usr/local/hadoop/hbase-1.2.6/lib/jruby-complete-1.6.8.jar!/builtin/java/java.util.regex.rb:1 require at org/jruby/RubyKernel.java:1062 (root) at file:/usr/local/hadoop/hbase-1.2.6/lib/jruby-complete-1.6.8.jar!/builtin/java/java.util.regex.rb:42 (root) at /usr/local/hadoop/hbase-1.2.6/bin/hirb.rb:38 而hirb.rb 第38行是 include JAVA, 而我的环境变量都配好的,不知道还有什么出错了。

JAVA连接Hbase集群

java连接Hbase,代码卡在 HBaseAdmin admin1 = new HBaseAdmin(conf1);处

hdoop集群下各hbase的数据是一样的吗?

场景:要把全国31个省的数据从原来的oracle数据库导入到现在的hadoop集群,采用大数据以提高效率。 现在的环境是10台机器,Hadoop集群 问题是Hadoop集群的工作原理是怎样的?是把31个省的数据都导入每台机器的hbase还是每台机器的hbase导几个省,总共是31个省?怎么保证效率? 不懂吖 刚接触。

如何清除hbase表中重复数据

类似mysql中table1表 id name 1 name1 2 name2 3 name1 我们可以使用 delete table1 from table1, (select max(id) mid, name from table1 group by name having count(id) > 1 ) as t2 where table1.name = t2.name and table1.id != t2.mid; 语句清除重复name值的数据,只保留其中重复数据中id最大的数据,得到: id name 2 name2 3 name1 那么在hbase中,怎么清除表中某字段值重复的记录,而保留重复数据中最后一条数据? 求大神解答

hbase导出表数据到hdfs

我需要把hbase中的表数据导入到hdfs 使用的命令 hbase org.apache.hadoop.hbase.mapreduce.Driver import user hdfs://master:9000/user 显示一直重新连接。连接九次后停住不到,已经被这个问题弄疯了 能解答吗各位 报错的信息是: 2015-01-22 00:43:32,293 INFO [main] ipc.Client: Retrying connect to server: localhost/127.0.0.1:18032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 2015-01-22 00:43:33,295 INFO [main] ipc.Client: Retrying connect to server: localhost/127.0.0.1:18032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 2015-01-22 00:43:34,297 INFO [main] ipc.Client: Retrying connect to server: localhost/127.0.0.1:18032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 2015-01-22 00:43:35,299 INFO [main] ipc.Client: Retrying connect to server: localhost/127.0.0.1:18032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

java 如何访问远程 linux 服务器下利用docker容器建立的hbase集群

在远程linux服务器上利用docker搭建伪分布式集群的Hbase,如何在本地windows主机利用java来访问并进行操作。 ``` conf = HBaseConfiguration.create(); //我认为这里应该是我服务器的ip,因为容器的ip并没有映射到windows中 conf.set("hbase.zookeeper.quorum","192.168.10.168"); //2281是master容器zk2181端口的映射 conf.set("hbase.zookeeper.property.clientPort", "2281"); conn= ConnectionFactory.createConnection(conf); admin=conn.getAdmin(); System.out.println("connection success"); Table mk=conn.getTable(TableName.valueOf("user")); Get g = new Get(Bytes.toBytes("1234")); Result result = mk.get(g); ``` 如果这样子操作的话,运行到Result报缺少master主机的错误

hbase 集群启动后master 端口监听不正确

![图片说明](https://img-ask.csdn.net/upload/201510/21/1445398147_76899.jpg) 截图是在master机器上端口监听,可以看到60000、60020是监听在127.0.0.1上的 这样就导致其他的slave 机器无法访问60000、60020端口,网上说是hosts配置不正确,但是都各种修改了还是不正确,请问该如何解决

hive表和hbase表整合时,hive表可以是分区表么?

如果hive分区表可以与hbase整合,那么hive分区的字段怎么和hbase进行映射呢?

HBase中的文件export到HDFS

如何把HBase中的数据export到HDFS上,并且能够指定export出来的数据格式(如.指定按某种分割符分割column的文件格式)

从集群中去掉一个节点,但是对hbase数据表的操作还是涉及到该节点?

有谁遇到过这种情况:从集群中去掉一个节点,但是对hbase数据表的操作还是涉及到该节点?

kafka数据上传hbase的问题

我使用的环境是hdp的伪分布集群 我的项目是flume采集数据发送到kafka的各个topic当中 再由jar文件使得从kafka当中获取数据 发送到hbase做持久化 然后因为数据量颇大 每次传个半个小时的数据 regionserver就挂掉了 项目是肯定没问题的 因为目前在学习阶段 别人是可以执行且不报错的 问题如下所示 ``` java.io.FileNotFoundException: File /tmp/hbase-root/hbase/lib does not exist at org.apache.hadoop.fs.RawLocalFileSystem.listStatus(RawLocalFileSystem.java:431) ~[hadoop-common-2.7.3.jar!/:na] at org.apache.hadoop.fs.FileSystem.listStatus(FileSystem.java:1517) ~[hadoop-common-2.7.3.jar!/:na] at org.apache.hadoop.fs.FileSystem.listStatus(FileSystem.java:1557) ~[hadoop-common-2.7.3.jar!/:na] at org.apache.hadoop.fs.ChecksumFileSystem.listStatus(ChecksumFileSystem.java:674) ~[hadoop-common-2.7.3.jar!/:na] at org.apache.hadoop.hbase.util.DynamicClassLoader.loadNewJars(DynamicClassLoader.java:178) [hbase-common-1.1.2.jar!/:1.1.2] at org.apache.hadoop.hbase.util.DynamicClassLoader.loadClass(DynamicClassLoader.java:142) [hbase-common-1.1.2.jar!/:1.1.2] at java.lang.Class.forName0(Native Method) [na:1.8.0_161] at java.lang.Class.forName(Class.java:348) [na:1.8.0_161] at org.apache.hadoop.hbase.protobuf.ProtobufUtil.toException(ProtobufUtil.java:1543) [hbase-client-1.1.2.jar!/:1.1.2] at org.apache.hadoop.hbase.protobuf.ResponseConverter.getResults(ResponseConverter.java:120) [hbase-client-1.1.2.jar!/:1.1.2] at org.apache.hadoop.hbase.client.MultiServerCallable.call(MultiServerCallable.java:134) [hbase-client-1.1.2.jar!/:1.1.2] at org.apache.hadoop.hbase.client.MultiServerCallable.call(MultiServerCallable.java:54) [hbase-client-1.1.2.jar!/:1.1.2] at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRetries(RpcRetryingCaller.java:200) [hbase-client-1.1.2.jar!/:1.1.2] at org.apache.hadoop.hbase.client.AsyncProcess$AsyncRequestFutureImpl$SingleServerRequestRunnable.run(AsyncProcess.java:708) [hbase-client-1.1.2.jar!/:1.1.2] ``` 他突然开始寻找 File /tmp/hbase-root/hbase/lib does not exist 这个路径的文件 我的项目中并没有从这个路径下寻找文件 我前往到这个路径 路径是空的 就是根本没有这个路径 然后我前往hbase的log中查看 hbase来了一套组合拳 ``` 2020-03-21 19:29:49,789 ERROR [Thread-19] util.PolicyRefresher: PolicyRefresher(serviceName=Sandbox_hbase): failed to refresh policies. Will continue to use last known version of policies (6) com.sun.jersey.api.client.ClientHandlerException: java.net.SocketTimeoutException: Read timed out at com.sun.jersey.client.urlconnection.URLConnectionClientHandler.handle(URLConnectionClientHandler.java:149) at com.sun.jersey.api.client.Client.handle(Client.java:648) at com.sun.jersey.api.client.WebResource.handle(WebResource.java:670) at com.sun.jersey.api.client.WebResource.access$200(WebResource.java:74) at com.sun.jersey.api.client.WebResource$Builder.get(WebResource.java:503) at org.apache.ranger.admin.client.RangerAdminRESTClient.getServicePoliciesIfUpdated(RangerAdminRESTClient.java:135) at org.apache.ranger.plugin.util.PolicyRefresher.loadPolicyfromPolicyAdmin(PolicyRefresher.java:264) at org.apache.ranger.plugin.util.PolicyRefresher.loadPolicy(PolicyRefresher.java:202) at org.apache.ranger.plugin.util.PolicyRefresher.run(PolicyRefresher.java:171) Caused by: java.net.SocketTimeoutException: Read timed out at java.net.SocketInputStream.socketRead0(Native Method) at java.net.SocketInputStream.socketRead(SocketInputStream.java:116) at java.net.SocketInputStream.read(SocketInputStream.java:171) at java.net.SocketInputStream.read(SocketInputStream.java:141) at java.io.BufferedInputStream.fill(BufferedInputStream.java:246) at java.io.BufferedInputStream.read1(BufferedInputStream.java:286) at java.io.BufferedInputStream.read(BufferedInputStream.java:345) at sun.net.www.http.HttpClient.parseHTTPHeader(HttpClient.java:735) at sun.net.www.http.HttpClient.parseHTTP(HttpClient.java:678) at sun.net.www.protocol.http.HttpURLConnection.getInputStream0(HttpURLConnection.java:1587) at sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1492) at java.net.HttpURLConnection.getResponseCode(HttpURLConnection.java:480) at com.sun.jersey.client.urlconnection.URLConnectionClientHandler._invoke(URLConnectionClientHandler.java:240) at com.sun.jersey.client.urlconnection.URLConnectionClientHandler.handle(URLConnectionClientHandler.java:147) ... 8 more ``` 然后就是读取超时 ``` com.sun.jersey.api.client.ClientHandlerException: java.net.SocketTimeoutException: Read timed out at com.sun.jersey.client.urlconnection.URLConnectionClientHandler.handle(URLConnectionClientHandler.java:149) at com.sun.jersey.api.client.Client.handle(Client.java:648) at com.sun.jersey.api.client.WebResource.handle(WebResource.java:670) at com.sun.jersey.api.client.WebResource.access$200(WebResource.java:74) at com.sun.jersey.api.client.WebResource$Builder.get(WebResource.java:503) at org.apache.ranger.admin.client.RangerAdminRESTClient.getServicePoliciesIfUpdated(RangerAdminRESTClient.java:135) at org.apache.ranger.plugin.util.PolicyRefresher.loadPolicyfromPolicyAdmin(PolicyRefresher.java:264) at org.apache.ranger.plugin.util.PolicyRefresher.loadPolicy(PolicyRefresher.java:202) at org.apache.ranger.plugin.util.PolicyRefresher.run(PolicyRefresher.java:171) ``` 然后就是最匪夷所思的异常 ``` 2020-03-21 19:33:36,252 ERROR [Thread-19] util.PolicyRefresher: PolicyRefresher(serviceName=Sandbox_hbase): failed to refresh policies. Will continue to use last known version of policies (6) com.sun.jersey.api.client.ClientHandlerException: java.net.SocketTimeoutException: Read timed out at com.sun.jersey.client.urlconnection.URLConnectionClientHandler.handle(URLConnectionClientHandler.java:149) at com.sun.jersey.api.client.Client.handle(Client.java:648) at com.sun.jersey.api.client.WebResource.handle(WebResource.java:670) at com.sun.jersey.api.client.WebResource.access$200(WebResource.java:74) at com.sun.jersey.api.client.WebResource$Builder.get(WebResource.java:503) at org.apache.ranger.admin.client.RangerAdminRESTClient.getServicePoliciesIfUpdated(RangerAdminRESTClient.java:135) at org.apache.ranger.plugin.util.PolicyRefresher.loadPolicyfromPolicyAdmin(PolicyRefresher.java:264) at org.apache.ranger.plugin.util.PolicyRefresher.loadPolicy(PolicyRefresher.java:202) at org.apache.ranger.plugin.util.PolicyRefresher.run(PolicyRefresher.java:171) Caused by: java.net.SocketTimeoutException: Read timed out at java.net.SocketInputStream.socketRead0(Native Method) at java.net.SocketInputStream.socketRead(SocketInputStream.java:116) at java.net.SocketInputStream.read(SocketInputStream.java:171) at java.net.SocketInputStream.read(SocketInputStream.java:141) at java.io.BufferedInputStream.fill(BufferedInputStream.java:246) at java.io.BufferedInputStream.read1(BufferedInputStream.java:286) at java.io.BufferedInputStream.read(BufferedInputStream.java:345) at sun.net.www.http.HttpClient.parseHTTPHeader(HttpClient.java:735) at sun.net.www.http.HttpClient.parseHTTP(HttpClient.java:678) at sun.net.www.protocol.http.HttpURLConnection.getInputStream0(HttpURLConnection.java:1587) at sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1492) at java.net.HttpURLConnection.getResponseCode(HttpURLConnection.java:480) at com.sun.jersey.client.urlconnection.URLConnectionClientHandler._invoke(URLConnectionClientHandler.java:240) at com.sun.jersey.client.urlconnection.URLConnectionClientHandler.handle(URLConnectionClientHandler.java:147) ... 8 more ``` 求大佬解答

java如何修改hbase表数据

注意:是修改hbase表的数据,不是新增、删除、查询,是修改

Hbase在hive中的映射表作为分区表查询障碍

首先我在Hbase中建了一张空表t1; 在hive中新建一张**外部分区表**使用HBaseStorageHandler与表t1映射起来; hive中插入一条分区数据,hive中存在1条数据,Hbase中一条; hive中插入第2,3,4,5条分区数据,**hive中存在25条数据,Hbase中5条**;why? 另外hive中select查询带第一个分区条件查询数据竟然显示全部数据??所以分区表和映射表同时使用无意义??![图片说明](https://img-ask.csdn.net/upload/201611/16/1479264006_91643.png)

将hdfs中的csv文件导入hbase表时报错,跪求大神

我本机的虚拟机配置hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.3集群环境,三个节点,按照教程,环境配置都没有问题,hadoop,zookeeper,hbase都能成功启动,也能web访问,向hbase表导入csv文件数据,执行导入语句后,报出错误: zookeeper.ClientCnxn: Opening socket connection to server node2/192.168.220.102:2181. Will not attempt to authenticate using SASL (unknown error) csv文件为: Debugo,Beijing Le,Shanghai Sariel,Beijing Elvis,Beijing 导入语句: hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=',' -Dimporttsv.columns=HBASE_ROW_KEY,city user_info /user/yarn/user.csv hbase-site.xml的配置文件见图片:![图片说明](https://img-ask.csdn.net/upload/201611/16/1479268072_593384.png) zoo.cfg的配置见图片:![图片说明](https://img-ask.csdn.net/upload/201611/16/1479268009_329304.png)

大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了

大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

程序员请照顾好自己,周末病魔差点一套带走我。

程序员在一个周末的时间,得了重病,差点当场去世,还好及时挽救回来了。

ArrayList源码分析(入门篇)

ArrayList源码分析 前言: 写这篇博客的主要原因是,在我上一次参加千牵科技Java实习生面试时,有被面试官问到ArrayList为什么查找的速度较快,插入和删除的速度较慢?当时我回答得不好,很大的一部分原因是因为我没有阅读过ArrayList源码,虽然最后收到Offer了,但我拒绝了,打算寒假学得再深入些再广泛些,下学期开学后再去投递其他更好的公司。为了更加深入理解ArrayList,也为

我以为我学懂了数据结构,直到看了这个导图才发现,我错了

数据结构与算法思维导图

String s = new String(" a ") 到底产生几个对象?

老生常谈的一个梗,到2020了还在争论,你们一天天的,哎哎哎,我不是针对你一个,我是说在座的各位都是人才! 上图红色的这3个箭头,对于通过new产生一个字符串(”宜春”)时,会先去常量池中查找是否已经有了”宜春”对象,如果没有则在常量池中创建一个此字符串对象,然后堆中再创建一个常量池中此”宜春”对象的拷贝对象。 也就是说准确答案是产生了一个或两个对象,如果常量池中原来没有 ”宜春” ,就是两个。...

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

和黑客斗争的 6 天!

互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...

讲一个程序员如何副业月赚三万的真实故事

loonggg读完需要3分钟速读仅需 1 分钟大家好,我是你们的校长。我之前讲过,这年头,只要肯动脑,肯行动,程序员凭借自己的技术,赚钱的方式还是有很多种的。仅仅靠在公司出卖自己的劳动时...

上班一个月,后悔当初着急入职的选择了

最近有个老铁,告诉我说,上班一个月,后悔当初着急入职现在公司了。他之前在美图做手机研发,今年美图那边今年也有一波组织优化调整,他是其中一个,在协商离职后,当时捉急找工作上班,因为有房贷供着,不能没有收入来源。所以匆忙选了一家公司,实际上是一个大型外包公司,主要派遣给其他手机厂商做外包项目。**当时承诺待遇还不错,所以就立马入职去上班了。但是后面入职后,发现薪酬待遇这块并不是HR所说那样,那个HR自...

女程序员,为什么比男程序员少???

昨天看到一档综艺节目,讨论了两个话题:(1)中国学生的数学成绩,平均下来看,会比国外好?为什么?(2)男生的数学成绩,平均下来看,会比女生好?为什么?同时,我又联想到了一个技术圈经常讨...

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

玩转springboot启动banner定义所得

最近接手了一个springboot项目,不是不熟悉这个框架,启动时打印的信息吸引了我。 这不是我熟悉的常用springboot的打印信息啊,我打开自己的项目: 还真是的,不用默认的感觉也挺高大上的。一时兴起,就去研究了一下源代码,还正是有些收获,稍后我会总结一下。正常情况下做为一个老程序员,是不会对这种小儿科感兴趣的,不就是一个控制台打印嘛。哈哈! 于是出于最初的好奇,研究了项目的源代码。看到

带了6个月的徒弟当了面试官,而身为高级工程师的我天天修Bug......

即将毕业的应届毕业生一枚,现在只拿到了两家offer,但最近听到一些消息,其中一个offer,我这个组据说客户很少,很有可能整组被裁掉。 想问大家: 如果我刚入职这个组就被裁了怎么办呢? 大家都是什么时候知道自己要被裁了的? 面试软技能指导: BQ/Project/Resume 试听内容: 除了刷题,还有哪些技能是拿到offer不可或缺的要素 如何提升面试软实力:简历, 行为面试,沟通能...

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

男生更看重女生的身材脸蛋,还是思想?

往往,我们看不进去大段大段的逻辑。深刻的哲理,往往短而精悍,一阵见血。问:产品经理挺漂亮的,有点心动,但不知道合不合得来。男生更看重女生的身材脸蛋,还是...

为什么程序员做外包会被瞧不起?

二哥,有个事想询问下您的意见,您觉得应届生值得去外包吗?公司虽然挺大的,中xx,但待遇感觉挺低,马上要报到,挺纠结的。

当HR压你价,说你只值7K,你该怎么回答?

当HR压你价,说你只值7K时,你可以流畅地回答,记住,是流畅,不能犹豫。 礼貌地说:“7K是吗?了解了。嗯~其实我对贵司的面试官印象很好。只不过,现在我的手头上已经有一份11K的offer。来面试,主要也是自己对贵司挺有兴趣的,所以过来看看……”(未完) 这段话主要是陪HR互诈的同时,从公司兴趣,公司职员印象上,都给予对方正面的肯定,既能提升HR的好感度,又能让谈判气氛融洽,为后面的发挥留足空间。...

面试:第十六章:Java中级开发(16k)

HashMap底层实现原理,红黑树,B+树,B树的结构原理 Spring的AOP和IOC是什么?它们常见的使用场景有哪些?Spring事务,事务的属性,传播行为,数据库隔离级别 Spring和SpringMVC,MyBatis以及SpringBoot的注解分别有哪些?SpringMVC的工作原理,SpringBoot框架的优点,MyBatis框架的优点 SpringCould组件有哪些,他们...

面试阿里p7,被按在地上摩擦,鬼知道我经历了什么?

面试阿里p7被问到的问题(当时我只知道第一个):@Conditional是做什么的?@Conditional多个条件是什么逻辑关系?条件判断在什么时候执...

终于懂了TCP和UDP协议区别

终于懂了TCP和UDP协议区别

你打算用Java 8一辈子都不打算升级到Java 14,真香

我们程序员应该抱着尝鲜、猎奇的心态,否则就容易固步自封,技术停滞不前。

无代码时代来临,程序员如何保住饭碗?

编程语言层出不穷,从最初的机器语言到如今2500种以上的高级语言,程序员们大呼“学到头秃”。程序员一边面临编程语言不断推陈出新,一边面临由于许多代码已存在,程序员编写新应用程序时存在重复“搬砖”的现象。 无代码/低代码编程应运而生。无代码/低代码是一种创建应用的方法,它可以让开发者使用最少的编码知识来快速开发应用程序。开发者通过图形界面中,可视化建模来组装和配置应用程序。这样一来,开发者直...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

《经典算法案例》01-08:如何使用质数设计扫雷(Minesweeper)游戏

我们都玩过Windows操作系统中的经典游戏扫雷(Minesweeper),如果把质数当作一颗雷,那么,表格中红色的数字哪些是雷(质数)?您能找出多少个呢?文中用列表的方式罗列了10000以内的自然数、质数(素数),6的倍数等,方便大家观察质数的分布规律及特性,以便对算法求解有指导意义。另外,判断质数是初学算法,理解算法重要性的一个非常好的案例。

立即提问
相关内容推荐