- 其他相关推荐
-
整合hive和hbase，zk不释放
- 整合hive和hbase，把hbase的表映射到hive，然后去hive查询表信息，此过程会建立zookeeper连接，但是hive不会释放连接，导致连接占满后就会堵死，求解决方案，hive使用的版本是apache-hive-1.2.1-bin
-
Hbase在hive中的映射表作为分区表查询障碍
- 首先我在Hbase中建了一张空表t1；
在hive中新建一张**外部分区表**使用HBaseStorageHandler与表t1映射起来；
hive中插入一条分区数据，hive中存在1条数据，Hbase中一条；
hive中插入第2，3,4,5条分区数据，**hive中存在25条数据，Hbase中5条**；why？
另外hive中select查询带第一个分区条件查询数据竟然显示全部数据？？所以分区表和映射表同时使用无意义？？
-
急，求高手！！hive在向整合hbase的分区表插入数据时报错：Must specify table
- hadoop版本：hadoop-2.7.12.7.1
hbase版本：hbase-1.1.2
hive版本：apache-hive-2.0.0-bin
本人是新手，在整合了hive和hbase之后，我在hive中创建了一张关联了hbase表的分区表，然后在向表插入数据的时候报错了，下面是插入语句和报错，求懂的人解答。
visited_in_hive是关联了hbase表，准备插入数据的表；hv_c_hb是hive中的另一张表（不是分区表），里面有数据，而且字段和visited_in_hive一样。
插入语句：insert into table visited_in_hive partition (datetime='2016-03-05') select * from hv_c_hb;
报错：WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
Query ID = test2_20160308092429_26a93c7c-b945-4329-98ff-47a4067b579d
Total jobs = 3
Launching Job 1 out of 3
Number of reduce tasks is set to 0 since there's no reduce operator
java.io.IOException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.IllegalArgumentException: Must specify table name
at org.apache.hadoop.hive.ql.exec.FileSinkOperator.checkOutputSpecs(FileSinkOperator.java:1106)
at org.apache.hadoop.hive.ql.io.HiveOutputFormatImpl.checkOutputSpecs(HiveOutputFormatImpl.java:67)
at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:268)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:139)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:575)
at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:570)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:570)
at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:561)
at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:432)
at org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:138)
at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:158)
at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:101)
at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1840)
at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1584)
at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1361)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1184)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1172)
at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:233)
at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:184)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:400)
at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:778)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:717)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:645)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:497)
at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.IllegalArgumentException: Must specify table name
at org.apache.hadoop.hive.ql.exec.FileSinkOperator.createHiveOutputFormat(FileSinkOperator.java:1128)
at org.apache.hadoop.hive.ql.exec.FileSinkOperator.checkOutputSpecs(FileSinkOperator.java:1103)
... 37 more
Caused by: java.lang.IllegalArgumentException: Must specify table name
at org.apache.hadoop.hbase.mapreduce.TableOutputFormat.setConf(TableOutputFormat.java:188)
at org.apache.hive.common.util.ReflectionUtil.setConf(ReflectionUtil.java:101)
at org.apache.hive.common.util.ReflectionUtil.newInstance(ReflectionUtil.java:87)
at org.apache.hadoop.hive.ql.io.HiveFileFormatUtils.getHiveOutputFormat(HiveFileFormatUtils.java:300)
at org.apache.hadoop.hive.ql.io.HiveFileFormatUtils.getHiveOutputFormat(HiveFileFormatUtils.java:290)
at org.apache.hadoop.hive.ql.exec.FileSinkOperator.createHiveOutputFormat(FileSinkOperator.java:1126)
... 38 more
Job Submission failed with exception 'java.io.IOException(org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.IllegalArgumentException: Must specify table name)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
它报的错是没有指定表名，但是语句里明明已经指定表名了啊。难道是版本问题？？？？求高手解答。
-
hive on hbase报错，在hive中创建映射表，关联到hbase上
- hive on hbase,在hive中创建映射表，关联到hbase上，在hive中已经创建hbase中的row_key,还是报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=xlwang5, access=EXECUTE, inode="/user/hive/warehouse":hive:hive:drwxrwx--T
-
Hive中在整合HBase的表中插入数据时报错
- 伪分布式模式下整合Hadoop 2.2.0（自己基于Ubuntu 64位系统编译的）+HBase 0.98+Hive 0.14，其他功能操作都正常，但是在Hive中往基于HBase存储的表中插入数据时报错，网上找了很多方法，但都没用，具体错误如下：
java.lang.IllegalArgumentException: Can not create a Path from an empty string
at org.apache.hadoop.fs.Path.checkPathArg(Path.java:127)
at org.apache.hadoop.fs.Path.<init>(Path.java:135)
at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:213)
at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:300)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:387)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1268)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1265)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1265)
at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:562)
at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:557)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:557)
at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:548)
at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:429)
at org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:137)
at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:160)
at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:85)
at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1604)
at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1364)
at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1177)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1004)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:994)
at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:247)
at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:199)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:410)
at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:783)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:677)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:616)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Job Submission failed with exception 'java.lang.IllegalArgumentException(Can not create a Path from an empty string)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
有没有人遇到过同样的问题？
-
hive建hbase关联表报错
- hadoop-2.5.2 ，hbase-1.0.1.1，hive-0.9.0
hive> CREATE TABLE hbase_table_1(key int, value string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val") TBLPROPERTIES ("hbase.table.name" = "xyz");
FAILED: Error in metadata: MetaException(message:java.io.IOException: java.lang.reflect.InvocationTargetException
at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:240)
at org.apache.hadoop.hbase.client.ConnectionManager.createConnection(ConnectionManager.java:410)
at org.apache.hadoop.hbase.client.ConnectionManager.createConnection(ConnectionManager.java:403)
at org.apache.hadoop.hbase.client.ConnectionManager.getConnectionInternal(ConnectionManager.java:281)
at org.apache.hadoop.hbase.client.HBaseAdmin.<init>(HBaseAdmin.java:202)
at org.apache.hadoop.hive.hbase.HBaseStorageHandler.getHBaseAdmin(HBaseStorageHandler.java:73)
at org.apache.hadoop.hive.hbase.HBaseStorageHandler.preCreateTable(HBaseStorageHandler.java:147)
at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.createTable(HiveMetaStoreClient.java:398)
at org.apache.hadoop.hive.ql.metadata.Hive.createTable(Hive.java:538)
at org.apache.hadoop.hive.ql.exec.DDLTask.createTable(DDLTask.java:3305)
at org.apache.hadoop.hive.ql.exec.DDLTask.execute(DDLTask.java:242)
at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:134)
at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:57)
at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1326)
at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1118)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:951)
at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:258)
at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:215)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:406)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:689)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:557)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Caused by: java.lang.reflect.InvocationTargetException
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:238)
... 25 more
Caused by: java.lang.NoClassDefFoundError: org/apache/htrace/Trace
at org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper.exists(RecoverableZooKeeper.java:218)
at org.apache.hadoop.hbase.zookeeper.ZKUtil.checkExists(ZKUtil.java:481)
at org.apache.hadoop.hbase.zookeeper.ZKClusterId.readClusterIdZNode(ZKClusterId.java:65)
at org.apache.hadoop.hbase.client.ZooKeeperRegistry.getClusterId(ZooKeeperRegistry.java:86)
at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.retrieveClusterId(ConnectionManager.java:833)
at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.<init>(ConnectionManager.java:623)
... 30 more
Caused by: java.lang.ClassNotFoundException: org.apache.htrace.Trace
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
... 36 more
)
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
-
hive创建外部表关联hbase，执行hql出错
- 建表语句：create external table if not exists test_external(rowkey string,name string,age string)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties ('hbase.columns.mapping'=':key,cf:name,cf:age','hbase.table.default.storage.type'='binary')
tblproperties ('hbase.table.name'='default:test');
hql语句：Select count(*) from ( select t4.ROWKEY A14794456783233, t4.NAME A14794456783253, t4.AGE A14794456783282 from DEFAULT.test_external t4 ) a where 1=2
错误信息：
java.io.IOException: java.util.concurrent.ExecutionException: java.io.IOException: cannot find dir = hdfs://odscluster/user/hadoop/-mr-10003default.test_external{} in pathToPartitionInfo: [-mr-10003default.test_external{}]
at org.apache.hadoop.hive.ql.io.CombineHiveInputFormat.getSplits(CombineHiveInputFormat.java:542)
at org.apache.hadoop.mapreduce.JobSubmitter.writeOldSplits(JobSubmitter.java:624)
at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:616)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:492)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1306)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1303)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1303)
at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:564)
at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:559)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:559)
at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:550)
at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:429)
at org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:137)
at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:160)
at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:88)
at org.apache.hadoop.hive.ql.exec.TaskRunner.run(TaskRunner.java:75)
-
impala、hive、hbase整合之后进行数据分析，例如count()会特别慢，大家有什么方法么？
- 如题，还不如impala整合hive快呢，但数据在hbase中怎么可以提高效率？
-
hive跟hbase整合用hive导入数据报错，报一个路径不是目录。
- hive>load data local inpath '/home/hadoop/ha1.txt' into table ha1;
FAILED: Hive Internal Error: java.lang.RuntimeException(org.apache.hadoop.ipc.RemoteException: java.io.FileNotFoundException: Parent path is not a directory: /usr/local
at org.apache.hadoop.hdfs.server.namenode.FSDirectory.mkdirs(FSDirectory.java:956)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:2101)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:2062)
at org.apache.hadoop.hdfs.server.namenode.NameNode.mkdirs(NameNode.java:892)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:557)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1439)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1435)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1278)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1433)
)
java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException: java.io.FileNotFoundException: Parent path is not a directory: /usr/local
at org.apache.hadoop.hdfs.server.namenode.FSDirectory.mkdirs(FSDirectory.java:956)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:2101)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:2062)
at org.apache.hadoop.hdfs.server.namenode.NameNode.mkdirs(NameNode.java:892)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:557)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1439)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1435)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1278)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1433)
at org.apache.hadoop.hive.ql.Context.getScratchDir(Context.java:170)
at org.apache.hadoop.hive.ql.Context.getExternalScratchDir(Context.java:222)
at org.apache.hadoop.hive.ql.Context.getExternalTmpFileURI(Context.java:315)
at org.apache.hadoop.hive.ql.parse.LoadSemanticAnalyzer.analyzeInternal(LoadSemanticAnalyzer.java:225)
at org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer.analyze(BaseSemanticAnalyzer.java:243)
at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:431)
at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:336)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:909)
at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:258)
at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:215)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:406)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:689)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:557)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:197)
Caused by: org.apache.hadoop.ipc.RemoteException: java.io.FileNotFoundException: Parent path is not a directory: /usr/local
at org.apache.hadoop.hdfs.server.namenode.FSDirectory.mkdirs(FSDirectory.java:956)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:2101)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:2062)
at org.apache.hadoop.hdfs.server.namenode.NameNode.mkdirs(NameNode.java:892)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:557)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1439)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1435)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1278)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1433)
at org.apache.hadoop.ipc.Client.call(Client.java:1150)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:226)
at com.sun.proxy.$Proxy4.mkdirs(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
at com.sun.proxy.$Proxy4.mkdirs(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient.mkdirs(DFSClient.java:1295)
at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirs(DistributedFileSystem.java:323)
at org.apache.hadoop.fs.FileSystem.mkdirs(FileSystem.java:1298)
at org.apache.hadoop.hive.ql.Context.getScratchDir(Context.java:165)
... 17 more
-
sqoop1增量导入可以直接导入到hive 或 hbase中吗
- sqoop1增量导入可以直接导入到hive 或 hbase中吗
-
Hadoop-2-HDFS+MapReduce+Hive+HBase版本搭配
- Hadoop-2-HDFS+MapReduce+Hive+HBase版本搭配
Hadoop是用2版本的，不知道这个版本和Hive、Hbase哪些版本集成时比较方便。
我也是刚刚接触这些东西，能否提供一些集成资料或者在集成时应该注意什么。
谢谢！
-
hive数据批量导入hbase过程中遇到分区文件不存在异常
- 在做一个hive数据批量导入hbase的方法，根据官方文档一步一步的做下来，但是在生成HFILE文件时却报了一个比较让人纠结的错误，在网上找了很长时间，都木有合适的答案，在hive命令行中执行的代码如下：
SET mapred.reduce.tasks=5;
SET hive.mapred.partitioner=org.apache.hadoop.mapred.lib.TotalOrderPartitioner;
SET total.order.partitioner.path=/ws/hbasetest/hbase_splits;
INSERT OVERWRITE TABLE hbase_hfiles SELECT * FROM pgc CLUSTER BY rowkey;
然后报了如下异常：
Error: java.lang.IllegalArgumentException: Can't read partitions file
> at org.apache.hadoop.mapreduce.lib.partition.TotalOrderPartitioner.setConf(TotalOrderPartitioner.java:116)
> at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:73)
> at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
> at org.apache.hadoop.mapred.MapTask$OldOutputCollector.<init>(MapTask.java:569)
> at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:430)
> at org.apache.hadoop.mapred.MapTask.run(MapTask.java:342)
> at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
> at java.security.AccessController.doPrivileged(Native Method)
> at javax.security.auth.Subject.doAs(Subject.java:415)
> at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
> at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)
> Caused by: java.io.FileNotFoundException: File file:/inm/app/cdh5/cdhworkspace/yarn/local/usercache/hadoop/appcache/application_1397722576517_0053/container_1397722576517_0053_01_000005/_partition.lst does not exist
> at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:511)
> at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:724)
> at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:501)
> at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:402)
> at org.apache.hadoop.io.SequenceFile$Reader.<init>(SequenceFile.java:1749)
> at org.apache.hadoop.io.SequenceFile$Reader.<init>(SequenceFile.java:1773)
> at org.apache.hadoop.mapreduce.lib.partition.TotalOrderPartitioner.readPartitions(TotalOrderPartitioner.java:301)
> at org.apache.hadoop.mapreduce.lib.partition.TotalOrderPartitioner.setConf(TotalOrderPartitioner.java:88)
> ... 10 more
>
>
> FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
> MapReduce Jobs Launched:
> Job 0: Map: 1 Reduce: 5 HDFS Read: 0 HDFS Write: 0 FAIL
> Total MapReduce CPU Time Spent: 0
这个异常说是找不到分区文件，但我的明明存在分区文件，但却找不着，有点郁闷了；
网上常见一种解答方式说是job运行在本地，但是这个异常和网上说的似乎不一样，有一样的，但没有答案，求高手指教
-
hive启动 which: no hbase
- hive安装完成后， 启动后包which: no hbase ，但是能创建数据库、能建表、能查询。hive 所连接舍数据库也多了一个hive库（元数据）。
1、网上都说在/hive/lib 目录下添加mysql-connector-java-5.1.47-bin.jar架包，我也添加了但并不起作用。
2、这里没有其他的error信息，我想请问一下hive的启动日志是在哪个目录下
3、想用beeline连接hive，是否需要安装habase
```
[root@devcrm ~]# hive
which: no hbase in (/usr/local/kafka/zookeeper-3.4.10/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/open/maven/rj/apache-maven-3.5.2/bin:/usr/local/java/bin:/usr/local/kafka/hadoop-2.7.6/bin:/usr/local/kafka/hadoop-2.7.6/sbin:/usr/local/kafka/hive/bin:/root/bin)
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/kafka/hive/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/kafka/hadoop-2.7.6/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Logging initialized using configuration in jar:file:/usr/local/kafka/hive/lib/hive-common-2.3.0.jar!/hive-log4j2.properties Async: true
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. tez, spark) or using Hive 1.X releases.
hive> use myhive;
OK
Time taken: 3.439 seconds
hive> select * from student where name like '%小%;
OK
95014 王小丽 女 19 CS
95019 邢小丽 女 19 IS
95010 孔小涛 男 19 CS
95011 包小柏 男 18 MA
95014 王小丽 女 19 CS
95019 邢小丽 女 19 IS
95010 孔小涛 男 19 CS
95011 包小柏 男 18 MA
Time taken: 1.901 seconds, Fetched: 8 row(s)
hive>
```
这是hive连接的mysql数据库
hive/lib目录下添加的mysql驱动架包
-
hive真是垃圾，处理从hbase映射的hive外表时因hbase数据量巨大总是跑崩。
- hadoop集群三节点 centos7.5系统 4核 16G内存
<br>
hbase表大概有七千万条数据
<br>
hive建外表映射hbase表
```
create external table worked_data_o(
key String,province String,city String,code String,acc_number String,tel String,wd_date String,rep_disorder
String,overtime String,receipt String,descr String,exp_empid String,fault_1 String,fault_2 String,fault_type
String,acs_way String, address String)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH
SERDEPROPERTIES("hbase.columns.mapping"=":key,data:province,data:city,data:code,data:account,data:tel,data:
date,data:rep_disorder,data:overtime,data:receipt,data:emp_descr,data:emp_id,data:fault_name,data:fault_desc
r,data:fault_type,data:acs_way,data:address")
TBLPROPERTIES("hbase.table.name"="worked_data");
```
对hive外表进行数据处理放入新表
```
create table customer_intention as (
select wd.acc_number as acc_number,if(wd.descr='客户不满' OR wd.descr='客户不配合',2,IF(wd.descr='客户不听解释' OR wd.descr='客户情绪激动',4,IF(wd.descr='客户有投诉意向',6,IF(wd.descr='客户有强烈投诉意向',8,1)))) AS mood
From worked_data_o as wd);
```
报错：
```
WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
Query ID = zkpk_20190506095541_4af46dd8-bf98-4a0e-b0b4-d7ed2974ab7b
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
set mapreduce.job.reduces=<number>
Starting Job = job_1556796305355_0016, Tracking URL = http://master:8088/proxy/application_1556796305355_0016/
Kill Command = /home/zkpk/hadoop-2.7.2/bin/hadoop job -kill job_1556796305355_0016
Hadoop job information for Stage-1: number of mappers: 8; number of reducers: 1
2019-05-06 09:55:54,098 Stage-1 map = 0%, reduce = 0%
2019-05-06 09:56:54,965 Stage-1 map = 0%, reduce = 0%, Cumulative CPU 149.84 sec
2019-05-06 09:57:55,903 Stage-1 map = 0%, reduce = 0%, Cumulative CPU 212.38 sec
2019-05-06 09:58:56,456 Stage-1 map = 0%, reduce = 0%, Cumulative CPU 266.3 sec
2019-05-06 09:59:57,079 Stage-1 map = 0%, reduce = 0%, Cumulative CPU 266.3 sec
2019-05-06 10:00:57,760 Stage-1 map = 0%, reduce = 0%, Cumulative CPU 266.3 sec
2019-05-06 10:01:58,363 Stage-1 map = 0%, reduce = 0%, Cumulative CPU 266.3 sec
2019-05-06 10:02:58,965 Stage-1 map = 0%, reduce = 0%, Cumulative CPU 266.3 sec
2019-05-06 10:03:59,598 Stage-1 map = 0%, reduce = 0%, Cumulative CPU 266.3 sec
2019-05-06 10:05:00,223 Stage-1 map = 0%, reduce = 0%, Cumulative CPU 266.3 sec
2019-05-06 10:06:00,843 Stage-1 map = 0%, reduce = 0%, Cumulative CPU 266.3 sec
2019-05-06 10:07:01,478 Stage-1 map = 0%, reduce = 0%, Cumulative CPU 266.3 sec
2019-05-06 10:08:02,204 Stage-1 map = 0%, reduce = 0%, Cumulative CPU 266.3 sec
2019-05-06 10:09:02,871 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:10:02,902 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:11:03,408 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:12:04,032 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:13:04,624 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:14:05,247 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:15:05,844 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:16:06,468 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:17:07,159 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:18:07,762 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:19:08,330 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:20:08,556 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:21:09,202 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:22:09,765 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:23:10,416 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:24:10,989 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:25:11,574 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:26:12,113 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:27:12,720 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:28:13,333 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:29:13,919 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:30:14,194 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:31:14,707 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:32:15,303 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:33:15,933 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:34:16,503 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:35:17,051 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:36:17,718 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:37:18,231 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:38:18,866 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:39:19,420 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:40:19,987 Stage-1 map = 0%, reduce = 0%
2019-05-06 10:40:23,058 Stage-1 map = 100%, reduce = 100%
MapReduce Total cumulative CPU time: 4 minutes 26 seconds 300 msec
Ended Job = job_1556796305355_0016 with errors
Error during job, obtaining debugging information...
Examining task ID: task_1556796305355_0016_m_000006 (and more) from job job_1556796305355_0016
Examining task ID: task_1556796305355_0016_m_000002 (and more) from job job_1556796305355_0016
Examining task ID: task_1556796305355_0016_m_000000 (and more) from job job_1556796305355_0016
Task with the most failures(4):
-----
Task ID:
task_1556796305355_0016_m_000004
URL:
http://master:8088/taskdetails.jsp?jobid=job_1556796305355_0016&tipid=task_1556796305355_0016_m_000004
-----
Diagnostic Messages for this Task:
AttemptID:attempt_1556796305355_0016_m_000004_3 Timed out after 600 secs
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched:
Stage-Stage-1: Map: 8 Reduce: 1 Cumulative CPU: 266.3 sec HDFS Read: 0 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 4 minutes 26 seconds 300 msec
```
大佬们求解决方法
-
datax 从hive导出数据到mysql时 字段分隔符的配置
- hive中建表时指定字段分割符为 \t，配置导出的json时，配置字段分隔符为 \t，导出失败，原因是从hive读取数据时只能识别一个字段，显然字段分割没有成功。。网上百度说字段分隔符默认应设置为 \u0001,但这是在hive上建表时没有指定字段分割符时。。想搞明白这是什么原因，比如我的 \t 在导出时为什么不能使用呢，是hive无法识别吗？我建表的时候就是 \t 啊，是需要转成什么字符集吗。。在字符集这块比较晕，请大神指点指点[face]qq:83.gif[/face]
-
大数据hive分区表导入数据的问题
- 分区表导入数据load data local inpath '/opt/datas/distdata/emp.txt' into table emp_partition partition(month='201512');我修改了mysql的字符集：alter database hive character set latin1;报错如下：
不知道这个问题是怎么回事
文件也上传上去了 select查询就查不出来
-
datax从hive导出数据到mysql
- 从MySQL导入数据到hive上是没问题的，从hive上导出数据时，提示：
[您的配置错误.]. - 列配置信息有错误. 因为您配置的任务中，源头读取字段数:1 与 目的表要写入的字段数:4 不相等. 请检查您的配置并作出修改.
下面是我的json文件：
```{
"job": {
"content": [{
"reader": {
"parameter": {
"path": "/apps/hive/warehouse/test.db/job01",
"column": ["*"],
"defaultFS": "hdfs://xxxx.xx.xx:8020",
"encoding": "utf-8",
"fieldDelimiter": "\u0001",
"fileType": "text"
},
"name": "hdfsreader"
},
"writer": {
"parameter": {
"password": "*****",
"column": ["*"],
"connection": [{
"jdbcUrl": "jdbc:mysql://xxxxx:3308/groundcherry",
"table": ["scoop_test"]
}],
"writeMode": "insert",
"username": "****"
},
"name": "mysqlwriter"
}
}],
"setting": {
"speed": {
"channel": 1
}
}
}
}
```
网上说是分割符的问题，使用默认的 \u0001，导入的时候可以导入进去，导出的时候就报错了，使用","号也是一样，hive上建表时指定的字段分隔符与这个是一致的，有点怀疑是不是字段分割的原因，还会有什么原因导致这种错误呢，请大家指点指点谢谢
-
python 处理数据hive表 分流的的问题
- python 3.6，pandas 库
一张hive表，数据3000万 ，10个字段，
将hive表中的3000万数据 ，按前两个字段分组，
将每一个组的数据分别写到csv文件中去，（分组数级大概100000个）
求代码
-
Springboot框架整合了Hive，怎么实现计算任务？
- 1.说明
新手自行摸索搞大数据。（大前提！！！MapReduce都没懂的那种！）
虚拟机上启动了hadoop，yarn，hive。csv数据在虚拟机文件系统有存储，在hdfs也有存储。这个数据开头有三行是表头说明等信息，在放入hive中时已经跳过这三行了。
在eclipse中创建了springboot项目，整合了hive但没整合hadoop。能够实现通过接口的形式进行hive查询了。
2.目的
现在想在springboot中实现算法，已经从hive中取到数据。怎么将数据和算法计算提交到MapReduce中进行计算？（连接hadoop先跳过，这个并不是重点，理清了过程后在正式搞之前肯定会加上的。）
还是说从hive取到数据之后直接在springboot项目中计算就可以了，不需要使用MapReduce？（数据量肯定是够多够大！）要是需要MapReduce计算的话，怎么将hive数据带进去，或从虚拟机中的文件、hdfs中的文件读取数据（有没有跳过前三行的方式）？MapReduce的计算结果是只能存在文件中吗，能否通过某种方式在计算完成后自动在springboot中接收结果然后存在mysql中？
敬请大佬做个介绍，现在思路都是死路，不知道怎么实现很难受……或者给点文章说明啥的。感激不尽！！
-
《奇巧淫技》系列-python！！每天早上八点自动发送天气预报邮件到QQ邮箱
- 将代码部署服务器，每日早上定时获取到天气数据，并发送到邮箱。
也可以说是一个小人工智障。
思路可以运用在不同地方，主要介绍的是思路。
-
Linux(服务器编程):15---两种高效的事件处理模式（reactor模式、proactor模式）
- 前言
同步I/O模型通常用于实现Reactor模式
异步I/O模型则用于实现Proactor模式
最后我们会使用同步I/O方式模拟出Proactor模式
一、Reactor模式
Reactor模式特点
它要求主线程（I/O处理单元）只负责监听文件描述符上是否有事件发生，有的话就立即将时间通知工作线程（逻辑单元）。除此之外，主线程不做任何其他实质性的工作
读写数据，接受新的连接，以及处...
-
为什么要学数据结构？
- 一、前言
在可视化化程序设计的今天，借助于集成开发环境可以很快地生成程序，程序设计不再是计算机专业人员的专利。很多人认为，只要掌握几种开发工具就可以成为编程高手，其实，这是一种误解。要想成为一个专业的开发人员，至少需要以下三个条件：
1) 能够熟练地选择和设计各种数据结构和算法
2) 至少要能够熟练地掌握一门程序设计语言
3) 熟知所涉及的相关应用领域的知识
其中，后两个条件比较容易实现，而第一个...
-
C语言魔塔游戏
- 很早就很想写这个，今天终于写完了。
游戏截图：
编译环境: VS2017
游戏需要一些图片，如果有想要的或者对游戏有什么看法的可以加我的QQ 2985486630 讨论，如果暂时没有回应，可以在博客下方留言，到时候我会看到。
下面我来介绍一下游戏的主要功能和实现方式
首先是玩家的定义，使用结构体，这个名字是可以自己改变的
struct gamerole
{
char n
-
进程通信方式总结与盘点
- 进程通信是指进程之间的信息交换。这里需要和进程同步做一下区分，进程同步控制多个进程按一定顺序执行，进程通信是一种手段，而进程同步是目标。从某方面来讲，进程通信可以解决进程同步问题。
首先回顾下我们前面博文中讲到的信号量机制，为了实现进程的互斥与同步，需要在进程间交换一定的信息，因此信号量机制也可以被归为进程通信的一种方式，但是也被称为低级进程通信，主要原因为：
效率低：一次只可操作少量的...
-
究竟你适不适合买Mac？
- 我清晰的记得，刚买的macbook pro回到家，开机后第一件事情，就是上了淘宝网，花了500元钱，找了一个上门维修电脑的师傅，上门给我装了一个windows系统。。。。。。
表砍我。。。
当时买mac的初衷，只是想要个固态硬盘的笔记本，用来运行一些复杂的扑克软件。而看了当时所有的SSD笔记本后，最终决定，还是买个好（xiong）看（da）的。
已经有好几个朋友问我mba怎么样了，所以今天尽量客观
-
听说了吗？阿里双11作战室竟1根网线都没有
- 双11不光是购物狂欢节，更是对技术的一次“大考”，对于阿里巴巴企业内部运营的基础保障技术而言，亦是如此。
回溯双11历史，这背后也经历过“小米加步枪”的阶段：作战室从随处是网线，交换机放地上的“一地狼藉”；到如今媲美5G的wifi网速，到现场却看不到一根网线；从当年使用商用AP(无线路由器)，让光明顶双11当天断网一分钟，到全部使用阿里自研AP……阿里巴巴企业智能事业部工程师们提供的基础保障...
-
在阿里，40岁的奋斗姿势
- 在阿里，40岁的奋斗姿势
在阿里，什么样的年纪可以称为老呢？35岁？
在云网络，有这样一群人，他们的平均年龄接近40，却刚刚开辟职业生涯的第二战场。
他们的奋斗姿势是什么样的呢？
洛神赋
“翩若惊鸿，婉若游龙。荣曜秋菊，华茂春松。髣髴兮若轻云之蔽月，飘飖兮若流风之回雪。远而望之，皎若太阳升朝霞；迫而察之，灼若芙蕖出渌波。”
爱洛神，爱阿里云
2018年，阿里云网络产品部门启动洛神2.0升...
-
关于研发效能提升的思考
- 研发效能提升是最近比较热门的一个话题，本人根据这几年的工作心得，做了一些思考总结，由于个人深度有限，暂且抛转引入。
三要素
任何生产力的提升都离不开这三个因素：人、流程和工具，少了其中任何一个因素都无法实现。
人，即思想，也就是古人说的“道”，道不同不相为谋，是制高点，也是高层建筑的基石。
流程，即方法，也是古人说的“法”。研发效能的提升，也就是要提高投入产出比，既要增加产出，也要减...
-
Python爬虫爬取淘宝，京东商品信息
- 小编是一个理科生，不善长说一些废话。简单介绍下原理然后直接上代码。
使用的工具（Python+pycharm2019.3+selenium+xpath+chromedriver）其中要使用pycharm也可以私聊我selenium是一个框架可以通过pip下载
pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple/
-
阿里程序员写了一个新手都写不出的低级bug，被骂惨了。
- 这种新手都不会范的错，居然被一个工作好几年的小伙子写出来，差点被当场开除了。
-
Java工作4年来应聘要16K最后没要,细节如下。。。
- 前奏：
今天2B哥和大家分享一位前几天面试的一位应聘者，工作4年26岁，统招本科。
以下就是他的简历和面试情况。
基本情况：
专业技能：
1、 熟悉Sping了解SpringMVC、SpringBoot、Mybatis等框架、了解SpringCloud微服务
2、 熟悉常用项目管理工具：SVN、GIT、MAVEN、Jenkins
3、 熟悉Nginx、tomca
-
2020年，冯唐49岁：我给20、30岁IT职场年轻人的建议
-
点击“技术领导力”关注∆ 每天早上8:30推送
作者| Mr.K 编辑| Emma
来源| 技术领导力(ID：jishulingdaoli)
前天的推文《冯唐：职场人35岁以后，方法论比经验重要》，收到了不少读者的反馈，觉得挺受启发。其实，冯唐写了不少关于职场方面的文章，都挺不错的。可惜大家只记住了“春风十里不如你”、“如何避免成为油腻腻的中年人”等不那么正经的文章。
本文整理了冯
-
程序员该看的几部电影
- ##1、骇客帝国(1999) 概念：在线/离线，递归，循环，矩阵等
剧情简介：
不久的将来，网络黑客尼奥对这个看似正常的现实世界产生了怀疑。
他结识了黑客崔妮蒂，并见到了黑客组织的首领墨菲斯。
墨菲斯告诉他，现实世界其实是由一个名叫“母体”的计算机人工智能系统控制，人们就像他们饲养的动物，没有自由和思想，而尼奥就是能够拯救人类的救世主。
可是，救赎之路从来都不会一帆风顺，到底哪里才是真实的世界？
-
入职阿里5年，他如何破解“技术债”？
- 简介： 作者 | 都铎
作为一名技术人，你常常会听到这样的话：
“先快速上线”
“没时间改”
“再缓一缓吧”
“以后再解决”
“先用临时方案处理”
……
当你埋下的坑越来越多，不知道哪天哪位同学就会踩上一颗雷。特别赞同“人最大的恐惧就是未知，当技术债可说不可见的时候，才是最让人不想解决的时候。”
作为一个程序员，我们反对复制粘贴，但是我们经常会见到相似的代码，相同的二方包，甚至整个代码...
-
Python绘图，圣诞树，花，爱心 | Turtle篇
- 每周每日，分享Python实战代码，入门资料，进阶资料，基础语法，爬虫，数据分析，web网站，机器学习，深度学习等等。
公众号回复【进群】沟通交流吧，QQ扫码进群学习吧
微信群 QQ群
1.画圣诞树
import turtle
screen = turtle.Screen()
screen.setup(800,600)
circle = turtle.Turtle()...
-
作为一个程序员，CPU的这些硬核知识你必须会！
- CPU对每个程序员来说，是个既熟悉又陌生的东西？
如果你只知道CPU是中央处理器的话，那可能对你并没有什么用，那么作为程序员的我们，必须要搞懂的就是CPU这家伙是如何运行的，尤其要搞懂它里面的寄存器是怎么一回事，因为这将让你从底层明白程序的运行机制。
随我一起，来好好认识下CPU这货吧
把CPU掰开来看
对于CPU来说，我们首先就要搞明白它是怎么回事，也就是它的内部构造，当然，CPU那么牛的一个东
-
破14亿，Python分析我国存在哪些人口危机！
- 2020年1月17日，国家统计局发布了2019年国民经济报告，报告中指出我国人口突破14亿。
猪哥的朋友圈被14亿人口刷屏，但是很多人并没有看到我国复杂的人口问题：老龄化、男女比例失衡、生育率下降、人口红利下降等。
今天我们就来分析一下我们国家的人口数据吧！
一、背景
1.人口突破14亿
2020年1月17日，国家统计局发布了 2019年国民经济报告 ，报告中指出：年末中国大陆总人口（包括31个
-
在家远程办公效率低？那你一定要收好这个「在家办公」神器！
- 相信大家都已经收到国务院延长春节假期的消息，接下来，在家远程办公可能将会持续一段时间。
但是问题来了。远程办公不是人在电脑前就当坐班了，相反，对于沟通效率，文件协作，以及信息安全都有着极高的要求。有着非常多的挑战，比如：
1在异地互相不见面的会议上，如何提高沟通效率？
2文件之间的来往反馈如何做到及时性？如何保证信息安全？
3如何规划安排每天工作，以及如何进行成果验收？
......
-
作为一个程序员，内存和磁盘的这些事情，你不得不知道啊！！！
- 截止目前，我已经分享了如下几篇文章：
一个程序在计算机中是如何运行的？超级干货！！！
作为一个程序员，CPU的这些硬核知识你必须会！
作为一个程序员，内存的这些硬核知识你必须懂！
这些知识可以说是我们之前都不太重视的基础知识，可能大家在上大学的时候都学习过了，但是嘞，当时由于老师讲解的没那么有趣，又加上这些知识本身就比较枯燥，所以嘞，大家当初几乎等于没学。
再说啦，学习这些，也看不出来有什么用啊！
-
2020年的1月，我辞掉了我的第一份工作
- 其实，这篇文章，我应该早点写的，毕竟现在已经2月份了。不过一些其它原因，或者是我的惰性、还有一些迷茫的念头，让自己迟迟没有试着写一点东西，记录下，或者说是总结下自己前3年的工作上的经历、学习的过程。
我自己知道的，在写自己的博客方面，我的文笔很一般，非技术类的文章不想去写；另外我又是一个还比较热衷于技术的人，而平常复杂一点的东西，如果想写文章写的清楚点，是需要足够...
-
别低估自己的直觉，也别高估自己的智商
- 所有群全部吵翻天，朋友圈全部沦陷，公众号疯狂转发。这两周没怎么发原创，只发新闻，可能有人注意到了。我不是懒，是文章写了却没发，因为大家的关注力始终在这次的疫情上面，发了也没人看。当然，我...
-
Java坑人面试题系列: 包装类（中级难度）
- Java Magazine上面有一个专门坑人的面试题系列: https://blogs.oracle.com/javamagazine/quiz-2。
这些问题的设计宗旨，主要是测试面试者对Java语言的了解程度，而不是为了用弯弯绕绕的手段把面试者搞蒙。
如果你看过往期的问题，就会发现每一个都不简单。
这些试题模拟了认证考试中的一些难题。 而 “中级(intermediate)” 和 “高级(ad
-
深度学习入门笔记（十八）：卷积神经网络（一）
- 欢迎关注WX公众号：【程序员管小亮】
专栏——深度学习入门笔记
声明
1）该文章整理自网上的大牛和机器学习专家无私奉献的资料，具体引用的资料请看参考文献。
2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。
3）博主才疏学浅，文中如有不当之处，请各位指出，共同进步，谢谢。
4）此属于第一版本，若有错误，还需继续修正与...
-
这个世界上人真的分三六九等，你信吗？
- 偶然间，在知乎上看到一个问题
一时间，勾起了我深深的回忆。
以前在厂里打过两次工，做过家教，干过辅导班，做过中介。零下几度的晚上，贴过广告，满脸、满手地长冻疮。
再回首那段岁月，虽然苦，但让我学会了坚持和忍耐。让我明白了，在这个世界上，无论环境多么的恶劣，只要心存希望，星星之火，亦可燎原。
下文是原回答，希望能对你能有所启发。
如果我说，这个世界上人真的分三六九等，...
-
节后首个工作日，企业们集体开晨会让钉钉挂了
- By 超神经场景描述：昨天 2 月 3 日，是大部分城市号召远程工作的第一天，全国有接近 2 亿人在家开始远程办公，钉钉上也有超过 1000 万家企业活跃起来。关键词：十一出行 人脸...
-
Java基础知识点梳理
- Java基础知识点梳理
摘要：
虽然已经在实际工作中经常与java打交道，但是一直没系统地对java这门语言进行梳理和总结，掌握的知识也比较零散。恰好利用这段时间重新认识下java，并对一些常见的语法和知识点做个总结与回顾，一方面为了加深印象，方便后面查阅，一方面为了学好java打下基础。
Java简介
java语言于1995年正式推出，最开始被命名为Oak语言，由James Gosling（詹姆
-
2020年全新Java学习路线图，含配套视频，学完即为中级Java程序员！！
- 新的一年来临，突如其来的疫情打破了平静的生活！
在家的你是否很无聊，如果无聊就来学习吧！
世上只有一种投资只赚不赔，那就是学习！！！
传智播客于2020年升级了Java学习线路图，硬核升级，免费放送！
学完你就是中级程序员，能更快一步找到工作！
一、Java基础
JavaSE基础是Java中级程序员的起点，是帮助你从小白到懂得编程的必经之路。
在Java基础板块中有6个子模块的学
-
B 站上有哪些很好的学习资源?
- 哇说起B站，在小九眼里就是宝藏般的存在，放年假宅在家时一天刷6、7个小时不在话下，更别提今年的跨年晚会，我简直是跪着看完的！！
最早大家聚在在B站是为了追番，再后来我在上面刷欧美新歌和漂亮小姐姐的舞蹈视频，最近两年我和周围的朋友们已经把B站当作学习教室了，而且学习成本还免费，真是个励志的好平台ヽ(.◕ฺˇд ˇ◕ฺ;)ﾉ
下面我们就来盘点一下B站上优质的学习资源：
综合类
Oeasy：
综合
-
你也能看懂的：蒙特卡罗方法
- 蒙特卡罗方法，也称统计模拟方法，是1940年代中期由于科学技术的发展和电子计算机的发明，而提出的一种以概率统计理论为指导的数值计算方法。是指使用随机数（或更常见的伪随机数）来解决很多计算问题的方法
蒙特卡罗方法可以粗略地分成两类：一类是所求解的问题本身具有内在的随机性，借助计算机的运算能力可以直接模拟这种随机的过程。另一种类型是所求解问题可以转化为某种随机分布的特征数，比如随机事件出现的概率，或...
-
相关热词
c# 压缩图片好麻烦
c#计算数组中的平均值
c#获取路由参数
c#日期精确到分钟
c#自定义异常必须继承
c#查表并返回值
c# 动态 表达式树
c# 监控方法耗时
c# listbox
c#chart显示滚动条
