windows 配置spark成功 但是无法启动Hdfs namenode

16/08/22 09:44:14 ERROR namenode.NameNode: Failed to start namenode. java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.a ccess0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method) at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:6 09) at org.apache.hadoop.fs.FileUtil.canWrite(FileUtil.java:996) at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.analyze Storage(Storage.java:490) at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverStorageDirs(FSI mage.java:322) at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead( FSImage.java:215) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNam esystem.java:975) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNa mesystem.java:681) at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNo de.java:584) at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.j ava:644) at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java: 811) at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java: 795) at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNo de.java:1488) at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:15 54 求各位大神帮助，配置的是单机版的，spark已可以运行，但是hdfs不可以

spark主节点配置一定与hadoop主节点配置一样吗？依赖zookeeper吗？

我用的是hadoop-2.5cdh5.3，集群namenode在01主机上，在配置spark的时候我将spark master指向了03节点， 配置完毕后，将hadoop集群，yarn依次启动，然后启动spark做示例运行总是出现启动不正常的问题，所以请有经验的人指明一下，是不是一定要和hadoop的主节点一样呢？zookeeper是不是也一定要启动。图是我的示例运行，页面查询发现此任务运行是被killed的状态。     worker的deploy日志 

spark on yarn 资源调度问题

为什么spark在yarn上运行时，资源使用情况如下图：有一个结点的资源使用很少。  我的集群配置，一共六台电脑，一台运行驱动器，五台执行器，均为8g 8核， spark启动如下： ``` pyspark --master yarn --num-executors 4 --executor-memory 6g --executor-cores 6 --conf spark.default.parallelism=50 --deploy-mode client ``` 同时我设置--num-executors为4为什么会有5个contains，且不管--num-executors设置为多少，contaiers总是会+1

启动spark发生错误,,配置都没有什么问题


sparkMasterWebUI无法访问

#spark正常启动，无法访问Master，网上说的端口问题，在修改为8089后依旧无法访问，下面是日志和一些配置 #logs: 20/03/18 20:07:56 INFO master.Master: Started daemon with process name: 1920@hadoopnode01 20/03/18 20:07:56 INFO util.SignalUtils: Registered signal handler for TERM 20/03/18 20:07:56 INFO util.SignalUtils: Registered signal handler for HUP 20/03/18 20:07:56 INFO util.SignalUtils: Registered signal handler for INT 20/03/18 20:07:56 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 20/03/18 20:07:56 INFO spark.SecurityManager: Changing view acls to: hadoopnode01 20/03/18 20:07:56 INFO spark.SecurityManager: Changing modify acls to: hadoopnode01 20/03/18 20:07:56 INFO spark.SecurityManager: Changing view acls groups to: 20/03/18 20:07:56 INFO spark.SecurityManager: Changing modify acls groups to: 20/03/18 20:07:56 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(hadoopnode01); groups with view permissions: Set(); users with modify permissions: Set(hadoopnode01); groups with modify permissions: Set() 20/03/18 20:07:57 INFO util.Utils: Successfully started service 'sparkMaster' on port 7077. 20/03/18 20:07:57 INFO master.Master: Starting Spark master at spark://hadoopnode01:7077 20/03/18 20:07:57 INFO master.Master: Running Spark version 2.4.5 20/03/18 20:07:57 INFO util.log: Logging initialized @1410ms 20/03/18 20:07:57 INFO server.Server: jetty-9.3.z-SNAPSHOT, build timestamp: unknown, git hash: unknown 20/03/18 20:07:57 INFO server.Server: Started @1484ms 20/03/18 20:07:57 INFO server.AbstractConnector: Started ServerConnector@7976972b{HTTP/1.1,[http/1.1]}{0.0.0.0:8089} 20/03/18 20:07:57 INFO util.Utils: Successfully started service 'MasterUI' on port 8089. 20/03/18 20:07:57 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@422e316{/app,null,AVAILABLE,@Spark} 20/03/18 20:07:57 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@15d02cf6{/app/json,null,AVAILABLE,@Spark} 20/03/18 20:07:57 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@74464f69{/,null,AVAILABLE,@Spark} 20/03/18 20:07:57 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@13cad671{/json,null,AVAILABLE,@Spark} 20/03/18 20:07:57 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@7e9ff62{/static,null,AVAILABLE,@Spark} 20/03/18 20:07:57 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@1fb5f36c{/app/kill,null,AVAILABLE,@Spark} 20/03/18 20:07:57 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@708b72b5{/driver/kill,null,AVAILABLE,@Spark} 20/03/18 20:07:57 INFO ui.MasterWebUI: Bound MasterWebUI to 0.0.0.0, and started at http://hadoopnode01:8089 20/03/18 20:07:57 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@b0f1d0c{/metrics/master/json,null,AVAILABLE,@Spark} 20/03/18 20:07:57 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@5891212e{/metrics/applications/json,null,AVAILABLE,@Spark} 20/03/18 20:07:57 INFO master.Master: I have been elected leader! New state: ALIVE #etc/profile \#set java enviroment JAVA_HOME=/usr/lib/jvm/java PATH=$PATH:$JAVA_HOME/bin CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME CLASSPATH PATH \#Scala env export SCALA_HOME=/usr/scala/scala-2.13.1 export PATH=$PATH:$SCALA_HOME/bin #ip 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000 link/ether 00:50:56:3b:85:db brd ff:ff:ff:ff:ff:ff inet 192.168.35.130/24 brd 192.168.35.255 scope global noprefixroute dynamic ens33 valid_lft 1139sec preferred_lft 1139sec inet 192.168.35.10/24 brd 192.168.35.255 scope global secondary noprefixroute ens33 valid_lft forever preferred_lft forever inet6 fe80::505b:3101:5284:850c/64 scope link noprefixroute valid_lft forever preferred_lft forever #spark-env.sh export SPARK_HOME=/home/hadoopnode01/apps/spark export PATH=$PATH:$SPARK_HOME/bin export JAVA_HOME=/usr/lib/jvm/java export SCALA_HOME=/usr/scala/scala-2.13.1 export HADOOP_HOME=/home/hadoopnode01/apps/hadoop-2.9.2 export HADOOP_CONF_DIR=/home/hadoopnode01/apps/hadoop-2.9.2/etc/hadoop export SPARK_LOCAL_IP=192.168.35.10 export SPARK_MASTER_HOST=master.lab.hadoop.com export SPARK_MASTER_PORT=7077 尝试了很多方法都没用，spark正常启动，shell也能用，就是webui都进不去

spark-sql如何显示默认库名

启动spark-sql  启动后spark-sql  期望向hive启动一样 带默认库  hive 配置文件  spark-env配置  希望大佬能帮忙解决下 谢谢

SparkStream与flume的整合问题[急，在线等！！！]

各个版本信息： spark2.0.2 flume1.7 sbt部分依赖 libraryDependencies += "org.apache.spark" % "spark-streaming-flume_2.11" % "2.0.2" _拉模式代码和简单的输出语句_ val flumeStream = FlumeUtils.createPollingStream(ssc,host,port,StorageLevel.MEMORY_ONLY_SER_2) flumeStream.count().map(cnt => "Received " + cnt + " flume events." ).print() 已经在各个节点添加依赖 flume简单配置 # 指定Agent的组件名称 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 指定Flume source(要监听的路径) a1.sources.r1.type = spooldir a1.sources.r1.spoolDir = /home/hadoop/weixf_kafka/testflume # 指定Flume sink a1.sinks.k1.type = org.apache.spark.streaming.flume.sink.SparkSink a1.sinks.k1.channel =c1 a1.sinks.k1.hostname=172.28.41.196 a1.sinks.k1.port = 19999 # 指定Flume channel a1.channels.c1.type = memory a1.channels.c1.capacity = 100000 a1.channels.c1.transactionCapacity = 100000 # 绑定source和sink到channel上 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 启动flume，再启动SparkStreaming程序发现如下信息（部分） 17/09/15 17:44:53 INFO scheduler.DAGScheduler: Submitting ResultStage 2 (Receiver 0 ParallelCollectionRDD[3] at makeRDD at ReceiverTracker.scala:610), which has no missing parents 17/09/15 17:44:53 INFO scheduler.ReceiverTracker: Receiver 0 started 17/09/15 17:44:53 INFO memory.MemoryStore: Block broadcast_2 stored as values in memory (estimated size 70.6 KB, free 413.8 MB) 17/09/15 17:44:53 INFO memory.MemoryStore: Block broadcast_2_piece0 stored as bytes in memory (estimated size 25.1 KB, free 413.8 MB) 17/09/15 17:44:53 INFO storage.BlockManagerInfo: Added broadcast_2_piece0 in memory on 172.28.41.193:41571 (size: 25.1 KB, free: 413.9 MB) 17/09/15 17:44:53 INFO spark.SparkContext: Created broadcast 2 from broadcast at DAGScheduler.scala:1012 17/09/15 17:44:53 INFO scheduler.DAGScheduler: Submitting 1 missing tasks from ResultStage 2 (Receiver 0 ParallelCollectionRDD[3] at makeRDD at ReceiverTracker.scala:610) 17/09/15 17:44:53 INFO scheduler.TaskSchedulerImpl: Adding task set 2.0 with 1 tasks 17/09/15 17:44:54 INFO scheduler.TaskSetManager: Starting task 0.0 in stage 2.0 (TID 70, 172.28.41.196, partition 0, PROCESS_LOCAL, 6736 bytes) 17/09/15 17:44:54 INFO cluster.CoarseGrainedSchedulerBackend$DriverEndpoint: Launching task 70 on executor id: 0 hostname: 172.28.41.196. 17/09/15 17:44:54 INFO storage.BlockManagerInfo: Added broadcast_2_piece0 in memory on 172.28.41.196:33364 (size: 25.1 KB, free: 413.9 MB) 17/09/15 17:44:54 INFO util.RecurringTimer: Started timer for JobGenerator at time 1505468700000 17/09/15 17:44:54 INFO scheduler.JobGenerator: Started JobGenerator at 1505468700000 ms 17/09/15 17:44:54 INFO scheduler.JobScheduler: Started JobScheduler 17/09/15 17:44:54 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@534e58b6{/streaming,null,AVAILABLE} 17/09/15 17:44:54 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@1b495d4{/streaming/json,null,AVAILABLE} 17/09/15 17:44:54 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@12fe1f28{/streaming/batch,null,AVAILABLE} 17/09/15 17:44:54 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@26fb4d06{/streaming/batch/json,null,AVAILABLE} 17/09/15 17:44:54 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@2d38edfd{/static/streaming,null,AVAILABLE} 17/09/15 17:44:54 INFO streaming.StreamingContext: StreamingContext started 17/09/15 17:44:55 INFO scheduler.ReceiverTracker: Registered receiver for stream 0 from 172.28.41.196:45983 17/09/15 17:45:01 INFO scheduler.JobScheduler: Added jobs for time 1505468700000 ms 17/09/15 17:45:01 INFO scheduler.JobScheduler: Starting job streaming job 1505468700000 ms.0 from job set of time 1505468700000 ms 17/09/15 17:45:01 INFO spark.SparkContext: Starting job: print at FlumeLogPull.scala:44 17/09/15 17:45:01 INFO storage.BlockManagerInfo: Removed broadcast_1_piece0 on 172.28.41.196:33364 in memory (size: 1969.0 B, free: 413.9 MB) 17/09/15 17:45:01 INFO scheduler.DAGScheduler: Registering RDD 7 (union at DStream.scala:605) 17/09/15 17:45:01 INFO scheduler.DAGScheduler: Got job 2 (print at FlumeLogPull.scala:44) with 1 output partitions 17/09/15 17:45:01 INFO scheduler.DAGScheduler: Final stage: ResultStage 4 (print at FlumeLogPull.scala:44) 17/09/15 17:45:01 INFO scheduler.DAGScheduler: Parents of final stage: List(ShuffleMapStage 3) 17/09/15 17:45:01 INFO scheduler.DAGScheduler: Missing parents: List(ShuffleMapStage 3) 17/09/15 17:45:01 INFO scheduler.DAGScheduler: Submitting ShuffleMapStage 3 (UnionRDD[7] at union at DStream.scala:605), which has no missing parents 17/09/15 17:45:01 INFO storage.BlockManagerInfo: Removed broadcast_1_piece0 on 172.28.41.193:41571 in memory (size: 1969.0 B, free: 413.9 MB) 17/09/15 17:45:02 INFO memory.MemoryStore: Block broadcast_3 stored as values in memory (estimated size 3.3 KB, free 413.8 MB) 17/09/15 17:45:02 INFO memory.MemoryStore: Block broadcast_3_piece0 stored as bytes in memory (estimated size 2.0 KB, free 413.8 MB) 17/09/15 17:45:02 INFO storage.BlockManagerInfo: Added broadcast_3_piece0 in memory on 172.28.41.193:41571 (size: 2.0 KB, free: 413.9 MB) 17/09/15 17:45:02 INFO spark.SparkContext: Created broadcast 3 from broadcast at DAGScheduler.scala:1012 17/09/15 17:45:02 INFO scheduler.DAGScheduler: Submitting 1 missing tasks from ShuffleMapStage 3 (UnionRDD[7] at union at DStream.scala:605) 17/09/15 17:45:02 INFO scheduler.TaskSchedulerImpl: Adding task set 3.0 with 1 tasks 17/09/15 17:45:30 INFO scheduler.JobScheduler: Added jobs for time 1505468730000 ms 17/09/15 17:46:00 INFO scheduler.JobScheduler: Added jobs for time 1505468760000 ms 17/09/15 17:46:30 INFO scheduler.JobScheduler: Added jobs for time 1505468790000 ms 17/09/15 17:47:00 INFO scheduler.JobScheduler: Added jobs for time 1505468820000 ms 17/09/15 17:47:30 INFO scheduler.JobScheduler: Added jobs for time 1505468850000 ms 17/09/15 17:48:00 INFO scheduler.JobScheduler: Added jobs for time 1505468880000 ms 17/09/15 17:48:30 INFO scheduler.JobScheduler: Added jobs for time 1505468910000 ms 17/09/15 17:49:00 INFO scheduler.JobScheduler: Added jobs for time 1505468940000 ms 17/09/15 17:49:30 INFO scheduler.JobScheduler: Added jobs for time 1505468970000 ms 17/09/15 17:50:00 INFO scheduler.JobScheduler: Added jobs for time 1505469000000 ms 17/09/15 17:50:30 INFO scheduler.JobScheduler: Added jobs for time 1505469030000 ms 17/09/15 17:51:00 INFO scheduler.JobScheduler: Added jobs for time 1505469060000 ms 17/09/15 17:51:30 INFO scheduler.JobScheduler: Added jobs for time 1505469090000 ms 17/09/15 17:52:00 INFO scheduler.JobScheduler: Added jobs for time 1505469120000 ms 17/09/15 17:52:30 INFO scheduler.JobScheduler: Added jobs for time 1505469150000 ms 17/09/15 17:53:00 INFO scheduler.JobScheduler: Added jobs for time 1505469180000 ms 17/09/15 17:53:30 INFO scheduler.JobScheduler: Added jobs for time 1505469210000 ms 17/09/15 17:54:00 INFO scheduler.JobScheduler: Added jobs for time 1505469240000 ms 17/09/15 17:54:30 INFO scheduler.JobScheduler: Added jobs for time 1505469270000 ms 17/09/15 17:55:00 INFO scheduler.JobScheduler: Added jobs for time 1505469300000 ms 17/09/15 17:55:30 INFO scheduler.JobScheduler: Added jobs for time 1505469330000 ms 17/09/15 17:56:00 INFO scheduler.JobScheduler: Added jobs for time 1505469360000 ms 17/09/15 17:56:30 INFO scheduler.JobScheduler: Added jobs for time 1505469390000 ms 17/09/15 17:57:00 INFO scheduler.JobScheduler: Added jobs for time 1505469420000 ms 17/09/15 17:57:30 INFO scheduler.JobScheduler: Added jobs for time 1505469450000 ms 17/09/15 17:58:00 INFO scheduler.JobScheduler: Added jobs for time 1505469480000 ms 17/09/15 17:58:30 INFO scheduler.JobScheduler: Added jobs for time 1505469510000 ms 17/09/15 17:59:00 INFO scheduler.JobScheduler: Added jobs for time 1505469540000 ms 17/09/15 17:59:30 INFO scheduler.JobScheduler: Added jobs for time 1505469570000 ms 17/09/15 18:00:00 INFO scheduler.JobScheduler: Added jobs for time 1505469600000 ms 17/09/15 18:00:30 INFO scheduler.JobScheduler: Added jobs for time 1505469630000 ms 17/09/15 18:00:59 INFO storage.BlockManagerInfo: Added input-0-1505469659600 in memory on 172.28.41.196:33364 (size: 15.7 KB, free: 413.9 MB) 17/09/15 18:01:00 INFO scheduler.JobScheduler: Added jobs for time 1505469660000 ms 17/09/15 18:01:00 INFO storage.BlockManagerInfo: Added input-0-1505469659800 in memory on 172.28.41.196:33364 (size: 15.3 KB, free: 413.9 MB) 17/09/15 18:01:03 INFO storage.BlockManagerInfo: Added input-0-1505469662800 in memory on 172.28.41.196:33364 (size: 7.3 KB, free: 413.9 MB) 17/09/15 18:01:25 INFO storage.BlockManagerInfo: Added input-0-1505469684800 in memory on 172.28.41.196:33364 (size: 15.7 KB, free: 413.8 MB) 17/09/15 18:01:25 INFO storage.BlockManagerInfo: Added input-0-1505469685000 in memory on 172.28.41.196:33364 (size: 15.3 KB, free: 413.8 MB) 其中没有我想要的输出信息而是一直有类似 17/09/15 17:45:30 INFO scheduler.JobScheduler: Added jobs for time 1505468730000 ms 这样的信息，如果向监控的文件夹下copy文件得到这样的输出信息 17/09/15 18:00:59 INFO storage.BlockManagerInfo: Added input-0-1505469659600 in memory on 172.28.41.196:33364 (size: 15.7 KB, free: 413.9 MB) 想要的效果是输出类似这样的正常结果 ------------------------------------------- Time: 1505468700000 ms ------------------------------------------- Received .. flume events. 实在是找不出来什么原因，求大神解惑，不胜感激

habase 报错 ERROR: Can't get master address from ZooKeeper; znode data == null

hadoop + zookeeper +hbase 环境 hadoop 和 zookeeper 集群环境都ok，hbase启动之后，查看hbase状态报错  网上的各种重启hbase 重启服务 修改配置文件都试过了，解决不了，跪求会的大神指导一下。 /etc/profile配置 ``` export JAVA_HOME=/opt/java/jdk1.8.0_201 export HADOOP_HOME=/opt/hadoop/hadoop-2.8.0 export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib" #export HIVE_HOME=/opt/hive/apache-hive-2.1.1-bin #export HIVE_CONF_DIR=${HIVE_HOME}/conf #export SQOOP_HOME=/opt/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha export HBASE_HOME=/opt/hbase/hbase-1.4.9 export ZK_HOME=/opt/zookeeper/zookeeper-3.4.13 export CLASS_PATH=.:${JAVA_HOME}/lib:${HIVE_HOME}/lib:$CLASS_PATH export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${SPARK_HOME}/bin:${ZOOKEEPER_HOME}/bin:${HIVE_HOME}/bin:${SQOOP_HOME}/bin:${HBASE_HOME}:${ZK_HOME}/bin:$PATH ``` hbase/conf/hbase.xml 配置 ``` <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://hadoop1:9000/hbase</value> <description>The directory shared byregion servers.</description> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/opt/hbase/zk_data</value> </property> <property> <name>hbase.zookeeper.property.clientPort</name> <value>2181</value> <description>Property from ZooKeeper'sconfig zoo.cfg. The port at which the clients will connect. </description> </property> <property> <name>zookeeper.session.timeout</name> <value>120000</value> </property> <property> <name>hbase.zookeeper.property.tickTime</name> <value>6000</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>hadoop1,hadoop2,hadoop3</value> </property> <property> <name>hbase.tmp.dir</name> <value>/root/hbase/tmp</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> </configuration> ``` hbase/conf/conf/hbase-env.sh文件 ``` export HBASE_OPTS="-XX:+UseConcMarkSweepGC" # Configure PermSize. Only needed in JDK7. You can safely remove it for JDK8+ #export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m -XX:ReservedCodeCacheSize=256m" #export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m -XX:ReservedCodeCacheSize=256m" export JAVA_HOME=/opt/java/jdk1.8.0_201 export HADOOP_HOME=/opt/hadoop/hadoop-2.8.0 export HBASE_HOME=/opt/hbase/hbase-1.4.9 export HBASE_CLASSPATH=/opt/hadoop/hadoop-2.8.0/etc/hadoop export HBASE_PID_DIR=/root/hbase/pids export HBASE_MANAGES_ZK=false ``` zookeeper/zoo.cfg 配置文件 ``` tickTime=2000 initLimit=10 syncLimit=5 clientPort=2181 dataDir=/opt/zookeeper/data dataLogDir=/opt/zookeeper/dataLog server.1=hadoop1:2886:3881 server.2=hadoop2:2887:3882 server.3=hadoop3:2888:3883 quorumListenOnAllIPs=true ``` /opt/hadoop/hadoop-2.8.0/etc/hadoop/core-site.xml 文件 ``` <configuration> <property>         <name>hadoop.tmp.dir</name>         <value>/root/hadoop/tmp</value>         <description>Abase for other temporary directories.</description>    </property>    <property>         <name>fs.default.name</name>         <value>hdfs://hadoop1:9000</value>    </property> </configuration> ```

sparksql整合hive创建外部表报错（求大佬解答）

sparksql整合hive创建外部表的时候报错 建表语句如下： ``` create external table if not exists bdm.itcast_bdm_order_goods( user_id string,--用户ID order_id string,--订单ID order_no string,--订单号 sku_id bigint,--SKU编号 sku_name string,--SKU名称 goods_id bigint,--商品编号 ) partitioned by (dt string) row format delimited fields terminated by ',' lines terminated by '\n' location '/business/itcast_bdm_order_goods'; ``` 报如下错误： ``` **Moved: 'hdfs://hann/business/itcast_bdm_order_goods' to trash at: hdfs://hann/user/root/.Trash/Current Error in query: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:java.lang.IllegalArgumentException: java.net.UnknownHostExc**eption: nhann); ``` 启动spark-sql的语句如下： ``` spark-sql --master spark://node01:7077 --driver-class-path /export/servers/hive-1.1.0-cdh5.14.0/lib/mysql-connector-java-5.1.38.jar --conf spark.sql.warehouse.dir=hdfs://hann/user/hive/warehouse ``` hive-site.xml配置文件如下： ``` <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://node03.hadoop.com:3306/hive?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> </property> <!-- <property> <name>hive.cli.print.current.db</name> <value>true</value> </property> <property> <name>hive.cli.print.header</name> <value>true</value> </property> <property> <name>hive.server2.thrift.bind.host</name> <value>node03.hadoop.com</value> </property> <property> <name>hive.metastore.uris</name> <value>thrift://node03.hadoop.com:9083</value> </property> <property> <name>hive.metastore.client.socket.timeout</name> <value>3600</value> </property>--> </configuration> ```

程序员必须掌握的核心算法有哪些？

由于我之前一直强调数据结构以及算法学习的重要性，所以就有一些读者经常问我，数据结构与算法应该要学习到哪个程度呢？，说实话，这个问题我不知道要怎么回答你，主要取决于你想学习到哪些程度，不过针对这个问题，我稍微总结一下我学过的算法知识点，以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的，并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构，当然，我也会整理一些看过...

大学四年自学走来，这些私藏的实用工具/学习网站我贡献出来了

大学四年，看课本是不可能一直看课本的了，对于学习，特别是自学，善于搜索网上的一些资源来辅助，还是非常有必要的，下面我就把这几年私藏的各种资源，网站贡献出来给你们。主要有：电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意：文中提到的所有资源，文末我都给你整理好了，你们只管拿去，如果觉得不错，转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...

卸载 x 雷某度！GitHub 标星 1.5w+，从此我只用这款全能高速下载工具！

作者 | Rocky0429 来源 | Python空间 大家好，我是 Rocky0429，一个喜欢在网上收集各种资源的蒟蒻… 网上资源眼花缭乱，下载的方式也同样千奇百怪，比如 BT 下载，磁力链接，网盘资源等等等等，下个资源可真不容易，不一样的方式要用不同的下载软件，因此某比较有名的 x 雷和某度网盘成了我经常使用的工具。 作为一个没有钱的穷鬼，某度网盘几十 kb 的下载速度让我...

2019年还剩1天，我从外包公司离职了

这日子过的可真快啊，2019年还剩1天，外包公司干了不到3个月，我离职了

《面试宝典》2019年springmvc面试高频题(java)

前言 2019即将过去，伴随我们即将迎来的又是新的一年，过完春节，马上又要迎来新的金三银四面试季。那么，作为程序猿的你，是否真的有所准备的呢，亦或是安于本职工作，继续做好手头上的事情。 当然，不论选择如何，假如你真的准备在之后的金三银四跳槽的话，那么作为一个Java工程师，就不可不看了。如何在几个月的时间里，快速的为即将到来的面试进行充分的准备呢？ 1、什么是Spring MVC ？简单...

计算机网络的核心概念

这是《计算机网络》系列文章的第二篇文章 我们第一篇文章讲述了计算机网络的基本概念，互联网的基本名词，什么是协议以及几种接入网以及网络传输的物理媒体，那么本篇文章我们来探讨一下网络核心、交换网络、时延、丢包、吞吐量以及计算机网络的协议层次和网络攻击。 网络核心 网络的核心是由因特网端系统和链路构成的网状网络，下面这幅图正确的表达了这一点 那么在不同的 ISP 和本地以及家庭网络是如何交换信息的呢？...

python自动下载图片

近日闲来无事，总有一种无形的力量萦绕在朕身边，让朕精神涣散，昏昏欲睡。 可是，像朕这么有职业操守的社畜怎么能在上班期间睡瞌睡呢，我不禁陷入了沉思。。。。 突然旁边的IOS同事问：‘嘿，兄弟，我发现一个网站的图片很有意思啊，能不能帮我保存下来提升我的开发灵感？’ 作为一个坚强的社畜怎么能说自己不行呢，当时朕就不假思索的答应：‘oh， It’s simple. Wait for me a few

一名大专同学的四个问题

【前言】 　　收到一封来信，赶上各种事情拖了几日，利用今天要放下工作的时机，做个回复。 　　2020年到了，就以这一封信，作为开年标志吧。 【正文】 　　您好，我是一名现在有很多困惑的大二学生。有一些问题想要向您请教。 　　先说一下我的基本情况，高考失利，不想复读，来到广州一所大专读计算机应用技术专业。学校是偏艺术类的，计算机专业没有实验室更不用说工作室了。而且学校的学风也不好。但我很想在计算机领...

复习一周，京东+百度一面，不小心都拿了Offer

京东和百度一面都问了啥，面试官百般刁难，可惜我全会。

20道你必须要背会的微服务面试题，面试一定会被问到

写在前面： 在学习springcloud之前大家一定要先了解下，常见的面试题有那块，然后我们带着问题去学习这个微服务技术，那么就会更加理解springcloud技术。如果你已经学了springcloud，那么在准备面试的时候，一定要看看看这些面试题。 文章目录1、什么是微服务？2、微服务之间是如何通讯的？3、springcloud 与dubbo有哪些区别？4、请谈谈对SpringBoot 和S...

Java 14 都快来了，为什么还有这么多人固守Java 8？

从Java 9开始，Java版本的发布就让人眼花缭乱了。每隔6个月，都会冒出一个新版本出来，Java 10 , Java 11, Java 12, Java 13， 到2020年3月份，...

轻松搭建基于 SpringBoot + Vue 的 Web 商城应用

首先介绍下在本文出现的几个比较重要的概念： 函数计算（Function Compute）: 函数计算是一个事件驱动的服务，通过函数计算，用户无需管理服务器等运行情况，只需编写代码并上传。函数计算准备计算资源，并以弹性伸缩的方式运行用户代码，而用户只需根据实际代码运行所消耗的资源进行付费。Fun: Fun 是一个用于支持 Serverless 应用部署的工具，能帮助您便捷地管理函数计算、API ...

Python+OpenCV实时图像处理

目录 1、导入库文件 2、设计GUI 3、调用摄像头 4、实时图像处理 4.1、阈值二值化 4.2、边缘检测 4.3、轮廓检测 4.4、高斯滤波 4.5、色彩转换 4.6、调节对比度 5、退出系统 初学OpenCV图像处理的小伙伴肯定对什么高斯函数、滤波处理、阈值二值化等特性非常头疼，这里给各位分享一个小项目，可通过摄像头实时动态查看各类图像处理的特点，也可对各位调参、测试...

2020年一线城市程序员工资大调查

人才需求 一线城市共发布岗位38115个，招聘120827人。 其中 beijing 22805 guangzhou 25081 shanghai 39614 shenzhen 33327 工资分布 2020年中国一线城市程序员的平均工资为16285元，工资中位数为14583元，其中95%的人的工资位于5000到20000元之间。 和往年数据比较： yea...

为什么猝死的都是程序员，基本上不见产品经理猝死呢？

相信大家时不时听到程序员猝死的消息，但是基本上听不到产品经理猝死的消息，这是为什么呢？ 我们先百度搜一下：程序员猝死，出现将近700多万条搜索结果： 搜索一下：产品经理猝死，只有400万条的搜索结果，从搜索结果数量上来看，程序员猝死的搜索结果就比产品经理猝死的搜索结果高了一倍，而且从下图可以看到，首页里面的五条搜索结果，其实只有两条才是符合条件。 所以程序员猝死的概率真的比产品经理大，并不是错...

害怕面试被问HashMap？这一篇就搞定了！

声明：本文以jdk1.8为主！ 搞定HashMap 作为一个Java从业者，面试的时候肯定会被问到过HashMap，因为对于HashMap来说，可以说是Java集合中的精髓了，如果你觉得自己对它掌握的还不够好，我想今天这篇文章会非常适合你，至少，看了今天这篇文章，以后不怕面试被问HashMap了 其实在我学习HashMap的过程中，我个人觉得HashMap还是挺复杂的，如果真的想把它搞得明明白...

毕业5年，我问遍了身边的大佬，总结了他们的学习方法

我问了身边10个大佬，总结了他们的学习方法，原来成功都是有迹可循的。

python爬取百部电影数据，我分析出了一个残酷的真相

2019年就这么匆匆过去了，就在前几天国家电影局发布了2019年中国电影市场数据，数据显示去年总票房为642.66亿元，同比增长5.4%；国产电影总票房411.75亿元，同比增长8.65%，市场占比 64.07%；城市院线观影人次17.27亿，同比增长0.64%。 看上去似乎是一片大好对不对？不过作为一名严谨求实的数据分析师，我从官方数据中看出了一点端倪：国产票房增幅都已经高达8.65%了，为什...

推荐10个堪称神器的学习网站

每天都会收到很多读者的私信，问我：“二哥，有什么推荐的学习网站吗？最近很浮躁，手头的一些网站都看烦了，想看看二哥这里有什么新鲜货。” 今天一早做了个恶梦，梦到被老板辞退了。虽然说在我们公司，只有我辞退老板的份，没有老板辞退我这一说，但是还是被吓得 4 点多都起来了。（主要是因为我掌握着公司所有的核心源码，哈哈哈） 既然 4 点多起来，就得好好利用起来。于是我就挑选了 10 个堪称神器的学习网站，推...

这些软件太强了，Windows必装！尤其程序员！

Windows可谓是大多数人的生产力工具，集娱乐办公于一体，虽然在程序员这个群体中都说苹果是信仰，但是大部分不都是从Windows过来的，而且现在依然有很多的程序员用Windows。 所以，今天我就把我私藏的Windows必装的软件分享给大家，如果有一个你没有用过甚至没有听过，那你就赚了????，这可都是提升你幸福感的高效率生产力工具哦！ 走起！???? NO、1 ScreenToGif 屏幕，摄像头和白板...

阿里面试一个ArrayList我都能跟面试官扯半小时

我是真的没想到，面试官会这样问我ArrayList。

曾经优秀的人，怎么就突然不优秀了。

职场上有很多辛酸事，很多合伙人出局的故事，很多技术骨干被裁员的故事。说来模板都类似，曾经是名校毕业，曾经是优秀员工，曾经被领导表扬，曾经业绩突出，然而突然有一天，因为种种原因，被裁员了，...

大学四年因为知道了这32个网站，我成了别人眼中的大神！

依稀记得，毕业那天，我们导员发给我毕业证的时候对我说“你可是咱们系的风云人物啊”，哎呀，别提当时多开心啦????，嗯，我们导员是所有导员中最帅的一个，真的???? 不过，导员说的是实话，很多人都叫我大神的，为啥，因为我知道这32个网站啊，你说强不强????，这次是绝对的干货，看好啦，走起来！ PS：每个网站都是学计算机混互联网必须知道的，真的牛杯，我就不过多介绍了，大家自行探索，觉得没用的，尽管留言吐槽吧???? 社...

2020年1月中国编程语言排行榜，python是2019增长最快编程语言

编程语言比例 排名 编程语言 最低工资 工资中位数 最低工资 最高工资 人头 人头百分比 1 rust 20713 17500 5042 46250 480 0.14% 2 typescript 18503 22500 6000 30000 1821 0.52% 3 lua 18150 17500 5250 35000 2956 0.84% 4 go 17989 16...

看完这篇HTTP，跟面试官扯皮就没问题了

我是一名程序员，我的主要编程语言是 Java，我更是一名 Web 开发人员，所以我必须要了解 HTTP，所以本篇文章就来带你从 HTTP 入门到进阶，看完让你有一种恍然大悟、醍醐灌顶的感觉。 最初在有网络之前，我们的电脑都是单机的，单机系统是孤立的，我还记得 05 年前那会儿家里有个电脑，想打电脑游戏还得两个人在一个电脑上玩儿，及其不方便。我就想为什么家里人不让上网，我的同学 xxx 家里有网，每...

史上最全的IDEA快捷键总结

现在Idea成了主流开发工具，这篇博客对其使用的快捷键做了总结，希望对大家的开发工作有所帮助。

阿里程序员写了一个新手都写不出的低级bug，被骂惨了。

这种新手都不会范的错，居然被一个工作好几年的小伙子写出来，差点被当场开除了。

谁是华为扫地僧？

是的，华为也有扫地僧！2020年2月11-12日，“养在深闺人不知”的华为2012实验室扫地僧们，将在华为开发者大会2020（Cloud）上，和大家见面。到时，你可以和扫地僧们，吃一个洋...

Idea 中最常用的10款插件（提高开发效率），一定要学会使用！

学习使用一些插件，可以提高开发效率。对于我们开发人员很有帮助。这篇博客介绍了开发中使用的插件。

AI 没让人类失业，搞 AI 的人先失业了

最近和几个 AI 领域的大佬闲聊 根据他们讲的消息和段子 改编出下面这个故事 如有雷同 都是巧合 1. 老王创业失败，被限制高消费 “这里写我跑路的消息实在太夸张了。” 王葱葱哼笑一下，把消息分享给群里。 阿杰也看了消息，笑了笑。在座几位也都笑了。 王葱葱是个有名的人物，21岁那年以全额奖学金进入 KMU 攻读人工智能博士，累计发表论文 40 余篇，个人技术博客更是成为深度学习领域内风向标。 ...

2020年，冯唐49岁：我给20、30岁IT职场年轻人的建议

点击“技术领导力”关注∆每天早上8:30推送 作者|Mr.K 编辑| Emma 来源|技术领导力(ID：jishulingdaoli) 前天的推文《冯唐：职场人35岁以后，方法论比经验重要》，收到了不少读者的反馈，觉得挺受启发。其实，冯唐写了不少关于职场方面的文章，都挺不错的。可惜大家只记住了“春风十里不如你”、“如何避免成为油腻腻的中年人”等不那么正经的文章。 本文整理了冯...

作为一名大学生，如何在B站上快乐的学习？

B站是个宝，谁用谁知道???? 作为一名大学生，你必须掌握的一项能力就是自学能力，很多看起来很牛X的人，你可以了解下，人家私底下一定是花大量的时间自学的，你可能会说，我也想学习啊，可是嘞，该学习啥嘞，不怕告诉你，互联网时代，最不缺的就是学习资源，最宝贵的是啥？ 你可能会说是时间，不，不是时间，而是你的注意力，懂了吧！ 那么，你说学习资源多，我咋不知道，那今天我就告诉你一个你必须知道的学习的地方，人称...

那些年，我们信了课本里的那些鬼话

教材永远都是有错误的，从小学到大学，我们不断的学习了很多错误知识。 斑羚飞渡 在我们学习的很多小学课文里，有很多是错误文章，或者说是假课文。像《斑羚飞渡》： 随着镰刀头羊的那声吼叫，整个斑羚群迅速分成两拨，老年斑羚为一拨，年轻斑羚为一拨。 就在这时，我看见，从那拨老斑羚里走出一只公斑羚来。公斑羚朝那拨年轻斑羚示意性地咩了一声，一只半大的斑羚应声走了出来。一老一少走到伤心崖，后退了几步，突...

一个程序在计算机中是如何运行的？超级干货！！！

强烈声明：本文很干，请自备茶水！???? 开门见山，咱不说废话！ 你有没有想过，你写的程序，是如何在计算机中运行的吗？比如我们搞Java的，肯定写过这段代码 public class HelloWorld { public static void main(String[] args) { System.out.println("Hello World!"); } ...

【蘑菇街技术部年会】程序员与女神共舞，鼻血再次没止住。（文末内推）

蘑菇街技术部的年会，别开生面，一样全是美女。

那个在阿里养猪的工程师，5年了……

简介： 在阿里，走过1825天，没有趴下，依旧斗志满满，被称为“五年陈”。他们会被授予一枚戒指，过程就叫做“授戒仪式”。今天，咱们听听阿里的那些“五年陈”们的故事。 下一个五年，猪圈见！ 我就是那个在养猪场里敲代码的工程师，一年多前我和20位工程师去了四川的猪场，出发前总架构师慷慨激昂的说：同学们，中国的养猪产业将因为我们而改变。但到了猪场，发现根本不是那么回事：要个WIFI，没有；...

为什么程序猿都不愿意去外包？

分享外包的组织架构，盈利模式，亲身经历，以及根据一些外包朋友的反馈，写了这篇文章 ，希望对正在找工作的老铁有所帮助

Java校招入职华为，半年后我跑路了

何来 我，一个双非本科弟弟，有幸在 19 届的秋招中得到前东家华为（以下简称 hw）的赏识，当时秋招签订就业协议，说是入了某 java bg，之后一系列组织架构调整原因等等让人无法理解的神操作，最终毕业前夕，被通知调往其他 bg 做嵌入式开发（纯 C 语言）。 由于已至于校招末尾，之前拿到的其他 offer 又无法再收回，一时感到无力回天，只得默默接受。 毕业后，直接入职开始了嵌入式苦旅，由于从未...

世界上有哪些代码量很少，但很牛逼很经典的算法或项目案例？

点击上方蓝字设为星标下面开始今天的学习～今天分享四个代码量很少，但很牛逼很经典的算法或项目案例。1、no code 项目地址：https://github.com/kelseyhight...

Python全栈 Linux基础之3.Linux常用命令

Linux对文件（包括目录）有很多常用命令，可以加快开发效率：ls是列出当前目录下的文件列表，选项有-a、-l、-h，还可以使用通配符；c功能是跳转目录，可以使用相对路径和绝对路径；mkdir命令创建一个新的目录，有-p选项，rm删除文件或目录，有-f、-r选项；cp用于复制文件，有-i、-r选项，tree命令可以将目录结构显示出来（树状显示），有-d选项，mv用来移动文件/目录，有-i选项；cat查看文件内容，more分屏显示文件内容，grep搜索内容；>、>>将执行结果重定向到一个文件；|用于管道输出。