关于HADOOP相关服务器的4433端口问题

处于信息安全考虑,公司近期对违禁端口进行整改,发现 HADOOP服务有 4433 违禁端口,公司要求对4433端口整改。该端口被一个PYTHON进程占用。将其杀掉后,过一会又自动启动了,应该是存在守护进程。
请教各位老师,此端口能否禁用或修改?

1个回答

hadoop默认没听说占4433端口啊。你看看那个python进程的命令行在执行什么。

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
IPC和8020端口通信出现问题 hadoop
24347 [main] DEBUG org.apache.hadoop.hdfs.DFSClient - DFSClient writeChunk allocating new packet seqno=0, src=/tmp/hadoop-yarn/staging/root/.staging/job_1508918621838_0014/job.xml, packetSize=65532, chunksPerPacket=127, bytesCurBlock=0 24482 [main] DEBUG org.apache.hadoop.hdfs.DFSClient - DFSClient writeChunk packet full seqno=0, src=/tmp/hadoop-yarn/staging/root/.staging/job_1508918621838_0014/job.xml, bytesCurBlock=65024, blockSize=134217728, appendChunk=false 24482 [main] DEBUG org.apache.hadoop.hdfs.DFSClient - Queued packet 0 24486 [Thread-14] DEBUG org.apache.hadoop.hdfs.DFSClient - Allocating new block 24489 [IPC Parameter Sending Thread #0] DEBUG org.apache.hadoop.ipc.Client - IPC Client (453523494) connection to master/192.168.3.60:8020 from root sending #32 24489 [main] DEBUG org.apache.hadoop.hdfs.DFSClient - computePacketChunkSize: src=/tmp/hadoop-yarn/staging/root/.staging/job_1508918621838_0014/job.xml, chunkSize=516, chunksPerPacket=127, packetSize=65532 24489 [main] DEBUG org.apache.hadoop.hdfs.DFSClient - DFSClient writeChunk allocating new packet seqno=1, src=/tmp/hadoop-yarn/staging/root/.staging/job_1508918621838_0014/job.xml, packetSize=65532, chunksPerPacket=127, bytesCurBlock=65024 24495 [IPC Client (453523494) connection to master/192.168.3.60:8020 from root] DEBUG org.apache.hadoop.ipc.Client - IPC Client (453523494) connection to master/192.168.3.60:8020 from root got value #32 24495 [Thread-14] DEBUG org.apache.hadoop.ipc.ProtobufRpcEngine - Call: addBlock took 7ms 24495 [Thread-14] DEBUG org.apache.hadoop.hdfs.DFSClient - pipeline = DatanodeInfoWithStorage[192.168.3.60:50010,DS-c7341036-19f0-49e8-a3de-980de9c85471,DISK] 24495 [Thread-14] DEBUG org.apache.hadoop.hdfs.DFSClient - pipeline = DatanodeInfoWithStorage[192.168.0.61:50010,DS-9afe2d04-57db-4569-863a-2eaef5b48790,DISK] 24495 [Thread-14] DEBUG org.apache.hadoop.hdfs.DFSClient - pipeline = DatanodeInfoWithStorage[192.168.0.62:50010,DS-51bb34a6-f71b-40f1-a2b6-0eae0828e3e6,DISK] 24495 [Thread-14] DEBUG org.apache.hadoop.hdfs.DFSClient - Connecting to datanode 192.168.3.60:50010 24496 [Thread-14] DEBUG org.apache.hadoop.hdfs.DFSClient - Send buf size 124928 24496 [Thread-14] DEBUG org.apache.hadoop.hdfs.protocol.datatransfer.sasl.SaslDataTransferClient - SASL client skipping handshake in unsecured configuration for addr = /192.168.3.60, datanodeId = DatanodeInfoWithStorage[192.168.3.60:50010,DS-c7341036-19f0-49e8-a3de-980de9c85471,DISK] 24511 [main] DEBUG org.apache.hadoop.hdfs.DFSClient - Queued packet 1 24511 [main] DEBUG org.apache.hadoop.hdfs.DFSClient - Queued packet 2 24511 [main] DEBUG org.apache.hadoop.hdfs.DFSClient - Waiting for ack for: 2 24515 [DataStreamer for file /tmp/hadoop-yarn/staging/root/.staging/job_1508918621838_0014/job.xml block BP-60132808-192.168.3.60-1504150527865:blk_1073811055_70272] DEBUG org.apache.hadoop.hdfs.DFSClient - DataStreamer block BP-60132808-192.168.3.60-1504150527865:blk_1073811055_70272 sending packet packet seqno: 0 offsetInBlock: 0 lastPacketInBlock: false lastByteOffsetInBlock: 65024 24516 [DataStreamer for file /tmp/hadoop-yarn/staging/root/.staging/job_1508918621838_0014/job.xml block BP-60132808-192.168.3.60-1504150527865:blk_1073811055_70272] DEBUG org.apache.hadoop.hdfs.DFSClient - DataStreamer block BP-60132808-192.168.3.60-1504150527865:blk_1073811055_70272 sending packet packet seqno: 1 offsetInBlock: 65024 lastPacketInBlock: false lastByteOffsetInBlock: 96423 24523 [ResponseProcessor for block BP-60132808-192.168.3.60-1504150527865:blk_1073811055_70272] DEBUG org.apache.hadoop.hdfs.DFSClient - DFSClient seqno: 0 reply: 0 reply: 0 reply: 0 downstreamAckTimeNanos: 5654125 24523 [ResponseProcessor for block BP-60132808-192.168.3.60-1504150527865:blk_1073811055_70272] DEBUG org.apache.hadoop.hdfs.DFSClient - DFSClient seqno: 1 reply: 0 reply: 0 reply: 0 downstreamAckTimeNanos: 5760521 24524 [DataStreamer for file /tmp/hadoop-yarn/staging/root/.staging/job_1508918621838_0014/job.xml block BP-60132808-192.168.3.60-1504150527865:blk_1073811055_70272] DEBUG org.apache.hadoop.hdfs.DFSClient - DataStreamer block BP-60132808-192.168.3.60-1504150527865:blk_1073811055_70272 sending packet packet seqno: 2 offsetInBlock: 96423 lastPacketInBlock: true lastByteOffsetInBlock: 96423 24529 [ResponseProcessor for block BP-60132808-192.168.3.60-1504150527865:blk_1073811055_70272] DEBUG org.apache.hadoop.hdfs.DFSClient - DFSClient seqno: 2 reply: 0 reply: 0 reply: 0 downstreamAckTimeNanos: 2267573 24530 [DataStreamer for file /tmp/hadoop-yarn/staging/root/.staging/job_1508918621838_0014/job.xml block BP-60132808-192.168.3.60-1504150527865:blk_1073811055_70272] DEBUG org.apache.hadoop.hdfs.DFSClient - Closing old block BP-60132808-192.168.3.60-1504150527865:blk_1073811055_70272 24530 [IPC Parameter Sending Thread #0] DEBUG org.apache.hadoop.ipc.Client - IPC Client (453523494) connection to master/192.168.3.60:8020 from root sending #33 43037 [main] DEBUG org.apache.hadoop.ipc.ProtobufRpcEngine - Call: getApplicationReport took 1ms 43037 [main] INFO org.apache.hadoop.mapreduce.Job - Job job_1508918621838_0014 failed with state FAILED due to: Application application_1508918621838_0014 failed 2 times due to AM Container for appattempt_1508918621838_0014_000002 exited with exitCode: 1 For more detailed output, check application tracking page:http://master:8088/proxy/application_1508918621838_0014/Then, click on links to logs of each attempt. Diagnostics: Exception from container-launch. Container id: container_1508918621838_0014_02_000001 Exit code: 1 Stack trace: ExitCodeException exitCode=1: at org.apache.hadoop.util.Shell.runCommand(Shell.java:578) at org.apache.hadoop.util.Shell.run(Shell.java:481) at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:763) at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:213) at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302) at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:748) Container exited with a non-zero exit code 1 Failing this attempt. Failing the application. 43038 [main] DEBUG org.apache.hadoop.security.UserGroupInformation - PrivilegedAction as:root (auth:SIMPLE) from:org.apache.hadoop.mapreduce.Job.getCounters(Job.java:775) 43042 [IPC Parameter Sending Thread #0] DEBUG org.apache.hadoop.ipc.Client - IPC Client (453523494) connection to master/192.168.3.60:8032 from root sending #95 43045 [IPC Client (453523494) connection to master/192.168.3.60:8032 from root] DEBUG org.apache.hadoop.ipc.Client - IPC Client (453523494) connection to master/192.168.3.60:8032 from root got value #95 43047 [main] DEBUG org.apache.hadoop.ipc.ProtobufRpcEngine - Call: getApplicationReport took 6ms 43088 [main] INFO org.apache.hadoop.mapreduce.Job - Counters: 0 14 43096 [Thread-3] DEBUG org.apache.hadoop.ipc.Client - stopping client from cache: org.apache.hadoop.ipc.Client@4690b489
hadoop的50010端口出现大量的close_wait
hadoop的50010端口出现大量的close_wait hadoop的50010端口出现大量的close_wait
hadoop2.4.1 ResourceManager的8088 web端口无法访问
hadoop ResourceManager的8088端口无法访问。我们的集群是部署在阿里云服务器,版本为hadoop2.4.1。希望大神门能指导一下,谢谢!
关于Hadoop的web管理界面的问题
我想问一下Hadoop的web管理界面能在java swing的界面上面显示出来吗
关于hadoop_hive的问题
本人接触hadoop与hive不长时间 因为是接手别人的工作所以有点吃力。最近遇到一个问题,不知道应该怎样解决,希望有大神可以解答一下。 问题是这样的:我执行一个脚本从hive里面读取数据然后写入一个csv文件里,hiveQL语句其实也就是从一个表中读取数据,加上一些字段得时间段参数之类的。 但是在跑的时候时不时会出现问题 日志如下: Task with the most failures(4): ----- Task ID: task_1513574350768_3535_m_000655 URL: http://hadoopnode102:8088/taskdetails.jsp?jobid=job_1513574350768_3535&tipid=task_1513574350768_3535_m_000655 ----- Diagnostic Messages for this Task: Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row (数据在这里就先不铺出来了) at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:185) at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54) at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:450) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343) at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158) Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row (数据在这里就先不铺出来了) at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:503) at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:176) ... 8 more Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.net.SocketTimeoutException: 75000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel[connected local=/132.96.186.7:58295 remote=/132.96.186.9:50010] at org.apache.hadoop.hive.ql.exec.FileSinkOperator.processOp(FileSinkOperator.java:723) at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:815) at org.apache.hadoop.hive.ql.exec.SelectOperator.processOp(SelectOperator.java:84) at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:815) at org.apache.hadoop.hive.ql.exec.FilterOperator.processOp(FilterOperator.java:120) at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:815) at org.apache.hadoop.hive.ql.exec.TableScanOperator.processOp(TableScanOperator.java:95) at org.apache.hadoop.hive.ql.exec.MapOperator$MapOpCtx.forward(MapOperator.java:157) at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:493) ... 9 more Caused by: java.net.SocketTimeoutException: 75000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel[connected local=/132.96.186.7:58295 remote=/132.96.186.9:50010] at org.apache.hadoop.net.SocketIOWithTimeout.doIO(SocketIOWithTimeout.java:164) at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:161) at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:131) at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:118) at java.io.FilterInputStream.read(FilterInputStream.java:83) at java.io.FilterInputStream.read(FilterInputStream.java:83) at org.apache.hadoop.hdfs.protocolPB.PBHelper.vintPrefixed(PBHelper.java:2201) at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1439) at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1361) at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:588) Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143 但是跑多几次就可以跑出来, 所以我觉得应该不是数据问题,是配置上没有做好 而且这个查询只有map也没有reduce,不知道该如何排查。 希望有大神知道如何解决指导指导。谢谢~
关于hadoop伪分布式安装问题
安装了6.7次hadoop了,每一次的问题都花样百出,这次又是开启NameNode和DataNode守护进程时出现问题了,0.0.0.0的问题按网上说关闭防火墙已经执行了却还是运行不了还是有bug 有大神么帮忙解决一下。。。
有关hadoop命令的问题
请教大家一个问题,我进入到了hadoop安装目录的bin目录下,执行hadoop指令,但系统提醒hadoop:command not found,且hadoop已启动,master节点重启后依然有这个问题,头疼的很,有没有哪个小伙伴帮忙解答一下!感激不尽! ![图片说明](https://img-ask.csdn.net/upload/201501/21/1421849918_109721.png)
关于mysql和hadoop数据交互的问题,和hadoop的文件夹设计
关于mysql和hadoop数据交互的问题,和hadoop的文件夹设计 关于mysql和hadoop数据交互的问题,和hadoop的文件夹设计 目前mysql按地区,商业区区分,假设读取mysql数据库的地区,根据地区划分 我昨天和领导沟通了,领导说点击率不是必要条件,地区划分才是重点,后面就是各方面劝导,只好以地区区分,关键是这个镇区区分数据和产品的话,全国有6k多个地区, 这样的hdfs文件夹数量,岂不是很崩溃, 后面感觉还有很多纬度和条件查询啥的,上头又喊了一句不一定要用hadoop,发挥hadoop啥啥优势,mysql多条件查询方便,好好做这个方案,然后我就一头雾水了,心里比较纠结和郁闷。最近搞mahout出了点成绩,发现单机版也挺好使(数据量少的前提下),搜了搜房子,北京也就519,059这么多套房子在待售,没啥必要用hadoop,自我感觉,如果只是单独分析这些条数据519,059条,感觉不大, 如果你有好的博客和资源提供,麻烦提供url连接,谢谢
win7连接云服务器hadoop的配置问题
因为某些需要,学习hadoop,完全小白... win7 eclipse连接hadoop配置我是这样写的,但是它就一直显示在连接并没有跳出文件目录是什么情况呀 ![图片说明](https://img-ask.csdn.net/upload/201711/09/1510220169_837716.png) 不知道这上面的user name需要填写的是什么 下面是一些配置的东东 ![图片说明](https://img-ask.csdn.net/upload/201711/09/1510220210_444846.png) ![图片说明](https://img-ask.csdn.net/upload/201711/09/1510220225_809891.png) 因为这个事弄了好久了,希望有人能帮忙回答一下感激不尽
关于hadoop安装的一个问题
当我hadoop namenode -formate之后,我运行start-dfs.sh之后,namenode的日志报错,错误如下: 2011-08-11 18:27:20,179 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed. java.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:317) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:87) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:311) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:292) at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:201) at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:279) at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:956) at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:965) core-site.xml的配置如下: <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/hadooptmp</value> </property> </configuration> hdfs-site.xml的配置如下: <configuration> <property> <name>dfs.name.dir</name> <value>/opt/hadoop/hdfs/name</value> </property> <property> <name>dfs.data.dir</name> <value>/opt/hadoop/hdfs/data</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> mapred-site.xml配置如下: <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:8021</value> </property> <property> <name>mapred.local.dir</name> <value>/opt/hadoop/mapred/local</value> </property> <property> <name>mapred.system.dir</name> <value>/opt/hadoop/mapred/system</value> </property> </configuration> 从日志分析是没有formate,但是我的确formate了。namenode的name目录是不会自动创建的,我手动创建,并且修改了权限为chmod -R 777 hadoop ,所以从读写的权限来也没有问题。但是如果我不手动也会报错,错误是: 2011-08-11 18:37:09,401 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed. org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /opt/hadoop/hdfs/name is in an inconsistent state: storage directory does not exist or is not accessible. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:290) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:87) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:311) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:292) at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:201) at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:279) at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:956) at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:965) 有没有哪位能帮我解决下这个问题,非常感谢。我怀疑是hadoop权限的问题,希望大牛们赐教。
关于hadoop的集群开发环境配置
各位前辈好!最近遇到了点疑问,hadoop的集群配置的主节点是要搭在服务器上吗?我们老师要我们做一个项目,需要配置hadoop平台,什么也不懂,所以来这里请教大家==
关于hadoop的配置问题
如何配置hadoop2.7.1及winutil.exe, 急急急急急急急急急急急急急
hadoop的DataNode节点的问题
Centos7为什么每次启动hadoop时,jps查看DataNode都没有,要删除目录在重建,并重新格式化才有DataNode。文件和hadoop安装包删了重建了并格式化了还是这样。环境,配置什么的都OK的
关于Hadoop WebHDFS 下载文件速度慢的问题
目前正在windows+.net下开发一个Hadoop HDFS读写文件的小测试程序。用的WebHDFS http接口。上传文件速度比较快,但是下载非常慢。跟踪代码发现主要是在读取网络流时太慢: Stream respStream = wrp.GetResponseStream(); Stream fileStream = File.Create(localFile); int bufferSize = 1024 * 1024; int byteNum; byte[] downloadByte = new byte[bufferSize]; while (true) { byteNum = repStream.Read(downloadByte, 0, bufferSize); if (byteNum == 0) { break; } fileStream.Write(downloadByte, 0, byteNum); } 我虽然设置了bufferSize但是每次读取时最多不超过8192字节。我想请问一下怎样才能提高读取的字节数?
关于hadoop启动的一个问题
启动所有服务之后http://localhost:50030 (MapReduce的Web页面)可以访问,但是 http://localhost:50070 (HDfS的web页面)访问出错
关于Hadoop Myeclipse插件
最近研究Mapreduce,准备在Myeclipse上装一个hadoop插件,把hadoop-eclipse-plugin-2.2.0.jar放在dropins目录下后,打开preferences可以看见Hadoop Map/Rreduce这一项,但是当我点击这项时报错:org/apache/hadoop/eclipse/preferences/MapReducePreferencePage : Unsupported major.minor version 51.0,我把JDK从1.7改为1.6还是报同样的错误,不知道是什么原因,求大神指导!
关于新手对hadoop的学习
作为一个初学者,想入手Hadoop(分布式系统基础架构)编程,但不知从何学起,该掌握那些坚实的基础知识,以怎样的学习方式(阶段性的)去学习?求Hadoop大神传授一下学习经验,对于学习Hadoop给些建议,应该系统的学习那些书目以及语言,对于入手hadoop编程指点一二,非常感谢。本人是在校大学生,对编程和大数据处理很感兴趣,对数据库有一定的了解,对C和C#编程还算有很好的经验,有一定的Java编程基础,希望大家对hadoop的学习指点一二,让我们这些后辈少走些弯路,非常感谢csdner们。
远程连接阿里云上的hadoop
本人在阿里云的服务器上配置了一个伪分布式的hadoop 可以正常运行,现在想在自己的电脑用浏览器来查看hadoop的运行情况,还有用eclipse远程连接hadoop,我通过公网ip加对应的端口号,取连不进去,请问这是为什么,是需要使用内网穿透功能吗?
请教 : 关于hadoop Oozie workflows 里面的shell 查询结果保存txt文档
请教 : 关于hadoop Oozie workflows 里面的shell 查询结果保存txt文档
爬虫福利二 之 妹子图网MM批量下载
爬虫福利一:27报网MM批量下载    点击 看了本文,相信大家对爬虫一定会产生强烈的兴趣,激励自己去学习爬虫,在这里提前祝:大家学有所成! 目标网站:妹子图网 环境:Python3.x 相关第三方模块:requests、beautifulsoup4 Re:各位在测试时只需要将代码里的变量 path 指定为你当前系统要保存的路径,使用 python xxx.py 或IDE运行即可。
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、PDF搜索网站推荐 对于大部
linux系列之常用运维命令整理笔录
本博客记录工作中需要的linux运维命令,大学时候开始接触linux,会一些基本操作,可是都没有整理起来,加上是做开发,不做运维,有些命令忘记了,所以现在整理成博客,当然vi,文件操作等就不介绍了,慢慢积累一些其它拓展的命令,博客不定时更新 顺便拉下票,我在参加csdn博客之星竞选,欢迎投票支持,每个QQ或者微信每天都可以投5票,扫二维码即可,http://m234140.nofollow.ax.
Vue + Spring Boot 项目实战(十四):用户认证方案与完善的访问拦截
本篇文章主要讲解 token、session 等用户认证方案的区别并分析常见误区,以及如何通过前后端的配合实现完善的访问拦截,为下一步权限控制的实现打下基础。
比特币原理详解
一、什么是比特币 比特币是一种电子货币,是一种基于密码学的货币,在2008年11月1日由中本聪发表比特币白皮书,文中提出了一种去中心化的电子记账系统,我们平时的电子现金是银行来记账,因为银行的背后是国家信用。去中心化电子记账系统是参与者共同记账。比特币可以防止主权危机、信用风险。其好处不多做赘述,这一层面介绍的文章很多,本文主要从更深层的技术原理角度进行介绍。 二、问题引入  假设现有4个人
程序员接私活怎样防止做完了不给钱?
首先跟大家说明一点,我们做 IT 类的外包开发,是非标品开发,所以很有可能在开发过程中会有这样那样的需求修改,而这种需求修改很容易造成扯皮,进而影响到费用支付,甚至出现做完了项目收不到钱的情况。 那么,怎么保证自己的薪酬安全呢? 我们在开工前,一定要做好一些证据方面的准备(也就是“讨薪”的理论依据),这其中最重要的就是需求文档和验收标准。一定要让需求方提供这两个文档资料作为开发的基础。之后开发
网页实现一个简单的音乐播放器(大佬别看。(⊙﹏⊙))
今天闲着无事,就想写点东西。然后听了下歌,就打算写个播放器。 于是乎用h5 audio的加上js简单的播放器完工了。 欢迎 改进 留言。 演示地点跳到演示地点 html代码如下`&lt;!DOCTYPE html&gt; &lt;html&gt; &lt;head&gt; &lt;title&gt;music&lt;/title&gt; &lt;meta charset="utf-8"&gt
Python十大装B语法
Python 是一种代表简单思想的语言,其语法相对简单,很容易上手。不过,如果就此小视 Python 语法的精妙和深邃,那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点,并附上详细的实例代码。如能在实战中融会贯通、灵活使用,必将使代码更为精炼、高效,同时也会极大提升代码B格,使之看上去更老练,读起来更优雅。 1. for - else 什么?不是 if 和 else 才
数据库优化 - SQL优化
前面一篇文章从实例的角度进行数据库优化,通过配置一些参数让数据库性能达到最优。但是一些“不好”的SQL也会导致数据库查询变慢,影响业务流程。本文从SQL角度进行数据库优化,提升SQL运行效率。 判断问题SQL 判断SQL是否有问题时可以通过两个表象进行判断: 系统级别表象 CPU消耗严重 IO等待严重 页面响应时间过长
2019年11月中国大陆编程语言排行榜
2019年11月2日,我统计了某招聘网站,获得有效程序员招聘数据9万条。针对招聘信息,提取编程语言关键字,并统计如下: 编程语言比例 rank pl_ percentage 1 java 33.62% 2 c/c++ 16.42% 3 c_sharp 12.82% 4 javascript 12.31% 5 python 7.93% 6 go 7.25% 7
通俗易懂地给女朋友讲:线程池的内部原理
餐厅的约会 餐盘在灯光的照耀下格外晶莹洁白,女朋友拿起红酒杯轻轻地抿了一小口,对我说:“经常听你说线程池,到底线程池到底是个什么原理?”我楞了一下,心里想女朋友今天是怎么了,怎么突然问出这么专业的问题,但做为一个专业人士在女朋友面前也不能露怯啊,想了一下便说:“我先给你讲讲我前同事老王的故事吧!” 大龄程序员老王 老王是一个已经北漂十多年的程序员,岁数大了,加班加不动了,升迁也无望,于是拿着手里
经典算法(5)杨辉三角
写在前面: 我是 扬帆向海,这个昵称来源于我的名字以及女朋友的名字。我热爱技术、热爱开源、热爱编程。技术是开源的、知识是共享的。 这博客是对自己学习的一点点总结及记录,如果您对 Java、算法 感兴趣,可以关注我的动态,我们一起学习。 用知识改变命运,让我们的家人过上更好的生活。 目录一、杨辉三角的介绍二、杨辉三角的算法思想三、代码实现1.第一种写法2.第二种写法 一、杨辉三角的介绍 百度
腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹?
昨天,有网友私信我,说去阿里面试,彻底的被打击到了。问了为什么网上大量使用ThreadLocal的源码都会加上private static?他被难住了,因为他从来都没有考虑过这个问题。无独有偶,今天笔者又发现有网友吐槽了一道腾讯的面试题,我们一起来看看。 腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹? 在互联网职场论坛,一名程序员发帖求助到。二面腾讯,其中一个算法题:64匹
面试官:你连RESTful都不知道我怎么敢要你?
面试官:了解RESTful吗? 我:听说过。 面试官:那什么是RESTful? 我:就是用起来很规范,挺好的 面试官:是RESTful挺好的,还是自我感觉挺好的 我:都挺好的。 面试官:… 把门关上。 我:… 要干嘛?先关上再说。 面试官:我说出去把门关上。 我:what ?,夺门而去 文章目录01 前言02 RESTful的来源03 RESTful6大原则1. C-S架构2. 无状态3.统一的接
为啥国人偏爱Mybatis,而老外喜欢Hibernate/JPA呢?
关于SQL和ORM的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行了一番讨论,感触还是有一些,于是就有了今天这篇文。 声明:本文不会下关于Mybatis和JPA两个持久层框架哪个更好这样的结论。只是摆事实,讲道理,所以,请各位看官勿喷。 一、事件起因 关于Mybatis和JPA孰优孰劣的问题,争论已经很多年了。一直也没有结论,毕竟每个人的喜好和习惯是大不相同的。我也看
SQL-小白最佳入门sql查询一
一 说明 如果是初学者,建议去网上寻找安装Mysql的文章安装,以及使用navicat连接数据库,以后的示例基本是使用mysql数据库管理系统; 二 准备前提 需要建立一张学生表,列分别是id,名称,年龄,学生信息;本示例中文章篇幅原因SQL注释略; 建表语句: CREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT, `
项目中的if else太多了,该怎么重构?
介绍 最近跟着公司的大佬开发了一款IM系统,类似QQ和微信哈,就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if(msgType = "图片") { // doshomething } else if(msgType = "视频") { // doshomething } else { // dosho
“狗屁不通文章生成器”登顶GitHub热榜,分分钟写出万字形式主义大作
一、垃圾文字生成器介绍 最近在浏览GitHub的时候,发现了这样一个骨骼清奇的雷人项目,而且热度还特别高。 项目中文名:狗屁不通文章生成器 项目英文名:BullshitGenerator 根据作者的介绍,他是偶尔需要一些中文文字用于GUI开发时测试文本渲染,因此开发了这个废话生成器。但由于生成的废话实在是太过富于哲理,所以最近已经被小伙伴们给玩坏了。 他的文风可能是这样的: 你发现,
程序员:我终于知道post和get的区别
IT界知名的程序员曾说:对于那些月薪三万以下,自称IT工程师的码农们,其实我们从来没有把他们归为我们IT工程师的队伍。他们虽然总是以IT工程师自居,但只是他们一厢情愿罢了。 此话一出,不知激起了多少(码农)程序员的愤怒,却又无可奈何,于是码农问程序员。 码农:你知道get和post请求到底有什么区别? 程序员:你看这篇就知道了。 码农:你月薪三万了? 程序员:嗯。 码农:你是怎么做到的? 程序员:
《程序人生》系列-这个程序员只用了20行代码就拿了冠军
你知道的越多,你不知道的越多 点赞再看,养成习惯GitHub上已经开源https://github.com/JavaFamily,有一线大厂面试点脑图,欢迎Star和完善 前言 这一期不算《吊打面试官》系列的,所有没前言我直接开始。 絮叨 本来应该是没有这期的,看过我上期的小伙伴应该是知道的嘛,双十一比较忙嘛,要值班又要去帮忙拍摄年会的视频素材,还得搞个程序员一天的Vlog,还要写BU
加快推动区块链技术和产业创新发展,2019可信区块链峰会在京召开
      11月8日,由中国信息通信研究院、中国通信标准化协会、中国互联网协会、可信区块链推进计划联合主办,科技行者协办的2019可信区块链峰会将在北京悠唐皇冠假日酒店开幕。   区块链技术被认为是继蒸汽机、电力、互联网之后,下一代颠覆性的核心技术。如果说蒸汽机释放了人类的生产力,电力解决了人类基本的生活需求,互联网彻底改变了信息传递的方式,区块链作为构造信任的技术有重要的价值。   1
程序员把地府后台管理系统做出来了,还有3.0版本!12月7号最新消息:已在开发中有github地址
第一幕:缘起 听说阎王爷要做个生死簿后台管理系统,我们派去了一个程序员…… 996程序员做的梦: 第一场:团队招募 为了应对地府管理危机,阎王打算找“人”开发一套地府后台管理系统,于是就在地府总经办群中发了项目需求。 话说还是中国电信的信号好,地府都是满格,哈哈!!! 经常会有外行朋友问:看某网站做的不错,功能也简单,你帮忙做一下? 而这次,面对这样的需求,这个程序员
Android 9.0系统新特性,对刘海屏设备进行适配
其实Android 9.0系统已经是去年推出的“老”系统了,这个系统中新增了一个比较重要的特性,就是对刘海屏设备进行了支持。一直以来我也都有打算针对这个新特性好好地写一篇文章,但是为什么直到拖到了Android 10.0系统都发布了才开始写这篇文章呢?当然,一是因为我这段时间确实比较忙,今年几乎绝大部分的业余时间都放到写新书上了。但是最主要的原因并不是这个,而是因为刘海屏设备的适配存在一定的特殊性
网易云6亿用户音乐推荐算法
网易云音乐是音乐爱好者的集聚地,云音乐推荐系统致力于通过 AI 算法的落地,实现用户千人千面的个性化推荐,为用户带来不一样的听歌体验。 本次分享重点介绍 AI 算法在音乐推荐中的应用实践,以及在算法落地过程中遇到的挑战和解决方案。 将从如下两个部分展开: AI 算法在音乐推荐中的应用 音乐场景下的 AI 思考 从 2013 年 4 月正式上线至今,网易云音乐平台持续提供着:乐屏社区、UGC
【技巧总结】位运算装逼指南
位算法的效率有多快我就不说,不信你可以去用 10 亿个数据模拟一下,今天给大家讲一讲位运算的一些经典例子。不过,最重要的不是看懂了这些例子就好,而是要在以后多去运用位运算这些技巧,当然,采用位运算,也是可以装逼的,不信,你往下看。我会从最简单的讲起,一道比一道难度递增,不过居然是讲技巧,那么也不会太难,相信你分分钟看懂。 判断奇偶数 判断一个数是基于还是偶数,相信很多人都做过,一般的做法的代码如下
日均350000亿接入量,腾讯TubeMQ性能超过Kafka
整理 | 夕颜出品 | AI科技大本营(ID:rgznai100) 【导读】近日,腾讯开源动作不断,相继开源了分布式消息中间件TubeMQ,基于最主流的 OpenJDK8开发的
8年经验面试官详解 Java 面试秘诀
    作者 | 胡书敏 责编 | 刘静 出品 | CSDN(ID:CSDNnews) 本人目前在一家知名外企担任架构师,而且最近八年来,在多家外企和互联网公司担任Java技术面试官,前后累计面试了有两三百位候选人。在本文里,就将结合本人的面试经验,针对Java初学者、Java初级开发和Java开发,给出若干准备简历和准备面试的建议。   Java程序员准备和投递简历的实
面试官如何考察你的思维方式?
1.两种思维方式在求职面试中,经常会考察这种问题:北京有多少量特斯拉汽车? 某胡同口的煎饼摊一年能卖出多少个煎饼? 深圳有多少个产品经理? 一辆公交车里能装下多少个乒乓球? 一
相关热词 c# 引用mysql c#动态加载非托管dll c# 两个表数据同步 c# 返回浮点json c# imap 链接状态 c# 漂亮字 c# 上取整 除法 c#substring c#中延时关闭 c#线段拖拉
立即提问