java程序中获取spark任务的计算结果

如题，开发了一个spark任务，通过java web 提交到spark集群，如果获取计算返回的 结果？

spark和javaweb整合，如何通过页面提交spark任务，并过去结果

首先说一下想要达到的效果，就是网页有一个按钮，用户可以通过按钮提交任务到spark，spark集群运行并得出结果，结果能够返回给页面或者服务器。主要就是有两个问题。第一：如何通过服务器提交spark任务，让spark跑起来，第二：获取spark得出结果，能够在页面显示，或者我能通过程序获取到，有经验的或者有思路的大牛们帮忙解答一下，必有重谢！！！！

JAVA服务端如何与SPARK服务器交互？？

application提交到spark之后 Java的服务端如何调用spark服务端的APPLICATIO呢？？ 网上怎么都没有资料。。大神在哪里

当jar在hdfs的时候提交spark job报错

(一)jar不在hdfs上的时候提交spark任务成功，使用的命令： spark-submit --master spark://192.168.244.130:7077 --class cn.com.cnpc.klmy.common.WordCount2 --executor-memory 1G --total-executor-cores 2 /root/modelcall-2.0.jar (二)而当jar在hdfs上的时候提交spark任务报错：classNotFoundException呢？，命令如下： spark-submit --master spark://192.168.244.130:7077 --class cn.com.cnpc.klmy.common.WordCount2 --executor-memory 1G --total-executor-cores 2 hdfs://192.168.244.130:9000/mdjar/modelcall-2.0.jar 请教各位大咖这到底是什么原因造成的？望各位大咖不吝赐教！跪谢！！！ 注：hdfs能够正常访问，代码里面产生的结果存在hdfs上（第一情况正常运行，在hdfs上能够查看到结果）

java 提交spark任务，出现ExitCodeException exitCode=10的错误

如题，本地java调试提交spark任务到yarn，出现ExitCodeException exitCode=10的错误 错误截图  代码截图  

在Java中如何使用spark解析邮件

在Java中本地测试使用spark解析邮件获取邮件的内容,附件,发送人等相关信息 ,请问有没有这方面的例子或者资料啊,实在是找不到相关内容啊

web提交Spark到yarn方案。。求助

现在要求是web后台调用spark，spark在yarn上跑。（这里web服务器和yarn在不同的服务器上）。。我能想到的方法就是spark打成jar包，web后台去执行脚本/命令。。。有没有不用打jar包的方法啊。。。。求助

spark submit 提交集群任务后，spark Web UI界面不显示，但是有4040界面，显示local模式

遇到如下问题，求教大神: 集群有三个节点，111为master。剩余两个为slave。每个节点 4核，6.6G。 提交命令如下 nohup bin/spark-submit --master spark://sousou:7077 --executor-memory 1g --total-executor-cores 2 --class AnalyzeInfo /spark/jar/v2_AnalyzeInfo.jar & nohup bin/spark-submit --master spark://sousou111:7077 --executor-memory 1g --total-executor-cores 2 --class SaveInfoMain /spark/jar/saveAnn.jar & 问题如下： 1. spark submit 提交集群任务后，spark Web UI界面不显示SaveInfoMain，但是有4040界面，且查看界面Environment显示local模式。这是为什么啊？这样造成的问题是程序没有办法在界面停止。且这个程序有时候会造成处理数据异常缓慢，偶尔处理三四个小时之前的数据，AnalyzeInfo这个任务就不会产生这个问题。 2. 而且这两个任务出现的共同点是：我设置的触发HDFS上的目录下文件就优雅停止程序，刚运行时还可以，但是这两个程序运行时间长了，比如说一天后我上传到HDFS上文件，这两程序就不能成功停止了。 Environment图片如下：  

spark中java版本的mapPartitions怎么使用？使用dataset

spark中java版本的mapPartitions怎么使用？使用dataset

spark能在WEB项目中使用吗？

ssh的web项目中想使用spark大数据分析，导入spark的jar包 在初始化sparkconf时报求助啊。。。。。。。。。。。。。大神在哪里

使用livy提交spark任务失败

post地址：http://192.168.244.130:8998/batches body: {"file":"hdfs://192.168.244.130:9000/mdjar/modelcall-2.0.jar","className":"cn.com.cnpc.klmy.common.WordCount2"} 报错：xxx.ClassNotFoundException: cn.com.cnpc.klmy.common.WordCount2 请教各位大咖，我到底是哪里错了？大家有什么解决方案或者建议吗？望各位大咖不吝赐教！跪谢！ 截图如下所示，图一：使用postman发送的截图，图二：livy的管理页面 图一：使用postman发送的截图  图二：livy的管理页面  ``` 注：在linux服务使用spark-submit提交成功： ./spark-submit --master spark://192.168.244.130:7077 --class cn.com.cnpc.klmy.common.WordCount2 --executor-memory 1G --total-executor-cores 2 /root/modelcall-2.0.jar ```

java怎么在Spark集群中运行？

本人初学者，现在已经成功跑了本地的SparkPi程序。现有条件： windows8.1； eclipse； putty以及root和密码；Master主机IP；两台slave的IP。 不知道下一步该怎么做了，请问SparkPi怎么在Spark集群中运行呢？我查了一下，是不是要导出jar包，然后在putty中用spark-submit来运行？如果是的话，具体怎么操作呢？ 多谢相助！

WEB容器调用spark程序分析数据

请教各位大神，如何在web容器中（如tomcat）来调用spark程序啊，网上看到的都是自己把程序生成jar包，然后调用spark-submit来执行！！

java连接spark 没有运算结果

idea 代码是这样的： public final class JavaSparkPi { public static void main(String[] args) throws Exception { SparkSession spark = SparkSession .builder() .master("spark://192.168.115.128:7077") .appName("JavaSparkPi") .getOrCreate(); JavaSparkContext jsc = new JavaSparkContext(spark.sparkContext()); int slices = (args.length == 1) ? Integer.parseInt(args[0]) : 2; int n = 100000 * slices; List<Integer> l = new ArrayList<>(n); for (int i = 0; i < n; i++) { l.add(i); } JavaRDD<Integer> dataSet = jsc.parallelize(l, slices); int count = dataSet.map(integer -> { double x = Math.random() * 2 - 1; double y = Math.random() * 2 - 1; return (x * x + y * y <= 1) ? 1 : 0; }).reduce((integer, integer2) -> integer + integer2); System.out.println("Pi is roughly " + 4.0 * count / n); spark.stop(); } } idea控制台是这样的： Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 18/01/03 10:35:41 INFO SparkContext: Running Spark version 2.2.1 18/01/03 10:35:43 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 18/01/03 10:35:43 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:378) at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:393) at org.apache.hadoop.util.Shell.<clinit>(Shell.java:386) at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:79) at org.apache.hadoop.security.Groups.parseStaticMapping(Groups.java:116) at org.apache.hadoop.security.Groups.<init>(Groups.java:93) at org.apache.hadoop.security.Groups.<init>(Groups.java:73) at org.apache.hadoop.security.Groups.getUserToGroupsMappingService(Groups.java:293) at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:283) at org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:260) at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:789) at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:774) at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:647) at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2424) at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2424) at scala.Option.getOrElse(Option.scala:121) at org.apache.spark.util.Utils$.getCurrentUserName(Utils.scala:2424) at org.apache.spark.SparkContext.<init>(SparkContext.scala:295) at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2516) at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:918) at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:910) at scala.Option.getOrElse(Option.scala:121) at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:910) at JavaSparkPi.main(JavaSparkPi.java:39) 18/01/03 10:35:43 INFO SparkContext: Submitted application: JavaSparkPi 18/01/03 10:35:44 INFO SecurityManager: Changing view acls to: wmx 18/01/03 10:35:44 INFO SecurityManager: Changing modify acls to: wmx 18/01/03 10:35:44 INFO SecurityManager: Changing view acls groups to: 18/01/03 10:35:44 INFO SecurityManager: Changing modify acls groups to: 18/01/03 10:35:44 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(wmx); groups with view permissions: Set(); users with modify permissions: Set(wmx); groups with modify permissions: Set() 18/01/03 10:35:45 INFO Utils: Successfully started service 'sparkDriver' on port 62919. 18/01/03 10:35:45 INFO SparkEnv: Registering MapOutputTracker 18/01/03 10:35:45 INFO SparkEnv: Registering BlockManagerMaster 18/01/03 10:35:45 INFO BlockManagerMasterEndpoint: Using org.apache.spark.storage.DefaultTopologyMapper for getting topology information 18/01/03 10:35:45 INFO BlockManagerMasterEndpoint: BlockManagerMasterEndpoint up 18/01/03 10:35:45 INFO DiskBlockManager: Created local directory at C:\Users\wmx\AppData\Local\Temp\blockmgr-37c3cc47-e21d-498b-b0ec-e987996a39cd 18/01/03 10:35:45 INFO MemoryStore: MemoryStore started with capacity 899.7 MB 18/01/03 10:35:45 INFO SparkEnv: Registering OutputCommitCoordinator 18/01/03 10:35:46 INFO Utils: Successfully started service 'SparkUI' on port 4040. 18/01/03 10:35:46 INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://172.21.96.1:4040 18/01/03 10:35:47 INFO StandaloneAppClient$ClientEndpoint: Connecting to master spark://192.168.115.128:7077... 18/01/03 10:35:47 INFO TransportClientFactory: Successfully created connection to /192.168.115.128:7077 after 105 ms (0 ms spent in bootstraps) 18/01/03 10:35:48 INFO StandaloneSchedulerBackend: Connected to Spark cluster with app ID app-20180102183557-0004 18/01/03 10:35:48 INFO StandaloneAppClient$ClientEndpoint: Executor added: app-20180102183557-0004/0 on worker-20180101224135-192.168.115.128-37401 (192.168.115.128:37401) with 1 cores 18/01/03 10:35:48 INFO StandaloneSchedulerBackend: Granted executor ID app-20180102183557-0004/0 on hostPort 192.168.115.128:37401 with 1 cores, 1024.0 MB RAM 18/01/03 10:35:48 INFO StandaloneAppClient$ClientEndpoint: Executor updated: app-20180102183557-0004/0 is now RUNNING 18/01/03 10:35:48 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 62942. 18/01/03 10:35:48 INFO NettyBlockTransferService: Server created on 172.21.96.1:62942 18/01/03 10:35:48 INFO BlockManager: Using org.apache.spark.storage.RandomBlockReplicationPolicy for block replication policy 18/01/03 10:35:48 INFO BlockManagerMaster: Registering BlockManager BlockManagerId(driver, 172.21.96.1, 62942, None) 18/01/03 10:35:48 INFO BlockManagerMasterEndpoint: Registering block manager 172.21.96.1:62942 with 899.7 MB RAM, BlockManagerId(driver, 172.21.96.1, 62942, None) 18/01/03 10:35:48 INFO BlockManagerMaster: Registered BlockManager BlockManagerId(driver, 172.21.96.1, 62942, None) 18/01/03 10:35:48 INFO BlockManager: Initialized BlockManager: BlockManagerId(driver, 172.21.96.1, 62942, None) 18/01/03 10:35:50 INFO StandaloneSchedulerBackend: SchedulerBackend is ready for scheduling beginning after reached minRegisteredResourcesRatio: 0.0 18/01/03 10:35:51 INFO SparkContext: Starting job: reduce at JavaSparkPi.java:56 18/01/03 10:35:51 INFO DAGScheduler: Got job 0 (reduce at JavaSparkPi.java:56) with 2 output partitions 18/01/03 10:35:51 INFO DAGScheduler: Final stage: ResultStage 0 (reduce at JavaSparkPi.java:56) 18/01/03 10:35:51 INFO DAGScheduler: Parents of final stage: List() 18/01/03 10:35:51 INFO DAGScheduler: Missing parents: List() 18/01/03 10:35:51 INFO DAGScheduler: Submitting ResultStage 0 (MapPartitionsRDD[1] at map at JavaSparkPi.java:52), which has no missing parents 18/01/03 10:35:52 INFO MemoryStore: Block broadcast_0 stored as values in memory (estimated size 3.0 KB, free 899.7 MB)

用spark提供的java API写的程序怎么远程提交到集群上运行。

小弟最近在做一个机器学习平台，想通过前台选择数据源、算法、参数之类的东西，由后台程序提交到spark集群上调用sparkML库来跑出结果，然后把结果返回之后在前台渲染出效果。实验室之前有搭spark集群，这两天看了一下java提交任务上去spark集群的东西，似乎都是要先把东西打jar包，再传服务器通过spark-submit，这样跟需求就不符了，恳求各位使用java调用过spark的大侠答疑解惑。委实是之前没用过这方面的使用经验。之前有找过一些代码如下。 ``` public class TestUtil { public static void main(String[] args){ System.setProperty("user.name", "root"); SparkConf conf = new SparkConf().setAppName("Spark Java API 学习") .setMaster("spark://211.87.227.79:7077"); JavaSparkContext sc = new JavaSparkContext(conf); JavaRDD<String> users = sc.textFile("hdfs://211.87.227.79:8020/input/wordcount.txt"); System.out.println(users.first()); } } ``` 看了spark的UI这个任务确实也提交上去了，但是idea的控制台一直重复地报这一段  sparkUI如图。  CSDN没币了没法悬赏。要是有大侠可以解决，可以有偿，留联系方式就行。

java 远程连接spark 出现错误

我使用的是sequenceiq/spark 搭建的docker集群，但是本机上能正常的运行，但是通过java远程连接访问的时候出现错误 代码为： ``` SparkConf sparkConf = new SparkConf().setAppName("JavaTopGroup").setMaster("spark://10.73.21.221:7077"); JavaSparkContext ctx = new JavaSparkContext(sparkConf); ``` 出现的错误为： ``` 17/12/07 19:17:47 ERROR StandaloneSchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up. 17/12/07 19:17:47 WARN StandaloneSchedulerBackend: Application ID is not initialized yet. 17/12/07 19:17:47 INFO SparkUI: Stopped Spark web UI at http://10.73.7.25:4040 17/12/07 19:17:47 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 8163. 17/12/07 19:17:47 INFO StandaloneSchedulerBackend: Shutting down all executors 17/12/07 19:17:47 INFO NettyBlockTransferService: Server created on 10.73.7.25:8163 17/12/07 19:17:47 INFO BlockManager: Using org.apache.spark.storage.RandomBlockReplicationPolicy for block replication policy 17/12/07 19:17:47 INFO CoarseGrainedSchedulerBackend$DriverEndpoint: Asking each executor to shut down 17/12/07 19:17:47 INFO BlockManagerMaster: Registering BlockManager BlockManagerId(driver, 10.73.7.25, 8163, None) 17/12/07 19:17:47 INFO BlockManagerMasterEndpoint: Registering block manager 10.73.7.25:8163 with 900.6 MB RAM, BlockManagerId(driver, 10.73.7.25, 8163, None) 17/12/07 19:17:47 INFO BlockManagerMaster: Registered BlockManager BlockManagerId(driver, 10.73.7.25, 8163, None) 17/12/07 19:17:47 WARN StandaloneAppClient$ClientEndpoint: Drop UnregisterApplication(null) because has not yet connected to master 17/12/07 19:17:47 INFO BlockManager: Initialized BlockManager: BlockManagerId(driver, 10.73.7.25, 8163, None) 17/12/07 19:17:47 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped! 17/12/07 19:17:47 INFO MemoryStore: MemoryStore cleared 17/12/07 19:17:47 INFO BlockManager: BlockManager stopped 17/12/07 19:17:47 INFO BlockManagerMaster: BlockManagerMaster stopped 17/12/07 19:17:47 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped! 17/12/07 19:17:47 ERROR TransportResponseHandler: Still have 3 requests outstanding when connection from /10.73.21.21:7077 is closed 17/12/07 19:17:47 INFO SparkContext: Successfully stopped SparkContext 17/12/07 19:17:47 ERROR SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a running MetricsSystem at scala.Predef$.require(Predef.scala:224) at org.apache.spark.metrics.MetricsSystem.getServletHandlers(MetricsSystem.scala:91) at org.apache.spark.SparkContext.<init>(SparkContext.scala:524) at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58) at org.com.will.sparkl.App.main(App.java:24) 17/12/07 19:17:48 INFO SparkContext: SparkContext already stopped. Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a running MetricsSystem at scala.Predef$.require(Predef.scala:224) at org.apache.spark.metrics.MetricsSystem.getServletHandlers(MetricsSystem.scala:91) at org.apache.spark.SparkContext.<init>(SparkContext.scala:524) at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58) at org.com.will.sparkl.App.main(App.java:24) 17/12/07 19:17:48 INFO ShutdownHookManager: Shutdown hook called 17/12/07 19:17:48 INFO ShutdownHookManager: Deleting directory C:\Users\will\AppData\Local\Temp\spark-c60f05a8-5476-469b-8c43-d8476796a1dd ```

spark集群启动之后，spark-submit提交任务，主类找不到

如题。我在远程部署了spark集群。启动spark之后，想submit提交上传的jar包。报错：java.lang.ClassNotFoundException: cluster。我的主类名是：cluster

oozie定时循环调度spark任务

oozie定时循环调度spark任务，5分钟一次，但是如果spark任务5分钟没有跑完， 下一次spark任务会读到同样的文件内容再跑吗？ 问题即 当次任务执行的时间如果大于循环的时间，oozie会不会继续下一次循环，还是会一直等到那一次spark运行完再去执行呢？

相见恨晚的超实用网站

相见恨晚的超实用网站 持续更新中。。。

爬虫福利二 之 妹子图网MM批量下载

爬虫福利一：27报网MM批量下载 点击 看了本文，相信大家对爬虫一定会产生强烈的兴趣，激励自己去学习爬虫，在这里提前祝：大家学有所成！ 目标网站：妹子图网 环境：Python3.x 相关第三方模块：requests、beautifulsoup4 Re：各位在测试时只需要将代码里的变量path 指定为你当前系统要保存的路径，使用 python xxx.py 或IDE运行即可。 ...

字节跳动视频编解码面经

三四月份投了字节跳动的实习（图形图像岗位），然后hr打电话过来问了一下会不会opengl，c++，shador，当时只会一点c++，其他两个都不会，也就直接被拒了。 七月初内推了字节跳动的提前批，因为内推没有具体的岗位，hr又打电话问要不要考虑一下图形图像岗，我说实习投过这个岗位不合适，不会opengl和shador，然后hr就说秋招更看重基础。我当时想着能进去就不错了，管他哪个岗呢，就同意了面试...

开源一个功能完整的SpringBoot项目框架

福利来了，给大家带来一个福利。 最近想了解一下有关Spring Boot的开源项目，看了很多开源的框架，大多是一些demo或者是一个未成形的项目，基本功能都不完整，尤其是用户权限和菜单方面几乎没有完整的。 想到我之前做的框架，里面通用模块有：用户模块，权限模块，菜单模块，功能模块也齐全了，每一个功能都是完整的。 打算把这个框架分享出来，供大家使用和学习。 为什么用框架？ 框架可以学习整体...

源码阅读(19)：Java中主要的Map结构——HashMap容器（下1）

HashMap容器从字面的理解就是，基于Hash算法构造的Map容器。从数据结构的知识体系来说，HashMap容器是散列表在Java中的具体表达（并非线性表结构）。具体来说就是，利用K-V键值对中键对象的某个属性（默认使用该对象的“内存起始位置”这一属性）作为计算依据进行哈希计算（调用hashCode方法），然后再以计算后的返回值为依据，将当前K-V键值对在符合HashMap容器构造原则的基础上，放置到HashMap容器的某个位置上，且这个位置和之前添加的K-V键值对的存储位置完全独立，不一定构成连续的存储

c++制作的植物大战僵尸，开源，一代二代结合游戏

此游戏全部由本人自己制作完成。游戏大部分的素材来源于原版游戏素材，少部分搜集于网络，以及自己制作。 此游戏为同人游戏而且仅供学习交流使用，任何人未经授权，不得对本游戏进行更改、盗用等，否则后果自负。目前有六种僵尸和六种植物，植物和僵尸的动画都是本人做的。qq：2117610943 开源代码下载 提取码：3vzm 点击下载--&gt; 11月28日 新增四种植物 统一植物画风，全部修...

Java学习的正确打开方式

在博主认为，对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结，前三者博主将淋漓尽致地挥毫于这篇博客文章中，至于总结在于个人，实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍，博客次之，这又是一个层次了，这里暂时不提后面再谈。博主将为各位入门java保驾护航，各位只管冲鸭！！！上天是公平的，只要不辜负时间，时间自然不会辜负你。 何谓学习？博主所理解的学习，它是一个过程，是一个不断累积、不断沉淀、不断总结、善于传达自己的个人见解以及乐于分享的过程。

程序员必须掌握的核心算法有哪些？

由于我之前一直强调数据结构以及算法学习的重要性，所以就有一些读者经常问我，数据结构与算法应该要学习到哪个程度呢？，说实话，这个问题我不知道要怎么回答你，主要取决于你想学习到哪些程度，不过针对这个问题，我稍微总结一下我学过的算法知识点，以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的，并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构，当然，我也会整理一些看过...

Python——画一棵漂亮的樱花树（不同种樱花+玫瑰+圣诞树喔）

最近翻到一篇知乎，上面有不少用Python（大多是turtle库）绘制的树图，感觉很漂亮，我整理了一下，挑了一些我觉得不错的代码分享给大家（这些我都测试过，确实可以生成） one 樱花树 动态生成樱花 效果图（这个是动态的）： 实现代码 import turtle as T import random import time # 画樱花的躯干(60,t) def Tree(branch, ...

linux系列之常用运维命令整理笔录

本博客记录工作中需要的linux运维命令，大学时候开始接触linux，会一些基本操作，可是都没有整理起来，加上是做开发，不做运维，有些命令忘记了，所以现在整理成博客，当然vi，文件操作等就不介绍了，慢慢积累一些其它拓展的命令，博客不定时更新 free -m 其中：m表示兆，也可以用g，注意都要小写 Men：表示物理内存统计 total：表示物理内存总数(total=used+free) use...

Python 基础（一）：入门必备知识

Python 入门必备知识，你都掌握了吗？

深度学习图像算法在内容安全领域的应用

互联网给人们生活带来便利的同时也隐含了大量不良信息，防范互联网平台有害内容传播引起了多方面的高度关注。本次演讲从技术层面分享网易易盾在内容安全领域的算法实践经验，包括深度...

程序员接私活怎样防止做完了不给钱？

首先跟大家说明一点，我们做 IT 类的外包开发，是非标品开发，所以很有可能在开发过程中会有这样那样的需求修改，而这种需求修改很容易造成扯皮，进而影响到费用支付，甚至出现做完了项目收不到钱的情况。 那么，怎么保证自己的薪酬安全呢？ 我们在开工前，一定要做好一些证据方面的准备（也就是“讨薪”的理论依据），这其中最重要的就是需求文档和验收标准。一定要让需求方提供这两个文档资料作为开发的基础。之后开发...

网页实现一个简单的音乐播放器（大佬别看。(⊙﹏⊙)）

今天闲着无事，就想写点东西。然后听了下歌，就打算写个播放器。 于是乎用h5 audio的加上js简单的播放器完工了。 演示地点演示 html代码如下` music 这个年纪 七月的风 音乐 ` 然后就是css`*{ margin: 0; padding: 0; text-decoration: none; list-...

Python十大装B语法

Python 是一种代表简单思想的语言，其语法相对简单，很容易上手。不过，如果就此小视 Python 语法的精妙和深邃，那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点，并附上详细的实例代码。如能在实战中融会贯通、灵活使用，必将使代码更为精炼、高效，同时也会极大提升代码B格，使之看上去更老练，读起来更优雅。

数据库优化 - SQL优化

以实际SQL入手，带你一步一步走上SQL优化之路！

2019年11月中国大陆编程语言排行榜

2019年11月2日，我统计了某招聘网站，获得有效程序员招聘数据9万条。针对招聘信息，提取编程语言关键字，并统计如下： 编程语言比例 rank pl_ percentage 1 java 33.62% 2 cpp 16.42% 3 c_sharp 12.82% 4 javascript 12.31% 5 python 7.93% 6 go 7.25% 7 p...

通俗易懂地给女朋友讲：线程池的内部原理

餐盘在灯光的照耀下格外晶莹洁白，女朋友拿起红酒杯轻轻地抿了一小口，对我说：“经常听你说线程池，到底线程池到底是个什么原理？”

经典算法（5）杨辉三角

写在前面： 我是 扬帆向海，这个昵称来源于我的名字以及女朋友的名字。我热爱技术、热爱开源、热爱编程。技术是开源的、知识是共享的。 这博客是对自己学习的一点点总结及记录，如果您对 Java、算法 感兴趣，可以关注我的动态，我们一起学习。 用知识改变命运，让我们的家人过上更好的生活。 目录一、杨辉三角的介绍二、杨辉三角的算法思想三、代码实现1.第一种写法2.第二种写法 一、杨辉三角的介绍 百度

腾讯算法面试题：64匹马8个跑道需要多少轮才能选出最快的四匹？

昨天，有网友私信我，说去阿里面试，彻底的被打击到了。问了为什么网上大量使用ThreadLocal的源码都会加上private static？他被难住了，因为他从来都没有考虑过这个问题。无独有偶，今天笔者又发现有网友吐槽了一道腾讯的面试题，我们一起来看看。 腾讯算法面试题：64匹马8个跑道需要多少轮才能选出最快的四匹？ 在互联网职场论坛，一名程序员发帖求助到。二面腾讯，其中一个算法题：64匹...

面试官：你连RESTful都不知道我怎么敢要你？

干货，2019 RESTful最贱实践

为啥国人偏爱Mybatis，而老外喜欢Hibernate/JPA呢？

关于SQL和ORM的争论，永远都不会终止，我也一直在思考这个问题。昨天又跟群里的小伙伴进行了一番讨论，感触还是有一些，于是就有了今天这篇文。 声明：本文不会下关于Mybatis和JPA两个持久层框架哪个更好这样的结论。只是摆事实，讲道理，所以，请各位看官勿喷。 一、事件起因 关于Mybatis和JPA孰优孰劣的问题，争论已经很多年了。一直也没有结论，毕竟每个人的喜好和习惯是大不相同的。我也看...

项目中的if else太多了，该怎么重构？

介绍 最近跟着公司的大佬开发了一款IM系统，类似QQ和微信哈，就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if(msgType = "图片") { // doshomething } else if(msgType = "视频") { // doshomething } else { // doshom...

致 Python 初学者

欢迎来到“Python进阶”专栏！来到这里的每一位同学，应该大致上学习了很多 Python 的基础知识，正在努力成长的过程中。在此期间，一定遇到了很多的困惑，对未来的学习方向感到迷茫。我非常理解你们所面临的处境。我从2007年开始接触 python 这门编程语言，从2009年开始单一使用 python 应对所有的开发工作，直至今天。回顾自己的学习过程，也曾经遇到过无数的困难，也曾经迷茫过、困惑过。开办这个专栏，正是为了帮助像我当年一样困惑的 Python 初学者走出困境、快速成长。希望我的经验能真正帮到你

Python 编程实用技巧

Python是一门很灵活的语言，也有很多实用的方法，有时候实现一个功能可以用多种方法实现，我这里总结了一些常用的方法，并会持续更新。

“狗屁不通文章生成器”登顶GitHub热榜，分分钟写出万字形式主义大作

一、垃圾文字生成器介绍 最近在浏览GitHub的时候，发现了这样一个骨骼清奇的雷人项目，而且热度还特别高。 项目中文名：狗屁不通文章生成器 项目英文名：BullshitGenerator 根据作者的介绍，他是偶尔需要一些中文文字用于GUI开发时测试文本渲染，因此开发了这个废话生成器。但由于生成的废话实在是太过富于哲理，所以最近已经被小伙伴们给玩坏了。 他的文风可能是这样的： 你发现，

程序员：我终于知道post和get的区别

IT界知名的程序员曾说：对于那些月薪三万以下，自称IT工程师的码农们，其实我们从来没有把他们归为我们IT工程师的队伍。他们虽然总是以IT工程师自居，但只是他们一厢情愿罢了。 此话一出，不知激起了多少(码农)程序员的愤怒，却又无可奈何，于是码农问程序员。 码农：你知道get和post请求到底有什么区别？ 程序员：你看这篇就知道了。 码农：你月薪三万了？ 程序员：嗯。 码农：你是怎么做到的? 程序员：

"狗屁不通文章生成器"登顶GitHub热榜，分分钟写出万字形式主义大作

前言 GitHub 被誉为全球最大的同性交友网站，……，陪伴我们已经走过 10+ 年时间，它托管了大量的软件代码，同时也承载了程序员无尽的欢乐。 上周给大家分享了一篇10个让你笑的合不拢嘴的Github项目，而且还拿了7万+个Star哦，有兴趣的朋友，可以看看， 印象最深刻的是 “ 呼吸不止，码字不停 ”： 老实交代，你是不是经常准备写个技术博客，打开word后瞬间灵感便秘，码不出字？ 有什么

推荐几款比较实用的工具，网站

1.盘百度PanDownload 这个云盘工具是免费的，可以进行资源搜索，提速（偶尔会抽风????） 不要去某站买付费的???? PanDownload下载地址 2.BeJSON 这是一款拥有各种在线工具的网站，推荐它的主要原因是网站简洁，功能齐全，广告相比其他广告好太多了 bejson网站 3.二维码美化 这个网站的二维码美化很好看，网站界面也很...

《程序人生》系列-这个程序员只用了20行代码就拿了冠军

你知道的越多，你不知道的越多 点赞再看，养成习惯GitHub上已经开源https://github.com/JavaFamily，有一线大厂面试点脑图，欢迎Star和完善 前言 这一期不算《吊打面试官》系列的，所有没前言我直接开始。 絮叨 本来应该是没有这期的，看过我上期的小伙伴应该是知道的嘛，双十一比较忙嘛，要值班又要去帮忙拍摄年会的视频素材，还得搞个程序员一天的Vlog，还要写BU

程序员把地府后台管理系统做出来了，还有3.0版本！12月7号最新消息：已在开发中有github地址

第一幕：缘起 听说阎王爷要做个生死簿后台管理系统，我们派去了一个程序员…… 996程序员做的梦： 第一场：团队招募 为了应对地府管理危机，阎王打算找“人”开发一套地府后台管理系统，于是就在地府总经办群中发了项目需求。 话说还是中国电信的信号好，地府都是满格，哈哈！！！ 经常会有外行朋友问：看某网站做的不错，功能也简单，你帮忙做一下？ 而这次，面对这样的需求，这个程序员

相关热词 c#处理浮点数 c# 生成字母数字随机数 c# 动态曲线 控件 c# oracle 开发 c#选择字体大小的控件 c# usb 批量传输 c#10进制转8进制 c#转base64 c# 科学计算 c#下拉列表获取串口