java 实现 sparksql 时,mysql数据库查询结果只有表头没有数据

这两天尝试用java实现sparksql连接mysql数据库,经过调试可以成功连接到数据库,但奇怪的是只能够查询出表头和表结构却看不到表里面数据
代码如下
import java.util.Hashtable;
import java.util.Properties;
import javax.swing.JFrame;
import org.apache.avro.hadoop.io.AvroKeyValue.Iterator;
import org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolServerSideTranslatorPB;
import org.apache.hadoop.hive.ql.exec.vector.expressions.IsNull;
import org.apache.log4j.Logger;

import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.rdd.RDD;
import org.apache.spark.sql.DataFrameReader;
import org.apache.spark.sql.DataFrameWriter;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SQLContext;

import org.apache.spark.sql.SaveMode;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.sql.SparkSession.Builder;
import org.apache.spark.sql.jdbc.JdbcDialect;
import org.datanucleus.store.rdbms.identifier.IdentifierFactory;
import antlr.collections.List;
import scala.Enumeration.Val;

public class Demo_Mysql3 {

private static Logger logger = Logger.getLogger(Demo_Mysql3.class);

public static void main(String[] args) {

SparkConf sparkConf = new SparkConf();
sparkConf.setAppName("Demo_Mysql3");

sparkConf.setMaster("local[5]");

sparkConf.setSparkHome("F:\DownLoad\spark\spark-2.0.0-bin-hadoop2.7");
sparkConf.set("spark.sql.warehouse.dir","F:\DownLoad\spark\spark-2.0.0-bin-hadoop2.7");
SparkContext sc0=null;
try {

sc0=new SparkContext(sparkConf);
SparkSession sparkSession=new SparkSession(sc0);
SQLContext sqlContext = new SQLContext(sparkSession);

// 一个条件表示一个分区

String[] predicates = new String[] {

"1=1 order by id limit 400000,50000",

"1=1 order by id limit 450000,50000",

"1=1 order by id limit 500000,50000",

"1=1 order by id limit 550000,50000",

"1=1 order by id limit 600000,50000" };

String url = "jdbc:mysql://localhost:3306/clone";

String table = "image";

Properties connectionProperties = new Properties();

connectionProperties.setProperty("dbtable", table);// 设置表

connectionProperties.setProperty("user", "root");// 设置用户名

connectionProperties.setProperty("password", "root");// 设置密码

// 读取数据

DataFrameReader jread = sqlContext.read();
//Dataset jdbcDs=jread.jdbc(url, table, predicates, connectionProperties);
sqlContext.read().jdbc(url, table, predicates, connectionProperties).select("*").show();
} catch (Exception e) {

logger.error("|main|exception error", e);

} finally {

if (sc0 != null) {

sc0.stop();

}

}

}

}
控制台输出如下:
图片说明

4个回答

/数据库表本来有数据?

表中本来有数据,正常方式也可以读到

把这段代码
// 读取数据
DataFrameReader jread = sqlContext.read();
//Dataset jdbcDs=jread.jdbc(url, table, predicates, connectionProperties);
sqlContext.read().jdbc(url, table, predicates, connectionProperties).select("*").show();

改为:
DataFrame jdbcDF = sqlContext.read().jdbc(url,table,connectionProperties).select("*").show();

全部输出如下;
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
17/07/22 10:39:04 INFO SparkContext: Running Spark version 2.0.0
17/07/22 10:39:04 INFO SecurityManager: Changing view acls to: Mr.Zhang
17/07/22 10:39:04 INFO SecurityManager: Changing modify acls to: Mr.Zhang
17/07/22 10:39:04 INFO SecurityManager: Changing view acls groups to:
17/07/22 10:39:04 INFO SecurityManager: Changing modify acls groups to:
17/07/22 10:39:04 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(Mr.Zhang); groups with view permissions: Set(); users with modify permissions: Set(Mr.Zhang); groups with modify permissions: Set()
17/07/22 10:39:05 INFO Utils: Successfully started service 'sparkDriver' on port 4469.
17/07/22 10:39:05 INFO SparkEnv: Registering MapOutputTracker
17/07/22 10:39:05 INFO SparkEnv: Registering BlockManagerMaster
17/07/22 10:39:05 INFO DiskBlockManager: Created local directory at C:\Users\Mr.Zhang\AppData\Local\Temp\blockmgr-c055d142-9742-4d45-bc98-f7c337c2beed
17/07/22 10:39:05 INFO MemoryStore: MemoryStore started with capacity 1990.8 MB
17/07/22 10:39:05 INFO SparkEnv: Registering OutputCommitCoordinator
17/07/22 10:39:05 INFO Utils: Successfully started service 'SparkUI' on port 4040.
17/07/22 10:39:05 INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://169.254.236.65:4040
17/07/22 10:39:05 INFO Executor: Starting executor ID driver on host localhost
17/07/22 10:39:06 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 4498.
17/07/22 10:39:06 INFO NettyBlockTransferService: Server created on 169.254.236.65:4498
17/07/22 10:39:06 INFO BlockManagerMaster: Registering BlockManager BlockManagerId(driver, 169.254.236.65, 4498)
17/07/22 10:39:06 INFO BlockManagerMasterEndpoint: Registering block manager 169.254.236.65:4498 with 1990.8 MB RAM, BlockManagerId(driver, 169.254.236.65, 4498)
17/07/22 10:39:06 INFO BlockManagerMaster: Registered BlockManager BlockManagerId(driver, 169.254.236.65, 4498)
17/07/22 10:39:06 INFO SharedState: Warehouse path is 'F:\DownLoad\spark\spark-2.0.0-bin-hadoop2.7'.
17/07/22 10:39:08 INFO CodeGenerator: Code generated in 173.873451 ms
17/07/22 10:39:08 INFO SparkContext: Starting job: show at Demo_Mysql3.java:71
17/07/22 10:39:08 INFO DAGScheduler: Got job 0 (show at Demo_Mysql3.java:71) with 1 output partitions
17/07/22 10:39:08 INFO DAGScheduler: Final stage: ResultStage 0 (show at Demo_Mysql3.java:71)
17/07/22 10:39:08 INFO DAGScheduler: Parents of final stage: List()
17/07/22 10:39:08 INFO DAGScheduler: Missing parents: List()
17/07/22 10:39:08 INFO DAGScheduler: Submitting ResultStage 0 (MapPartitionsRDD[2] at show at Demo_Mysql3.java:71), which has no missing parents
17/07/22 10:39:08 INFO MemoryStore: Block broadcast_0 stored as values in memory (estimated size 9.9 KB, free 1990.8 MB)
17/07/22 10:39:08 INFO MemoryStore: Block broadcast_0_piece0 stored as bytes in memory (estimated size 4.6 KB, free 1990.8 MB)
17/07/22 10:39:08 INFO BlockManagerInfo: Added broadcast_0_piece0 in memory on 169.254.236.65:4498 (size: 4.6 KB, free: 1990.8 MB)
17/07/22 10:39:08 INFO SparkContext: Created broadcast 0 from broadcast at DAGScheduler.scala:1012
17/07/22 10:39:08 INFO DAGScheduler: Submitting 1 missing tasks from ResultStage 0 (MapPartitionsRDD[2] at show at Demo_Mysql3.java:71)
17/07/22 10:39:08 INFO TaskSchedulerImpl: Adding task set 0.0 with 1 tasks
17/07/22 10:39:08 INFO TaskSetManager: Starting task 0.0 in stage 0.0 (TID 0, localhost, partition 0, PROCESS_LOCAL, 5149 bytes)
17/07/22 10:39:08 INFO Executor: Running task 0.0 in stage 0.0 (TID 0)
17/07/22 10:39:08 INFO JDBCRDD: closed connection
17/07/22 10:39:08 INFO Executor: Finished task 0.0 in stage 0.0 (TID 0). 1091 bytes result sent to driver
17/07/22 10:39:08 INFO TaskSetManager: Finished task 0.0 in stage 0.0 (TID 0) in 109 ms on localhost (1/1)
17/07/22 10:39:08 INFO TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool
17/07/22 10:39:08 INFO DAGScheduler: ResultStage 0 (show at Demo_Mysql3.java:71) finished in 0.109 s
17/07/22 10:39:08 INFO DAGScheduler: Job 0 finished: show at Demo_Mysql3.java:71, took 0.320450 s
17/07/22 10:39:09 INFO SparkContext: Starting job: show at Demo_Mysql3.java:71
17/07/22 10:39:09 INFO DAGScheduler: Got job 1 (show at Demo_Mysql3.java:71) with 4 output partitions
17/07/22 10:39:09 INFO DAGScheduler: Final stage: ResultStage 1 (show at Demo_Mysql3.java:71)
17/07/22 10:39:09 INFO DAGScheduler: Parents of final stage: List()
17/07/22 10:39:09 INFO DAGScheduler: Missing parents: List()
17/07/22 10:39:09 INFO DAGScheduler: Submitting ResultStage 1 (MapPartitionsRDD[2] at show at Demo_Mysql3.java:71), which has no missing parents
17/07/22 10:39:09 INFO MemoryStore: Block broadcast_1 stored as values in memory (estimated size 9.9 KB, free 1990.8 MB)
17/07/22 10:39:09 INFO MemoryStore: Block broadcast_1_piece0 stored as bytes in memory (estimated size 4.6 KB, free 1990.8 MB)
17/07/22 10:39:09 INFO BlockManagerInfo: Added broadcast_1_piece0 in memory on 169.254.236.65:4498 (size: 4.6 KB, free: 1990.8 MB)
17/07/22 10:39:09 INFO SparkContext: Created broadcast 1 from broadcast at DAGScheduler.scala:1012
17/07/22 10:39:09 INFO DAGScheduler: Submitting 4 missing tasks from ResultStage 1 (MapPartitionsRDD[2] at show at Demo_Mysql3.java:71)
17/07/22 10:39:09 INFO TaskSchedulerImpl: Adding task set 1.0 with 4 tasks
17/07/22 10:39:09 INFO TaskSetManager: Starting task 0.0 in stage 1.0 (TID 1, localhost, partition 1, PROCESS_LOCAL, 5149 bytes)
17/07/22 10:39:09 INFO TaskSetManager: Starting task 1.0 in stage 1.0 (TID 2, localhost, partition 2, PROCESS_LOCAL, 5149 bytes)
17/07/22 10:39:09 INFO TaskSetManager: Starting task 2.0 in stage 1.0 (TID 3, localhost, partition 3, PROCESS_LOCAL, 5149 bytes)
17/07/22 10:39:09 INFO TaskSetManager: Starting task 3.0 in stage 1.0 (TID 4, localhost, partition 4, PROCESS_LOCAL, 5149 bytes)
17/07/22 10:39:09 INFO Executor: Running task 0.0 in stage 1.0 (TID 1)
17/07/22 10:39:09 INFO Executor: Running task 1.0 in stage 1.0 (TID 2)
17/07/22 10:39:09 INFO Executor: Running task 2.0 in stage 1.0 (TID 3)
17/07/22 10:39:09 INFO Executor: Running task 3.0 in stage 1.0 (TID 4)
17/07/22 10:39:09 INFO JDBCRDD: closed connection
17/07/22 10:39:09 INFO Executor: Finished task 0.0 in stage 1.0 (TID 1). 1091 bytes result sent to driver
17/07/22 10:39:09 INFO JDBCRDD: closed connection
17/07/22 10:39:09 INFO TaskSetManager: Finished task 0.0 in stage 1.0 (TID 1) in 23 ms on localhost (1/4)
17/07/22 10:39:09 INFO Executor: Finished task 1.0 in stage 1.0 (TID 2). 1091 bytes result sent to driver
17/07/22 10:39:09 INFO JDBCRDD: closed connection
17/07/22 10:39:09 INFO Executor: Finished task 2.0 in stage 1.0 (TID 3). 1091 bytes result sent to driver
17/07/22 10:39:09 INFO JDBCRDD: closed connection
17/07/22 10:39:09 INFO TaskSetManager: Finished task 1.0 in stage 1.0 (TID 2) in 23 ms on localhost (2/4)
17/07/22 10:39:09 INFO TaskSetManager: Finished task 2.0 in stage 1.0 (TID 3) in 19 ms on localhost (3/4)
17/07/22 10:39:09 INFO Executor: Finished task 3.0 in stage 1.0 (TID 4). 1091 bytes result sent to driver
17/07/22 10:39:09 INFO TaskSetManager: Finished task 3.0 in stage 1.0 (TID 4) in 35 ms on localhost (4/4)
17/07/22 10:39:09 INFO TaskSchedulerImpl: Removed TaskSet 1.0, whose tasks have all completed, from pool
17/07/22 10:39:09 INFO DAGScheduler: ResultStage 1 (show at Demo_Mysql3.java:71) finished in 0.039 s
17/07/22 10:39:09 INFO DAGScheduler: Job 1 finished: show at Demo_Mysql3.java:71, took 0.045598 s
+------+-----+----+---------+----+---+---------+---+
|status|count|type|threshold|wkey|url|imagename| id|
+------+-----+----+---------+----+---+---------+---+
+------+-----+----+---------+----+---+---------+---+

17/07/22 10:39:09 INFO SparkUI: Stopped Spark web UI at http://169.254.236.65:4040
17/07/22 10:39:09 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
17/07/22 10:39:09 INFO MemoryStore: MemoryStore cleared
17/07/22 10:39:09 INFO BlockManager: BlockManager stopped
17/07/22 10:39:09 INFO BlockManagerMaster: BlockManagerMaster stopped
17/07/22 10:39:09 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
17/07/22 10:39:09 INFO SparkContext: Successfully stopped SparkContext
17/07/22 10:39:09 INFO ShutdownHookManager: Shutdown hook called
17/07/22 10:39:09 INFO ShutdownHookManager: Deleting directory C:\Users\Mr.Zhang\AppData\Local\Temp\spark-37d86494-fe2c-44a6-8bb2-989db283dc8b

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
java 实现 sparksql 时,使用分区,mysql数据库查询结果只有表头没有数据
我在使用sparksql时,发现一旦使用分区功能,就会出错,查询结果只有表头没有数据。各位大神知不知道怎么解决。没有分区的spark-sql和普通方法有啥区别啊。 String[] predicates = new String[] { "1=1 order by id limit 400000,50000", "1=1 order by id limit 450000,50000", "1=1 order by id limit 500000,50000", "1=3 order by id limit 550000,50000", "1=1 order by id limit 600000,50000" }; 就是使用这函数进行分区,我想知道到底是咋了。
sparksql 时,使用分区,mysql数据库查询结果只有表头没有数据
电脑总是会无故死机,有时是开关机的时候,有时是不知道啥原因。 就是电脑黑屏然后一直输出一直输出,不带停止的,只有长按电源强制关机才能解决。 下面是我从/var/log/messages中复制过来的,日志信息非常长,大部分都是那几句重复的, 我随便复制了以小部分,百度上能搜到类似的信息,可都是英文的网站,我英文时在够呛, 能不能请哪位大侠帮忙分析分析原因,能帮忙解决最好。。。。告诉我原因我自己找办法能解决也行阿,谢谢大侠们。
急求:java代码如何实现MySQL数据库的读写(数据库里面有很多表)?谢谢??
java代码如何实现MySQL数据库的读写(数据库里面有很多表)?在一个程序中可以实现所有数据库中的表都可以进行读写
java实现从一台机器访问另外一台机器的mysql数据库
java实现从一台机器访问另外一台机器的mysql数据库,java实现从一台机器访问另外一台机器的mysql数据库java实现从一台机器访问另外一台机器的mysql数据库java实现从一台机器访问另外一台机器的mysql数据库java实现从一台机器访问另外一台机器的mysql数据库
有个Java项目连接的MYSQL数据库,怎么改成连接SQLServer数据库
有个Java项目连接的MYSQL数据库,怎么改成连接SQLServer数据库
Java能同时连mysql数据库和sqlserver数据库吗
比如说我现在的数据库是sqlserver,我要做一些增删改查,但是增加的数据保存在mysql数据库中,查询在sqlserver数据库中查。大概意思就是慢慢用mysql数据库替换掉sqlserver数据库,这个能实现吗?跪求大佬解答
java代码如何封装MySQL数据库?谢谢
java代码如何封装MySQL数据库,然后能io流生成jsp文件
Java代码实现MySQL数据库表的备份
Java代码实现MySQL数据库表的备份 功能的实现 Java源码
JAVA如何实现将服务器MySQL数据库转成手机端sql lite需要的db文件
现在项目需要用JAVA如何实现将服务器MySQL数据库转成手机端sql lite需要的db文件,并传给移动端直接插入手机的sqllite数据库
mysql数据库怎么实现自动填补id?
![图片说明](https://img-ask.csdn.net/upload/202001/22/1579680222_84652.png) ++++++++ ![图片说明](https://img-ask.csdn.net/upload/202001/22/1579680369_707437.png) ++++++++ 如图: kid是自增的,现在我想新增数据时 让kid可以自动补上之前删除的kid(图一处,20补上19,而不是接着32继续新增id) 请问有没有办法实现呢?
请问:用java代码怎样读取MySQL数据库生成JSP文件?谢谢!
用java代码怎样读取MySQL数据库生成JSP文件?
tcl脚本如何连接oracle,mysql数据库,并简单实现查询和插入?
如题:tcl脚本如何连接oracle,mysql数据库,并简单实现查询和插入? 网上关于tcl的资料太少了,请大佬们帮帮忙
JAVA连接数据库时出错 MySQL数据库
JAVA连接数据库时出错 MySQL数据库 出现这样的错误 该怎么解决![图片](https://img-ask.csdn.net/upload/201612/24/1482560553_375722.jpg)
java程序读取db2数据库中所有数据表以及表数据,创建到mysql数据库中?
问题意思: 用java程序,jdbc以及hibernate都可以. 1.java如何读取db2数据库中所有的数据表(以及表结构) 2.读取表中所有数据 3.如何向mysql数据库创建从db2数据库读取出来的表 4.db2和mysql数据库的类型关系 5.java程序读取db2数据库中所有数据表以及表数据,创建到mysql数据库中? 本人对数据库操作不是很了解,所以在此向各位大侠请教! 希望各位能给予我帮助!谢谢!
java连不上mysql数据库了= =
代码如下 import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; import javax.swing.JOptionPane; public class mysql { public static void main(String[] args) { String driver = "com.mysql.jdbc.Driver"; // URL指向要访问的数据库名 String url = "jdbc:mysql://localhost:3306/test"; // MySQL配置时的用户名 String user = "root"; // Java连接MySQL配置时的密码 String password = "123456"; try { // 加载驱动程序 Class.forName(driver); // 连续数据库 Connection conn = DriverManager.getConnection(url, user, password); if(!conn.isClosed()) System.out.println("Succeeded connecting to the Database!"); } catch(ClassNotFoundException e) { System.out.println("Sorry,can`t find the Driver!"); e.printStackTrace(); } catch(SQLException e) { e.printStackTrace(); } catch(Exception e) { e.printStackTrace(); } } } 然后提示错误, Sorry,can`t find the Driver! java.lang.ClassNotFoundException: com.mysql.jdbc.Driver at java.net.URLClassLoader$1.run(URLClassLoader.java:366) at java.net.URLClassLoader$1.run(URLClassLoader.java:355) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader.java:354) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:190) at mysql.main(mysql.java:25) ,怎么解啊//、
Java Web项目部署在云服务器数据库查询结果为空,本地运行正常
我在本地写的Java web项目,在本地使用本机MySQL数据库一切正常, 但是部署在云服务器的Tomcat,使用云服务器的MySQL数据库查询数据库结果却是空的, 服务器的数据表中确实是有数据的,但就是查询不出来,但是可以执行插入操作。 在服务器的命令行界面登录MySQL是可以查询出数据的,但就是用浏览器访问网页查询结果为空 Java web项目 jsp + servlet + java bean + mysql 5.6 服务器操作系统Centos 6.5 64位 Tomcat 8.0 JDK 1.8 数据库操作的用户对该数据库具有所有的权限 百度没有找到相关的问题 求助,O(∩_∩)O谢谢
Arduino通过ESP8266怎么把串口数据发送给服务器在Mysql数据库显示?
Arduino通过ESP8266怎么把串口数据发送给服务器在Mysql数据库显示? 求代码!万分感谢!这个问题困扰小白很久了!
java 中JSP 实现把excel表中数据导入到mysql数据库中的表中的具体实现方法
java 中JSP 实现把excel表中数据导入到mysql数据库中的表中的具体实现方法
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它是一个过程,是一个不断累积、不断沉淀、不断总结、善于传达自己的个人见解以及乐于分享的过程。
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过...
前端 | 2. 正则
转载请注明以下: 本文转自清自以敬的博客:https://blog.csdn.net/qq_45791147 文章目录1.转义2.正则表达式初步2.1.匹配字符2.1.1.组成元素2.1.2.基础正则的设计 1.转义 转义的作用: 当某个字符在表达式中具有特殊含义,例如字符串引号中出现了引号,为了可以使用这些字符本身,而不是使用其在表达式中的特殊含义,则需要通过转义符“\”来构建该字符转义...
有哪些让程序员受益终生的建议
从业五年多,辗转两个大厂,出过书,创过业,从技术小白成长为基层管理,联合几个业内大牛回答下这个问题,希望能帮到大家,记得帮我点赞哦。 敲黑板!!!读了这篇文章,你将知道如何才能进大厂,如何实现财务自由,如何在工作中游刃有余,这篇文章很长,但绝对是精品,记得帮我点赞哦!!!! 一腔肺腑之言,能看进去多少,就看你自己了!!! 目录: 在校生篇: 为什么要尽量进大厂? 如何选择语言及方...
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
linux系列之常用运维命令整理笔录
本博客记录工作中需要的linux运维命令,大学时候开始接触linux,会一些基本操作,可是都没有整理起来,加上是做开发,不做运维,有些命令忘记了,所以现在整理成博客,当然vi,文件操作等就不介绍了,慢慢积累一些其它拓展的命令,博客不定时更新 free -m 其中:m表示兆,也可以用g,注意都要小写 Men:表示物理内存统计 total:表示物理内存总数(total=used+free) use...
比特币原理详解
一、什么是比特币 比特币是一种电子货币,是一种基于密码学的货币,在2008年11月1日由中本聪发表比特币白皮书,文中提出了一种去中心化的电子记账系统,我们平时的电子现金是银行来记账,因为银行的背后是国家信用。去中心化电子记账系统是参与者共同记账。比特币可以防止主权危机、信用风险。其好处不多做赘述,这一层面介绍的文章很多,本文主要从更深层的技术原理角度进行介绍。 二、问题引入 假设现有4个人...
程序员接私活怎样防止做完了不给钱?
首先跟大家说明一点,我们做 IT 类的外包开发,是非标品开发,所以很有可能在开发过程中会有这样那样的需求修改,而这种需求修改很容易造成扯皮,进而影响到费用支付,甚至出现做完了项目收不到钱的情况。 那么,怎么保证自己的薪酬安全呢? 我们在开工前,一定要做好一些证据方面的准备(也就是“讨薪”的理论依据),这其中最重要的就是需求文档和验收标准。一定要让需求方提供这两个文档资料作为开发的基础。之后开发...
网页实现一个简单的音乐播放器(大佬别看。(⊙﹏⊙))
今天闲着无事,就想写点东西。然后听了下歌,就打算写个播放器。 于是乎用h5 audio的加上js简单的播放器完工了。 演示地点演示 html代码如下` music 这个年纪 七月的风 音乐 ` 然后就是css`*{ margin: 0; padding: 0; text-decoration: none; list-...
Python十大装B语法
Python 是一种代表简单思想的语言,其语法相对简单,很容易上手。不过,如果就此小视 Python 语法的精妙和深邃,那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点,并附上详细的实例代码。如能在实战中融会贯通、灵活使用,必将使代码更为精炼、高效,同时也会极大提升代码B格,使之看上去更老练,读起来更优雅。
数据库优化 - SQL优化
以实际SQL入手,带你一步一步走上SQL优化之路!
2019年11月中国大陆编程语言排行榜
2019年11月2日,我统计了某招聘网站,获得有效程序员招聘数据9万条。针对招聘信息,提取编程语言关键字,并统计如下: 编程语言比例 rank pl_ percentage 1 java 33.62% 2 cpp 16.42% 3 c_sharp 12.82% 4 javascript 12.31% 5 python 7.93% 6 go 7.25% 7 p...
通俗易懂地给女朋友讲:线程池的内部原理
餐盘在灯光的照耀下格外晶莹洁白,女朋友拿起红酒杯轻轻地抿了一小口,对我说:“经常听你说线程池,到底线程池到底是个什么原理?”
《奇巧淫技》系列-python!!每天早上八点自动发送天气预报邮件到QQ邮箱
将代码部署服务器,每日早上定时获取到天气数据,并发送到邮箱。 也可以说是一个小型人工智障。 知识可以运用在不同地方,不一定非是天气预报。
经典算法(5)杨辉三角
杨辉三角 是经典算法,这篇博客对它的算法思想进行了讲解,并有完整的代码实现。
腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹?
昨天,有网友私信我,说去阿里面试,彻底的被打击到了。问了为什么网上大量使用ThreadLocal的源码都会加上private static?他被难住了,因为他从来都没有考虑过这个问题。无独有偶,今天笔者又发现有网友吐槽了一道腾讯的面试题,我们一起来看看。 腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹? 在互联网职场论坛,一名程序员发帖求助到。二面腾讯,其中一个算法题:64匹...
面试官:你连RESTful都不知道我怎么敢要你?
干货,2019 RESTful最贱实践
Docker 从入门到掉坑
Docker 介绍 简单的对docker进行介绍,可以把它理解为一个应用程序执行的容器。但是docker本身和虚拟机还是有较为明显的出入的。我大致归纳了一下,可以总结为以下几点: docker自身也有着很多的优点,关于它的优点,可以总结为以下几项: 安装docker 从 2017 年 3 月开始 docker 在原来的基础上分为两个分支版本: Docker CE 和 Doc...
为啥国人偏爱Mybatis,而老外喜欢Hibernate/JPA呢?
关于SQL和ORM的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行了一番讨论,感触还是有一些,于是就有了今天这篇文。 声明:本文不会下关于Mybatis和JPA两个持久层框架哪个更好这样的结论。只是摆事实,讲道理,所以,请各位看官勿喷。 一、事件起因 关于Mybatis和JPA孰优孰劣的问题,争论已经很多年了。一直也没有结论,毕竟每个人的喜好和习惯是大不相同的。我也看...
白话阿里巴巴Java开发手册高级篇
不久前,阿里巴巴发布了《阿里巴巴Java开发手册》,总结了阿里巴巴内部实际项目开发过程中开发人员应该遵守的研发流程规范,这些流程规范在一定程度上能够保证最终的项目交付质量,通过在时间中总结模式,并推广给广大开发人员,来避免研发人员在实践中容易犯的错误,确保最终在大规模协作的项目中达成既定目标。 无独有偶,笔者去年在公司里负责升级和制定研发流程、设计模板、设计标准、代码标准等规范,并在实际工作中进行...
SQL-小白最佳入门sql查询一
不要偷偷的查询我的个人资料,即使你再喜欢我,也不要这样,真的不好;
项目中的if else太多了,该怎么重构?
介绍 最近跟着公司的大佬开发了一款IM系统,类似QQ和微信哈,就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if(msgType = "图片") { // doshomething } else if(msgType = "视频") { // doshomething } else { // doshom...
Nginx 原理和架构
Nginx 是一个免费的,开源的,高性能的 HTTP 服务器和反向代理,以及 IMAP / POP3 代理服务器。Nginx 以其高性能,稳定性,丰富的功能,简单的配置和低资源消耗而闻名。 Nginx 的整体架构 Nginx 里有一个 master 进程和多个 worker 进程。master 进程并不处理网络请求,主要负责调度工作进程:加载配置、启动工作进程及非停升级。worker 进程负责处...
Python 编程开发 实用经验和技巧
Python是一门很灵活的语言,也有很多实用的方法,有时候实现一个功能可以用多种方法实现,我这里总结了一些常用的方法和技巧,包括小数保留指定位小数、判断变量的数据类型、类方法@classmethod、制表符中文对齐、遍历字典、datetime.timedelta的使用等,会持续更新......
YouTube排名第一的励志英文演讲《Dream(梦想)》
Idon’t know what that dream is that you have, I don't care how disappointing it might have been as you've been working toward that dream,but that dream that you’re holding in your mind, that it’s po...
“狗屁不通文章生成器”登顶GitHub热榜,分分钟写出万字形式主义大作
一、垃圾文字生成器介绍 最近在浏览GitHub的时候,发现了这样一个骨骼清奇的雷人项目,而且热度还特别高。 项目中文名:狗屁不通文章生成器 项目英文名:BullshitGenerator 根据作者的介绍,他是偶尔需要一些中文文字用于GUI开发时测试文本渲染,因此开发了这个废话生成器。但由于生成的废话实在是太过富于哲理,所以最近已经被小伙伴们给玩坏了。 他的文风可能是这样的: 你发现,...
程序员:我终于知道post和get的区别
是一个老生常谈的话题,然而随着不断的学习,对于以前的认识有很多误区,所以还是需要不断地总结的,学而时习之,不亦说乎
《程序人生》系列-这个程序员只用了20行代码就拿了冠军
你知道的越多,你不知道的越多 点赞再看,养成习惯GitHub上已经开源https://github.com/JavaFamily,有一线大厂面试点脑图,欢迎Star和完善 前言 这一期不算《吊打面试官》系列的,所有没前言我直接开始。 絮叨 本来应该是没有这期的,看过我上期的小伙伴应该是知道的嘛,双十一比较忙嘛,要值班又要去帮忙拍摄年会的视频素材,还得搞个程序员一天的Vlog,还要写BU...
程序员把地府后台管理系统做出来了,还有3.0版本!12月7号最新消息:已在开发中有github地址
第一幕:缘起 听说阎王爷要做个生死簿后台管理系统,我们派去了一个程序员…… 996程序员做的梦: 第一场:团队招募 为了应对地府管理危机,阎王打算找“人”开发一套地府后台管理系统,于是就在地府总经办群中发了项目需求。 话说还是中国电信的信号好,地府都是满格,哈哈!!! 经常会有外行朋友问:看某网站做的不错,功能也简单,你帮忙做一下? 而这次,面对这样的需求,这个程序员...
网易云6亿用户音乐推荐算法
网易云音乐是音乐爱好者的集聚地,云音乐推荐系统致力于通过 AI 算法的落地,实现用户千人千面的个性化推荐,为用户带来不一样的听歌体验。 本次分享重点介绍 AI 算法在音乐推荐中的应用实践,以及在算法落地过程中遇到的挑战和解决方案。 将从如下两个部分展开: AI算法在音乐推荐中的应用 音乐场景下的 AI 思考 从 2013 年 4 月正式上线至今,网易云音乐平台持续提供着:乐屏社区、UGC...
为什么要学数据结构?
一、前言 在可视化化程序设计的今天,借助于集成开发环境可以很快地生成程序,程序设计不再是计算机专业人员的专利。很多人认为,只要掌握几种开发工具就可以成为编程高手,其实,这是一种误解。要想成为一个专业的开发人员,至少需要以下三个条件: 1) 能够熟练地选择和设计各种数据结构和算法 2) 至少要能够熟练地掌握一门程序设计语言 3) 熟知所涉及的相关应用领域的知识 其中,后两个条件比较容易实现,而第一个...
相关热词 基于c#波形控件 c# 十进制转十六进制 对文件aes加密vc# c#读取栈中所有的值 c# rsa256加密 好 学c# 还是c++ c# 和java的差距 c# curl网络框架 c# https证书请求 c# 中崎
立即提问