spark分组排序提取前N个值 20C

求教各位大神:
本人用scalas+spark开发,用RDD实现以下需求时遇到困难!
数据:
用户 位置 天数
user1 L1 28
user1 L2 20
user1 L3 15
user2 L1 30
user2 L2 15
user3 L5 3
user3 L6 18
user4 L7 4
通过spark RDD怎样实现按用户分组提取每个用户天数最大的位置

希望数据结果:
RDD:
array((user1,L1,28),(user2,L1,30),(user3 , L6,18),(user4,,7 4))
这里主体是根据用户分组计算最大天数,并把位置带出来,研究半天无果,求大神指教

4个回答

您发的链接我看了 只能算出用户和最大天数RDD(user,daycount),位置提不出来!!

谢谢 大家 问题我找到解决办法了:
import org.apache.spark.{SparkConf, SparkContext}

val rdd3 = sc.makeRDD(Array(("a","user1","25"),("b","user1","27"),("c","user1","12"),("d","user2","23"),("e","user2","1"),("a","user3","30")),2).map(x => {
val lac = x._1
val user = x._2
val cnt = x._3
(user.toString,lac,cnt.toInt)
}).take(6)

val topK=rdd3.groupBy(item=>(item._1)).map(subG=>{
val (usera) = subG._1
val dayTop1=subG._2.toList.sortBy(_._3)(Ordering.Int.reverse).take(1).map(item=>item._2+","+item._1+","+item._3)
(usera,dayTop1)
})

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
咨询一个关于spark归一化,然后排序的问题

请以上述 3、&4、(题目数字编号)任务的输出结果作为输入数据源,编 写 Spark 程序从城市的酒店总订单、用户评分及评论数角度综合分析并 获得城市的受欢迎程度排名,取最受游客欢迎的 5 个城市形成新表 table3_5,(权重分配说明:归一化城市酒店总订单 0.6,归一化用户评分 0.2, 归一化评论数 0.2。)输出至 HDFS 文件系统中/hotelsparkhive4。 题目是上述这样,前面的已经分析出来了。我想问下这道题的具体思路,如何在spark中 根据权重值,来进行排名呢?

spark的dataframe中如何提取某一列数据的类型做判断?

例如: if ( df.select(列名).获取数据的类型 == String){ }

spark sql createdataset列顺序问题

初学spark,手工创建了一个 dataset, dataset在show的时候,数据项自动排序,与表中结构顺序不一致导到无法保存。 Dataset<TallyDataStruct> javaBeanDS = spark.createDataset( tallyDataStructList, tallyDataEncoder); javaBeanDS.show();

spark rdd 取前20条 saveAsHadoopDataset

如题,现在有一个需求,已经排序好了的数据我需要前20条存入Hbase,我的代码如下: certnoRDD.map(x=>{ val key=x._1.split("_")(0)+"_CETRNOTOP20_"+c.get(Calendar.YEAR)+"_"+(c.get(Calendar.MONTH)+1) (key,x._1.split("_")(1),x._2) }).map(convertRDD(HbaseTableName)(hbaseTableFamily)("INFOCONTENT")("NUM")).saveAsHadoopDataset(jobConfig) //关联关系保存 def convertRDD(tableName: String)(columnFamily: String)(columnName1: String)(columnName2: String) (triple: (String,String, Int)) = { val p = new Put(HbaseKeyUtils.convertRowKey(tableName, triple._1)) p.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(columnName1), Bytes.toBytes(String.valueOf(triple._2))) p.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(columnName2), Bytes.toBytes(String.valueOf(triple._3))) (new ImmutableBytesWritable, p) } 但我使用take或者top之后无法再使用saveAsHadoopDataset,求大神给指点下

如何用spark统计某个关键词?

``` public final class JavaWordCount { private static final Pattern SPACE = Pattern.compile("(\\s|\\p{Punct})+"); public static void main(String[] args) throws Exception { //设置hadoop路径 System.setProperty("hadoop.home.dir", "F:\\TDDownload\\spark-2.1.0-bin-hadoop2.7\\spark-2.1.0-bin-hadoop2.7"); //设置目标文件 args = new String[]{"D:/logs/"}; //创建spark SparkSession spark = SparkSession.builder().appName("JavaWordCount").getOrCreate(); // JavaRDD<String> lines = spark.read().textFile(args[0]).javaRDD(); JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>() { @Override public Iterator<String> call(String s) { return Arrays.asList(SPACE.split(s)).iterator(); } }); JavaPairRDD<String, Integer> ones = words.mapToPair(new PairFunction<String, String, Integer>() { @Override public Tuple2<String, Integer> call(String s) { return new Tuple2<>(s, 1); } }); JavaPairRDD<String, Integer> counts = ones.reduceByKey(new Function2<Integer, Integer, Integer>() { @Override public Integer call(Integer i1, Integer i2) { return i1 + i2; } }); List<Tuple2<String, Integer>> output = counts.collect(); for (Tuple2<?, ?> tuple : output) { // if(tuple._1().equals("hello")) System.out.println(tuple._1() + ": " + tuple._2()); } spark.stop(); } } ``` spark可以专门去统计某个词吗,而不是把所有的词都统计了 我想知道日志文件中存在多少个2017,我不想知道其他的信息,这个在spark中可以实现吗?

如何使用Spark将GPS点切成trip

您好 我需要使用spark完成时间序列的聚合,具体是需要将已经按照车辆id和时间排序后的小汽车gps数据的DataFrame按照 【col_sev】 列为1的划分为单独trip,处理前的数据是这样的 ``` val taxiRaw = spark.sparkContext.textFile("E:/demo_20180821.dat") import spark.implicits._ val safeParse = Parse.safe(Parse.parseRecords) val taxiParsed = taxiRaw.map(safeParse) val taxiGood = taxiParsed.map(_.left.get).toDS ..... 各种数据清洗 val taxiClean = ....toDF() demo.show(100) ``` ``` +-------+-------------------+---------+----------+-------+ |col_car| col_dttim| col_lat| col_lon|col_sev| +-------+-------------------+---------+----------+-------+ | ID1|2018-08-21 09:29:57| 39.88922| 116.347| 0| | ID1|2018-08-21 09:30:59| 39.88968|116.346998| 0| | ID1|2018-08-21 09:31:30| 39.89037|116.346978| 1| | ID1|2018-08-21 09:31:39|39.890758|116.346947| 1| | ID1|2018-08-21 09:33:05|39.895908| 116.34676| 1| | ID1|2018-08-21 09:33:45|39.896063|116.346745| 1| | ID1|2018-08-21 09:34:05| 39.89609|116.346735| 1| | ID1|2018-08-21 09:34:31|39.896453| 116.34672| 1| | ID1|2018-08-21 09:35:41|39.897587|116.346692| 1| | ID1|2018-08-21 09:37:15|39.898068|116.346638| 1| | ID1|2018-08-21 09:37:35|39.898123|116.346603| 1| | ID1|2018-08-21 09:38:35|39.898462|116.346615| 1| | ID1|2018-08-21 09:38:56|39.898408|116.346615| 1| | ID1|2018-08-21 09:39:05|39.898382|116.346622| 1| | ID1|2018-08-21 09:39:48|39.898593| 116.34664| 1| | ID1|2018-08-21 09:40:18|39.899062|116.346658| 1| | ID1|2018-08-21 09:40:28|39.899055|116.346662| 1| | ID1|2018-08-21 09:40:48|39.899097|116.346635| 1| | ID1|2018-08-21 09:41:20|39.899847|116.346443| 1| | ID1|2018-08-21 09:44:40| 39.89988|116.345462| 1| | ID1|2018-08-21 09:49:02|39.901228|116.343818| 1| | ID1|2018-08-21 09:52:07| 39.90414|116.337148| 1| | ID1|2018-08-21 09:52:59|39.905652|116.337548| 1| | ID1|2018-08-21 09:56:58| 39.91248|116.339273| 1| | ID1|2018-08-21 09:58:11|39.912655|116.342495| 0| | ID1|2018-08-21 09:58:38|39.912698|116.343038| 0| | ID1|2018-08-21 09:59:12|39.914267|116.343198| 0| | ID1|2018-08-21 10:00:40|39.917063|116.342582| 0| | ID1|2018-08-21 10:01:12| 39.91744|116.341958| 0| ``` 后面还有很多车和不同的服务状态 >需要整理成 ```+-------+------+-------------------+---------+----------+-------------------+---------+----------+ |col_car|tripID| Starttime|start_lat| start_lon| Endtime| end_lat| end_lon| +-------+------|-------------------+---------+----------+-------------------+---------+----------+ | ID1| 2|2018-08-21 09:31:30| 39.89037|116.346978|2018-08-21 09:56:58| 39.91248|116.339273| ``` spark好像没有这种类似的算子提供不定长合并,groupby因为没有key也无法完成

spark:在reduceByKey中,怎么获取到key的值

如题, spark:在reduceByKey中,怎么获取到key的值

java spark获取多个gz文件时怎样提高速度

每个gz文件大致有1-3G大小,解压后有8G-10G左右。spark读取数据为每个文件平均20-30秒。 但是现在需求是1分钟读取10个gz文件内容合并成一个txt样式的文件怎样完成。或者10分钟读取100个gz文件合并成10个文件怎么完成。 问了一些大神说要调试base值,观看每个文件的瓶颈。但是我查看资料是把RDD转成hbase ,至于这个base值该怎么调试呢

spark 中rdd与dataframe的合并(join)

以下是我写的代码: ``` /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regarding copyright ownership. * The ASF licenses this file to You under the Apache License, Version 2.0 * (the "License"); you may not use this file except in compliance with * the License. You may obtain a copy of the License at * * http://www.apache.org/licenses/LICENSE-2.0 * * Unless required by applicable law or agreed to in writing, software * distributed under the License is distributed on an "AS IS" BASIS, * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. * See the License for the specific language governing permissions and * limitations under the License. */ // scalastyle:off println package com.shine.ncc import org.apache.spark.SparkConf import org.apache.spark.storage.StorageLevel import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.mllib.classification.NaiveBayesModel import org.apache.spark.rdd.RDD import org.apache.spark.streaming.Time import org.apache.spark.sql.SQLContext import org.apache.spark.SparkContext import org.apache.spark.ml.feature.Tokenizer import org.ansj.splitWord.analysis.ToAnalysis import org.ansj.util.FilterModifWord import java.util.Arrays import org.apache.spark.mllib.feature.HashingTF import scala.collection.JavaConversions._ import org.apache.spark.mllib.feature.IDF import org.apache.spark.mllib.feature.IDFModel import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.client.HTable import org.apache.hadoop.hbase.client.Put import org.apache.hadoop.hbase.util.Bytes object NetworkNewsClassify1 { var sameModel = null /** Case class for converting RDD to DataFrame */ case class Record(content: String,time:String,title:String) /** Lazily instantiated singleton instance of SQLContext */ object SQLContextSingleton { @transient private var instance: SQLContext = _ def getInstance(sparkContext: SparkContext): SQLContext = { if (instance == null) { instance = new SQLContext(sparkContext) } instance } } def main(args: Array[String]) { // if (args.length < 2) { // System.err.println("Usage: NetworkWordCount <hostname> <port>") // System.exit(1) // } StreamingExamples.setStreamingLogLevels() // Create the context with a 1 second batch size val sparkConf = new SparkConf().setAppName("NetworkNewsClassify") sparkConf.setMaster("local[2]"); val ssc = new StreamingContext(sparkConf, Seconds(1)) // Create a socket stream on target ip:port and count the 获取json信息 val lines = ssc.socketTextStream("localhost", 9999, StorageLevel.MEMORY_AND_DISK_SER) val myNaiveBayesModel = NaiveBayesModel.load(ssc.sparkContext, "D:/myNaiveBayesModel") //将接送转换成rdd lines.foreachRDD((rdd: RDD[String], time: Time) => { // Get the singleton instance of SQLContext val sqlContext = SQLContextSingleton.getInstance(rdd.sparkContext) import sqlContext.implicits._ val newsDF = sqlContext.read.json(rdd) newsDF.count(); val featurizedData = newsDF.map{ line => val temp = ToAnalysis.parse(line.getAs("title")) //加入停用词 FilterModifWord.insertStopWords(Arrays.asList("r","n")) //加入停用词性???? FilterModifWord.insertStopNatures("w",null,"ns","r","u","e") val filter = FilterModifWord.modifResult(temp) //此步骤将会只取分词,不附带词性 val words = for(i<-Range(0,filter.size())) yield filter.get(i).getName //println(words.mkString(" ; ")); //计算每个词在文档中的词频 new HashingTF(500000).transform(words) }.cache() if(featurizedData.count()>0){ //计算每个词的TF-IDF val idf = new IDF() val idfModel = idf.fit(featurizedData) val tfidfData = idfModel.transform(featurizedData); //分类预测 val resultData = myNaiveBayesModel.predict(tfidfData) println(resultData) //将result结果与newsDF信息join在一起 //**??? 不会实现了。。。** //保存新闻到hbase中 } }) ssc.start() ssc.awaitTermination() } } ``` 其中newsDF是新闻信息,包含字段(title,body,date),resultData 是通过贝叶斯模型预测的新闻类型,我现在希望把result结果作为一个type字段与newsDF合并(join),保存到hbase中,这个合并的操作怎么做呢

spark 如何 多个application同时运行不报错

如题,在代码层面,已经设置了config的 set("spark.driver.allowMultipleContexts","true") 但是同时两个任务提交的时候还是会出现两个任务都阻塞掉的问题 求教下,这个如何友好的优化,谢谢啦

spark和javaweb整合,如何通过页面提交spark任务,并过去结果

首先说一下想要达到的效果,就是网页有一个按钮,用户可以通过按钮提交任务到spark,spark集群运行并得出结果,结果能够返回给页面或者服务器。主要就是有两个问题。第一:如何通过服务器提交spark任务,让spark跑起来,第二:获取spark得出结果,能够在页面显示,或者我能通过程序获取到,有经验的或者有思路的大牛们帮忙解答一下,必有重谢!!!!

spark pair RDD创建操作

对于一个文件,每一行如下: ID\t value:value(value的数量不固定) 如何创建RDD使得每一个value对应于一个ID? 希望是python的spark解答

SparkStreaming超时问题

SparkStreaming跑一段时间后会出现org.apache.spark.rpc.RpcTimeoutException:Futures timed out after [10 seconds].This timeout is controlled by spark.executor.hearbeatInterval

spark on yarn 8088界面只有一个程序是Running状态,其他都是ACCEPTED状态

请教:我的程序是只能在8088界面显示一个AppId 是running状态,其他都是ACCEPTED状态。尝试修改了spark-env以及yarn-site.xml,spark-defaults.conf,以及capacity-scheduler.xml都没有什么作用。 1. 1.1 vim yarn-site.xml scp -r /usr/local/hadoop-2.7.1/etc/hadoop/yarn-site.xml root@xiuba112:/usr/local/hadoop-2.7.1/etc/hadoop/ <property> <name>yarn.nodemanager.aux-services.spark_shuffle.class</name> <value>org.apache.spark.network.yarn.YarnShuffleService</value> </property> <property> <name>spark.shuffle.service.port</name> <value>7337</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> 1.2 添加依赖的jar包 cp /usr/local/spark-2.2.1-bin-hadoop2.7/yarn/spark-2.2.1-yarn-shuffle.jar /usr/local/hadoop-2.7.1/share/hadoop/yarn/lib/ 拷贝“${SPARK_HOME}/lib/spark-1.3.0-yarn-shuffle.jar”到“${HADOOP_HOME}/share/hadoop/yarn/lib/”目录下。 note:高版本没有lib目录,有jars目录,比如说spark-2.0.2-yarn-shuffle.jar就在${SPARK_HOME}/yarn目录下,将其复制到${HADOOP_HOME}/share/hadoop/yarn/lib目录下。 1.3 重启NodeManager进程 2. scp -r /usr/local/spark-2.2.1-bin-hadoop2.7/conf/spark-defaults.conf root@xiuba112:/usr/local/spark-2.2.1-bin-hadoop2.7/conf/ 在“spark-defaults.conf”中必须添加如下配置项: spark.shuffle.service.enabled=true spark.shuffle.service.port=7337 1和2不能解决问题 3. vim /usr/local/spark-2.2.1-bin-hadoop2.7/conf/spark-env.sh conf/spark-env.sh中,同时在节点 /etc/profile中也添加一行 export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop 3不能解决问题。

spark任务spark-submit集群运行报错。

报错如下:SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/spark/jars/slf4j-log4j12-1.7.16.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/home/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] . ____ _ __ _ _ /\\ / ___'_ __ _ _(_)_ __ __ _ \ \ \ \ ( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \ \\/ ___)| |_)| | | | | || (_| | ) ) ) ) ' |____| .__|_| |_|_| |_\__, | / / / / =========|_|==============|___/=/_/_/_/ :: Spring Boot :: 19/03/15 11:28:57 INFO demo.DemoApplication: Starting DemoApplication on spark01 with PID 15249 (/home/demo.jar started by root in /usr/sbin) 19/03/15 11:28:57 INFO demo.DemoApplication: No active profile set, falling back to default profiles: default 19/03/15 11:28:57 INFO context.AnnotationConfigServletWebServerApplicationContext: Refreshing org.springframework.boot.web.servlet.context.AnnotationConfigServletWebServerApplicationContext@3b79fd76: startup date [Fri Mar 15 11:28:57 CST 2019]; root of context hierarchy 19/03/15 11:28:59 INFO annotation.AutowiredAnnotationBeanPostProcessor: JSR-330 'javax.inject.Inject' annotation found and supported for autowiring 19/03/15 11:28:59 WARN context.AnnotationConfigServletWebServerApplicationContext: Exception encountered during context initialization - cancelling refresh attempt: org.springframework.context.ApplicationContextException: Unable to start web server; nested exception is org.springframework.context.ApplicationContextException: Unable to start ServletWebServerApplicationContext due to missing ServletWebServerFactory bean. 19/03/15 11:28:59 ERROR boot.SpringApplication: Application run failed org.springframework.context.ApplicationContextException: Unable to start web server; nested exception is org.springframework.context.ApplicationContextException: Unable to start ServletWebServerApplicationContext due to missing ServletWebServerFactory bean. at org.springframework.boot.web.servlet.context.ServletWebServerApplicationContext.onRefresh(ServletWebServerApplicationContext.java:155) at org.springframework.context.support.AbstractApplicationContext.refresh(AbstractApplicationContext.java:543) at org.springframework.boot.web.servlet.context.ServletWebServerApplicationContext.refresh(ServletWebServerApplicationContext.java:140) at org.springframework.boot.SpringApplication.refresh(SpringApplication.java:752) at org.springframework.boot.SpringApplication.refreshContext(SpringApplication.java:388) at org.springframework.boot.SpringApplication.run(SpringApplication.java:327) at org.springframework.boot.SpringApplication.run(SpringApplication.java:1246) at org.springframework.boot.SpringApplication.run(SpringApplication.java:1234) at com.spark.demo.DemoApplication.main(DemoApplication.java:12) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:497) at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:755) at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180) at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) Caused by: org.springframework.context.ApplicationContextException: Unable to start ServletWebServerApplicationContext due to missing ServletWebServerFactory bean. at org.springframework.boot.web.servlet.context.ServletWebServerApplicationContext.getWebServerFactory(ServletWebServerApplicationContext.java:204) at org.springframework.boot.web.servlet.context.ServletWebServerApplicationContext.createWebServer(ServletWebServerApplicationContext.java:178) at org.springframework.boot.web.servlet.context.ServletWebServerApplicationContext.onRefresh(ServletWebServerApplicationContext.java:152) ... 17 more

在Java web中怎么提交一个spark job任务?

场景与需求:用户在web页面点击某个按钮,然后需要提交一个spark job到spark集群运行。想通过java代码实现与使用spark-submit一样的效果,请问各位大佬应该怎么做? 望各位大佬不吝赐教!求教各位指点迷津!跪谢! 注:spark集群已经有3个spark-client;web项目开发使用的框架是springboot, web项目部署在websphere服务器上。

spark sql字符串截取问题

spark sql里面的一个字段怎么截取某个特定字符串后的字符内容,大神们,帮帮忙

对Spark RDD中的数据进行处理

Spark新手。 现在在程序中生成了一个VertexRDD[(String,String)]. 其中的值是如下这种形式的: (3477,267 6106 7716 8221 18603 19717 28189) (2631,18589 18595 25725 26023 26026 27866) (10969,18591 25949 25956 26041) (10218,9320 19950 20493 26031) (5860,18583 18595 25725 26233) (11501,1551 26187 27170) (5717,2596 5187 5720 18583 25725) (950,19667 20493 25725 26024 26033 26192 27279 27281) (13397,19943 26377) (2899,4720 8411 19081 20100 20184 20270 20480 20493 20573 20574 25891) (11424,19816 19819 19841 20244 27098) (8951,5914 18609 26057) (1909,8797 18608 19785 19786 27531) (12807,20040 20608 27159)(后面用到的数据) (17953,1718 6112 18603 18608) 前面的值是key,后面的一串字符是value(由空格隔开) 现在我想对于这个RDD,将每一条数据value中的空格隔开的每个值取出并两两组合,形成一个新的key-value的数据,然后形成一个新的RDD,比如 对(12807,20040 20608 27159)这一条数据,处理后得到的是 (20040,20608) (20040,27159) (20608,27159) 怎么才能实现?求问

大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了

大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

Java基础知识面试题(2020最新版)

文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性?原理是什么Java语言有哪些特点什么是字节码?采用字节码的最大好处是什么什么是Java程序的主类?应用程序和小程序的主类有何不同?Java应用程序与小程序之间有那些差别?Java和C++的区别Oracle JDK 和 OpenJDK 的对比基础语法数据类型Java有哪些数据类型switc...

我以为我学懂了数据结构,直到看了这个导图才发现,我错了

数据结构与算法思维导图

String s = new String(" a ") 到底产生几个对象?

老生常谈的一个梗,到2020了还在争论,你们一天天的,哎哎哎,我不是针对你一个,我是说在座的各位都是人才! 上图红色的这3个箭头,对于通过new产生一个字符串(”宜春”)时,会先去常量池中查找是否已经有了”宜春”对象,如果没有则在常量池中创建一个此字符串对象,然后堆中再创建一个常量池中此”宜春”对象的拷贝对象。 也就是说准确答案是产生了一个或两个对象,如果常量池中原来没有 ”宜春” ,就是两个。...

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

Linux面试题(2020最新版)

文章目录Linux 概述什么是LinuxUnix和Linux有什么区别?什么是 Linux 内核?Linux的基本组件是什么?Linux 的体系结构BASH和DOS之间的基本区别是什么?Linux 开机启动过程?Linux系统缺省的运行级别?Linux 使用的进程间通信方式?Linux 有哪些系统日志文件?Linux系统安装多个桌面环境有帮助吗?什么是交换空间?什么是root帐户什么是LILO?什...

Linux命令学习神器!命令看不懂直接给你解释!

大家都知道,Linux 系统有非常多的命令,而且每个命令又有非常多的用法,想要全部记住所有命令的所有用法,恐怕是一件不可能完成的任务。 一般情况下,我们学习一个命令时,要么直接百度去搜索它的用法,要么就直接用 man 命令去查看守冗长的帮助手册。这两个都可以实现我们的目标,但有没有更简便的方式呢? 答案是必须有的!今天给大家推荐一款有趣而实用学习神器 — kmdr,让你解锁 Linux 学习新姿势...

和黑客斗争的 6 天!

互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...

史上最全的 python 基础知识汇总篇,没有比这再全面的了,建议收藏

网友们有福了,小编终于把基础篇的内容全部涉略了一遍,这是一篇关于基础知识的汇总的文章,请朋友们收下,不用客气,不过文章篇幅肯能会有点长,耐心阅读吧爬虫(七十)多进程multiproces...

讲一个程序员如何副业月赚三万的真实故事

loonggg读完需要3分钟速读仅需 1 分钟大家好,我是你们的校长。我之前讲过,这年头,只要肯动脑,肯行动,程序员凭借自己的技术,赚钱的方式还是有很多种的。仅仅靠在公司出卖自己的劳动时...

女程序员,为什么比男程序员少???

昨天看到一档综艺节目,讨论了两个话题:(1)中国学生的数学成绩,平均下来看,会比国外好?为什么?(2)男生的数学成绩,平均下来看,会比女生好?为什么?同时,我又联想到了一个技术圈经常讨...

85后蒋凡:28岁实现财务自由、34岁成为阿里万亿电商帝国双掌门,他的人生底层逻辑是什么?...

蒋凡是何许人也? 2017年12月27日,在入职4年时间里,蒋凡开挂般坐上了淘宝总裁位置。 为此,时任阿里CEO张勇在任命书中力赞: 蒋凡加入阿里,始终保持创业者的冲劲,有敏锐的...

总结了 150 余个神奇网站,你不来瞅瞅吗?

原博客再更新,可能就没了,之后将持续更新本篇博客。

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

新一代神器STM32CubeMonitor介绍、下载、安装和使用教程

关注、星标公众号,不错过精彩内容作者:黄工公众号:strongerHuang最近ST官网悄悄新上线了一款比较强大的工具:STM32CubeMonitor V1.0.0。经过我研究和使用之...

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

大学一路走来,学习互联网全靠这几个网站,最终拿下了一把offer

大佬原来都是这样炼成的

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

为什么你不想学习?只想玩?人是如何一步一步废掉的

不知道是不是只有我这样子,还是你们也有过类似的经历。 上学的时候总有很多光辉历史,学年名列前茅,或者单科目大佬,但是虽然慢慢地长大了,你开始懈怠了,开始废掉了。。。 什么?你说不知道具体的情况是怎么样的? 我来告诉你: 你常常潜意识里或者心理觉得,自己真正的生活或者奋斗还没有开始。总是幻想着自己还拥有大把时间,还有无限的可能,自己还能逆风翻盘,只不是自己还没开始罢了,自己以后肯定会变得特别厉害...

什么时候跳槽,为什么离职,你想好了么?

都是出来打工的,多为自己着想

为什么程序员做外包会被瞧不起?

二哥,有个事想询问下您的意见,您觉得应届生值得去外包吗?公司虽然挺大的,中xx,但待遇感觉挺低,马上要报到,挺纠结的。

当HR压你价,说你只值7K,你该怎么回答?

当HR压你价,说你只值7K时,你可以流畅地回答,记住,是流畅,不能犹豫。 礼貌地说:“7K是吗?了解了。嗯~其实我对贵司的面试官印象很好。只不过,现在我的手头上已经有一份11K的offer。来面试,主要也是自己对贵司挺有兴趣的,所以过来看看……”(未完) 这段话主要是陪HR互诈的同时,从公司兴趣,公司职员印象上,都给予对方正面的肯定,既能提升HR的好感度,又能让谈判气氛融洽,为后面的发挥留足空间。...

面试阿里p7,被按在地上摩擦,鬼知道我经历了什么?

面试阿里p7被问到的问题(当时我只知道第一个):@Conditional是做什么的?@Conditional多个条件是什么逻辑关系?条件判断在什么时候执...

你期望月薪4万,出门右拐,不送,这几个点,你也就是个初级的水平

先来看几个问题通过注解的方式注入依赖对象,介绍一下你知道的几种方式@Autowired和@Resource有何区别说一下@Autowired查找候选者的...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

《经典算法案例》01-08:如何使用质数设计扫雷(Minesweeper)游戏

我们都玩过Windows操作系统中的经典游戏扫雷(Minesweeper),如果把质数当作一颗雷,那么,表格中红色的数字哪些是雷(质数)?您能找出多少个呢?文中用列表的方式罗列了10000以内的自然数、质数(素数),6的倍数等,方便大家观察质数的分布规律及特性,以便对算法求解有指导意义。另外,判断质数是初学算法,理解算法重要性的一个非常好的案例。

立即提问
相关内容推荐