如何过滤 spark 链接 mongodb 时 加载数据量 20C

目前使用 的是mongodb官方提供的一个链接spark的jar包,代码如下
SparkConf conf = new SparkConf().set(...)//设置初始化属性
JavaSparkContext jsc = new JavaSparkContext(conf);
//下面这步加载数据
Dataset explicitDF = MongoSpark.load(jsc).toDF();
由于是这样直接加载的,根本 没地方在加载之前写过滤条件来控制加载的数据量的,所以导致直接加载了整表的数据,十分缓慢,各位有 什么方法或者建议提供参考下么,谢谢啦

2个回答

val spark = SparkSession.builder

.appName(this.getClass.getName().stripSuffix("$"))

.getOrCreate()

val inputUri="mongodb://test:pwd123456@192.168.0.1:27017/test.articles"

val df = spark.read.format("com.mongodb.spark.sql").options(

Map("spark.mongodb.input.uri" -> inputUri,

"spark.mongodb.input.partitioner" -> "MongoPaginateBySizePartitioner",

"spark.mongodb.input.partitionerOptions.partitionKey" -> "_id",

"spark.mongodb.input.partitionerOptions.partitionSizeMB"-> "32"))

.load()

val currentTimestamp = System.currentTimeMillis()

val originDf = df.filter(df("updateTime") < currentTimestamp && df("updateTime") >= currentTimestamp - 1440 * 60 * 1000)

.select("_id", "content", "imgTotalCount").toDF("id", "content", "imgnum")

可以使用mongoexport导出需要的信息到一个文件中,然后再用spark解析文件,速度也要快不少。

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Spark 连接 mongodb 用python

按照官网教程 1 from pyspark.sql import SparkSession spark = SparkSession \ .builder \ .appName("myApp") \ .config("spark.mongodb.input.uri", "mongodb://127.0.0.1/Spark-Test.Numbers") \ .config("spark.mongodb.output.uri", "mongodb://127.0.0.1/Spark-Test.Numbers") \ .getOrCreate() df = spark.read.format("com.mongodb.spark.sql.DefaultSource").load() 结果报错Caused by: java.lang.ClassNotFoundException: com.mongodb.spark.sql.DefaultSource.DefaultSource 2 我看需要用--packages这个命令导入包 cmd>> pyspark --package org.mongodb.spark:mongo-spark-connector_2.11:2.2.0 报错:Exception in thread "main" java.lang.IllegalArgumentException: pyspark does not 3 完全按照官方来 cmd>>pyspark --conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.myCollection?readPreference=primaryPreferred" --conf "spark.mongodb.output.uri=mongodb://127.0.0.1/test.myCollection" --packages org.mongodb.spark:mongo-spark-connector_2.10:1.1.0 报错:'D:\SparkNew\spark\bin\pyspark2.cmd" --conf "spark.mongodb.input.uri' 不是内部或外部命令, 也不是可运行的程序或批处理文件。 不太明白我用的pyspark,怎么报错是pyspark2.cmd 那怎么才能跟mongodb连接呢,就是找不到DefaultSource.DefaultSource的事啊

scala spark 读取mongodb数据,并将数据写入hdfs示例

scala spark 读取mongodb数据(查询时会使用spark sql进行查询),并将数据写入hdfs示例

关于java操作spark读写mongodb

对spark一无所知,只需要在单机环境下跑起来就行,求大牛指教!!!!!!!!!

spark计算mongodb数据,不知是环境的问题还是代码的问题,还没入门大神们帮帮忙啊

spark计算mongodb中的数据,总是计算不出结果,这些错误信息也找不到是为什么, 有一两次能计算出结果 。第一次接触这个东西 大神们帮帮忙啊 # 主要代码如下: SparkConf sparkConf = new SparkConf(); sparkConf.setMaster(SPARK_PATH); sparkConf.setAppName("Logs_Collect"); String[] jars = { "F:\\bigdata.jar" };// 将文件导出为jar包,不然会报classNotFound的异常 sparkConf.setJars(jars); JavaSparkContext ctx = new JavaSparkContext(sparkConf); Configuration config = new Configuration(); config.set("mongo.input.uri", MONGODB_URL + ".log"); config.set("mongo.output.uri", MONGODB_URL + ".testcollect"); Date start = DateUtil.getLastNDay(dateRange); Date end = DateUtil.getLastNDay(0); // 从mongodb取数据 JavaPairRDD<Object, BSONObject> mongoRDD = ctx.newAPIHadoopRDD(config, MongoInputFormat.class, Object.class, BSONObject.class); JavaPairRDD<Object, BSONObject> mongoRDD2 = mongoRDD .filter(new Function<Tuple2<Object, BSONObject>, Boolean>() { @Override public Boolean call(Tuple2<Object, BSONObject> arg0) throws Exception { if (((Date) arg0._2.get("time")).after(start) && ((Date) arg0._2.get("time")).before(end)) { return true; } else return false; } }); JavaPairRDD<Map<String, Object>, BSONObject> mongoRDD3 = mongoRDD2 .mapToPair(new PairFunction<Tuple2<Object, BSONObject>, Map<String, Object>, BSONObject>() { @Override public Tuple2<Map<String, Object>, BSONObject> call(Tuple2<Object, BSONObject> arg0) throws Exception { Object host = arg0._2.get("host"); Object content = arg0._2.get("content"); Map<String, Object> k = new HashMap<String, Object>(); k.put("host", host); k.put("content", content); return new Tuple2<Map<String, Object>, BSONObject>(k, arg0._2); } }); JavaPairRDD<Map<String, Object>, Integer> mongoRDD4 = mongoRDD3 .mapToPair(new PairFunction<Tuple2<Map<String, Object>, BSONObject>, Map<String, Object>, Integer>() { @Override public Tuple2<Map<String, Object>, Integer> call(Tuple2<Map<String, Object>, BSONObject> arg0) throws Exception { return new Tuple2<Map<String, Object>, Integer>(arg0._1, 1); } }); JavaPairRDD<Map<String, Object>, Integer> mongoRDD5 = mongoRDD4 .reduceByKey(new Function2<Integer, Integer, Integer>() { public Integer call(Integer v1, Integer v2) throws Exception { return v1 + v2; } }); Map<Map<String, Object>, Integer> map2 = mongoRDD5.collectAsMap(); # 运算过程console信息:(前面没有出错的就不贴了) [INFO] com.mongodb.hadoop.splitter.MongoCollectionSplitter - Created split: min={ "_id" : { "$oid" : "563dc85a002e25dc6bfd59cd"}}, max= { "_id" : { "$oid" : "563dc85b002e25dc6bfd7b1b"}} [INFO] com.mongodb.hadoop.splitter.MongoCollectionSplitter - Created split: min={ "_id" : { "$oid" : "563dc85b002e25dc6bfd7b1b"}}, max= null [Stage 0:> (0 + 4) / 79][DEBUG] org.spark-project.jetty.http.HttpParser - filled 173/173 [DEBUG] org.spark-project.jetty.server.Server - REQUEST /jars/bigdata.jar on BlockingHttpConnection@3190b6f6,g=HttpGenerator{s=0,h=-1,b=-1,c=-1},p=HttpParser{s=-5,l=10,c=0},r=1 [DEBUG] org.spark-project.jetty.server.Server - RESPONSE /jars/bigdata.jar 200 handled=true [WARN] org.apache.spark.scheduler.TaskSetManager - **Lost task 0.0 in stage 0.0 (TID 0, slave02): java.io.IOException: java.lang.ArrayIndexOutOfBoundsException** at org.apache.spark.util.Utils$.tryOrIOException(Utils.scala:1141) at org.apache.spark.SerializableWritable.readObject(SerializableWritable.scala:39) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:497) at java.io.ObjectStreamClass.invokeReadObject(ObjectStreamClass.java:1017) at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1896) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1801) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1351) at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1993) at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1918) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1801) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1351) at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1993) at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1918) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1801) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1351) at java.io.ObjectInputStream.readObject(ObjectInputStream.java:371) at org.apache.spark.serializer.JavaDeserializationStream.readObject(JavaSerializer.scala:68) at org.apache.spark.serializer.JavaSerializerInstance.deserialize(JavaSerializer.scala:94) at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:185) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:745) **Caused by: java.lang.ArrayIndexOutOfBoundsException** at java.lang.System.arraycopy(Native Method) at org.bson.BasicBSONDecoder$BSONInput._need(BasicBSONDecoder.java:404) at org.bson.BasicBSONDecoder$BSONInput.read(BasicBSONDecoder.java:452) at org.bson.BasicBSONDecoder$BSONInput.readCStr(BasicBSONDecoder.java:492) at org.bson.BasicBSONDecoder.decodeElement(BasicBSONDecoder.java:197) at org.bson.BasicBSONDecoder._decode(BasicBSONDecoder.java:153) at org.bson.BasicBSONDecoder.decode(BasicBSONDecoder.java:121) at com.mongodb.hadoop.input.MongoInputSplit.readFields(MongoInputSplit.java:185) at org.apache.hadoop.io.ObjectWritable.readObject(ObjectWritable.java:285) at org.apache.hadoop.io.ObjectWritable.readFields(ObjectWritable.java:77) at org.apache.spark.SerializableWritable$$anonfun$readObject$1.apply$mcV$sp(SerializableWritable.scala:43) at org.apache.spark.util.Utils$.tryOrIOException(Utils.scala:1138) ... 24 more

mongodb 对于每分钟数据量1千万行左右的数据,怎么合理设计表、集合

## 对于数据量很大的模型如何设计优化更合理,查询速度更短: 1. 每分钟数据量在1千万行,7GB左右 2. 只有一台服务器 **当前结构:按天建数据库,按分钟建集合,查询1天的数据耗时在2s,但是查询2天耗时要6s ** ![图片说明](https://img-ask.csdn.net/upload/201905/12/1557622072_405166.png)

MongoDB千亿级别数据存储可行性讨论

应用背景:存储传感器设备采集的数据,能够支持50万台传感器。一台传感器每天产生400条数据,数据要保存五年。 一共有50W*400*365*5=3650亿条记录。 不同的传感器之间数据互不干扰,相互独立的。 也就是,一台传感器五年的数据共有400*365*5=73万条,实际进行合理拆分,这个数据量不大。 “表:equData”传感器历史数据表 * {---------------一共50W(设备数量)条。 * id :"传感器ID", * HISTORY :[ * {采集时间:“”,传感器数据1:“如温度值”,传感器数据2:“如湿度值”,...}, {采集时间:“”,传感器数据1:“如温度值”,传感器数据2:“如湿度值”,...}, …… *****一供73万条(历史数据) * ] * } 请问大概实现以上的表结构,普通的服务器(能够支持关系型数据库单表共100万记录秒查)上能否做到秒查。 查询条件为设备ID,采集时间段,分页。 -------------- 也考虑过用文件存储这些数据,有什么好的方案,请指教!

excel VBA 如何链接mongodb

如题,现在想用VBA宏去操作mongodb,不知道ConnectionString怎么填写?还需要安装mongodb-odbc驱动么??

mongodb数据导出太慢,求快速导出数据的办法

我导出一个mongodb的表为json文件,160g,倒了两天怎么才导出了16g,有什么快速的办法拿到这些数据么?json快还是csv快,或者备份数据库快? 用的命令为类似下面的: mongoexport -d dbname -c collectionname -o file --type json/csv -f field

spring mongodb 数据量太大,如何进行分组.

旧表中的字段是下图这样的:![图片说明](https://img-ask.csdn.net/upload/201703/31/1490958569_142503.jpg) 根据aggregate 进行分组以后,通过$out属性,将数据放到一个新表里面,新表里面的字段如下: ![图片说明](https://img-ask.csdn.net/upload/201703/31/1490958459_24502.jpg) 如何不让那些分组条件的字段放到_id里面?

在golang mongodb中过滤

<div class="post-text" itemprop="text"> <p>Currently I learn to create restful api with golang and mongodb. Actually I am beginner in both. I use <a href="https://godoc.org/go.mongodb.org/mongo-driver" rel="nofollow noreferrer">mongodb-go-driver</a> and I learn to use filter when we want to use <code>find()</code> function. But I have some that I don't understand. What is the different between <code>filter := bson.M{"_id": "abcd"}</code> and <code>filter := bson.M{{"_id": "abcd"}}</code>? Thank you</p> </div>

【Mongodb】更新数据卡顿,卡顿时间由20分钟至8小时不等。跪求解决方案?

场景:使用官方的驱动(版本2.0.50727)操作Mongodb数据库(版本3.0) 数据量:30G,百万级。http://ask.csdn.net/# 问题:在执行更新操作(一次更新200条左右)时经常发生卡顿的情况,具体卡顿的地方是执行MongoCollection.Update(query, update, UpdateFlags.Multi)。 服务器情况:内存占用11G/16G,索引大小10.9G。 使用Mongostat监视发现faults一栏经常上万。 跪求大神指点迷津。小弟不胜感激。

Redis和Go中的MongoDB ID布隆过滤器

<div class="post-text" itemprop="text"> <p>I'm working on articles suggestions. There are lots of them. Think about YouTube videos suggestions. To avoid suggesting article once again I'd like to remember which were seen already by particular user. I have lot's of users and I'd like to avoid infinitely growing database of history as well.</p> <p>Every article has <a href="http://api.mongodb.org/java/current/org/bson/types/ObjectId.html" rel="nofollow">MongoDB ObjectId</a>. I use Redis and Go language.</p> <p>I think that Bloom Filter could solve this problem, because false positives are ok in this case. I'd like to avoid false negatives, but it's not 100% obligatory.</p> <p>I don't know any sensible alternative to Bloom Filter in this area. Should I?</p> <p>I can't find any implementation of Bloom Filter for Redis in Go. Can somebody advice me is it the best choice, how can I write my own or is there any existing implementation?</p> </div>

mongodb 分片集群,大批量数据插入效率问题

mongodb 分片集群,大批量数据插入效率问题: 1个config、1个mongos、2个mongod shard,现有2台同配置的机器 (1)当2个shard在同一台机器时候,无论哪一台,插入效率在1w每秒左右; 当数据量达到1.5亿左右的时候,会出现flushing nmaps took xxxx秒 to xxx files 的日志信息,过几十秒就来一次,很卡。 (2)当shard分布在2台机器时候,插入效率只有1500-2000条每秒,每条数据约800字节 请问:1 数据量越大,是不是插入效率会下降,那个flushing查文档说是说内存数据写入到硬盘,为啥一开始不会出现这样的问题? 2 多台机器的网络架构需要注意什么?或者说 可能是什么其他问题造成效率差距这么大? 新手没有币请见谅

Java操作MongoDB写入,丢失数据

Java 代码如下: ``` public void doAfterSave(String date_ymd) { try { ArrayList<DBObject> insertList = getArrayList(concurrentResultMap.values()); if (insertList.size() == 0) return; utilsService.getMongoPersist().getMongoCollection(MongoPersist.RtSellerRegion_h).insert(insertList); } finally { concurrentResultMap.clear(); } } ``` 当Mongo中collection为空的时候,插入正常,可是当再次执行这个写入的动作后,mongo中有一个region_id字段出现大量丢失现象。 代码中的insertlist我在debug的时候,都在控制台打印出来了,在写入前数据是完整的,但是写入后就会出现丢失现象。, 我尝试改变数据类型改为Long,Double,String,添加数据库索引,甚至直接删除了数据库集合。 可是现在还是这样,求助啊。

MongoDB过滤来自结果的重复用户

<div class="post-text" itemprop="text"> <p>I have a mongo collection with activities in this format:</p> <pre><code>{ "_id": 1, "user": 1, "time": 12345, "data": ... } </code></pre> <p>Now I want to get the 5 latest entries (the whole entry) from this collection but I want only one entry for each user in the case there are more than one activities from a user in the latest activities. I do not want to filter the result after the DB query. I hope there is a mongoDB way to do this on the DB server.</p> <p>I would like to perform this query with Doctrine MongoDB ODM but I suspect that this is not possible with the provided methods. But a direct mongo query is fine too.</p> </div>

MongoDB大数据下是否需要分表

目前公司使用MongoDB存储业务数据,每天产生2000万条左右,数据保存90天, 这样单独一张表会存在20亿左右数据。 为保证数据操作(增、删、改、查)的效率,是否需要对表进行分表? 一段时间生成一张新表,以时间戳为后缀,这样是否可以提高效率,或者有其他方案?

c#mongodb如何从第一个数据开始一直往后读取数据?

C#,使用mongodb存储数据。现在的问题是,我有一个线程在一直往里面插入数据。同时主线程在读取数据,我想在主线程里面一直获取数据。获取的顺序是从第一个开始,然后依次往后读数据。如果使用find的话,返回的只是符合条件,且固定数量的数据。这样的话由于数据库一直在更新,那么每次find的结果里面的数据会有部分一样。我想要的效果是:就从第一个读取,然后依次往后一直读,一次读取100或者1000数据量这样子。

mongodb为集合增加字段

mongodb现有集合test, 表的数据量大概为500w 集合中的文档为以下格式: { "_id" : "15998854009", "coordinate" : { "longitude" : 120.0123, "latitude" : 30.0254 }, "uploadtime" : "20160525090100", "bookmark" : 1 } 现需要改造集合的结构,增加一个性别属性:sex, sex的值不固定 改造后的文档格式要求为: { "_id" : "42000308329", "coordinate" : { "longitude" : 120.073094, "latitude" : 30.28031 }, "uploadtime" : "20160530150101", "bookmark" : 1, "sex" : 1 } 目前的方案是将原有数据导出,并对原有数据进行改造,改造成要求的格式,并通过代码逐条更新mongodb中的数据。 请问是否有更好的方案?mongodb是否提供批量更新的工具操作

Mongodb同时更新一条数据 如何控制?

姓名: 年龄: 地址: 第一个人写了A B C 提交了 ,第二个人在第一个人没提交之前 写上了 A B B ,然后第一个人提交完了,第二个人点提交。。。

大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了

大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

springboot+jwt实现token登陆权限认证

一 前言 此篇文章的内容也是学习不久,终于到周末有时间码一篇文章分享知识追寻者的粉丝们,学完本篇文章,读者将对token类的登陆认证流程有个全面的了解,可以动态搭建自己的登陆认证过程;对小项目而已是个轻量级的认证机制,符合开发需求;更多精彩原创内容关注公主号知识追寻者,读者的肯定,就是对作者的创作的最大支持; 二 jwt实现登陆认证流程 用户使用账号和面发出post请求 服务器接受到请求后使用私...

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

女程序员,为什么比男程序员少???

昨天看到一档综艺节目,讨论了两个话题:(1)中国学生的数学成绩,平均下来看,会比国外好?为什么?(2)男生的数学成绩,平均下来看,会比女生好?为什么?同时,我又联想到了一个技术圈经常讨...

总结了 150 余个神奇网站,你不来瞅瞅吗?

原博客再更新,可能就没了,之后将持续更新本篇博客。

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

程序员写出这样的代码,能不挨骂吗?

当你换槽填坑时,面对一个新的环境。能够快速熟练,上手实现业务需求是关键。但是,哪些因素会影响你快速上手呢?是原有代码写的不够好?还是注释写的不够好?昨夜...

外包程序员的幸福生活

今天给你们讲述一个外包程序员的幸福生活。男主是Z哥,不是在外包公司上班的那种,是一名自由职业者,接外包项目自己干。接下来讲的都是真人真事。 先给大家介绍一下男主,Z哥,老程序员,是我十多年前的老同事,技术大牛,当过CTO,也创过业。因为我俩都爱好喝酒、踢球,再加上住的距离不算远,所以一直也断断续续的联系着,我对Z哥的状况也有大概了解。 Z哥几年前创业失败,后来他开始干起了外包,利用自己的技术能...

优雅的替换if-else语句

场景 日常开发,if-else语句写的不少吧??当逻辑分支非常多的时候,if-else套了一层又一层,虽然业务功能倒是实现了,但是看起来是真的很不优雅,尤其是对于我这种有强迫症的程序"猿",看到这么多if-else,脑袋瓜子就嗡嗡的,总想着解锁新姿势:干掉过多的if-else!!!本文将介绍三板斧手段: 优先判断条件,条件不满足的,逻辑及时中断返回; 采用策略模式+工厂模式; 结合注解,锦...

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

2020阿里全球数学大赛:3万名高手、4道题、2天2夜未交卷

阿里巴巴全球数学竞赛( Alibaba Global Mathematics Competition)由马云发起,由中国科学技术协会、阿里巴巴基金会、阿里巴巴达摩院共同举办。大赛不设报名门槛,全世界爱好数学的人都可参与,不论是否出身数学专业、是否投身数学研究。 2020年阿里巴巴达摩院邀请北京大学、剑桥大学、浙江大学等高校的顶尖数学教师组建了出题组。中科院院士、美国艺术与科学院院士、北京国际数学...

为什么你不想学习?只想玩?人是如何一步一步废掉的

不知道是不是只有我这样子,还是你们也有过类似的经历。 上学的时候总有很多光辉历史,学年名列前茅,或者单科目大佬,但是虽然慢慢地长大了,你开始懈怠了,开始废掉了。。。 什么?你说不知道具体的情况是怎么样的? 我来告诉你: 你常常潜意识里或者心理觉得,自己真正的生活或者奋斗还没有开始。总是幻想着自己还拥有大把时间,还有无限的可能,自己还能逆风翻盘,只不是自己还没开始罢了,自己以后肯定会变得特别厉害...

男生更看重女生的身材脸蛋,还是思想?

往往,我们看不进去大段大段的逻辑。深刻的哲理,往往短而精悍,一阵见血。问:产品经理挺漂亮的,有点心动,但不知道合不合得来。男生更看重女生的身材脸蛋,还是...

为什么程序员做外包会被瞧不起?

二哥,有个事想询问下您的意见,您觉得应届生值得去外包吗?公司虽然挺大的,中xx,但待遇感觉挺低,马上要报到,挺纠结的。

当HR压你价,说你只值7K,你该怎么回答?

当HR压你价,说你只值7K时,你可以流畅地回答,记住,是流畅,不能犹豫。 礼貌地说:“7K是吗?了解了。嗯~其实我对贵司的面试官印象很好。只不过,现在我的手头上已经有一份11K的offer。来面试,主要也是自己对贵司挺有兴趣的,所以过来看看……”(未完) 这段话主要是陪HR互诈的同时,从公司兴趣,公司职员印象上,都给予对方正面的肯定,既能提升HR的好感度,又能让谈判气氛融洽,为后面的发挥留足空间。...

面试:第十六章:Java中级开发

HashMap底层实现原理,红黑树,B+树,B树的结构原理 Spring的AOP和IOC是什么?它们常见的使用场景有哪些?Spring事务,事务的属性,传播行为,数据库隔离级别 Spring和SpringMVC,MyBatis以及SpringBoot的注解分别有哪些?SpringMVC的工作原理,SpringBoot框架的优点,MyBatis框架的优点 SpringCould组件有哪些,他们...

早上躺尸,晚上干活:硅谷科技公司这么流行迟到?

硅谷科技公司上班时间OPEN早已不是什么新鲜事,早九晚五是常态,但有很多企业由于不打卡,员工们10点、11点才“姗姗来迟”的情况也屡见不鲜。 这种灵活的考勤制度为人羡慕,甚至近年来,国内某些互联网企业也纷纷效仿。不过,硅谷普遍弹性的上班制度是怎么由来的呢?这种“流行性迟到”真的有那么轻松、悠哉吗? 《动态规划专题班》 课程试听内容: 动态规划的解题要领 动态规划三大类 求最值/计数/可行性 常...

面试阿里p7,被按在地上摩擦,鬼知道我经历了什么?

面试阿里p7被问到的问题(当时我只知道第一个):@Conditional是做什么的?@Conditional多个条件是什么逻辑关系?条件判断在什么时候执...

终于懂了TCP和UDP协议区别

终于懂了TCP和UDP协议区别

Python爬虫,高清美图我全都要(彼岸桌面壁纸)

爬取彼岸桌面网站较为简单,用到了requests、lxml、Beautiful Soup4

无代码时代来临,程序员如何保住饭碗?

编程语言层出不穷,从最初的机器语言到如今2500种以上的高级语言,程序员们大呼“学到头秃”。程序员一边面临编程语言不断推陈出新,一边面临由于许多代码已存在,程序员编写新应用程序时存在重复“搬砖”的现象。 无代码/低代码编程应运而生。无代码/低代码是一种创建应用的方法,它可以让开发者使用最少的编码知识来快速开发应用程序。开发者通过图形界面中,可视化建模来组装和配置应用程序。这样一来,开发者直...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

Java岗开发3年,公司临时抽查算法,离职后这几题我记一辈子

前几天我们公司做了一件蠢事,非常非常愚蠢的事情。我原以为从学校出来之后,除了找工作有测试外,不会有任何与考试有关的事儿。 但是,天有不测风云,公司技术总监、人事总监两位大佬突然降临到我们事业线,叫上我老大,给我们组织了一场别开生面的“考试”。 那是一个风和日丽的下午,我翘着二郎腿,左手端着一杯卡布奇诺,右手抓着我的罗技鼠标,滚动着轮轴,穿梭在头条热点之间。 “淡黄的长裙~蓬松的头发...

大胆预测下未来5年的Web开发

在2019年的ReactiveConf 上,《Elm in Action》的作者Richard Feldman对未来5年Web开发的发展做了预测,很有意思,分享给大家。如果你有机会从头...

立即提问
相关内容推荐