关于spark离线程序读写本地文件的问题

我目前在学着写spark离线程序,用Java写的
目前我要做的是:在java代码里读取服务器上的/root/config.properties配置文件,
然后我处理完之后会生成一个文件file.txt,我希望将这个file.txt也放到该服务器的特定目录下。
目前我读取配置文件的做法是:先将config.properties上传到hdfs,
然后java代码中写prop.load("hdfs:///root/config.properties");
这样是可以达到效果的,但事实上我不可能每次都手动将配置文件放一下hdfs。
生成的文件在哪目前我还没测试。。。
请大佬指点下这个需要怎么做。包括java代码里和sh脚本里。谢谢。
大佬给代码的时候请详细点,因为不会,能顺带加点注释就最好了。
我测试能用的话保证立马采纳。
环境是jdk1.8和spark2.2,linux系统

4个回答

读取数据文件的接口不是有SparkContext的textFile么,读取本地文件只是需要指明file://即可(但是要保证所有节点本地上都有该文件,路径一致),
所以一般不会去读取本地的数据文件,而是读取hdfs文件。对于你说的是不是想要加载自己的配置文件,一种是直接打包到jar中去,一种是加载
本地配置文件的话,可以使用SparkContext的addFile接口,然后获取时使用SparkFiles.get()接口即可获取到

xiaolin_wxl
xiaolin_wxl 回复chanyue123: 好无奈啊,都说--file能行,但我无论怎样都是file not found
一年多之前 回复
chanyue123
chanyue123 或者直接在spark-submit参数里加上 --files或者--properties-file 后面加配置文件名,然后在代码里可以直接通过val props = new Properties(); props.load(new FileInputStream("a.properties")) val name = props.getProperty("name")来获取属性值
一年多之前 回复

首先我来理解一下你的目的:
你现在是有一份properties格式的配置文件,在项目启动的时候你需要加载这份文件,当前你把这份配置文件放在了hdfs上。最终结果也是一个文件,你当前也存在hdfs上。
你的问题是properties文件放在哪里更为合适。
我推荐的做法:
1、像properties文件直接放在项目中,不要把配置文件放在其他地方,除非该文件有特殊需求(比如安全)或者框架需要或者动态配置
2、这样你可以在代码中直接访问到这个配置文件
2.1 如果你的项目是基于spring框架,你可以:

 <bean id="propertyConfigurer" class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer"> 
    <property name="locations"> 
        <list> 
            <value>classpath:system.properties</value> 
        </list> 
    </property> 
</bean>

2.2 如果只是一般工程,你可以:

 <dependency>
    <groupId>commons-configuration</groupId>
     <artifactId>commons-configuration</artifactId>
     <version>1.10</version>
</dependency>
 /**
 * 把配置文件读出来
 */
private static void readBaseDir() {
     String file = Resources.getResource("conf.properties").getFile();
     try {
         PropertiesConfiguration configuration = new PropertiesConfiguration(file);
         TEMP_FILE_DIR = configuration.getString("temp_file_dir");
     } catch (ConfigurationException e) {
         e.printStackTrace();
     }
 }

类似这种方式:
图片说明

xiaolin_wxl
xiaolin_wxl 回复weixin_37893887: 无奈,因为我有几个参数是那种需要记录下来方便下次执行的(可以手动配置也可以执行完后自动记录),还有就是--我刚程序执行完了,提示执行成功,可是我的输出文件却不知道跑到到哪里去了,总归还得io本地文件。大佬回答很尽心尽力,可是解决不了我的问题呀
一年多之前 回复
weixin_37893887
玄尺 回复xiaolin_wxl: 那我建议你不要使用配置文件,采用jvm参数进行调试,这样效果更好,比如-Dxxx=yyy
一年多之前 回复
xiaolin_wxl
xiaolin_wxl 回复weixin_37893887: 因为我的代码需求是差不都每次运行都需要改下配置文件的,
一年多之前 回复
xiaolin_wxl
xiaolin_wxl 回复weixin_37893887: 回复weixin_37893887: 就是直接放项目里的话我打包成jar就不好更改了,你有好的办法么
一年多之前 回复
weixin_37893887
玄尺 回复xiaolin_wxl: 我的意思是你放到服务器上也麻烦,直接将配置文件放到项目里更简单
一年多之前 回复
xiaolin_wxl
xiaolin_wxl 额,可能是我表达不清楚,我的意思是,我需要将其放在服务器上,而不是hdfs上,放hdfs上太麻烦,我想要读取和写出的文件都在服务器上,比如/root/目录下,这样字,我在sh脚本和java里要怎么写,求指点
一年多之前 回复
caozhy
贵阳老马马善福专业维修游泳池堵漏防水工程 很详细,建议lz采纳哦
一年多之前 回复

可以同时提交作业的,没必要每次先手动放配置文件的。写好spark运行时的配置信息后,接着编写其他模块嘛,最后一同提交任务。因为我们每次想要做的
操作不尽相同,每次可能都需要配置一下才能正常运行,不能一劳永逸的,您也是懒得话,自己写一个工具类吧。

简单点说我就是想知道spark程序里怎么读写linux系统里的文件

xiaolin_wxl
xiaolin_wxl 回复weixin_37893887: 不用那个先上传再读的办法,或者说能够整合到代码中的,我只要执行代码,不需要额外操作的
一年多之前 回复
xiaolin_wxl
xiaolin_wxl 回复weixin_37893887: 你重新回答一下怎么读,能用我就立马采纳
一年多之前 回复
xiaolin_wxl
xiaolin_wxl 回复weixin_37893887: 那能教我怎么读么
一年多之前 回复
weixin_37893887
玄尺 spark读文件很容易,但是提交任务是也就是Driver的位置是不确定的,建议使用数据库或者写到hdfs中
一年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
SparkStreaming读取本地文件并获取文件名称

SparkStreaming读取本地文件并获取文件名称 根据文件名区分文件分别进行流式处理

spark读取不了本地文件是怎么回事

``` textFile=sc.textFile("file:///home/hduser/pythonwork/ipynotebook/data/test.txt") stringRDD=textFile.flatMap(lambda line:line.split(' ')) stringRDD.collect() ``` 我此路径下是有test文件的: ![图片说明](https://img-ask.csdn.net/upload/201805/18/1526634813_44673.png) 错误是: ``` Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe. : org.apache.spark.SparkException: Job aborted due to stage failure: Task 1 in stage 8.0 failed 4 times, most recent failure: Lost task 1.3 in stage 8.0 (TID 58, 192.168.56.103, executor 1): java.io.FileNotFoundException: File file:/home/hduser/pythonwork/ipynotebook/data/test.txt does not exist 。 。 。 Driver stacktrace: at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1599) 。 。 。 Caused by: java.io.FileNotFoundException: File file:/home/hduser/pythonwork/ipynotebook/data/test.txt does not exist ``` 而且发现若我把代码中test.txt随便改一个名字,比如ttest.txt(肯定是没有的文件) 错误竟然发生了变化: ``` Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe. : org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/hduser/pythonwork/ipynotebook/data/tesst.txt at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:287) at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:229) at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:315) at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:200) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:253) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:251) at scala.Option.getOrElse(Option.scala:121) at org.apache.spark.rdd.RDD.partitions(RDD.scala:251) at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:35) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:253) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:251) at scala.Option.getOrElse(Option.scala:121) at org.apache.spark.rdd.RDD.partitions(RDD.scala:251) at org.apache.spark.api.python.PythonRDD.getPartitions(PythonRDD.scala:53) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:253) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:251) at scala.Option.getOrElse(Option.scala:121) at org.apache.spark.rdd.RDD.partitions(RDD.scala:251) at org.apache.spark.SparkContext.runJob(SparkContext.scala:2092) at org.apache.spark.rdd.RDD$$anonfun$collect$1.apply(RDD.scala:939) at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:151) at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:112) at org.apache.spark.rdd.RDD.withScope(RDD.scala:363) at org.apache.spark.rdd.RDD.collect(RDD.scala:938) at org.apache.spark.api.python.PythonRDD$.collectAndServe(PythonRDD.scala:153) at org.apache.spark.api.python.PythonRDD.collectAndServe(PythonRDD.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:483) at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244) at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357) at py4j.Gateway.invoke(Gateway.java:282) at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132) at py4j.commands.CallCommand.execute(CallCommand.java:79) at py4j.GatewayConnection.run(GatewayConnection.java:214) at java.lang.Thread.run(Thread.java:745) ``` 注意: 此时我是以spark集群跑的:'spark://emaster:7077' 若是以本地跑就可以找到本地的那个test.txt文件 找hdfs文件系统的文件可以找到(在spark集群跑情况下) 。。。处由于字数显示省略了些不重要的错误提示,若想知道的话可以回复我 跪求大神帮助~感激不尽!!!

spark读取本地文件报错

在scala编写spark程序使用了sc.textFile("file:///home/hadoop/2.txt"), 竟然报错java.io.FileNotFoundException: File file:/home/hadoop/2.txt does not exist,之后又用spark-shell测试,依旧报这样错误 ``` scala> val rdd = sc.textFile("file:///home/hadoop/2.txt") rdd: org.apache.spark.rdd.RDD[String] = file:///home/hadoop/2.txt MapPartitionsRDD[5] at textFile at <console>:24 scala> rdd.take(1) 17/08/29 20:27:28 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 1.0 (TID 4, slaves3, executor 2): java.io.FileNotFoundException: File file:/home/hadoop/2.txt does not exist ``` 我cat文件是有输出的 ``` [hadoop@master ~]$ cat /home/hadoop/2.txt chen 001 {"phone":"187***","sex":"m","card":"123"} zhou 002 {"phone":"187***","sex":"f","educetion":"1"} qian 003 {"phone":"187***","sex":"f","book":"2"} li 004 {"phone":"187***","sex":"f"} wu 005 {"phone":"187***","sex":"f"} zhang 006 {"phone":"187***","sex":"f"} xia 007 {"phone":"187***","sex":"f"} wang 008 {"phone":"187***","sex":"f"} lv 009 {"phone":"187***","sex":"m"} ``` 之后我将文件放在hdfs上面,就能读取的到,这是怎么回事

如何用spark实现:编写spark程序调用外部程序或者调用动态链接库函数,对批量文件进行处理?

我现在有一个C++集成的可执行程序(.exe)文件,现在我想用spark实现这个可执行程序的调用,批量的去处理一些音频文件,这个程序就是提取音频中的特征,然后给出结果分数。 我目前现在查阅了许多相关的资料,这并没有一些可行的方法,希望路过的大佬随手给个可用的方法,或者是有正在做同样事情的朋友,谈谈你宝贵的经验。如有方法,留下你的联系方式,必有重谢重谢啊~

spark读取kafka数据, 缓存当天数据

spark stream从kafka读取数据,10秒间隔;需要缓存当天数据用于业务分析。 思路1:定义static rdd用于union每次接收到的rdd;用window窗口(窗口长1小时,滑动步长20分钟);union之后checkpoint。 但是发现在利用static rdd做业务分析的时候,应该是因为磁盘io,所以执行时间太长。 思路2:一样定义static rdd, context调用remember(24小时)保留数据24小时(数据缓存在哪里了,暂时不清楚,汗);但是在业务分析时,发现static rdd的count结果为0 求教怎么缓存一段时间的rdd 数据放executor内存或分布放个worker都可以,一天的数据量大概在100g,过滤后再5g,机器内存256g

求助!spark读取文件问题

求助各位大神, 由于为了性能,需求需要每15分钟获取15个分钟文件 用spark获取15个文件该用什么方法,查了很多资料都是只能分区 JavaRDD<String> expFile = jsc.textFile("/tmp"); expFile这个RDD可以用什么方法拿到文件个数,然后让我遍历

关于java操作spark读写mongodb

对spark一无所知,只需要在单机环境下跑起来就行,求大牛指教!!!!!!!!!

spark streaming监控hdfs的文件变化

spark streaming中有对hdfs中新增文件的监控,但是如何对具体的某个文件进行监控呢,比如文件a后面增加了一行,如何才能get到这个信息呢 ![图片说明](https://img-ask.csdn.net/upload/201610/08/1475916517_4375.jpg)

可否让spark算子执行到某一步时,通过某些控制条件,让整个spark程序停止,或者在那一步保存结果到文件?

有这么一个需求:让rdd1执行map(或其他算子),当出现满足条件的情况时,控制整个spark程序停止,或是保存停止结果到文件(优先保存结果到文件),而不继续执行后续步骤,为了提高速度。 ``` //示例,大概就是这么一个意思:当出现值为5的行,停止程序或是保存结果 val rdd2 = rdd1.map(x =>{ if(x==5){ //整个spark程序停止,或是保存停止结果到文件 } ........... } ) rdd2.count() ``` 有没有什么方法可以实现呢?

spark 如何指定输出文件的文件名?

spark 程序如何指定输出文件的文件名?网上都是 x.repartition(1).saveAsTextFile("a.txt"),但这是新建了一个 a.txt目录,请问如何输出 a.txt文件?

java spark获取多个gz文件时怎样提高速度

每个gz文件大致有1-3G大小,解压后有8G-10G左右。spark读取数据为每个文件平均20-30秒。 但是现在需求是1分钟读取10个gz文件内容合并成一个txt样式的文件怎样完成。或者10分钟读取100个gz文件合并成10个文件怎么完成。 问了一些大神说要调试base值,观看每个文件的瓶颈。但是我查看资料是把RDD转成hbase ,至于这个base值该怎么调试呢

关于Spark on Yarn运行WordCount的问题

**运行wordcount程序是,一直提示以下的内容,yarnAppState状态一直没有变成running:** 14/05/13 15:05:25 INFO yarn.Client: Application report from ASM: application identifier: application_1399949387820_0008 appId: 8 clientToAMToken: null appDiagnostics: appMasterHost: N/A appQueue: default appMasterRpcPort: 0 appStartTime: 1399964104011 yarnAppState: ACCEPTED distributedFinalState: UNDEFINED appTrackingUrl: master:8088/proxy/application_1399949387820_0008/ appUser: hadoop **我有3个虚拟机,master内存1g,slave内存512m,我的运行脚本如下:** export YARN_CONF_DIR=/home/hadoop/hadoop-2.2.0/etc/hadoop SPARK_JAR=/home/hadoop/spark-0.9.0-incubating-bin-hadoop2/assembly/target/scala-2.10/spark-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar \ ./spark-class org.apache.spark.deploy.yarn.Client \ --jar spark-wordcount-in-scala.jar \ --class WordCount \ --args yarn-standalone \ --args hdfs://master:6000/input \ --args hdfs://master:6000/output \ --num-workers 1 \ --master-memory 512m \ --worker-memory 512m \ --worker-cores 1 请各位大神帮帮忙!!!

sparkStreaming join问题

sparkStreaming程序中有两个数据源分别来自两个不同的topic,两个topic中通过id进行join。但是数据可能存在不在同一个 batch的现象,第二个topic比第一个的数来的早点 或者晚点 或者压根不一块来,应该怎么解决。

spark-submit的集群提交问题

嗨,请教各位老师个问题,我提交spark应用,本地模式都是正常的,采用了集群提交模式(--master: spark://ip:7077),但却无法返回结果,一直打印如下warn信息: 16/10/18 17:16:09 INFO scheduler.TaskSchedulerImpl: Adding task set 0.0 with 1 tasks 16/10/18 17:16:24 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 16/10/18 17:16:39 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

六台机器集群,40M数据就报错,spark streaming运行例子程序wordcount

请大神帮忙解决一下:六台机器,SparkStreaming的例子程序,运行在yarn上四个计算节点(nodemanager),每台8G内存,i7处理器,想测测性能。 自己写了socket一直向一个端口发送数据,spark 接收并处理 运行十几分钟汇报错:WARN scheduler TaskSetManagerost task 0.1 in stage 265.0 :java.lang.Exception:Could not compute split ,block input-0-145887651600 not found![图片说明](https://img-ask.csdn.net/upload/201603/29/1459223107_940575.png)

WEB容器调用spark程序分析数据

请教各位大神,如何在web容器中(如tomcat)来调用spark程序啊,网上看到的都是自己把程序生成jar包,然后调用spark-submit来执行!!

用spark提供的java API写的程序怎么远程提交到集群上运行。

小弟最近在做一个机器学习平台,想通过前台选择数据源、算法、参数之类的东西,由后台程序提交到spark集群上调用sparkML库来跑出结果,然后把结果返回之后在前台渲染出效果。实验室之前有搭spark集群,这两天看了一下java提交任务上去spark集群的东西,似乎都是要先把东西打jar包,再传服务器通过spark-submit,这样跟需求就不符了,恳求各位使用java调用过spark的大侠答疑解惑。委实是之前没用过这方面的使用经验。之前有找过一些代码如下。 ``` public class TestUtil { public static void main(String[] args){ System.setProperty("user.name", "root"); SparkConf conf = new SparkConf().setAppName("Spark Java API 学习") .setMaster("spark://211.87.227.79:7077"); JavaSparkContext sc = new JavaSparkContext(conf); JavaRDD<String> users = sc.textFile("hdfs://211.87.227.79:8020/input/wordcount.txt"); System.out.println(users.first()); } } ``` 看了spark的UI这个任务确实也提交上去了,但是idea的控制台一直重复地报这一段 ![图片说明](https://img-ask.csdn.net/upload/201901/13/1547375997_290816.png) sparkUI如图。 ![图片说明](https://img-ask.csdn.net/upload/201901/13/1547376092_538815.png) CSDN没币了没法悬赏。要是有大侠可以解决,可以有偿,留联系方式就行。

关于spark企业级集群部署问题

我是某高校软件工程研一的学生,目前老师手头有一个关于spark的商业项目,然后要我了解企业搭建spark集群的一个硬件条件是什么比如磁盘要求?内存要求?还有计算能力方面有没有什么要注意的?我也是初学者,是小白,在查资料发现也没有这方面信息,只好跑来问问各位大神有没有做过这方面开发的?最好做过企业方面开发搭建的,谢谢了 项目是一个spark机器学习平台,对内要求是实现训练数据达到TB级别的模型训练,过程中参数可能会达到10的9次方到12次方。。

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

程序员请照顾好自己,周末病魔差点一套带走我。

程序员在一个周末的时间,得了重病,差点当场去世,还好及时挽救回来了。

Java基础知识面试题(2020最新版)

文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性?原理是什么Java语言有哪些特点什么是字节码?采用字节码的最大好处是什么什么是Java程序的主类?应用程序和小程序的主类有何不同?Java应用程序与小程序之间有那些差别?Java和C++的区别Oracle JDK 和 OpenJDK 的对比基础语法数据类型Java有哪些数据类型switc...

和黑客斗争的 6 天!

互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...

Intellij IDEA 实用插件安利

1. 前言从2020 年 JVM 生态报告解读 可以看出Intellij IDEA 目前已经稳坐 Java IDE 头把交椅。而且统计得出付费用户已经超过了八成(国外统计)。IDEA 的...

搜狗输入法也在挑战国人的智商!

故事总是一个接着一个到来...上周写完《鲁大师已经彻底沦为一款垃圾流氓软件!》这篇文章之后,鲁大师的市场工作人员就找到了我,希望把这篇文章删除掉。经过一番沟通我先把这篇文章从公号中删除了...

总结了 150 余个神奇网站,你不来瞅瞅吗?

原博客再更新,可能就没了,之后将持续更新本篇博客。

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

魂迁光刻,梦绕芯片,中芯国际终获ASML大型光刻机

据羊城晚报报道,近日中芯国际从荷兰进口的一台大型光刻机,顺利通过深圳出口加工区场站两道闸口进入厂区,中芯国际发表公告称该光刻机并非此前盛传的EUV光刻机,主要用于企业复工复产后的生产线扩容。 我们知道EUV主要用于7nm及以下制程的芯片制造,光刻机作为集成电路制造中最关键的设备,对芯片制作工艺有着决定性的影响,被誉为“超精密制造技术皇冠上的明珠”,根据之前中芯国际的公报,目...

优雅的替换if-else语句

场景 日常开发,if-else语句写的不少吧??当逻辑分支非常多的时候,if-else套了一层又一层,虽然业务功能倒是实现了,但是看起来是真的很不优雅,尤其是对于我这种有强迫症的程序"猿",看到这么多if-else,脑袋瓜子就嗡嗡的,总想着解锁新姿势:干掉过多的if-else!!!本文将介绍三板斧手段: 优先判断条件,条件不满足的,逻辑及时中断返回; 采用策略模式+工厂模式; 结合注解,锦...

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

2020阿里全球数学大赛:3万名高手、4道题、2天2夜未交卷

阿里巴巴全球数学竞赛( Alibaba Global Mathematics Competition)由马云发起,由中国科学技术协会、阿里巴巴基金会、阿里巴巴达摩院共同举办。大赛不设报名门槛,全世界爱好数学的人都可参与,不论是否出身数学专业、是否投身数学研究。 2020年阿里巴巴达摩院邀请北京大学、剑桥大学、浙江大学等高校的顶尖数学教师组建了出题组。中科院院士、美国艺术与科学院院士、北京国际数学...

为什么你不想学习?只想玩?人是如何一步一步废掉的

不知道是不是只有我这样子,还是你们也有过类似的经历。 上学的时候总有很多光辉历史,学年名列前茅,或者单科目大佬,但是虽然慢慢地长大了,你开始懈怠了,开始废掉了。。。 什么?你说不知道具体的情况是怎么样的? 我来告诉你: 你常常潜意识里或者心理觉得,自己真正的生活或者奋斗还没有开始。总是幻想着自己还拥有大把时间,还有无限的可能,自己还能逆风翻盘,只不是自己还没开始罢了,自己以后肯定会变得特别厉害...

百度工程师,获利10万,判刑3年!

所有一夜暴富的方法都写在刑法中,但总有人心存侥幸。这些年互联网犯罪高发,一些工程师高技术犯罪更是引发关注。这两天,一个百度运维工程师的案例传遍朋友圈。1...

程序员为什么千万不要瞎努力?

本文作者用对比非常鲜明的两个开发团队的故事,讲解了敏捷开发之道 —— 如果你的团队缺乏统一标准的环境,那么即使勤劳努力,不仅会极其耗时而且成果甚微,使用...

为什么程序员做外包会被瞧不起?

二哥,有个事想询问下您的意见,您觉得应届生值得去外包吗?公司虽然挺大的,中xx,但待遇感觉挺低,马上要报到,挺纠结的。

当HR压你价,说你只值7K,你该怎么回答?

当HR压你价,说你只值7K时,你可以流畅地回答,记住,是流畅,不能犹豫。 礼貌地说:“7K是吗?了解了。嗯~其实我对贵司的面试官印象很好。只不过,现在我的手头上已经有一份11K的offer。来面试,主要也是自己对贵司挺有兴趣的,所以过来看看……”(未完) 这段话主要是陪HR互诈的同时,从公司兴趣,公司职员印象上,都给予对方正面的肯定,既能提升HR的好感度,又能让谈判气氛融洽,为后面的发挥留足空间。...

面试:第十六章:Java中级开发(16k)

HashMap底层实现原理,红黑树,B+树,B树的结构原理 Spring的AOP和IOC是什么?它们常见的使用场景有哪些?Spring事务,事务的属性,传播行为,数据库隔离级别 Spring和SpringMVC,MyBatis以及SpringBoot的注解分别有哪些?SpringMVC的工作原理,SpringBoot框架的优点,MyBatis框架的优点 SpringCould组件有哪些,他们...

面试阿里p7,被按在地上摩擦,鬼知道我经历了什么?

面试阿里p7被问到的问题(当时我只知道第一个):@Conditional是做什么的?@Conditional多个条件是什么逻辑关系?条件判断在什么时候执...

无代码时代来临,程序员如何保住饭碗?

编程语言层出不穷,从最初的机器语言到如今2500种以上的高级语言,程序员们大呼“学到头秃”。程序员一边面临编程语言不断推陈出新,一边面临由于许多代码已存在,程序员编写新应用程序时存在重复“搬砖”的现象。 无代码/低代码编程应运而生。无代码/低代码是一种创建应用的方法,它可以让开发者使用最少的编码知识来快速开发应用程序。开发者通过图形界面中,可视化建模来组装和配置应用程序。这样一来,开发者直...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

《Oracle Java SE编程自学与面试指南》最佳学习路线图2020年最新版(进大厂必备)

正确选择比瞎努力更重要!

字节跳动面试官竟然问了我JDBC?

轻松等回家通知

面试官:你连SSO都不懂,就别来面试了

大厂竟然要考我SSO,卧槽。

实时更新:计算机编程语言排行榜—TIOBE世界编程语言排行榜(2020年6月份最新版)

内容导航: 1、TIOBE排行榜 2、总榜(2020年6月份) 3、本月前三名 3.1、C 3.2、Java 3.3、Python 4、学习路线图 5、参考地址 1、TIOBE排行榜 TIOBE排行榜是根据全世界互联网上有经验的程序员、课程和第三方厂商的数量,并使用搜索引擎(如Google、Bing、Yahoo!)以及Wikipedia、Amazon、YouTube统计出排名数据。

阿里面试官让我用Zk(Zookeeper)实现分布式锁

他可能没想到,我当场手写出来了

立即提问
相关内容推荐