Spark 连接 mongodb 用python 5C

按照官网教程
1
from pyspark.sql import SparkSession
spark = SparkSession \
.builder \
.appName("myApp") \
.config("spark.mongodb.input.uri", "mongodb://127.0.0.1/Spark-Test.Numbers") \
.config("spark.mongodb.output.uri", "mongodb://127.0.0.1/Spark-Test.Numbers") \
.getOrCreate()
df = spark.read.format("com.mongodb.spark.sql.DefaultSource").load()

结果报错Caused by: java.lang.ClassNotFoundException: com.mongodb.spark.sql.DefaultSource.DefaultSource

2
我看需要用--packages这个命令导入包
cmd>> pyspark --package org.mongodb.spark:mongo-spark-connector_2.11:2.2.0
报错:Exception in thread "main" java.lang.IllegalArgumentException: pyspark does not

3
完全按照官方来
cmd>>pyspark --conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.myCollection?readPreference=primaryPreferred"
--conf "spark.mongodb.output.uri=mongodb://127.0.0.1/test.myCollection"
--packages org.mongodb.spark:mongo-spark-connector_2.10:1.1.0
报错:'D:\SparkNew\spark\bin\pyspark2.cmd" --conf "spark.mongodb.input.uri' 不是内部或外部命令,
也不是可运行的程序或批处理文件。

不太明白我用的pyspark,怎么报错是pyspark2.cmd

那怎么才能跟mongodb连接呢,就是找不到DefaultSource.DefaultSource的事啊

4个回答

pip install -U pyspark

csdn4652
csdn4652 回复kopp: 我已经pip这个pyspark了,但还是不行,我发现在我C:\Users\Administrator\.ivy2里有mongodb的jar和cache,,我用的是pycharm连接器,是不是需要在环境里加一个这个目录
2 年多之前 回复
kopp
kopp 回复csdn4652: 所以让你安装这个python 的lib
2 年多之前 回复
csdn4652
csdn4652 我在shell里--pacackage都成功了,我觉得是我因为python用的不熟,python的环境没有搭建好,python没找到这个包,跟spark没啥关系
2 年多之前 回复
csdn4652
csdn4652 看过了,但是我出的问题这里没有,在shell里--pacackage都成功了,感觉是我因为python用的不熟,python的环境没有搭建好,python没找到这个包
2 年多之前 回复

mongodb是一种文档型数据库,作为一个适用于敏捷开发的数据库,mongodb的数据模式可以随着应用程序的发展而灵活地更新。但是mongodb适合一次查询的需求,对于统计、分析(尤其是在需要跨表、跨库的情况下)并不是太方便,我们可以用spark来处理mongodb数据

csdn4652
csdn4652 兄弟,你说啥呢
2 年多之前 回复

第三种方法把--conf 后面指令的引号去掉就行了,spark2.2.1亲测成功

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
如何过滤 spark 链接 mongodb 时 加载数据量

目前使用 的是mongodb官方提供的一个链接spark的jar包,代码如下 SparkConf conf = new SparkConf().set(...)//设置初始化属性 JavaSparkContext jsc = new JavaSparkContext(conf); //下面这步加载数据 Dataset<Row> explicitDF = MongoSpark.load(jsc).toDF(); 由于是这样直接加载的,根本 没地方在加载之前写过滤条件来控制加载的数据量的,所以导致直接加载了整表的数据,十分缓慢,各位有 什么方法或者建议提供参考下么,谢谢啦

scala spark 读取mongodb数据,并将数据写入hdfs示例

scala spark 读取mongodb数据(查询时会使用spark sql进行查询),并将数据写入hdfs示例

关于java操作spark读写mongodb

对spark一无所知,只需要在单机环境下跑起来就行,求大牛指教!!!!!!!!!

用python访问mongodb的一个问题

我想用python创建一个对象来接收mongodb中的一个文档,文档格式类似如下: { "_id" : ObjectId("59f2d36fb934f31fdc002485"), "Name" : "???1711", "Date" : "20 14/12/12", "data" : [ { "time" : "0901", "Open" : "13280.00", "Max" : "13280.00" , "Min" : "13280.00", "Close" : "13280.00", "Volume" : "0", "Amount" : "580", "S ettlement" : "0.00", "EXPMA1" : "13304.91", "EXPMA2" : "13301.51" }, { "time" : "0902", "Open" : "13280.00", "Max" : "13280.00", "Min" : "13280.00", "Close" : " 13280.00", "Volume" : "0", "Amount" : "580", "Settlement" : "0.00", "EXPMA1" : " 13301.08", "EXPMA2" : "13300.66" }]} data中包含的条数大概有300条左右。 ---应该怎么实现这个对象?先谢了。

用pymongo连接MongoDB出现"cannot pass logical session id "的问题

公司最近需要用到MongoDB,尝试用python的pymongo连接数据库, 但是在对数据库读写时就会报错,报错内容为: "**pymongo.errors.WriteError: cannot pass logical session id unless fully upgraded to featureCompatibilityVersion 3.6.**" pymongo的版本是"3.9.0",python的版本是"3.7"服务器mongoDB的版本是3.6.3 用robo 3T是可以操作数据库的,自己也尝试了一些方法,但是无效,还没有解决方向...... 下面是代码块,Thanks! ``` from pymongo import MongoClient clint=MongoClient('10.10.112.11',30010) db=clint.test collection=db.test student = { 'name': 'Jordan',} result = collection.insert_one(student) ```

mongodb连接python出现错误,找不到方法

我的是ubuntu系统,上面装的是python2.7,配置了virtualenv环境,在该环境内安装了mongodb(版本2.4.9),也装了pymongo(版本3.0.2),在连接数据库的时候写了下面代码: ``` from mongoengine import * import pymongo connection = pymongo.Connection('localhost',27017) #或者下面的也是同样的错误提示 from pymongo import Connection() ``` 都是提示AttributeError: 'module' object has no attribute 'Connection',请问是什么问题呢?希望各位老师不吝赐教,谢谢.

使用springboot连接mongodb,提示连接错误

我的mongodb是3.4版的,但是使用了好几种连接方式都是现实的这种错误,求指点 ![图片说明](https://img-ask.csdn.net/upload/201708/06/1502023512_231708.png)

spark计算mongodb数据,不知是环境的问题还是代码的问题,还没入门大神们帮帮忙啊

spark计算mongodb中的数据,总是计算不出结果,这些错误信息也找不到是为什么, 有一两次能计算出结果 。第一次接触这个东西 大神们帮帮忙啊 # 主要代码如下: SparkConf sparkConf = new SparkConf(); sparkConf.setMaster(SPARK_PATH); sparkConf.setAppName("Logs_Collect"); String[] jars = { "F:\\bigdata.jar" };// 将文件导出为jar包,不然会报classNotFound的异常 sparkConf.setJars(jars); JavaSparkContext ctx = new JavaSparkContext(sparkConf); Configuration config = new Configuration(); config.set("mongo.input.uri", MONGODB_URL + ".log"); config.set("mongo.output.uri", MONGODB_URL + ".testcollect"); Date start = DateUtil.getLastNDay(dateRange); Date end = DateUtil.getLastNDay(0); // 从mongodb取数据 JavaPairRDD<Object, BSONObject> mongoRDD = ctx.newAPIHadoopRDD(config, MongoInputFormat.class, Object.class, BSONObject.class); JavaPairRDD<Object, BSONObject> mongoRDD2 = mongoRDD .filter(new Function<Tuple2<Object, BSONObject>, Boolean>() { @Override public Boolean call(Tuple2<Object, BSONObject> arg0) throws Exception { if (((Date) arg0._2.get("time")).after(start) && ((Date) arg0._2.get("time")).before(end)) { return true; } else return false; } }); JavaPairRDD<Map<String, Object>, BSONObject> mongoRDD3 = mongoRDD2 .mapToPair(new PairFunction<Tuple2<Object, BSONObject>, Map<String, Object>, BSONObject>() { @Override public Tuple2<Map<String, Object>, BSONObject> call(Tuple2<Object, BSONObject> arg0) throws Exception { Object host = arg0._2.get("host"); Object content = arg0._2.get("content"); Map<String, Object> k = new HashMap<String, Object>(); k.put("host", host); k.put("content", content); return new Tuple2<Map<String, Object>, BSONObject>(k, arg0._2); } }); JavaPairRDD<Map<String, Object>, Integer> mongoRDD4 = mongoRDD3 .mapToPair(new PairFunction<Tuple2<Map<String, Object>, BSONObject>, Map<String, Object>, Integer>() { @Override public Tuple2<Map<String, Object>, Integer> call(Tuple2<Map<String, Object>, BSONObject> arg0) throws Exception { return new Tuple2<Map<String, Object>, Integer>(arg0._1, 1); } }); JavaPairRDD<Map<String, Object>, Integer> mongoRDD5 = mongoRDD4 .reduceByKey(new Function2<Integer, Integer, Integer>() { public Integer call(Integer v1, Integer v2) throws Exception { return v1 + v2; } }); Map<Map<String, Object>, Integer> map2 = mongoRDD5.collectAsMap(); # 运算过程console信息:(前面没有出错的就不贴了) [INFO] com.mongodb.hadoop.splitter.MongoCollectionSplitter - Created split: min={ "_id" : { "$oid" : "563dc85a002e25dc6bfd59cd"}}, max= { "_id" : { "$oid" : "563dc85b002e25dc6bfd7b1b"}} [INFO] com.mongodb.hadoop.splitter.MongoCollectionSplitter - Created split: min={ "_id" : { "$oid" : "563dc85b002e25dc6bfd7b1b"}}, max= null [Stage 0:> (0 + 4) / 79][DEBUG] org.spark-project.jetty.http.HttpParser - filled 173/173 [DEBUG] org.spark-project.jetty.server.Server - REQUEST /jars/bigdata.jar on BlockingHttpConnection@3190b6f6,g=HttpGenerator{s=0,h=-1,b=-1,c=-1},p=HttpParser{s=-5,l=10,c=0},r=1 [DEBUG] org.spark-project.jetty.server.Server - RESPONSE /jars/bigdata.jar 200 handled=true [WARN] org.apache.spark.scheduler.TaskSetManager - **Lost task 0.0 in stage 0.0 (TID 0, slave02): java.io.IOException: java.lang.ArrayIndexOutOfBoundsException** at org.apache.spark.util.Utils$.tryOrIOException(Utils.scala:1141) at org.apache.spark.SerializableWritable.readObject(SerializableWritable.scala:39) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:497) at java.io.ObjectStreamClass.invokeReadObject(ObjectStreamClass.java:1017) at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1896) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1801) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1351) at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1993) at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1918) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1801) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1351) at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1993) at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1918) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1801) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1351) at java.io.ObjectInputStream.readObject(ObjectInputStream.java:371) at org.apache.spark.serializer.JavaDeserializationStream.readObject(JavaSerializer.scala:68) at org.apache.spark.serializer.JavaSerializerInstance.deserialize(JavaSerializer.scala:94) at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:185) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:745) **Caused by: java.lang.ArrayIndexOutOfBoundsException** at java.lang.System.arraycopy(Native Method) at org.bson.BasicBSONDecoder$BSONInput._need(BasicBSONDecoder.java:404) at org.bson.BasicBSONDecoder$BSONInput.read(BasicBSONDecoder.java:452) at org.bson.BasicBSONDecoder$BSONInput.readCStr(BasicBSONDecoder.java:492) at org.bson.BasicBSONDecoder.decodeElement(BasicBSONDecoder.java:197) at org.bson.BasicBSONDecoder._decode(BasicBSONDecoder.java:153) at org.bson.BasicBSONDecoder.decode(BasicBSONDecoder.java:121) at com.mongodb.hadoop.input.MongoInputSplit.readFields(MongoInputSplit.java:185) at org.apache.hadoop.io.ObjectWritable.readObject(ObjectWritable.java:285) at org.apache.hadoop.io.ObjectWritable.readFields(ObjectWritable.java:77) at org.apache.spark.SerializableWritable$$anonfun$readObject$1.apply$mcV$sp(SerializableWritable.scala:43) at org.apache.spark.util.Utils$.tryOrIOException(Utils.scala:1138) ... 24 more

Python直接操作MongoDB数据库并进行清洗

![图片说明](https://img-ask.csdn.net/upload/201811/05/1541420956_659416.jpg) 我该怎么样对MongoDB中的数据进行操作,一直报错啊。谢谢谢谢

用python对mongodb的查找问题

在mongodb环境下可以用find()函数,但是在python环境下用find函数返回的是一个地址呢?请问怎么用能返回数据? mongodb下是正常的: ``` > db.posts.find() { "_id" : ObjectId("5587bf580e3c5241da958200"), "text" : "my first blog post", "tags" : [ "mongodb", "python", "pymongo" ], "author" : "jim" } { "_id" : ObjectId("5587c04d0e3c5241da958201"), "text" : "my second posts", "author" : "mike" } ``` 而在python下find_one可以,find()不行: ``` >>> import pymongo >>> from pymongo import MongoClient >>> client = MongoClient() >>> client = MongoClient('localhost',27017) >>> db = client.testdel >>> mycol = db.mycol >>> mycol.find_one() {u'description': u'MongoDB is no sql database', u'tags': [u'mongodb', u'database', u'NoSQL'], u'url': u'http://www.yiibai.com', u'title': u'MongoDB Overview', u'likes': 100.0, u'_id': ObjectId('5584b5a183a7c7ad13947748'), u'by': u'tutorials point'} >>> for post in mycol.find() File "<stdin>", line 1 for post in mycol.find() ^ SyntaxError: invalid syntax >>> for post in db.mycol.find() File "<stdin>", line 1 for post in db.mycol.find() ^ SyntaxError: invalid syntax >>> mycol.find() <pymongo.cursor.Cursor object at 0xb6d7bc4c> ``` 把错误也一块写进去了,希望不会让大家感觉混乱.为什么find_one()可以正常使用而find()就不行呢?希望老师不吝赐教.

pycharm连接mongodb服务器失败的问题

pycharm和mongodb都按照网上方法安装好了的,为了连接安装了pymongo,是用的pip安装的,而且在cmd里用pip list,显示pymongo是安装了得,但是为何在pycharm里,就是连不上mongodb??问题显示为 [MongoPlugin] Error when connecting to 666: com.mongodb.MongoTimeoutException: Timed out after 30000 ms while waiting for a server that matches ReadPreferenceServerSelector{readPreference=primary}. Client view of cluster state is {type=UNKNOWN, servers=[{address=localhost:27017, type=UNKNOWN, state=CONNECTING, exception={com.mongodb.MongoSocketOpenException: Exception opening socket}, caused by {java.net.ConnectException: Connection refused: connect}}]

JAVA如何连接mongoDB数据库

下载了一个jar包,也导入了eclipse中,但是建的测试文件总是出现错误![图片说明](https://img-ask.csdn.net/upload/201701/04/1483509193_348696.png)

如何在php中使用spark提交执行python脚本?

<div class="post-text" itemprop="text"> <p>I am working on an PHP application using MongoDB as a database platform. Collection in MongoDB has massive volume of data .Hence I have opted for Apache Spark to generate analytics.</p> <p>I need to execute spark-submit command from PHP application.But its execution doesn't return any output to PHP application.</p> <p>Following is code snippet</p> <pre><code>$result=shell_exec('./bin/spark-submit examples/src/main/python/pi.py'); print_r($result); </code></pre> <p>Please suggest me an appropriate solution</p> </div>

VBA可以连接mongodb么?

Excel VBA宏想连接到mongodb,并对其数据库进行查询并显示到excel,有这样的需求。现在不会连接数据库,ADODB.Connection.ConnectionString=?,应该如何填写?

使用Python怎么在MongoDB查询“距离当前时间超过30分钟”的数据??

Python中用 time.time()打印出来是点小数点的,例如1449489149.56,而在mongo中查询出来的是不带小数点的,例如1442547417700

我的maven项目连接mongodb出现链接异常

以前还好用,也插入过数据,但是今天就不行了。 项目是maven项目,连接的mongodb在远程服务器上,而且远程服务器的ip和我的ip不在一个网段内, 我改了ip和远程服务器在一个网段后,能ping通远程服务器,但是不能上网了。就出现了mongodb连接超时 具体异常如下 com.mongodb.MongoSocketOpenException: Exception opening socket at com.mongodb.connection.SocketStream.open(SocketStream.java:63) ~[mongodb-driver-core-3.1.0.jar:?] at com.mongodb.connection.InternalStreamConnection.open(InternalStreamConnection.java:114) ~[mongodb-driver-core-3.1.0.jar:?] at com.mongodb.connection.DefaultServerMonitor$ServerMonitorRunnable.run(DefaultServerMonitor.java:127) [mongodb-driver-core-3.1.0.jar:?] at java.lang.Thread.run(Thread.java:745) [?:1.8.0_40] Caused by: java.net.ConnectException: Connection refused: connect at java.net.DualStackPlainSocketImpl.waitForConnect(Native Method) ~[?:1.8.0_40] at java.net.DualStackPlainSocketImpl.socketConnect(DualStackPlainSocketImpl.java:85) ~[?:1.8.0_40] at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:345) ~[?:1.8.0_40] at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206) ~[?:1.8.0_40] at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188) ~[?:1.8.0_40] at java.net.PlainSocketImpl.connect(PlainSocketImpl.java:172) ~[?:1.8.0_40] at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392) ~[?:1.8.0_40] at java.net.Socket.connect(Socket.java:589) ~[?:1.8.0_40] at com.mongodb.connection.SocketStreamHelper.initialize(SocketStreamHelper.java:50) ~[mongodb-driver-core-3.1.0.jar:?] at com.mongodb.connection.SocketStream.open(SocketStream.java:58) ~[mongodb-driver-core-3.1.0.jar:?] ... 3 more

为什么在C#中连接mongoDB获取不到Database对象?

问题描述: 最近在学习Mongodb,最近准备弄一个C#操作Mongodb的Demo,可是按照网上的连接方法都获取不到 那个database对象,返回来的值一值为“null”,试了几种方法都没用。 自己将环境问题排除了,首先,访问http://localhost:27017能够正常返回: It looks like you are trying to access MongoDB over HTTP on the native driver port. 说明 mongdb的服务已经打开了。 另外,在vs的nuget中获取了mongodb.driver的C#驱动,版本2.8.0,并成功安装 安装后并引用命名空间的如下: ![图片说明](https://img-ask.csdn.net/upload/201905/08/1557247539_330075.png) 另外,在mongodb数据文档中 已经建立名为“ School”数据库,在该database下面 已经存在名为 student的Collection并且有数据,如下: ![图片说明](https://img-ask.csdn.net/upload/201905/08/1557247933_678823.png) 但就是在c#中获取不到School对象,代码如下,请各路大神诊断是什么问题。 using System; //首先获取Nuget 中的安装包 mongocsharpdriver,安装并引用命名空间 using MongoDB; using MongoDB.Driver; using MongoDB.Driver.Core; using MongoDB.Bson; namespace MongoDBDemo { class Program { //Collection名 static string CollectionName = "student"; static void Main(string[] args) { //127.0.0.1改为Localhost也没用 string connectionString = "mongodb://127.0.0.1:27017"; //数据库名 string databaseName = "School"; //var mongo = new Mongo(); //mongo.Connect(); // MongoDB.Driver.MongoClient mongoClient = new MongoDB.Driver.MongoClient(connectionString); 下面这个db 获取的值为null MongoDatabase db = mongoClient.GetDatabase(databaseName) as MongoDatabase; MongoCollection<BsonDocument> mongoCollection = db.GetCollection<BsonDocument>(CollectionName) as MongoCollection<BsonDocument>; } } } 由于CSDN新手,没币,所以无法悬赏,请各路大神包涵

python+django能够同时使用mongodb和mysql两种数据库引擎吗?

各位朋友们好,我原来做一个项目:因为表没有关联,所以用的是非关系型数据库mongodb,项目开发环境用的是python+django,部署在ubuntu上。当时用了pymongo做python和mongodb的连接,用mongoengine做了django与mongodb的连接。 现在来了新的需求,表之间有关联,因此我准备添加一个mysql数据库。 请教各位朋友们,django展示网页的时候,能够同时展示mongodb中表的内容和mysql中表的内容吗?settings.py中应该如何配置数据库呢? 希望朋友们能指点一下,万分感谢。

通过Laravel 5.2连接Mongodb时出错

<div class="post-text" itemprop="text"> <p><strong>Getting ssl error while connecting monogoDb from laravel 5.2.</strong> Added the connection string in config/database.php file. I used jenssegers/mongodb.</p> <p>Here is the configuration :</p> <pre><code> 'connections' =&gt; [ 'mongodb' =&gt; [ 'driver' =&gt; 'mongodb', 'host' =&gt; ['hostname'], 'port' =&gt; 'port', 'database' =&gt; 'xxxx', 'username' =&gt; 'xxxx', 'password' =&gt; 'xxxx', 'options' =&gt; [ 'ssl' =&gt; 'true', 'db' =&gt; 'xxx' ], 'driver_options' =&gt; [ 'context' =&gt; stream_context_create([ 'ssl' =&gt; [ 'local_cert' =&gt; public_path().'/xxx.pem', 'cafile' =&gt; public_path().'/xxx.pem', 'allow_self_signed' =&gt; true, 'verify_peer' =&gt; true, 'verify_peer_name' =&gt; true, 'verify_expiry' =&gt; true, ] ]) ] ] ], </code></pre> <p>And changed default connection in database.php </p> <p><strong>'default' =&gt; env('DB_CONNECTION', 'mongodb')</strong></p> <p>Whenever i tried this am getting the response like:<strong>Failed to connect to: Cannot setup SSL, is ext/openssl loaded?.</strong> openssl and ssl support are enabled in phpinfo().</p> <p>Is there a way to solve it out?</p> <p>Thanks</p> </div>

学Python后到底能干什么?网友:我太难了

感觉全世界营销文都在推Python,但是找不到工作的话,又有哪个机构会站出来给我推荐工作? 笔者冷静分析多方数据,想跟大家说:关于超越老牌霸主Java,过去几年间Python一直都被寄予厚望。但是事实是虽然上升趋势,但是国内环境下,一时间是无法马上就超越Java的,也可以换句话说:超越Java只是时间问题罢。 太嚣张了会Python的人!找工作拿高薪这么简单? https://edu....

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

为什么程序猿都不愿意去外包?

分享外包的组织架构,盈利模式,亲身经历,以及根据一些外包朋友的反馈,写了这篇文章 ,希望对正在找工作的老铁有所帮助

Java校招入职华为,半年后我跑路了

何来 我,一个双非本科弟弟,有幸在 19 届的秋招中得到前东家华为(以下简称 hw)的赏识,当时秋招签订就业协议,说是入了某 java bg,之后一系列组织架构调整原因等等让人无法理解的神操作,最终毕业前夕,被通知调往其他 bg 做嵌入式开发(纯 C 语言)。 由于已至于校招末尾,之前拿到的其他 offer 又无法再收回,一时感到无力回天,只得默默接受。 毕业后,直接入职开始了嵌入式苦旅,由于从未...

Java基础知识面试题(2020最新版)

文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性?原理是什么Java语言有哪些特点什么是字节码?采用字节码的最大好处是什么什么是Java程序的主类?应用程序和小程序的主类有何不同?Java应用程序与小程序之间有那些差别?Java和C++的区别Oracle JDK 和 OpenJDK 的对比基础语法数据类型Java有哪些数据类型switc...

@程序员:GitHub这个项目快薅羊毛

今天下午在朋友圈看到很多人都在发github的羊毛,一时没明白是怎么回事。 后来上百度搜索了一下,原来真有这回事,毕竟资源主义的羊毛不少啊,1000刀刷爆了朋友圈!不知道你们的朋友圈有没有看到类似的消息。 这到底是啥情况? 微软开发者平台GitHub 的一个区块链项目 Handshake ,搞了一个招募新会员的活动,面向GitHub 上前 25万名开发者派送 4,246.99 HNS币,大约价...

用python打开电脑摄像头,并把图像传回qq邮箱【Pyinstaller打包】

前言: 如何悄悄的打开朋友的摄像头,看看她最近过的怎么样,嘿嘿!这次让我带你们来实现这个功能。 注: 这个程序仅限在朋友之间开玩笑,别去搞什么违法的事情哦。 代码 发送邮件 使用python内置的email模块即可完成。导入相应的代码封装为一个send函数,顺便导入需要导入的包 注: 下面的代码有三处要修改的地方,两处写的qq邮箱地址,还有一处写的qq邮箱授权码,不知道qq邮箱授权码的可以去百度一...

做了5年运维,靠着这份监控知识体系,我从3K变成了40K

从来没讲过运维,因为我觉得运维这种东西不需要太多的知识面,然后我一个做了运维朋友告诉我大错特错,他就是从3K的运维一步步到40K的,甚至笑着说:我现在感觉自己什么都能做。 既然讲,就讲最重要的吧。 监控是整个运维乃至整个产品生命周期中最重要的一环,事前及时预警发现故障,事后提供详实的数据用于追查定位问题。目前业界有很多不错的开源产品可供选择。选择一款开源的监控系统,是一个省时省力、效率最高的方...

C++(继承):19---虚基类与虚继承(virtual)

一、菱形继承 在介绍虚继承之前介绍一下菱形继承 概念:A作为基类,B和C都继承与A。最后一个类D又继承于B和C,这样形式的继承称为菱形继承 菱形继承的缺点: 数据冗余:在D中会保存两份A的内容 访问不明确(二义性):因为D不知道是以B为中介去访问A还是以C为中介去访问A,因此在访问某些成员的时候会发生二义性 缺点的解决: 数据冗余:通过下面“虚继承”技术来解决(见下) 访问...

再不跳槽,应届毕业生拿的都比我多了!

跳槽几乎是每个人职业生涯的一部分,很多HR说“三年两跳”已经是一个跳槽频繁与否的阈值了,可为什么市面上有很多程序员不到一年就跳槽呢?他们不担心影响履历吗? PayScale之前发布的**《员工最短任期公司排行榜》中,两家码农大厂Amazon和Google**,以1年和1.1年的员工任期中位数分列第二、第四名。 PayScale:员工最短任期公司排行榜 意外的是,任期中位数极小的这两家公司,薪资...

我以为我学懂了数据结构,直到看了这个导图才发现,我错了

数据结构与算法思维导图

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

华为初面+综合面试(Java技术面)附上面试题

华为面试整体流程大致分为笔试,性格测试,面试,综合面试,回学校等结果。笔试来说,华为的难度较中等,选择题难度和网易腾讯差不多。最后的代码题,相比下来就简单很多,一共3道题目,前2题很容易就AC,题目已经记不太清楚,不过难度确实不大。最后一题最后提交的代码过了75%的样例,一直没有发现剩下的25%可能存在什么坑。 笔试部分太久远,我就不怎么回忆了。直接将面试。 面试 如果说腾讯的面试是挥金如土...

和黑客斗争的 6 天!

互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...

讲一个程序员如何副业月赚三万的真实故事

loonggg读完需要3分钟速读仅需 1 分钟大家好,我是你们的校长。我之前讲过,这年头,只要肯动脑,肯行动,程序员凭借自己的技术,赚钱的方式还是有很多种的。仅仅靠在公司出卖自己的劳动时...

win10暴力查看wifi密码

刚才邻居打了个电话说:喂小灰,你家wifi的密码是多少,我怎么连不上了。 我。。。 我也忘了哎,就找到了一个好办法,分享给大家: 第一种情况:已经连接上的wifi,怎么知道密码? 打开:控制面板\网络和 Internet\网络连接 然后右击wifi连接的无线网卡,选择状态 然后像下图一样: 第二种情况:前提是我不知道啊,但是我以前知道密码。 此时可以利用dos命令了 1、利用netsh wlan...

上班一个月,后悔当初着急入职的选择了

最近有个老铁,告诉我说,上班一个月,后悔当初着急入职现在公司了。他之前在美图做手机研发,今年美图那边今年也有一波组织优化调整,他是其中一个,在协商离职后,当时捉急找工作上班,因为有房贷供着,不能没有收入来源。所以匆忙选了一家公司,实际上是一个大型外包公司,主要派遣给其他手机厂商做外包项目。**当时承诺待遇还不错,所以就立马入职去上班了。但是后面入职后,发现薪酬待遇这块并不是HR所说那样,那个HR自...

女程序员,为什么比男程序员少???

昨天看到一档综艺节目,讨论了两个话题:(1)中国学生的数学成绩,平均下来看,会比国外好?为什么?(2)男生的数学成绩,平均下来看,会比女生好?为什么?同时,我又联想到了一个技术圈经常讨...

总结了 150 余个神奇网站,你不来瞅瞅吗?

原博客再更新,可能就没了,之后将持续更新本篇博客。

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

女朋友过生日,我花了20分钟给她写了一个代理服务器

女朋友说:“看你最近挺辛苦的,我送你一个礼物吧。你看看想要什么,我来准备。” 我想了半天,从书到鞋子到电子产品最后到生活用品,感觉自己什么都不缺,然后和她说:“你省省钱吧,我什么都不需要。” 她坚持要送:“不行,你一定要说一个礼物,我想送你东西了。” 于是,我认真了起来,拿起手机,上淘宝逛了几分钟,但还是没能想出来缺点什么,最后实在没办法了:“这样吧,如果你实在想送东西,那你就写一个代理服务器吧”...

记一次腾讯面试,我挂在了最熟悉不过的队列上……

腾讯后台面试,面试官问:如何自己实现队列?

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

程序员写出这样的代码,能不挨骂吗?

当你换槽填坑时,面对一个新的环境。能够快速熟练,上手实现业务需求是关键。但是,哪些因素会影响你快速上手呢?是原有代码写的不够好?还是注释写的不够好?昨夜...

带了6个月的徒弟当了面试官,而身为高级工程师的我天天修Bug......

即将毕业的应届毕业生一枚,现在只拿到了两家offer,但最近听到一些消息,其中一个offer,我这个组据说客户很少,很有可能整组被裁掉。 想问大家: 如果我刚入职这个组就被裁了怎么办呢? 大家都是什么时候知道自己要被裁了的? 面试软技能指导: BQ/Project/Resume 试听内容: 除了刷题,还有哪些技能是拿到offer不可或缺的要素 如何提升面试软实力:简历, 行为面试,沟通能...

!大部分程序员只会写3年代码

如果世界上都是这种不思进取的软件公司,那别说大部分程序员只会写 3 年代码,恐怕就没有程序员这种职业。

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

2020阿里全球数学大赛:3万名高手、4道题、2天2夜未交卷

阿里巴巴全球数学竞赛( Alibaba Global Mathematics Competition)由马云发起,由中国科学技术协会、阿里巴巴基金会、阿里巴巴达摩院共同举办。大赛不设报名门槛,全世界爱好数学的人都可参与,不论是否出身数学专业、是否投身数学研究。 2020年阿里巴巴达摩院邀请北京大学、剑桥大学、浙江大学等高校的顶尖数学教师组建了出题组。中科院院士、美国艺术与科学院院士、北京国际数学...

立即提问
相关内容推荐