Spark 连接 mongodb 用python 5C

按照官网教程
1
from pyspark.sql import SparkSession
spark = SparkSession \
.builder \
.appName("myApp") \
.config("spark.mongodb.input.uri", "mongodb://127.0.0.1/Spark-Test.Numbers") \
.config("spark.mongodb.output.uri", "mongodb://127.0.0.1/Spark-Test.Numbers") \
.getOrCreate()
df = spark.read.format("com.mongodb.spark.sql.DefaultSource").load()

结果报错Caused by: java.lang.ClassNotFoundException: com.mongodb.spark.sql.DefaultSource.DefaultSource

2
我看需要用--packages这个命令导入包
cmd>> pyspark --package org.mongodb.spark:mongo-spark-connector_2.11:2.2.0
报错:Exception in thread "main" java.lang.IllegalArgumentException: pyspark does not

3
完全按照官方来
cmd>>pyspark --conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.myCollection?readPreference=primaryPreferred"
--conf "spark.mongodb.output.uri=mongodb://127.0.0.1/test.myCollection"
--packages org.mongodb.spark:mongo-spark-connector_2.10:1.1.0
报错:'D:\SparkNew\spark\bin\pyspark2.cmd" --conf "spark.mongodb.input.uri' 不是内部或外部命令,
也不是可运行的程序或批处理文件。

不太明白我用的pyspark,怎么报错是pyspark2.cmd

那怎么才能跟mongodb连接呢,就是找不到DefaultSource.DefaultSource的事啊

4个回答

pip install -U pyspark

csdn4652
csdn4652 回复kopp: 我已经pip这个pyspark了,但还是不行,我发现在我C:\Users\Administrator\.ivy2里有mongodb的jar和cache,,我用的是pycharm连接器,是不是需要在环境里加一个这个目录
接近 2 年之前 回复
kopp
kopp 回复csdn4652: 所以让你安装这个python 的lib
接近 2 年之前 回复
csdn4652
csdn4652 我在shell里--pacackage都成功了,我觉得是我因为python用的不熟,python的环境没有搭建好,python没找到这个包,跟spark没啥关系
接近 2 年之前 回复
csdn4652
csdn4652 看过了,但是我出的问题这里没有,在shell里--pacackage都成功了,感觉是我因为python用的不熟,python的环境没有搭建好,python没找到这个包
接近 2 年之前 回复

mongodb是一种文档型数据库,作为一个适用于敏捷开发的数据库,mongodb的数据模式可以随着应用程序的发展而灵活地更新。但是mongodb适合一次查询的需求,对于统计、分析(尤其是在需要跨表、跨库的情况下)并不是太方便,我们可以用spark来处理mongodb数据

csdn4652
csdn4652 兄弟,你说啥呢
接近 2 年之前 回复

第三种方法把--conf 后面指令的引号去掉就行了,spark2.2.1亲测成功

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Spark连接MongoDB使用教程
一、前期准备 源自MongoDB官方文档,https://docs.mongodb.com/spark-connector/v1.1/getting-started/  二、编程实现 1. maven工程添加依赖 maven中央仓库搜索:http://mvnrepository.com/artifact/org.mongodb.spark/mongo-spark-connector  ...
spark连接mongodb
主要是spark 用JAVA语言连接mysql , mongodb 数据库的 CRUD 例子;附件有运行使用的截图,运行入口在Test目录的测试用例;
spark 连接 mongodb 使用例子
这个主要是spark 用JAVA语言连接mysql , mongodb 数据库的 CRUD 例子;附件有运行使用的截图,运行入口在Test目录的测试用例;仅供参考!
mongodb 的优化 与使用spark连接
1.千万级数据量的mongodb 结果集在百万级上,性能如何?rn2.使用spark连接与处理mongodb数据,是否比JavaEE快?
spark连接mongodb失败com.mongodb.ConnectionString
scala> MongoSpark.save(documents)rnrn java.lang.NoClassDefFoundError: com/mongodb/ConnectionStringrn at com.mongodb.spark.config.MongoCompanionConfig$$anonfun$4.apply(MongoCompanionConfig.scala:254)rnat com.mongodb.spark.config.MongoCompanionConfig$$anonfun$4.apply(MongoCompanionConfig.scala:254)rnat scala.util.Try$.apply(Try.scala:161)rnat com.mongodb.spark.config.MongoCompanionConfig$class.connectionString(MongoCompanionConfig.scala:254)rnat com.mongodb.spark.config.WriteConfig$.connectionString(WriteConfig.scala:36)rnat com.mongodb.spark.config.WriteConfig$.apply(WriteConfig.scala:71)rnrn只要提交action,往mongoDB保存数据,就提示连接失败.....rn我的版本:spark1.6.0,scala2.10.4,mongo3.4.7rn连接jar也有了:mongo-spark-connector_2.10-1.1.0.jarrn到底什么原因??????
Python:数据库MySQL连接、MongoDB连接
Python:数据库MySQL连接 import pymysql # connect = pymysql.connect(host='localhost') connect = pymysql.connect(host='127.0.0.1', port = 3309, user = 'root', passwd = 'root', db = '...
Python(一) 连接mongodb
  新建配置文件 config.ini [db] DB_USER = test_db DB_PASSWORD = XXX6778a 新建配置文件 mongo_config.ini import configparser def getConfig(dbkey): Config = configparser.ConfigParser() Config.read("co...
Python mongoDB 客户端连接
#coding:utf-8 import pymongoif __name__ == '__main__': client = pymongo.MongoClient("12.8.4.48", 27100) db = client.resource print db.name result = db.mongo_question_json.find({"question
python用pymongo连接MongoDB基本操作
一、先写个配置文件config.py MONGO_URI = 'localhost'     #本地 MONGO_DB = 'dbname' MONGO_TABLE = 'tbname'   二、连接并操作数据库 import pymongo from config import *     #导入配置文件   client = pymongo.MongoClient(MONGO...
用mongoose连接Mongodb
Sails是基于Express的开发框架,能够构建项目,封装了众多细节,结构清晰,另外还有众多的扩展。nn本课程通过项目驱动式来学习sails框架的相关知识,包括:sails框架基础;拦截器;ORM;全文检索引擎(sphinx);操作Mongodb;memcached等数据源知识点。
用sailsORM连接Mongodb
Sails是基于Express的开发框架,能够构建项目,封装了众多细节,结构清晰,另外还有众多的扩展。nn本课程通过项目驱动式来学习sails框架的相关知识,包括:sails框架基础;拦截器;ORM;全文检索引擎(sphinx);操作Mongodb;memcached等数据源知识点。
mongodb连接用的命令
mongodb://localhost:27017/myconnection string 连接字符串应该是这个东西
spark连接mongodb(权限认证)示例
SparkSession spark = SparkSession.builder() .appName("spot") .config("spark.mongodb.output.uri", "mongodb://spark:spark@" + mgohost + ":27017/admin") .config("spark.mongodb.output.database","demo")
【Spark五十】Spark读写MongoDB
    1. Spark写入MongoDB的实例代码 如下代码实现将RDD写入到MongoDB的spark数据库的oc集合(Collection)中    package spark.examples.db import org.apache.hadoop.conf.Configuration import org.apache.spark.{SparkContext, Sp...
Python连接MongoDB分片集群
Python连接MongoDB分片集群 首先需要说明的是:首先mongDB的分片集群是我自己建的,没有使用认证,所以人人都能连接,其次使用pymongo来连接集群。 我们看一下官方的连接string: mongodb://[username:password@]host1[:port1][,host2[:port2],…[,hostN[:portN]]][/[database][?optio...
python 连接mongodb跨数据库查询
在使用mongodb的时候,遇到一个这样的情况,连接数据库的时候,使用的是admin 数据库,但是我需要查询的是 另一个数据库test-msc-db ,这里涉及到跨库查询。 from pymongo import MongoClient from buisness.GetToken import GetToken from util.readConfig import ReadConfig imp...
MongoDB与python连接及读取信息
# -*- coding: utf-8 -*- __author__ = 'zww' import pprint from pymongo import MongoClient from bson import json_util as jsonb import json import csv client = MongoClient('localhost', 27017) db = clie...
Python连接Mongodb用户名密码
Python 连接 Mongodb  用户登录  获取表中数据 import pymongo myclient = pymongo.MongoClient('mongodb://root:123456@localhost:27017/') mydb = myclient["数据库名称"] mycol = mydb["表名"] for x in mycol.find(): print(x)...
python连接mongodb密码认证
from pymongo import MongoClient #建立和数据库系统的连接,指定host及port参数 client = MongoClient('localhost', 27017) #连接mydb数据库,账号密码认证 db = client.mydb db.authenticate("account", "password") #连接表 collection = d
MongoDB学习(一)——用Java连接MongoDB
1.从http://www.mongodb.org下载java驱动 2.连接MongoDB代码 package com.nexusy.mongodb; import java.net.UnknownHostException; import java.util.List; import com.mongodb.Mongo; public class MongoDBMain ...
Python-MongoDB连接搭建(二):Python连接MongoDB
上篇文章我们介绍了MongoDB数据库的安装及相关配置,今天我们通过Python来操作MongoDB。 (1)MongoDB数据库用户管理 与其他数据库(Oracle,Mysql)等类似,MongoDB也提供了用户管理的功能,还记得上篇文章里的.conf文件吗?再贴一遍:
用MongoDB和Spark实现电影推荐
MovieWeb是一个电影相关的网站,它提供的功能包括搜索电影信息、排名或者电影明星资料等。它拥有10000部电影的信息,70000个用户,和超过1千万的电影评分。借用它的搜索目录,用户可以通过类型分类、排名和片名浏览等方式检索电影。但如何解决电影智能推荐的问题呢?近日MongoDB分享了他们结合Hadoop的经验。\\MovieWeb基于Python。在构建电影推荐系统时,使用flask和PyM...
spark写入数据到mongodb
将HIVE库里的表数据通过saprk写入到mongodb库里的实现 1、到mongodb的官网上下载mongo-spark-connector_2.10-1.1.0 2、下载mongodb-driver-core-3.6.0.jar ,mongodb-driver-3.6.0.jar,bson-3.6.0.jar 三者的版本必须一致 使用scala连接mongodb,官网上有相关的文档说明
Spark与mongodb的结合
Mongodb Mongodb的安装 实验环境:ubuntu16.04 安装:suso apt-get install mongodb 查看版本:mongo -version 启动和关闭mongodb service mongodb start service mongodb stop shell命令使用mongodb: mongo Spark-MongoDB M
MongoDB与Spark分布式系统集成测试
MongoDB与Spark分布式系统集成测试 1.Spark 2.2.1分布式部署,修改/etc/profile配置文件。(Spark 下载部署过程略) export SPARK_HOME=/usr/local/spark-2.2.1-bin-hadoop2.6 export PATH=.:$JAVA_HOME/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin:$S...
【Spark】Spark连接mysql数据库
package com.menkoudai.loan.data.spark.scala import java.sql.{Connection, DriverManager, PreparedStatement} import java.util.Properties import org.apache.spark.sql.{DataFrame, SQLContext} import org....
windows下mongodb设置用户名密码&用python连接
windows下mongodb设置用户名密码&用python连接本文博客链接:http://blog.csdn.net/jdh99,作者:jdh,转载请注明. 环境:主机:WIN10python版本:3.5开发环境:pyCharmmongodb设置用户名密码:编写mongodb配置文件mongodb.confdbpath=F:\test\db1 logpath=F:\test\log\mongod
MongoDB的连接
  1、MongoDB分布式部署之分片配置   http://eshilin.blog.163.com/blog/static/13288033020106215227346/   主要说明了对于MongoDB总分片和分数据集的操作过程    2、MongoDB分布式部署之数据复制 http://eshilin.blog.163.com/blog/static/1328803302...
MongoDB 连接
NULL 博文链接:https://username2.iteye.com/blog/1574724
python 连接mongodb 获取某个key的值
输出某个key 的值,因需求且截断值取某段字符 #!/usr/local/python2.7/bin/python2.7 import os import logging import tarfile from  pymongo import MongoClient client = MongoClient('192.168.11.77') db = client.files
python连接mongodb并进行用户验证
mongodb安装之后默认是没有用户和密码的,可以容易的接入,但是真实使用中肯定不会是这样的,需要有用户验证,研究了好久,记录一下: 1 mongo shell 添加用户: >> use admin; >> db.createUser({ user:'username', pwd:'pwd', roles:[{role:'readWrite',db:'dynamo'}] })
【数据库】mongodb 安装/账号管理/python连接
第一:安装 1、新建文件夹       data文件夹下新建db文件夹       log文件夹下新建mongodb.log【非强求】       bin同级目录新建mongodb.config文件 2、运行mongodb服务 mongod.exe dbpath H:/mongo/data/db 3、配置成系统服务【A 直接运行命令】      管理员权限运行cmd mon...
python爬虫--连接MongoDB 存数据
之前做爬虫 爬取贴吧松爱协会的内容是存在txt文件的 这个并不好 所以这一次存在Mongdb 这次是在windows 安在Mongodb里  官网下载  https://www.mongodb.com/download-center?jmp=nav#community 启动: mongod.exe --logpath "c:\data\log\mongodb.log"
MongoDB创建用户和Java连接MongoDB
> use test switched to db test > db.createUser({user:"xiuye",pwd:"123456",roles:[]}) Successfully added user: { "user" : "xiuye", "roles" : [ ] } > show tables; system.users system.version > db.system
Python中MongoDB的连接与增删改查操作
导包 import pymongo 若没有该模块,进入cmd, pip install pymongo 连接mongodb mongoclient = pymongo.MongoClient("localhost",port=27017) localhost表示本机ip,也可以用回环地址127.0.0.1 ,或者用自己的服务器地址, 而mongodb默认port...
阿里云数据库 MongoDB 版Python 连接示例
安装pymongo import uuidfrom pymongo import MongoClient #两地址 CONN_ADDR1 = 'demotest-1.mongodb.tbc3.newtest.rdstest.aliyun-inc.com:27017' CONN_ADDR2 = 'demotest-2.mongodb.tbc3.newtest.rd...
python连接MySQL,mongodb, redis的示例程序
MySQL # -*- coding: utf-8 -*- # Define your item pipelines here # # Don't forget to add your pipeline to the ITEM_PIPELINES setting # See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html ...
mongodb连接python出现错误,找不到方法
我的是ubuntu系统,上面装的是python2.7,配置了virtualenv环境,在该环境内安装了mongodb(版本2.4.9),也装了pymongo(版本3.0.2),在连接数据库的时候写了下面代码:nnn```nfrom mongoengine import *nimport pymongonconnection = pymongo.Connection('localhost',27017)n#或者下面的也是同样的错误提示nfrom pymongo import Connection()n```n都是提示AttributeError: 'module' object has no attribute 'Connection',请问是什么问题呢?希望各位老师不吝赐教,谢谢.n
本地python连接虚拟机中的mongodb
本地python连接虚拟机中的mongodb 1.修改配置虚拟机中mongodb的配置文件,让其允许远程访问 (1)在虚拟机终端输入sudo vim /etc/mongodb.conf ,这是使用vim来打开mongoDB的配置文件,具体打开的配置文件位置以自己mongodb的安装位置为准 (2)使用vim打开后,将bind_ip修改为0.0.0.0 ,表示允许远程主机登陆访问。然后单击esc...
python 连接mongodb实现增删改查实例
参考学习路径:https://www.yiibai.com/mongodb/mongodb_python.html 下面是小案例: # -*- coding:utf-8 -*- from pymongo import MongoClient settings = { "ip":'127.0.0.1', #ip "port":27017, #端口 ...
相关热词 c#检测非法字符 c#双屏截图 c#中怎么关闭线程 c# 显示服务器上的图片 api嵌入窗口 c# c# 控制网页 c# encrypt c#微信网页版登录 c# login 居中 c# 考试软件