Python代码怎么在spark集群上跑?大神解答啊 1C
 目前有一个用Python写的数据预处理的代码,不知道怎么在集群上跑,希望知道的大神指导下。
SS51SS
51号公路 解决了吗,有时间能够帮我一下吗,微信:CH958400CH
大约一年之前 回复

2个回答

使用 pyshell 或 spark -shell命令可以运行py脚本,具体的使用方法, 楼主可以上网查,关于这方面有很多教程

使用 pyspark 或 spark -shell命令可以运行py脚本,具体的使用方法, 楼主可以上网查,关于这方面有很多教程

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
请问一下 我在spark单机上跑了个小程序成功了 ,然后在集群上就报错了

请问一下 我在spark单机上跑了个小程序成功了 ,然后在集群上就报错了,谁能告诉我是为什么嘛?报错代码如下:我是用python写的 ![图片说明](https://img-ask.csdn.net/upload/201711/09/1510215458_117623.png)

如何把python代码放到某个服务器上运行?阿里云,新浪云?有免费的吗?

如何把python代码放到某个服务器上运行?阿里云,新浪云?有免费的吗? 代码有用到redis数据库,python2.7

Visual Code 运行python代码报错

Vs code 运行python代码报Timeout ![图片说明](https://img-ask.csdn.net/upload/201810/15/1539589546_833245.png) 但是右键文件在终端运行可以跑出结果 ![图片说明](https://img-ask.csdn.net/upload/201810/15/1539589616_179782.png) 还有Vs code python源这里的anaconda也不对,原来应该是就是anaconda现在变成了图里这样 ![图片说明](https://img-ask.csdn.net/upload/201810/15/1539589735_301689.png) 求大神解答!

大神求解答 以下python代码为什么错了?

from sklearn.cluster import KMeans kmeans=KMeans(n_clusters=3,init='random') # initialization kmeans.fit(data) # actual execution

如果获取一段python代码的执行结果?

就是类似一个在线的python代码编辑器。 将代码传到服务器端执行,并且显示执行结果。 服务器端的开发用的也是python代码,求教我该如何执行这段代码并且获得执行结果呢? 比如说传到服务器的代码是: *** print 'test' print 1+2 print bb *** 输出应该是: *** test 3 NameError: name 'test' is not defined *** 想要得到这3段输出(包括错误信息),该怎么做呢?

C语言代码如何转换为python代码?linux和windows的操作分别是什么?

如题,最近在做大作业,怎样将一段C语言代码转换为python代码,,,急急急,在线等。。

Spark 连接 mongodb 用python

按照官网教程 1 from pyspark.sql import SparkSession spark = SparkSession \ .builder \ .appName("myApp") \ .config("spark.mongodb.input.uri", "mongodb://127.0.0.1/Spark-Test.Numbers") \ .config("spark.mongodb.output.uri", "mongodb://127.0.0.1/Spark-Test.Numbers") \ .getOrCreate() df = spark.read.format("com.mongodb.spark.sql.DefaultSource").load() 结果报错Caused by: java.lang.ClassNotFoundException: com.mongodb.spark.sql.DefaultSource.DefaultSource 2 我看需要用--packages这个命令导入包 cmd>> pyspark --package org.mongodb.spark:mongo-spark-connector_2.11:2.2.0 报错:Exception in thread "main" java.lang.IllegalArgumentException: pyspark does not 3 完全按照官方来 cmd>>pyspark --conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.myCollection?readPreference=primaryPreferred" --conf "spark.mongodb.output.uri=mongodb://127.0.0.1/test.myCollection" --packages org.mongodb.spark:mongo-spark-connector_2.10:1.1.0 报错:'D:\SparkNew\spark\bin\pyspark2.cmd" --conf "spark.mongodb.input.uri' 不是内部或外部命令, 也不是可运行的程序或批处理文件。 不太明白我用的pyspark,怎么报错是pyspark2.cmd 那怎么才能跟mongodb连接呢,就是找不到DefaultSource.DefaultSource的事啊

初学Python 求各位大神解答

AttributeError: 'unicode' object has no attribute 'select'

3D卷积神经网络python代码

请问哪里有3D卷积神经网络开源python代码吗?小白求学习?

python3.6中输入代码运行没有结果,只有一个中括号,求大神解答

小白刚刚上手,模仿写了一段代码,但是一直运行没有结果,求解答,代码如下,跪谢 from bs4 import BeautifulSoup import requests url=("https://m.weibo.cn/?jumpfrom=wapv4&tip=1") vb_data=requests.get(url) soup=BeautifulSoup(vb_data.text,"lxml") imgs=soup.select("div.media-pic-list") print(imgs)

BP神经网络对股票未来进行预测的Python代码

如何用BP神经网络通过已获取的股票的开盘价收盘价最高最低价的数据对未来未获取数据的股票进行之后的预测,激活函数用sigmod即可。总而言之,就是用现在预测未来。求Python代码

Python代码正确,运行无结果?

Python小白求教 为什么输入是正确的,就是不出结果? ![图片说明](https://img-ask.csdn.net/upload/201812/08/1544201931_240432.png)

求大神指点Python温度转换代码报错原因,拜托了

想设计一段温度转换的代码 请编写程序将用户输入华氏度转换为摄氏度,或将输入的摄氏度转换为华氏度。 ‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‫‬ 转换算法如下:(C表示摄氏度、F表示华氏度) ‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‫‬ C = ( F - 32 ) / 1.8 ‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‫‬ F = C * 1.8 + 32 ‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬ 下面是dai'ma #tempstr.py temp=input("请输入带有符号的温度值:") if temp[-1] in ["c","C"]: c=eval(temp[0,-1])*1.8+32 print("转换后的温度是{:.2f}F".format(c)) elif temp[-1] in ["F","f"]: F=(eval(temp[0,-1])-32)/1.8 print("转换后的温度是{:.2f}C".format(F)) else: print("输入格式错误")

pycharm opencv_python 代码补全问题

试了好几个版本 opencv-python 都不行 按网上修改—init—.py文件也不行 不过我发现了一个奇怪现象 当我刚安装 包的时候 ,pycharm 重新加载包中途有代码补全 ctrl+左键 进去imread函数发 ![图片说明](https://img-ask.csdn.net/upload/201902/18/1550494182_102283.png) ![图片说明](https://img-ask.csdn.net/upload/201902/18/1550494068_225705.png) 现函数在cv2 .cv2的__init__.py文件里,当包加载完的时候这个cv2.cv2文件夹消失了,变成了一个data文件夹,代码补全就没得了,不知道怎么回事 ,求大神指点 ![图片说明](https://img-ask.csdn.net/upload/201902/18/1550494267_94557.png)

请求大神解答下如何用python读取复杂dat中文本文的问题

我会使用open('XXX').read()将本文中的数据全部读出来,但是在文本中存在着不同的列名,例如图片中的数据。请问大神何如用python将这些数据按照“id”,“url”,“brand”等类别进行输出划分,python不怎么会用,还请各位大神不吝赐教![图片说明](https://img-ask.csdn.net/upload/201710/31/1509420160_135524.jpg)

python中如何一个程序运行两段代码块

在python中如果做到一段程序在同时运行两个代码块 例如:一个小游戏在运行另一段代码在 计时,时间一到游戏代码就会终止。这样的情况如何实现

python中如何让代码进行跳转

举个例子,比如说我输入a,那么就从某行开始执行代码,执行完之后再返回原来的这个输入处,继续要求输入,相当于一个巨大的循环,但是不知道怎么写,求大神指导。python2.7下。

关于python代码美化输出问题

刚刚开始学习PYTHON,问一个小白的问题, 如何像很多教程里面这样贴出代码时可以In 和 Out整齐规划的排列在一起并且有序号呢? ![图片说明](https://img-ask.csdn.net/upload/201604/04/1459777620_977589.jpg)

python的一道难题,求大神解答!下午2点前需要!

用python 单音节有:k,g,s,z,t,n,h,b,p,m,y,w 双音节是由k,g,s,z,t,d,n,h,b,p,m(没有y和w)其中的一个后面跟着y组成。比如说ky,dy,但是wy不行。 单元音;a,i,u,e,o 单音节;N,不和其他任何音节组合。N不能放词首 在所有的单音节和双音节中,y可以和a,u,o组合 W后面可以跟着a或o 写一个方程叫jp_morify(jp_word) 输出单词里面的音节,如果不符合以上要求就输出None 输出结果应该是这样>>> print(jp_morify('paisoN')) ['pa', 'i', 'so', 'N'] >>> print(jp_morify('nyaNko')) ['nya', 'N', 'ko'] >>> print(jp_morify('yeti')) None >>> print(jp_morify('the')) None >>> print(jp_morify('bavaria')) None >>> print(jp_morify('NaN')) None >>> print(jp_morify('bokoNNNN')) ['bo', 'ko', 'N', 'N', 'N', 'N']

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

CSDN:因博主近期注重写专栏文章(已超过150篇),订阅博主专栏人数在突增,近期很有可能提高专栏价格(已订阅的不受影响),提前声明,敬请理解!

CSDN:因博主近期注重写专栏文章(已超过150篇),订阅博主专栏人数在突增,近期很有可能提高专栏价格(已订阅的不受影响),提前声明,敬请理解! 目录 博客声明 大数据了解博主粉丝 博主的粉丝群体画像 粉丝群体性别比例、年龄分布 粉丝群体学历分布、职业分布、行业分布 国内、国外粉丝群体地域分布 博主的近期访问每日增量、粉丝每日增量 博客声明 因近期博主写专栏的文章越来越多,也越来越精细,逐步优化文章。因此,最近一段时间,订阅博主专栏的人数增长也非常快,并且专栏价

我说我不会算法,阿里把我挂了。

不说了,字节跳动也反手把我挂了。

培训班出来的人后来都怎么样了?(二)

接着上回说,培训班学习生涯结束了。后面每天就是无休止的背面试题,不是没有头脑的背,培训公司还是有方法的,现在回想当时背的面试题好像都用上了,也被问到了。回头找找面试题,当时都是打印下来天天看,天天背。 不理解呢也要背,面试造飞机,上班拧螺丝。班里的同学开始四处投简历面试了,很快就有面试成功的,刚开始一个,然后越来越多。不知道是什么原因,尝到胜利果实的童鞋,不满足于自己通过的公司,嫌薪水要少了,选择...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

工作八年,月薪60K,裸辞两个月,投简历投到怀疑人生!

近日,有网友在某职场社交平台吐槽,自己裸辞两个月了,但是找工作却让自己的心态都要崩溃了,全部无果,不是已查看无回音,就是已查看不符合。 “工作八年,两年一跳,裸辞两个月了,之前月薪60K,最近找工作找的心态崩了!所有招聘工具都用了,全部无果,不是已查看无回音,就是已查看不符合。进头条,滴滴之类的大厂很难吗???!!!投简历投的开始怀疑人生了!希望 可以收到大厂offer” 先来看看网...

97年世界黑客编程大赛冠军作品(大小仅为16KB),惊艳世界的编程巨作

这是世界编程大赛第一名作品(97年Mekka ’97 4K Intro比赛)汇编语言所写。 整个文件只有4095个字节, 大小仅仅为16KB! 不仅实现了3D动画的效果!还有一段震撼人心的背景音乐!!! 内容无法以言语形容,实在太强大! 下面是代码,具体操作看最后! @echo off more +1 %~s0|debug e100 33 f6 bf 0 20 b5 10 f3 a5...

不要再到处使用 === 了

我们知道现在的开发人员都使用 === 来代替 ==,为什么呢?我在网上看到的大多数教程都认为,要预测 JavaScript 强制转换是如何工作这太复杂了,因此建议总是使用===。这些都...

什么是a站、b站、c站、d站、e站、f站、g站、h站、i站、j站、k站、l站、m站、n站?00后的世界我不懂!

A站 AcFun弹幕视频网,简称“A站”,成立于2007年6月,取意于Anime Comic Fun,是中国大陆第一家弹幕视频网站。A站以视频为载体,逐步发展出基于原生内容二次创作的完整生态,拥有高质量互动弹幕,是中国弹幕文化的发源地;拥有大量超粘性的用户群体,产生输出了金坷垃、鬼畜全明星、我的滑板鞋、小苹果等大量网络流行文化,也是中国二次元文化的发源地。 B站 全称“哔哩哔哩(bilibili...

终于,月薪过5万了!

来看几个问题想不想月薪超过5万?想不想进入公司架构组?想不想成为项目组的负责人?想不想成为spring的高手,超越99%的对手?那么本文内容是你必须要掌握的。本文主要详解bean的生命...

MySQL性能优化(五):为什么查询速度这么慢

前期回顾: MySQL性能优化(一):MySQL架构与核心问题 MySQL性能优化(二):选择优化的数据类型 MySQL性能优化(三):深入理解索引的这点事 MySQL性能优化(四):如何高效正确的使用索引 前面章节我们介绍了如何选择优化的数据类型、如何高效的使用索引,这些对于高性能的MySQL来说是必不可少的。但这些还完全不够,还需要合理的设计查询。如果查询写的很糟糕,即使表结构再合理、索引再...

用了这个 IDE 插件,5分钟解决前后端联调!

点击上方蓝色“程序猿DD”,选择“设为星标”回复“资源”获取独家整理的学习资料!作者 |李海庆我是一个 Web 开发前端工程师,受到疫情影响,今天是我在家办公的第78天。开发了两周,...

大厂的 404 页面都长啥样?最后一个笑了...

每天浏览各大网站,难免会碰到404页面啊。你注意过404页面么?猿妹搜罗来了下面这些知名网站的404页面,以供大家欣赏,看看哪个网站更有创意: 正在上传…重新上传取消 腾讯 正在上传…重新上传取消 网易 淘宝 百度 新浪微博 正在上传…重新上传取消 新浪 京东 优酷 腾讯视频 搜...

【高并发】高并发秒杀系统架构解密,不是所有的秒杀都是秒杀!

网上很多的文章和帖子中在介绍秒杀系统时,说是在下单时使用异步削峰来进行一些限流操作,那都是在扯淡! 因为下单操作在整个秒杀系统的流程中属于比较靠后的操作了,限流操作一定要前置处理,在秒杀业务后面的流程中做限流操作是没啥卵用的。

自从喜欢上了B站这12个UP主,我越来越觉得自己是个废柴了!

不怕告诉你,我自从喜欢上了这12个UP主,哔哩哔哩成为了我手机上最耗电的软件,几乎每天都会看,可是吧,看的越多,我就越觉得自己是个废柴,唉,老天不公啊,不信你看看…… 间接性踌躇满志,持续性混吃等死,都是因为你们……但是,自己的学习力在慢慢变强,这是不容忽视的,推荐给你们! 都说B站是个宝,可是有人不会挖啊,没事,今天咱挖好的送你一箩筐,首先啊,我在B站上最喜欢看这个家伙的视频了,为啥 ,咱撇...

代码注释如此沙雕,会玩还是你们程序员!

某站后端代码被“开源”,同时刷遍全网的,还有代码里的那些神注释。 我们这才知道,原来程序员个个都是段子手;这么多年来,我们也走过了他们的无数套路… 首先,产品经理,是永远永远吐槽不完的!网友的评论也非常扎心,说看这些代码就像在阅读程序员的日记,每一页都写满了对产品经理的恨。 然后,也要发出直击灵魂的质问:你是尊贵的付费大会员吗? 这不禁让人想起之前某音乐app的穷逼Vip,果然,穷逼在哪里都是...

Java14 新特性解读

Java14 已于 2020 年 3 月 17 号发布,官方特性解读在这里:https://openjdk.java.net/projects/jdk/14/以下是个人对于特性的中文式...

爬虫(101)爬点重口味的

小弟最近在学校无聊的很哪,浏览网页突然看到一张图片,都快流鼻血。。。然后小弟冥思苦想,得干一点有趣的事情python 爬虫库安装https://s.taobao.com/api?_ks...

疫情后北上广深租房价格跌了吗? | Alfred数据室

去年3月份我们发布了《北上广深租房图鉴》(点击阅读),细数了北上广深租房的各种因素对租房价格的影响。一年过去了,在面临新冠疫情的后续影响、城市尚未完全恢复正常运转、学校还没开学等情况下...

面试官给我挖坑:a[i][j] 和 a[j][i] 有什么区别?

点击上方“朱小厮的博客”,选择“设为星标”后台回复"1024"领取公众号专属资料本文以一个简单的程序开头——数组赋值:int LEN = 10000; int[][] ...

又一起程序员被抓事件

就在昨天互联网又发生一起让人心酸的程序员犯罪事件,著名的百度不限速下载软件 Pandownload PC 版作者被警方抓获。案件大致是这样的:软件的作者不仅非法盗取用户数据,还在QQ群进...

应聘3万的职位,有必要这么刁难我么。。。沙雕。。。

又一次被面试官带到坑里面了。面试官:springmvc用过么?我:用过啊,经常用呢面试官:springmvc中为什么需要用父子容器?我:嗯。。。没听明白你说的什么。面试官:就是contr...

太狠了,疫情期间面试,一个问题砍了我5000!

疫情期间找工作确实有点难度,想拿到满意的薪资,确实要点实力啊!面试官:Spring中的@Value用过么,介绍一下我:@Value可以标注在字段上面,可以将外部配置文件中的数据,比如可以...

Intellij IDEA 美化指南

经常有人问我,你的 IDEA 配色哪里搞的,我会告诉他我自己改的。作为生产力工具,不但要顺手而且更要顺眼。这样才能快乐编码,甚至降低 BUG 率。上次分享了一些 IDEA 有用的插件,反...

【相亲】96年程序员小哥第一次相亲,还没开始就结束了

颜值有点高,条件有点好

太厉害了,终于有人能把TCP/IP 协议讲的明明白白了

一图看完本文 一、 计算机网络体系结构分层 计算机网络体系结构分层 计算机网络体系结构分层 不难看出,TCP/IP 与 OSI 在分层模块上稍有区别。OSI 参考模型注重“通信协议必要的功能是什么”,而 TCP/IP 则更强调“在计算机上实现协议应该开发哪种程序”。 二、 TCP/IP 基础 1. TCP/IP 的具体含义 从字面意义上讲,有人可能会认为...

腾讯面试题: 百度搜索为什么那么快?

我还记得去年面腾讯时,面试官最后一个问题是:百度/google的搜索为什么那么快? 这个问题我懵了,我从来没想过,搜素引擎的原理是什么 然后我回答:百度爬取了各个网站的信息,然后进行排序,当输入关键词的时候进行文档比对……巴拉巴拉 面试官:这不是我想要的答案 我内心 这个问题我一直耿耿于怀,终于今天,我把他写出来,以后再问,我直接把这篇文章甩给他!!! 两个字:倒排,将贯穿整篇文章,也是面试官...

相关热词 c# 按行txt c#怎么扫条形码 c#打包html c# 实现刷新数据 c# 两个自定义控件重叠 c#浮点类型计算 c#.net 中文乱码 c# 时间排序 c# 必备书籍 c#异步网络通信
立即提问