def GenreYearSales(sc, spark, df, genre_list):
result_df = df.select('genre', 'year_of_pub', 'num_of_sales').rdd \
.filter(lambda v: v.genre in genre_list) \
.map(lambda v: ((v.genre, int(v.year_of_pub)), int(v.num_of_sales))) \
.reduceByKey(lambda x, y: x + y) \
.sortByKey()
result_df = spark.createDataFrame(result_df)
print(type(result_df))
print(result_df.head(3))
result_df.limit(2).show()
print(result_df.limit(2).show())
result_df.write.jdbc(url=mysql_url, table="Genre_Year_Sales", mode="overwrite", properties=mysql_properties)
请问如何用map将数据分成三个
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
2条回答 默认 最新
关注 【相关推荐】
- 帮你找了个相似的问题, 你可以看下: https://ask.csdn.net/questions/705115
- 这篇博客也不错, 你可以看下如何计算map?
- 您还可以看一下 唐宇迪老师的深度学习-行人重识别实战(2020最新)课程中的 map值计算方法小节, 巩固相关知识点
- 除此之外, 这篇博客: 常用数据处理函数中的 通过map可以实现类型转换 部分也许能够解决你的问题, 你可以仔细阅读以下内容或跳转源博客中阅读:
元组转列表
map(int,(1,2,3)) # 结果如下: [1,2,3]
字符串转列表
print(list(map(int, "1234")))
提取字典中的key,置于一个列表中
print(list(map(int, {1: 2, 2: 3, 3: 4}))) print(list({1: 2, 2: 3, 3: 4}.keys()))
如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^解决 无用评论 打赏 举报
悬赏问题
- ¥15 C# wpf 软年 卸载有残留 webview2
- ¥15 求代写matlab解决柔性调度代码,价格私
- ¥15 为什么安装Anaconda时报系统找不到指定文件?
- ¥15 如何将这个项目的ssh-TCP,改成ssh3-UDP协议
- ¥20 ic卡dump文件校检码解密
- ¥15 关于:接收到的数据不是有效的JSON格式
- ¥15 apdl语言如何增加受力分析
- ¥15 算法对比:学校优化算法与蚁群算法对比
- ¥15 机电一体化系统设计说明书
- ¥20 sgy数据提取地震波速,有人能回答吗小馋