spark-sql如何按用户对time排序，序号为新增的一列

问题遇到的现象和发生背景

怎么给dataset增加一列并按照用户编号啊？
比如
uid，movieid，time
1 1009 20220101
1 1002 20220104
2 1019 20220203
2 1012 20220209
要求：按用户uid对time进行倒排序，序号增加一列

我想要达到的结果

增加后
uid movieid time order
1 1009 20220101 1
1 1002 20220104 2
2 1019 20220203 1
2 1012 20220209 2

uid很多很多，不能用穷举的方法（一个一个写的那种）

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除
收藏举报

2条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
小李飞刀李寻欢 2022-09-23 17:16
关注
spark基本数据处理之推荐数据movielens_小李飞刀李寻欢的博客-CSDN博客

本回答被题主选为最佳回答 , 对您是否有帮助呢?

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

查看更多回答(1条)

报告相同问题？

关注问题

spark-sql如何按用户对time排序，序号为新增的一列 java spark sql
2022-09-21 19:05

回答 2 已采纳 spark基本数据处理之推荐数据movielens_小李飞刀李寻欢的博客-CSDN博客
spark-sql如何显示默认库名 mysql 全文检索
2019-03-08 10:05

回答 2 已采纳后发现hive-site.xml中配置了默认显示库加这段就好了 hive.cli.print.current.db
spark-submit提交py文件，一直提示资源不足~~ hadoop python spark
2021-07-16 08:59

回答 1 已采纳第一种：是spark节点的内存满了，加大执行内存，内存可以在spark的配置文件—>spark-env.sh中可以看到。这个配置文件路径在：/usr/local/spark-2.4.0-bin-
【Pyspark教程】SQL、MLlib、Core等模块基础使用
2022-05-21 16:45

山顶夕景的博客 pyspark.SparkContext: Spark 库的主要入口点，它表示与Spark集群的一个连接，其他重要的对象都要依赖它.SparkContext存在于Driver中，是Spark功能的主要入口。代表着与Spark集群的连接，可以在集群上创建RDD，...
为什么要用spark-submit提交任务？ spark
2022-09-16 19:01

回答 1 已采纳因为spark是计算引擎，你是将你的代码提交到spark上运行，不是运行spark程序
spark-shell命令读取HDFS文件时文件不存在 spark 有问必答
2021-08-03 17:06

回答 2 已采纳先看看hadoop集群有没有正常开启，检查hdfs路径有没有问题
Spark-2.3.0环境搭建安装在启动spark时出现错误 spark
2022-10-16 15:59

回答 1 已采纳这里提示的是你的spark里边的配置文件spark-env.sh 里边的hadoop路径写错了这里应该是在hadop-2.7.5/etc/hadoop还有就是你的scala的路径也写错了，你在检查
运维 - 第一阶段 - linux与shell编程
2022-05-26 11:21

StOne'的博客 linux与shell编程讲师:墨竹系统运维与linux 1.系统运维是什么简单来说运维（Operation and maintenance）是指对公司硬件和软件的维护。硬件包括：机房、机柜、网线光纤、PDU、服务器、网络设备、安全设备等系统...
hive on spark运行sql报错 hive spark 有问必答
2021-09-28 16:58

回答 2 已采纳该问题由hive与spark两者版本不兼容导致的，具体的解释，在官网是有说明的：Hive on Spark is only tested with a specific version of Spar
Spark 读取 Hive 数据报错 NoSuchMethodError : org.apache.spark.sql.catalyst.catalog.SessionCatalog hive spark 大数据
2022-12-15 15:54

回答 1 已采纳 22/12/15 15:32:44 INFO SparkContext: Invoking stop() from shutdown hook集群资源不足，且动态资源分配申请的executors、内存
spark sql数据如何求交集？ spark sql 大数据有问必答
2022-01-18 20:31

回答 3 已采纳 spark sql中可以使用except来获得两组数据的交集 SELECT * FROM student_1 EXCEPT SELECT * FROM student_2; 你如果是某一行中的某
Spark离线开发指南(详细版)
2024-06-25 17:05

Evan2OO1的博客 API： 2.1.2–获取分区数 API：API：sparkcontext.textFile(参数1，参数2)参数1：必填，文件路径支持本地，支持HDFS，也...返回结果为二元组的形式展示, 前一个值是文件路径, 后一个值为文件内容分类：转换算子：动
Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState' eclipse intellij-idea java java-ee scala
2019-08-09 21:16

回答 3 已采纳这个问题我已经解决，我发现是仔细看了一下，后面的错误是Exception in thread "main"java.lang.UnsatisfiedLinkError，我本地的hadoop版本是2.7
数据中台建设方案-基于大数据平台
2023-03-14 16:45

FRDATA1550333的博客通过对客户大数据应用平台服务需求的理解，根据建设目标、设计原则的多方面考虑，建议采用星环科技Transwarp Data Hub（TDH）大数据基础平台的架构方案，基于Transwarp Operating System（简称TOS）云平台方式部署...
一节课轻松通关 Spark
2021-02-27 01:52

爱学大树锯的博客大数据跟我学系列文章007-三节课轻松通关 Spark （一） ...如何选择 Spark 编程语言以及部署 Spark0 + 1 + 2 + 3 + 4关闭第06讲：Spark 抽象、架构与运行环境第07讲：Spark 核心数据结构：弹性分布式数据集
没有解决我的问题, 去提问