有5亿活跃用户，将其支付数据（uid 消费金额）投放到kafka。给你一台16核32g内存机器要求给出按支付金额的用户排名榜

Question

面试题目：有5亿活跃用户，将其支付数据（uid 消费金额）投放到kafka。给你一台16核32g内存机器要求给出按支付金额的用户排名榜。这个题目有解法吗

Answer 1

代码不难，难得是要运行多久，代码如下：

对支付金额进行排序并给出用户排名榜，使用分布式计算框架，Apache Spark。以下是代码：

from pyspark import SparkContext

# 创建SparkContext对象
sc = SparkContext("local", "payment ranking")

# 读取支付数据
data = sc.textFile("path/to/payment/data")

# 将数据转化为RDD
rdd = data.map(lambda line: (line.split(",")[0], float(line.split(",")[1])))

# 根据支付金额进行排序
rdd_sorted = rdd.sortBy(lambda x: x[1])



# 取出支付金额所有的用户ID
top_users = rdd_sorted.take(500000000)

# 输出排名榜
for user_id, amount in top_users:
    print("Rank {}: {} USD".format(amount, user_id))

在这个示例代码中，我们使用SparkContext对象创建一个本地的Spark应用程序，并使用textFile()方法从文件中读取支付数据。然后，我们使用map()方法将每一行数据转化为一个元组，其中第一个元素是用户ID，第二个元素是支付金额。接着，我们使用sortBy()方法对RDD按照支付金额进行排序，并将结果保存在rdd_sorted变量中。最后，我们使用take()方法取出支付金额所有用户ID，并使用for循环输出排名榜。