现在我有一组数据,第一列是入站口到出站口(OD),第二列是刷卡的卡号,第三列是出行总时间。
现在我想研究在相同的OD下,出行时长的分布,并从中筛选出出行时长异常的卡号,默认出行时长超过该OD最短出行时长2倍为异常。
还是昨天的Spark数据分析的问题,求代码,有帮助的可以再加C币
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
2条回答 默认 最新
- 默默悟问 2018-04-27 07:18关注
from __future__ import print_function import sys from pyspark.sql import SparkSession def min(a,b): return a if a < b else b if __name__ == "__main__": if len(sys.argv) != 2: print("Usage: odcount <file>", file=sys.stderr) exit(-1) spark = SparkSession\ .builder\ .appName("PythonODCount")\ .getOrCreate() lines = spark.read.text(sys.argv[1]).rdd.map(lambda r: r[0]) lines = lines.filter( lambda line: len(line.strip()) > 0 ) mintimes = lines.flatMap(lambda x: [x[1:-1]]) \ .map( lambda x: (x.split(',')[0], int(x.split(',')[2])) ) \ .reduceByKey(min) mintime_list = mintimes.collect() mintime_map = {} print("min time:") for (od, mintime) in mintime_list: mintime_map[od] = mintime print("%s: %i" % (od.encode('utf-8'), mintime)) largelines = lines.flatMap(lambda x: [x[1:-1]]) \ .filter( lambda x: int(x.split(',')[2]) > 2 * mintime_map.get(x.split(',')[0]) ) print("large time line:") for line in largelines.collect(): print("%s" % line.encode('utf-8')) spark.stop()
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥15 2020长安杯与连接网探
- ¥15 关于#matlab#的问题:在模糊控制器中选出线路信息,在simulink中根据线路信息生成速度时间目标曲线(初速度为20m/s,15秒后减为0的速度时间图像)我想问线路信息是什么
- ¥15 banner广告展示设置多少时间不怎么会消耗用户价值
- ¥16 mybatis的代理对象无法通过@Autowired装填
- ¥15 可见光定位matlab仿真
- ¥15 arduino 四自由度机械臂
- ¥15 wordpress 产品图片 GIF 没法显示
- ¥15 求三国群英传pl国战时间的修改方法
- ¥15 matlab代码代写,需写出详细代码,代价私
- ¥15 ROS系统搭建请教(跨境电商用途)