spark整合每天的发电量

Question

有人知道怎么用spark streaming处理一个数据，原始数据是每隔3分钟的时间戳和发电量，要把它整合成一天的发电量，总共有30多天的

 

Answer 1

import time

data = [
    [1602232434000,2439],
    [1602232605000,2453],
    [1602232686000,2458],
    [1602262818000,2468],
    [1602262905000,2477],
]
d = {}
for t,v in data:
    timeArray = time.localtime(t//1000)
    otherStyleTime = time.strftime("%Y-%m-%d", timeArray)
    d[otherStyleTime] = d.get(otherStyleTime,0) + v
print(d)