【头脑风暴】
提问:
有一个【任务】,它的执行时间是20s,一共有60000个任务需要执行,以目前的工作方式【即顺序循环执行】需要连续执行13天左右,期间不能出任何问题,欲求一个解决方案使其时间缩短到12小时之内。
【头脑风暴】
提问:
有一个【任务】,它的执行时间是20s,一共有60000个任务需要执行,以目前的工作方式【即顺序循环执行】需要连续执行13天左右,期间不能出任何问题,欲求一个解决方案使其时间缩短到12小时之内。
需要先做一个评估,一个任务执行的cpu是多少?内存是多少?
做这个评估是我们需要确定一台机器到底够不够,比如并行20条执行,如果cpu 杠不住,内存扛不住,也没办法继续优化性能,那么你就需要考虑多台
做优化总体上就是4个字“开源节流”
一个队列顺序不够,开源20个队列并行
20个队列并行,cpu,内存不够,请节流优化任务本身,尽量复用内存,尽量把cpu控制在70%
上面没办法完成,那就是一台机器不够,那么继续开源,找多台机器同时做