yyc9527 2021-08-02 18:36 采纳率: 81.3%
浏览 67
已结题

pandas和sql对数据处理的比较

用pandas 链接数据库后 用pd.read_query读取数据语句 然后对读出来的数据进行 groupby 分组 sum求和等操作 四十万的数据 大约十一秒
我用数据库语言直接分组求和 大约一秒多

是因为pandas读取数据库浪费了时间嘛
我提前读取csv等文件 然后用pandas.处理是不是速度很快

pandas和数据库处理数据的优缺点,在什么情况下应用这两种那个比较好

  • 写回答

2条回答 默认 最新

  • Lymj丶 2021-08-03 14:47
    关注

    新建表存储操作完的数据,写个定时任务去执行脚本更新新建表的数据。
    前端就只需要读单表了。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 已结题 (查看结题原因) 8月23日
  • 已采纳回答 8月23日
  • 创建了问题 8月2日