yyc9527
2021-08-02 18:36
采纳率: 92.9%
浏览 49

pandas和sql对数据处理的比较

用pandas 链接数据库后 用pd.read_query读取数据语句 然后对读出来的数据进行 groupby 分组 sum求和等操作 四十万的数据 大约十一秒
我用数据库语言直接分组求和 大约一秒多

是因为pandas读取数据库浪费了时间嘛
我提前读取csv等文件 然后用pandas.处理是不是速度很快

pandas和数据库处理数据的优缺点,在什么情况下应用这两种那个比较好

  • 写回答
  • 好问题 提建议
  • 追加酬金
  • 关注问题
  • 收藏
  • 邀请回答

2条回答 默认 最新

  • Lymj丶 2021-08-03 14:47
    已采纳

    新建表存储操作完的数据,写个定时任务去执行脚本更新新建表的数据。
    前端就只需要读单表了。

    评论
    解决 1 无用
    打赏 举报
  • 查看更多回答(1条)

相关推荐 更多相似问题