用pandas 链接数据库后 用pd.read_query读取数据语句 然后对读出来的数据进行 groupby 分组 sum求和等操作 四十万的数据 大约十一秒
我用数据库语言直接分组求和 大约一秒多
是因为pandas读取数据库浪费了时间嘛
我提前读取csv等文件 然后用pandas.处理是不是速度很快
pandas和数据库处理数据的优缺点，在什么情况下应用这两种那个比较好
pandas和sql对数据处理的比较
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
2条回答 默认 最新
Lymj丶 2021-08-03 14:47关注新建表存储操作完的数据，写个定时任务去执行脚本更新新建表的数据。
前端就只需要读单表了。本回答被题主选为最佳回答 , 对您是否有帮助呢?评论 打赏解决 1无用举报 分享
- 2021-08-02 18:36回答 2 已采纳 新建表存储操作完的数据，写个定时任务去执行脚本更新新建表的数据。前端就只需要读单表了。
- 2021-03-28 17:14回答 3 已采纳 试下这种方式: 先构造一个姓名和科目的二维表, 然后merge. 可以对缺失值进行填充 import pandas as pd import numpy as np data = pd.rea
- 2021-10-26 17:31回答 3 已采纳 result = order_able.groupby('大区').agg({'数量': 'sum', '金额': 'sum', '用户编码': 'unique', '订单编码': 'uniq
- 2023-07-25 12:25心梓知识的博客 Pandas是一个用于数据处理和分析的Python库，提供了大量的数据结构和函数，使数据分析工作更加简单和高效。SQL是一种用于管理关系型数据库的语言，已经成为数据存储和管理领域的标准。在数据科学中，Python是最受...
- 2022-10-21 00:09回答 3 已采纳 这篇文章：Python-pandas库 读取Excel文件数据的常见错误集合 也许有你想要的答案，你可以看看
- 2022-03-20 16:41回答 1 已采纳 一种可行的思路是，将party_id列的数据转为字符串格式，然后对字符串进行操作，取出前四个字符作为一个新的列，再用group_by()聚合,sum()求和就可以了。
- 2022-02-07 14:53回答 1 已采纳 代码很简单，但是写起来像吃了一个苍蝇一样没有成就感。 df['0']=df.temp.apply(lambda x:1 if x==0 else 0) df['1-25']=df.temp.apply
- 2022-04-16 00:07۩ﺴ往后余生ﺴ۩的博客 Pandas&SQL数据处理对比（适用于初中级进阶写法）
- 2022-08-28 16:03回答 2 已采纳 针对每个小区：你可以使用groupby对小区名称列进行分组
- 2023-02-03 14:42回答 2 已采纳 “该回答引用ChatGPT”参考下面的解决方案，请测试代码的可行性，如果可行，还请点击 采纳，感谢支持！ import pandas as pd import matplotlib.pyplot as
- 2021-07-23 15:41回答 1 已采纳 什么意思不太明白，需要不同sql 写多条不用sql又
- 2021-02-10 08:27罗-Moline的博客 前言：Python数据分析的基础在于对数据的提取，清洗，汇总，并思考整理发现数据规律的过程。以下模块是个人在数据分析常用模块，特此总结，便于查阅，构建数据分析体系。数据源导入数据查看、检查数据DataFrame较为...
- 2021-02-03 07:41weixin_39972567的博客 版本: 系统win 10 ,python 3.5, pandas:0.25.0解决问题:读取到的数据为 科学计数法,然后转换成整数影响精度.pandas 使用 read_sql_query:pandas.read_sql_query(sql, con, index_col=None, coerce_float=True, ...
- 2021-01-21 17:36pandas提供了快速，灵活和富有表现力的数据结构，目的是使“关系”或“标记”数据的工作既简单又直观。它旨在成为在Python中进行实际数据分析的高级构建块。 入门介绍 pandas适合于许多不同类型的数据，包括： ...
- 2022-12-02 11:01知识大胖的博客 Pandas是一种快速、强大、灵活且易于使用的开源数据分析和操作工具，构建于 ...在这篇博客中，我们将使用pandas和SQL对IPL（Indian Premiere League）数据进行数据分析。让我们通过 SQL 和 pandas 来回答一些问题。
- 没有解决我的问题, 去提问
问题事件
已结题
（查看结题原因） 8月23日-
已采纳回答
8月23日
-
创建了问题
8月2日
悬赏问题
- ¥100 三相直流充电模块对数字电源芯片在物理上它必须具备哪些功能和性能？
- ¥30 数字电源对DSP芯片的具体要求
- ¥20 antv g6 折线边如何变为钝角
- ¥30 如何在Matlab或Python中 设置饼图的高度
- ¥15 nginx中的CORS策略应该如何配置
- ¥30 信号与系统实验：采样定理分析
- ¥100 我想找人帮我写Python 的股票分析代码，有意请加mathtao
- ¥20 Vite 打包的 Vue3 组件库，图标无法显示
- ¥15 php 同步电商平台多个店铺增量订单和订单状态
- ¥17 pro*C预编译“闪回查询”报错SCN不能识别