背景:
本人做金融衍生品交易,有很多数据。
目前的存放是,放在一个fold内,根据日期和名称存放的csv。大致目录如下。
/year/month/day/contractname/contractname-YMD.csv
csv 数量有大概10万个左右。总数量100G左右。每日更新添加
数据的第一个维度是时间,后面是价格 成交什么的
平常我用python分析
我目前的困惑如下:
1、我每次重新启动后,都必须重新让python从csv中读取数据指定数据。我想知道,如果我把数据存储到mysql中,我每次让python 从 mysql中读取数据,会不会快些。
2、由于数据的索引是时间,为了能对数据进行压缩,比如把tick 数据变成min数据,我目前是利用pandas DataFrame进行的。我想知道mysql在这方面是不是有优势
3、我想知道,目前我这个背景下,有没有必要上mysql,上了mysql的优势是什么?
金融数据存放mysql的必要性疑问
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
5条回答 默认 最新
- oyljerry 2017-02-23 04:35关注
上了mysql就是对数据更好管理,比如你排序,查找,根据一些条件查询,分组,统计等,都可以sql直接支持
而你用csv就都需要python来解析,自己处理。解决 无用评论 打赏 举报
悬赏问题
- ¥15 微信小程序协议怎么写
- ¥15 c语言怎么用printf(“\b \b”)与getch()实现黑框里写入与删除?
- ¥20 怎么用dlib库的算法识别小麦病虫害
- ¥15 华为ensp模拟器中S5700交换机在配置过程中老是反复重启
- ¥15 java写代码遇到问题,求帮助
- ¥15 uniapp uview http 如何实现统一的请求异常信息提示?
- ¥15 有了解d3和topogram.js库的吗?有偿请教
- ¥100 任意维数的K均值聚类
- ¥15 stamps做sbas-insar,时序沉降图怎么画
- ¥15 买了个传感器,根据商家发的代码和步骤使用但是代码报错了不会改,有没有人可以看看