luoshen_li 2017-02-23 04:18 采纳率: 0%
浏览 1460
已结题

金融数据存放mysql的必要性疑问

背景:
本人做金融衍生品交易,有很多数据。
目前的存放是,放在一个fold内,根据日期和名称存放的csv。大致目录如下。
/year/month/day/contractname/contractname-YMD.csv
csv 数量有大概10万个左右。总数量100G左右。每日更新添加
数据的第一个维度是时间,后面是价格 成交什么的
平常我用python分析
我目前的困惑如下:
1、我每次重新启动后,都必须重新让python从csv中读取数据指定数据。我想知道,如果我把数据存储到mysql中,我每次让python 从 mysql中读取数据,会不会快些。
2、由于数据的索引是时间,为了能对数据进行压缩,比如把tick 数据变成min数据,我目前是利用pandas DataFrame进行的。我想知道mysql在这方面是不是有优势
3、我想知道,目前我这个背景下,有没有必要上mysql,上了mysql的优势是什么?

  • 写回答

5条回答 默认 最新

  • oyljerry 2017-02-23 04:35
    关注

    上了mysql就是对数据更好管理,比如你排序,查找,根据一些条件查询,分组,统计等,都可以sql直接支持
    而你用csv就都需要python来解析,自己处理。

    评论

报告相同问题?

悬赏问题

  • ¥15 cgictest.cgi文件无法访问
  • ¥20 删除和修改功能无法调用
  • ¥15 kafka topic 所有分副本数修改
  • ¥15 小程序中fit格式等运动数据文件怎样实现可视化?(包含心率信息))
  • ¥15 如何利用mmdetection3d中的get_flops.py文件计算fcos3d方法的flops?
  • ¥40 串口调试助手打开串口后,keil5的代码就停止了
  • ¥15 电脑最近经常蓝屏,求大家看看哪的问题
  • ¥60 高价有偿求java辅导。工程量较大,价格你定,联系确定辅导后将采纳你的答案。希望能给出完整详细代码,并能解释回答我关于代码的疑问疑问,代码要求如下,联系我会发文档
  • ¥50 C++五子棋AI程序编写
  • ¥30 求安卓设备利用一个typeC接口,同时实现向pc一边投屏一边上传数据的解决方案。