业务场景:基于车辆的终端GPS数据开发电子围栏、车辆轨迹监控等行业应用。
数据量:每周1T的数据,
其他:数据格式相对简单,但是应用比较繁杂,有大量的数据计算
问题:目前数据库已经承担不起了,采用水平切割分库分表勉强跑,很脆弱;数据库服务器成本较高。
采用hbase+hadoop 是否是最佳方案? 这边技术背景都是.net,烧脑呀。
业务场景:基于车辆的终端GPS数据开发电子围栏、车辆轨迹监控等行业应用。
数据量:每周1T的数据,
其他:数据格式相对简单,但是应用比较繁杂,有大量的数据计算
问题:目前数据库已经承担不起了,采用水平切割分库分表勉强跑,很脆弱;数据库服务器成本较高。
采用hbase+hadoop 是否是最佳方案? 这边技术背景都是.net,烧脑呀。
是不是只读不写?是不是数据有明显的稀疏性(比如集中在某个城市,某个省份,某几条线路)?是不是按照时间,访问的频率有明显的不同(比如大部分的查询都是最近几周)?
你是怎么查询的,数据的关联性是什么?
我觉得如果你能搞清楚以上问题,可以不用数据库,自己设计数据结构,性能可以好很多。