小型数据分析系统的什么样的架构合适
最近遇到一个高端元器件制造厂商 需要建设一套元件质控数据分析系统,项目情况需求是这样的:
1.每天产生的元件质检原始信息记录大概有 3千万条,日志文件1G左右 (质检信息记录 内容比较简单);
2.最低需求 隔天产生 各时间段、 各生产线、 各种质检问题类型 统计报表信息(有限几种纬度 统计数量 百分比 ) 实时性要求不高 ;
3.目前可用数据 来源有 质检系统的日志 相应的 数据库文件。
4.企业内部 不涉及 大量外部访问
he
这样的项目如何架构 ? 请大家 给些建议 。。
是否上大数据平台? 数据库如何选择 ?
传统数据库 如MYsql 是否能驾驭? 数据导入的问题?