2 hainanjianli hainanjianli 于 2015.07.19 20:55 提问

小型数据分析系统的什么样的架构合适?

小型数据分析系统的什么样的架构合适

            最近遇到一个高端元器件制造厂商 需要建设一套元件质控数据分析系统,项目情况需求是这样的:

1.每天产生的元件质检原始信息记录大概有 3千万条,日志文件1G左右 (质检信息记录 内容比较简单);

2.最低需求 隔天产生 各时间段、 各生产线、 各种质检问题类型 统计报表信息(有限几种纬度 统计数量 百分比 ) 实时性要求不高 ;

3.目前可用数据 来源有 质检系统的日志 相应的 数据库文件。

4.企业内部 不涉及 大量外部访问
he
这样的项目如何架构 ? 请大家 给些建议 。。

是否上大数据平台? 数据库如何选择 ?

传统数据库 如MYsql 是否能驾驭? 数据导入的问题?

2个回答

oyljerry
oyljerry   Ds   Rxr 2015.07.19 21:13

每天3kw记录,一般数据库毕竟难以支持。需要上大数据,但大数据有个问题,不是那么容易实时性查询支持。

jh416658
jh416658   2015.07.19 21:38

3kw还是小型的???学学大型门户和购物网站吧,它们应该走在比较前沿的,至于时时性是相对的,一般对重要的数据,都是固话试图和表切片来处理的

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
小型互联网公司的一般架构
好记忆不如烂笔头,再简单的知识,都可能被遗忘,所以能记录下点东西,就记录下来、、、 来说说一般小型的互联网公司的一般架构,欢迎拍砖指正。 1.一般互联网公司的特征: Client : 用户多,流量大,请求多等,主要来源是PC机,Android 设备或者IOS设备等 Server : 要求反映迅速,处理业务复杂,性能要求高,大多会放在tomcat上,j
中小型web架构
中小型网站架构分析及优化 2015-11-26 10:11 李振良 字号:T | T 以上网站架构广泛运用中大型网站中,本文从架构每一层分析所用主流技术和解决手段,有助于初入网站运维朋友们,进一步对网站架构认识,从而自己形成一套架构概念。 AD:51CTO首届中国APP创新评选大赛正在招募>> 先看网站架构图: 以上网站
【架构】小型创业公司的架构布局思考
直接用思维导图整理的,如有纰漏,敬请谅解。
网站架构(从小型网站到大型网站的架构变化)
出处:http://blog.csdn.net/anxpp/article/details/51614973大型网站架构演化过程1、初始阶段的网站架构网站一开始,使用的人并不多,访问量比较小,使用一台服务器就已经完全满足要求的。我们的个人主页、博客,都可以使用如下架构: 01 应用程序、数据库和文件等资源,都在同一台服务器上。通常也使用一些开源免费的软件来将成本最低化。2.2、应用服务于数
【转】一文读懂数据分析平台的架构与设计
数据分析平台的搭建从规模上分类,确定企业规模,明确合作点,非常重要。 以服装行业为例,大型企业如波司登,本身的大数据系统架构已经完善,数据分析平台(报表/商业智能软件)在整个系统架构下的角色定位为“工具”更合适,发挥工具易用、高效开发、交互性强,稳定等优点。 中小型企业从成本上考虑,并没有成熟的架构以及大量的投入。对于整合数据,构建数据中心报表系统,我们可以进行合理规划,控制整
个人的中小型项目前端架构浅谈
前端架构浅谈0、前注鉴于作者本人的能力有限(非常有限),并且依然在学习中,因此本文的高度和深度必然有所欠缺。欢迎(并且非常欢迎)大家来批评指正,如果能详细的说明问题在哪里,如何解决和改正,那么就太感谢了!!!我最喜欢听有理有据的批评了!!本人QQ:20004604,邮箱:20004604@qq.com,期待你的交流。1、为什么要有一个好的架构首先明确一点,架构是为需求服务的。前端架构存在的目的,就我
【Hadoop】基于Hadoop/Hbase/Hive的小型离线服务器日志分析应用
1、项目简介 本项目主要设计一个基于Hadoop的日志分析系统。其中的日志数据主要来自于某系统开发测试期间的服务器访问日志数据(Tomcat),通过对这些日志数据利用正则表达式等技术手段进行处理,提取出匹配到的目标数据信息,将其进行归类化处理,而对日志分析处理方式中,本文探究了直接利用Hadoop的日志分析功能和利用Hadoop+Hbase+Hive结合的技术实现对日志进行分析的功能,作为...
快速开发数据分析系统
系统简介         本系统可实现抓取不同的数据源,如oracle数据库、mysql数据库、excel文件、格式化的文本文件和word文件。通过建立相应的转换(Transform)步骤,将数据以某种格式存入特定的目录数据库。         目前为系统的初建期,只需要支持异构数据库即可。         要求:快速开发、容易扩展、容易维护 系统架构         本系统通过使用
日处理20亿数据,实时用户行为服务系统架构实践
携程实时用户行为服务作为基础服务,目前普遍应用在多个场景中,比如猜你喜欢(携程的推荐系统)、动态广告、用户画像、浏览历史等等。 以猜你喜欢为例,猜你喜欢为应用内用户提供潜在选项,提高成交效率。旅行是一项综合性的需求,用户往往需要不止一个产品。作为一站式的旅游服务平台,跨业务线的推荐,特别是实时推荐,能实际满足用户的需求,因此在上游提供打通各业务线之间的用户行为数据有很大的必要性。 携程
如何打造一个小而精的电商网站架构?
作者介绍 章为忠,随变科技.net架构师。致力于电商领域的开发与架构设计工作,拥有丰富的电商网站架构搭建经验。 本文大纲: 1. 小型电商网站的架构 2. 日志与监控系统的解决方案 3. 构建数据库的主从架构 4. 基于共享存储的图片服务器架构 5. 移动M站建设 6. 系统容量预估 7. 缓存系统 一、小型电商网