ETL工程师主要是做什么的？

Question

ETL工程师主要是做什么的？还有数据开发需要学什么 ？数据库运维主要需要会什么？麻烦各位老板给讲解讲解

Answer 1

一、ETL工程师主要做：
通俗一点讲就是，对数据进行清洗，处理，加工，结构化。
官方解释：ETL分为三个阶段，Extraction 抽取，Transformation 转换，Loading 加载。
从不同数据源抽取数据 EXTRACTION ，按照一定的数据处理规则对数据进行加工和格式转换 TRASFORMATION，
最后处理完成的输出到目标数据表中也有可能是文件等等，这个就是 LOADING。

二、大数据开发需要：
• Java→ Hadoop→ Storm→Scala→Spark

大数据开发的工具与语言：编程语言（Java，python，R语言等）

1、大数据离线处理架构Hadoop（基于JAVA）开源免费，懂JavaSE；

2、大数据实时计算的架构storm（基于JAVA）开源免费，懂JavaSE；

3、大数据内存计算Spark（基于Scala语言开发）基于JDK开发，本质是Java；

4、大数据下一代计算引擎 Flink。

三、数据库运维负责数据存储方案设计、数据库表设计、索引设计和SQL优化，对数据库进行变更、监控、备份、高可用设计等工作。详细的工作职责如下所述。
1.设计评审
在产品研发初始阶段，参与设计方案评审，从DBA的角度提出数据存储方案、库表设计方案、SQL开发标准、索引设计方案等，使服务满足数据库使用的高可用、高性能要求。
2.容量规划掌握所负责服务的数据库的容量上限，清楚地了解当前瓶颈点，当服务还未到达容量上限时，及时进行优化、分拆或者扩容。
3.数据备份与灾备制定数据备份与灾备策略，定期完成数据恢复性测试，保证数据备份的可用性和完整性。
4.数据库监控完善数据库存活和性能监控，及时了解数据库运行状态及故障。数据库安全建设数据库账号体系，严格控制账号权限与开放范围，降低误操作和数据泄露的风险；加强离线备份数据的管理，降低数据泄露的风险。
5.数据库高可用和性能优化对数据库单点风险和故障设计相应的切换方案，降低故障对数据库服务的影响；不断对数据库整体性能进行优化，包括新存储方案引进、硬件优化、文件系统优化、数据库优化、SQL优化等，在保障成本不增加或者少量增加的情况下，数据库可以支撑更多的业务请求。
6.自动化系统建设设计开发数据库自动化运维系统，包括数据库部署、自动扩容、分库分表、权限管理、备份恢复、SQL审核和上线、故障切换等功能。
7.运维研发运维研发负责通用的运维平台设计和研发工作，如：资产管理、监控系统、运维平台、数据权限管理系统等。提供各种API供运维或研发人员使用，封装更高层的自动化运维系统。详细的工作职责如下所述。
8.运维平台记录和管理服务及其关联关系，协助运维人员自动化、流程化地完成日常运维操作，包括机器管理、重启、改名、初始化、域名管理、流量切换和故障预案实施等。
9.监控系统负责监控系统的设计、开发工作，完成公司服务器和各种网络设备的资源指标、线上业务运行指标的收集、告警、存储、分析、展示和数据挖掘等工作，持续提高告警的及时性、准确性和智能性，促进公司服务器资源的合理化调配。
10.自动化部署系统参与部署自动化系统的开发，负责自动化部署系统所需要的基础数据和信息，负责权限管理、API开发、Web端开发。结合云计算，
研发和提供PaaS相关高可用平台