大数据项目组人员配置.pptx
- 文档编号:30871941
- 上传时间:2024-09-13
- 格式:PPTX
- 页数:27
- 大小:534.68KB
大数据项目组人员配置.pptx
《大数据项目组人员配置.pptx》由会员分享,可在线阅读,更多相关《大数据项目组人员配置.pptx(27页珍藏版)》请在冰豆网上搜索。
大数据项目组人员配置演讲人2021-08-08目录01.背景07.产品设计类03.出发点05.基础平台类02.目标分析04.人员配置结构06.技术研发类08.实施项目经理01背景目前公司大数据项目的优先级提升,数据项目对公司来讲具备极强战略意义原有数据中心项目组成员经常变动,无法专注在一个项目上,因此输出速度和质量无法有效保障原有数据项目的优先级和利害程度没有现在这么高,因此原有项目组人员配置不完整背景02目标分析目标分析为了使数据中心能够更快更高质量落地,需要完善团队人员为了提升数据中心的产品质量,需要完善团队人员03出发点出发点n数据中心项目落地,并不仅仅与开发完成的软件系统相关,涉及到各方各面。
其中包括前期咨询,中期系统建设,售后落地实施和售后保障。
n举个例子,数据中心的落地,就好比开一家火锅店。
数据中心这个系统仅仅相当于火锅店的底料配方。
数据中心落地,就好比经营一家火锅店,还需要考虑菜品供应商,n多经营许可证,财务管理,店铺租用,成本核算,人员管理,制度建设等等方面。
而这些方面恰恰是重要但是单从技术和产品角度无法预知和控制的方面,这方面没有经历过会有较大风险。
n为了规避风险,提升落地可行性,提出以下人员配置的建议04人员配置结构在大数据团队组建过程中,科学地定义职位体系直接影响到大数据实施的效率和质量,由于大数据的创新性和严谨性,会有一批新的岗位,例如首席数据官、大数据解决方案架构师、大数据采集工程师、大数据研究员等;同时,也会强化原有岗位的新生命力,例如网络工程师、算法工程师、系统架构师、咨询顾问、数据库管理与开发等。
整个职位架构体系如下图所示人员配置结构数据中心项目岗位体系基础平台类基础平台类:
大数据基础平台共分为硬件平台和软件平台两大类别,硬件平台包括服务器、操作系统和网络维护等工作,主要由网络工程师负责;软件平台包括Hadoop运维、数据仓库管理、软件系统运维等工作,由Hadoop运维工程师、数据仓库管理员和系统管理员负责。
技术研发类技术研发类:
技术研发类岗位指的是针对大数据相关系统、软件、产品和功能进行的开发,而非IT系统的开发。
由于大数据类的开发是一个相对完整的工作链,并且具有特殊应用需求和场景特征,因此涵盖了几乎与IT系统相同的职能岗位。
技术研发类岗位包括大数据架构师、数据仓库架构师、大数据开发工程师、数据采集工程师、数据仓库开发工程师、系统开发工程师、算法开发工程师。
产品设计类产品设计类:
项目产品类岗位通常是每个公司不可或缺的岗位,这些岗位是有计划开发数据工作的基本前提,通常决定了一个产品或项目未来的方向和具体实施的概念定义。
而项目产品类泛指数据项目工作的前端职位,含项目经理、产品经理、UI、UE等数据中心项目岗位体系05基础平台类偏向硬件管理工程师和运维工程师等。
目前暂时由研发人员承担,这部分需要多少人需要什么人要研发来出建议基础平台类06技术研发类1.大数据架构师(近6个月内不重要,6个月后看发展方向决定是否需要):
作为大数据技术平台成功落地的重要保障,大数据架构师在大数据技术发展之初就已经奠定了必不可少的角色基础,该职位主要负责Hadoop技术解决方案的整个生命周期的解决方案确定并进行引导,包括:
大数据需求分析、平台选择、技术架构设计、应用设计和开发、应用测试和部署等大数据实施全流程的跟踪,并在实施过程中带领技术团队,为设计和开发大规模集群的数据处理系统提供技术和管理。
技术研发类作为一个或多个领域的系统架构专家,更要面向未来:
设计领先的软件架构,洞察所在领域的系统技术发展趋势,提出新的系统架构理念,主导架构技术项目开展架构原型的验证,保证未来新产品的软件架构具有领先的架构竞争力;改进已有产品的软件架构,分析行业内重点产品的软件架构,识别软件架构设计方面的问题,提出解决建议和方案,并指导改进;提升团队的软件架构设计能力,时刻洞察技术发展动态,指导技术开发人员及时升级系统技术技术研发类技术研发类数据仓库架构师(重要,当前无此角色,可以内部培养或外部招人):
数据仓库的架构设计及数据集市建设,带领团队落地及后续的运维,负责各条业务线的数据整合方案设计及日志规范,数据分析指标体系建设及元数据管理,并要稽查和监控数据质量,数据报表系统及相关数据产品的研发和数据需求的沟通及数据开发项目管理。
在技能要求上,精通SOL、SSIS、SSRS和OLAP等进行数据库及数据模型设计,如使用Oracle/HANA建立数据仓库,熟悉Kettle、Informatic、Datastage、DataService等ETL开发工具(目前很多ETL工具也支持Hadoop),了解行业内的各种数据仓库应用案例和商业智能(BI)实时动态。
如使用Hadoop、Storm、Spark建立数据仓库,精通大数据分布式平台技术,熟悉Java、Scala、Map/Reduce、HiveSQL、SparkSQL等技术。
技术研发类同时,根据企业数据仓库技术发展的实际情况,可能需要使用Oracle与Hadoop相结合的方式完成工作。
n数据ETL工程师(实施时候非常重要):
1、负责数据库及ETL开发;2、负责从数据源系统抽取、转换、清洗数据,将数据推送到公司软件产品数据库中;3、研究跟进数据库开发技术,为各业务系统提供数据及报表支持;4、负责项目开发、测试过程中的数据错误排查和修正工作;5、负责项目实施过程中数据源分析,并完成ETL报表统计;6、负责处理生产环境中遇到的数据库等问题;7、独立进行系统的部署与性能调试。
这些工作要求工程师了解企业数据流通机制,精通Oracle、MySQL、NoSQL等数据库的工作原理和主流的大数据接入技术(Kafka、Storm、Flume、MQ、SparkStreaming),熟悉Nginx日志、算法设计、数据结构、Java和Scala等技术研发类n开发工程师(已有,壁垒不高)07产品设计类产品设计类数据仓库产品经理(已有,1主1副)近4个月不需要,项目落地之后,有数据产生之后,该岗位会以具体情况来看是否重要前置条件子主题有数据回收回来之后该岗位才会产生价值数据分析师产品设计类数据应用产品经理单击此处添加标题9,300Million设计应用数据的app的产品经理。
需要对用户侧的感知非常敏感。
偏重体验类的设计近4个月不重要,项目落地之后,有数据产生之后,该岗位会变得重要。
曾经做过面向C端或对用户体验类产品设计,对公司体系和思路都比较认同的产品经理单击此处输入你的正文,文字是您思想的提炼,为了最终演示发布的良好效果,请尽量言简意赅的阐述观点;根据需要可酌情增减文字,以便观者可以准确理解您所传达的信息。
08实施项目经理实施项目经理负责制定项目实施流程的项目经理,能够制定数据治理项目实施流程,实施规范,实施checklist,能够配置实施人员团队并且完成数据治理项目的全实施流程的人。
包括但不限于数据梳理,数据采集,数据etl,质检等。
无,非常重要该角色决定项目是否能够落地感谢聆听
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 项目 人员 配置