分享大数据技术是学什么的就业方向.docx

分享大数据技术是学什么的就业方向.docx

《分享大数据技术是学什么的就业方向.docx》由会员分享，可在线阅读，更多相关《分享大数据技术是学什么的就业方向.docx（35页珍藏版）》请在冰豆网上搜索。

分享大数据技术是学什么的就业方向

大数据技术是学什么的就业方向

20年月日

A4打印/可编辑

大数据工程技术人员

国家职业技术技能标准

（征求意见稿）

1职业概况

1.1职业名称

大数据工程技术人员

1.2职业编码

2-02-10-11

1.3职业定义

从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务的工程技术人员。

1.4专业技术等级

本职业共设三个等级，分别为初级、中级、高级。

初级、中级分为三个职业方向：

大数据处理、大数据分析、大数据管理。

高级不分职业方向。

1.5职业环境条件

室内，常温。

1.6职业能力特征

具有较强的学习能力、计算能力、表达能力、空间感及分析、推理和判断能力。

1.7普通受教育程度

大学专科学历（或高等职业学校毕业）。

1.8职业培训要求

1.8.1培训期限

大数据工程技术人员需按照本标准的职业要求参加有关课程培训，完成规定学时，取得学时证明。

初级128标准学时；中级128标准学时；高级160标准学时。

1.8.2培训教师

承担初级理论知识或专业能力培训任务人员，应具有相关职业中级及以上专业技术等级或相关专业中级及以上职称。

承担高级理论知识或专业能力培训任务人员，应具有相关职业高级专业技术等级或相关专业高级职称。

1.8.3培训场所设备

理论知识培训在标准教室或线上平台进行；专业能力培训在具有相应软、硬件条件的培训场所进行。

1.9专业技术考核要求

1.9.1申报条件

——取得初级培训学时证明，并具备以下条件之一者，可申报初级专业技术等级：

（1）取得技术员职称。

（2）具备相关专业大学本科及以上学历（含在读的应届毕业生）。

（3）具备相关专业大学专科学历，从事本职业技术工作满1年。

（4）技工院校毕业生按国家有关规定申报。

——取得中级培训学时证明，并具备以下条件之一者，可申报中级专业技术等级：

（1）取得助理工程师职称后，从事本职业技术工作满2年。

（2）具备大学本科学历，或学士学位，或大学专科学历，取得初级专业技术等级后，从事本职业技术工作满3年。

（3）具备硕士学位或第二学士学位，取得初级专业技术等级后，从事本职业技术工作满1年。

（4）具备相关专业博士学位。

（5）技工院校毕业生按国家有关规定申报。

——取得高级培训学时证明，并具备以下条件之一者，可申报高级专业技术等级：

（1）取得工程师职称后，从事本职业技术工作满3年。

（2）具备硕士学位，或第二学士学位，或大学本科学历，或学士学位，取得中级专业技术等级后，从事本职业技术工作满4年。

（3）具备博士学位，取得中级专业技术等级后，从事本职业技术工作满1年。

（4）技工院校毕业生按国家有关规定申报。

1.9.2考核方式

分为理论知识考试以及专业能力考核。

理论知识考试、专业能力考核均实行百分制，成绩皆达60分（含）以上者为合格，考核合格者获得相应专业技术等级证书。

理论知识考试以闭卷笔试、机考等方式为主，主要考核从业人员从事本职业应掌握的基本要求和相关知识要求；专业能力考核以开卷实操考试、上机实践等方式为主，主要考核从业人员从事本职业应具备的技术水平。

1.9.3监考人员、考评人员与考生配比

理论知识考试中的监考人员与考生配比不低于1:

15，且每个考场不少于2名监考人员；专业能力考核中的考评人员与考生配比不低于1:

5，且考评人员为3人（含）以上单数。

1.9.4考核时间

理论知识考试时间不少于90min；专业能力考核时间不少于150min；

1.9.5考核场所设备

理论知识考试在标准教室进行；专业能力考核在具有相应软、硬件条件的考核场所进行。

2基本要求

2.1职业道德

2.1.1职业道德基本知识

2.1.2职业守则

（1）遵纪守法，爱岗敬业。

（2）精益求精，勇于创新。

（3）爱护设备，安全操作。

（4）遵守规程，执行工艺。

（5）认真严谨，忠于职守。

2.2基础知识

2.2.1基础理论知识

（1）操作系统知识

（2）计算机网络知识

（3）编程基础知识

（4）数据结构与算法知识

（5）数据库知识

（6）软件工程知识

（7）云计算知识

（8）大数据知识

2.2.2技术基础知识

（1）大数据系统环境安装、配置和调试知识

（2）大数据平台架构知识

（3）软件应用开发知识

（4）接口开发与功能模块设计知识

（5）数据采集与数据预处理知识

（6）数据计算与数据指标知识

（7）常用数据分析与挖掘方法

（8）常用数据报表与可视化技术方法

（9）数据管理知识

（10）数据运营及技术指导知识

2.2.3安全知识

（1）大数据应用、设备与外部服务组件安全管理知识

（2）大数据服务用户身份鉴别与访问控制相关知识

（3）大数据服务数据活动安全管理知识

（4）大数据服务基础设施安全管理知识

（5）大数据系统应急响应管理知识

2.2.4其他相关知识

（1）环境保护知识

（2）文明生产知识

（3）劳动保护知识

（4）资料保管保密知识

2.2.5相关法律、法规知识

（1）《中华人民共和国民法总则》相关知识

（2）《中华人民共和国劳动法》相关知识

（3）《中华人民共和国安全生产法》相关知识

（4）《中华人民共和国网络安全法》相关知识

（5）《关于加强网络信息保护的决定》相关知识

（6）《关键信息基础设施安全保护条例》相关知识

（7）《网络安全等级保护条例》相关知识

（8）《数据安全管理办法》相关知识

（9）《电信和互联网用户个人信息保护规定》相关知识

2.2.6相关标准

（1）GB/T35589-2017《信息技术大数据技术参考模型》相关知识

（2）GB/T35295-2017《信息技术大数据术语》相关知识

（3）GB/T38673-2020《信息技术大数据大数据系统基本要求》相关知识

（4）GB/T37721-2019《信息技术大数据分析系统功能要求》相关知识

（5）GB/T37722-2019《信息技术大数据存储于处理系统功能要求》相关知识

（6）GB/T36073-2018《数据管理能力成熟度评估模型》相关知识

3工作要求

本标准对初级、中级、高级的专业能力要求和相关知识要求依次递进，高级别涵盖低级别的要求。

3.1初级

大数据处理方向的职业功能包括大数据系统搭建、大数据平台管理与运维、大数据技术服务和大数据处理与应用；大数据分析方向的职业功能包括大数据系统搭建、大数据平台管理与运维、大数据技术服务和大数据分析与挖掘；大数据管理方向的职业功能包括大数据平台管理与运维、大数据技术服务、大数据管理。

职业功能

工作内容

专业能力要求

相关知识要求

1.大数据系统搭建

1.1硬件系统搭建

1.1.1.能根据施工方案，进行需求沟通并确认设备参数

1.1.2能参照施工方案，对大数据机架及大型设备进行机房空间规划并部署服务器

1.1.3能根据组网规划方案，对各服务器或需联通网络设备进行组网布置

1.1.4能根据现场设施及电力系统，对设备进行上电测试及点亮测试

1.1.1硬件设备功能知识

1.1.2服务器组网知识

1.1.3服务器配置知识

1.2软件系统部署

1.2.1能根据系统部署方案，安装集群环境、硬件环境、虚拟化环境所需的各类系统

1.2.2能根据软件部署方案使用脚本部署产品或用原生方法安装各类大数据功能组件

1.2.3能根据节点连接信息配置大数据集群

1.2.4能根据集群功能对组件进行启动调试

1.2.1操作系统安装知识

1.2.2云计算及虚拟化部署知识

1.2.3Linux系统基础操作知识

1.2.4大数据组件安装知识

1.2.5大数据集群配置知识

1.2.6大数据组件基础操作知识

2.大数据平台管理与运维

2.1平台管理

2.1.1能对现有大数据集群的各类组件进行应用变更或版本更迭

2.1.2能根据上线计划，按时完成功能上线

2.1.3能对提交代码的版本进行管理

2.1.1应用变更管理知识

2.1.2代码仓库托管知识

2.1.3功能持续集成知识

2.1.4代码版本控制知识

2.2系统运维

2.2.1能使用工具对集群的软硬件运行状态进行监控管理

2.2.2能使用工具对大数据集群的各类组件、服务的运行状态进行监控管理

2.2.3能使用工具对作业运行情况和资源占用进行监控管理

2.2.4能根据故障报告，参与故障排查，处理故障问题

2.2.5能根据容灾计划，定期备份和迁移关键数据

2.2.1管理平台操作知识

2.2.2系统环境监控知识

2.2.3常见故障排查知识

2.2.4容灾备份知识

2.3安全维护

2.3.1能根据权限规范，使用工具配置和管理用户权限

2.3.2能定期执行漏洞扫描和渗透测试修复安防系统存在的漏洞

2.3.3能针对各类突发的外部攻击或异常事件进行应急处理

2.3.4能在技术指导下对安防系统进行升级和维护工作

2.3.1权限管理知识

2.3.2渗透测试知识

2.3.3常见异常处理知识

2.3.4网络攻防知识

3.大数据技术服务

3.1技术咨询

3.1.1能根据团队既定计划，收集市场目标信息

3.1.2能配合销售团队制作宣讲材料及解决方案展示材料

3.1.3能配合工程师解决客户技术咨询问题并提供参考信息

3.1.1大数据行业应用知识

3.1.2大数据技术体系知识

3.2解决方案设计

3.2.1能根据产品功能和技术架构相关的技术文档，在工程师指导下输出与产品相配套的方案

3.2.2能进行产品演示和讲解产品特性

3.2.3能根据客户沟通反馈整理需求文档

3.2.4能根据客户需求提供产品咨询及参考架构

3.2.1大数据基础理论知识

3.2.2大数据行业发展知识

3.2.3大数据软件架构知识

4.大数据处理与应用

4.1数据采集

4.1.1能根据业务需求进行网络、离线、实时数据采集

4.1.2能根据调度策略使用框架设置调度作业

4.1.3能根据存储策略进行数据存储

4.1.1网络爬虫知识

4.1.2离线数据采集知识

4.1.3实时数据采集知识

4.1.4作业调度知识

4.1.5文件系统数据存储知识

4.1.6关系型数据库知识

4.1.7非关系型数据库知识

4.2数据预处理

4.2.1能根据业务需求对遗漏数据、噪音数据、不一致数据等进行清洗

4.2.2能根据业务需求对不同数据源数据进行整合

4.2.2能根据业务规则对数据格式进行转换

4.2.4能根据数据归一性原则对数据进行单位、数值规约

4.2.1数据清洗知识

4.2.2数据ETL知识

4.2.2数据库基础操作知识

4.2.4SQL函数知识

4.2.5结构化、半结构化与非结构化知识

4.3数据计算

4.3.1能根据业务需求编写批量、实时数据计算作业

4.3.2能根据数据特征计算数据标签并进行汇总

4.3.3能根据数据指标规则计算关键业务指标

4.3.1分布式计算知识

4.3.2内存计算知识

4.3.3数据结构封装知识

4.3.4关键业务指标知识

4.4数据查询

4.4.1能根据数据平台构建联机事务分析系统并进行即席查询

4.4.2能根据检索引擎创建索引库并进行数据检索

4.4.3能使用交互式查询工具创建数据接口并提供对外服务接口

4.4.4能使用交互式查询平台制作报表及展示图表

4.4.1OLAP系统应用知识

4.4.2数据检索知识

4.4.3交互式计算知识

4.4.4报表制作知识

5.大数据分析与挖掘

5.1数据预处理

5.1.1能根据业务需求对遗漏数据、噪音数据、不一致数据等进行清洗

5.1.2能根据业务需求对不同数据源数据进行整合

5.1.3能根据业务规则对数据格式进行转换

5.1.4能根据数据归一性原则对数据进行单位、数值规约

5.1.5能根据数据特征及规律，选择合适方法对数据进行采样

5.1.1数据清洗知识

5.1.2数据ETL知识

5.1.3数据库基础操作知识

5.1.4SQL函数知识

5.1.5结构化、半结构化与非结构化知识

5.2数据分析

5.2.1能结合业务场景使用工具对数据集进行概要、描述性统计分析

5.2.2能在描述结果基础上，对数据进行特征和规律的分析与推测

5.2.3能结合业务场景编写数据统计报告

5.2.1描述性统计知识

5.2.2统计工具使用知识

5.2.3线性相关及回归相关知识

5.3数据挖掘

5.3.1能根据技术指导使用工具对数据进行特征工程处理

5.3.2能调用常规模型进行模型训练

5.3.3能根据合适评价指标对模型进行验证和调参

5.3.4能根据合适评价指标对模型进行测试并输出最终模型的性能评估分数

5.3.1编程基础知识

5.3.2有无监督学习知识

5.3.3数据挖掘类库应用知识

5.4数据可视化

5.4.1能选择关键指标抽取数据并进行图表展示

5.4.2能使用可视化库进行可视化页面开发并配置交互模式

5.4.3能根据产品反馈对可视化页面及图表进行调整和美化

5.4.1BI工具使用知识

5.4.2前端页面开发知识

5.4.3可视化平台配置及使用知识

6.大数据管理

6.1数据管理

6.1.1能对大数据全生命周期进行监控，定义、管理元数据，并提供访问元数据接口服务

6.1.2能对数据质量评估，有效管控数据质量，校正异常数据和缺失数据

6.1.3能根据安全审计要求，对数据活动的主题、操作及对象等数据相关属性进行审核，确保数据活动过程和相关操作符合安全要求

6.1.1数据标准知识

6.1.2数据血缘知识

6.1.3数据质量知识

6.1.4数据审计知识

6.2大数据管理评估

6.2.1能够编写或者受理评估申请

6.2.2能依据DCMM规则和组织需求确定评估范围

6.2.3能够协助企业实施DCMM成熟度自评

6.2.1数据管理能力成熟度评估模型知识

3.2中级

大数据处理方向的职业功能包括大数据应用开发、大数据系统搭建、大数据平台管理与运维、大数据技术服务和大数据处理与应用；大数据分析方向的职业功能包括大数据应用开发、大数据系统搭建、大数据平台管理与运维、大数据技术服务和大数据分析与挖掘；大数据管理方向的职业功能包括大数据平台管理与运维、大数据技术服务、大数据管理。

职业功能

工作内容

专业能力要求

相关知识要求

1.大数据应用开发

1.1应用服务开发

1.1.1能根据系统所使用的组件接口，开发相应的数据访问层业务代码

1.1.2能根据大数据存储系统结构，设计对接业务库表结构

1.1.3能根据产品业务需求，开发相应数据或计算接口

1.1.4能根据流程图梳理代码逻辑，优化接口及功能模块

1.1.1大数据组件API知识

1.1.2模型层接口开发知识

1.1.3服务层接口开发知识

1.2系统测试

1.2.1能根据测试用例，对系统进行接口、功能、压力等黑盒测试并输出缺陷、测试报告

1.2.2能根据测试用例，对代码进行逻辑、分支等白盒测试并输出缺陷、测试报告

1.2.3能根据相应测试需求，开发自动化测试脚本

1.2.1测试技术知识

1.2.2测试用例设计知识

1.2.3测试脚本开发知识

2.大数据系统搭建

2.1硬件系统搭建

2.1.1能根据配置需求，规划及选型硬件配置设施

2.1.2能根据机房环境和配置清单，制定工程实施方案

2.1.3能根据物理硬件特性，制定组网规划方案

2.1.4能根据硬件设备条件，进行底层及驱动配置

2.1.5能根据现场施工情况进行故障处理指导

2.1.1网络架构和规划

2.1.2服务器底层配置知识

2.2软件系统部署

2.2.1能根据应用需求，规划系统部署方案

2.2.2能根据性能需求，对各运行系统进行配置和调优

2.2.3能根据软件部署方案，编写自动化部署脚本，并完成部署

2.2.4能根据集群组件进行高可用及容灾配置

2.2.5能根据集群功能对各组件进行联通调试

2.2.1云计算及虚拟化知识

2.2.2自动化脚本开发知识

2.2.3集群配置知识

2.2.4高可用及容灾知识

3.大数据平台管理与运维

3.1平台管理

3.1.1能根据集群功能变更需求，制定组件升级及功能迁移方案

3.1.2能对上线功能进行测试，评估上线可行性，制定上线计划

3.1.3能对大数据平台中的各个组件使用权限进行管理

3.1.1集群技术知识

3.1.2安全访问控制知识

3.2系统运维

3.2.1能编写脚本对集群软硬件、组件与服务、作业运行情况进行监控及管理操作

3.2.2能对集群的运行性能、读写性能等指标进行调优

3.2.3能根据故障报告，排查故障原因，处理故障问题，并编写自动化运维脚本

3.2.4能制定容灾计划，对异常服务进行故障转移

3.2.1性能调优知识

3.2.2故障排查知识

3.2.3容灾管理知识

3.3安全维护

3.3.1能根据权限管理规范，编写日志监控脚本进行权限安全管理

3.3.2能根据漏洞报告和测试报告开发相应安防补丁

3.3.3能针对各类突发的外部攻击或异常事件制定应急处理方案

3.3.4能对安防系统进行开发、升级和维护工作

3.3.1安全补丁开发知识

3.3.2异常处理知识

3.3.3安防工具产品知识

4.大数据技术服务

4.1技术咨询

4.1.1能收集目标市场信息，分析行业需求

4.1.2能配合销售团队进行产品宣讲和解决方案展示

4.1.3能独立解决客户技术咨询问题并提供技术方案

4.1.4能参与项目架构设计并提出参考意见

4.1.1大数据架构知识

4.1.2大数据技术趋势知识

4.2解决方案设计

4.2.1能根据项目需求，在产品功能和技术架构相关技术文档基础上调整输出项目解决方案

4.2.2能进行产品调研、演示和讲解产品特性

4.2.3能结合业务情况主导或辅助原型项目交付

4.2.4能与业务部门合作挖掘客户需求并输出解决方案

4.2.1大数据基础理论知识

4.2.2大数据行业背景知识

4.2.3市场营销知识

4.2.4项目管理知识

4.3指导与培训

4.3.1能制定技术员、助理工程师对应的人才培养计划

4.3.2能制作培训资源

4.3.3能使用培训材料开展对技术员、助理工程师的专业能力培训

4.3.1大数据技术知识

4.3.2技术教学知识

5.大数据处理与应用

5.1数据采集

5.1.1能根据业务需求进行网络、离线、实时数据采集，并配置数据缓存及消息队列

5.1.2能根据业务需求参与制定数据迁移方案

5.1.3能制定调度策略

5.1.4能制定存储策略并指导助理工程师存储数据

5.1.1信息系统配置知识

5.1.2数据监测与迁移知识

5.1.3数据存储策略知识

5.2数据建模

5.2.1能根据数据建模规范设计数据模型

5.2.2能根据存储系统选型编写并优化数据模型实现脚本

5.2.3能根据业务需求对数据模型进行优化

5.2.1数据仓库知识

5.2.2数据湖知识

5.2.3层次建模知识

5.2.4维度建模知识

5.2.5读写性能知识

5.3数据预处理

5.3.1能根据数据质量要求制定数据清洗策略及评估方案

5.3.2能根据业务要求制定数据整合方案

5.3.3能根据业务需求及性能要求设计数据结构及格式调整方案

5.3.4能根据归一性需求制定数据规约方案

5.3.5能根据业务需求编写自定义数据预处理函数

5.3.1信息技术文档编制知识

5.3.2数据序列化知识

5.3.3数据压缩知识

5.4数据计算

5.4.1能根据业务需求编写批量、实时数据计算作业并优化作业参数

5.4.2.能根据业务规则设计相应标签库并进行标签管理

5.4.3能根据业务规则设计相应数据指标计算算法

5.4.4能根据业务规则对关系对象进行图计算

5.4.1常用算法与数据结构知识

5.4.2数据画像知识

5.4.3数据倾斜知识

5.5数据查询

5.5.1能使用大规模并行分析数据库优化联机事务分析系统性能

5.5.2能使用计算引擎优化数据查询效率

5.5.3能通过计算平台构建检索分析系统

5.5.1大规模并行分析数据库知识

5.5.2数据立方知识

5.5.3查询引擎知识

5.5.4数据分词知识

6.大数据分析与挖掘

6.1数据预处理

6.1.1能根据数据质量要求制定数据清洗策略及评估方案

6.1.2能根据业务要求制定数据整合方案

6.1.3能根据业务需求及性能要求设计数据结构及格式调整方案

6.1.4能根据归一性需求制定数据规约方案

6.1.5能根据业务需求编写自定义数据预处理函数

6.1.6能根据数据特征及规律，制定数据采样方案

6.1.1信息技术文档编制知识

6.1.2数据格式线性变换知识

6.1.3数据清洗需求分析

6.1.4数据清洗方案设计

6.2数据分析

6.2.1能根据分析需求进行数据准备

6.2.2能根据业务需求构建合适的分析模型

6.2.3能使用合适的算法实现分析模型并对拟合结果进行优化

6.2.4能分析数据的主成分及因子等相关特征，重构数据内容

6.2.5能针对数据结果进行归纳并输出分析报告

6.2.1多元统计分析知识

6.2.2判别分析知识

6.2.3聚类分析知识

6.2.4主成分分析知识

6.2.5因子分析知识

6.3数据挖掘

6.3.1能评估挖掘需求并选择合适方法对数据进行特征工程处理

6.3.2能使用算法库及工具创建数据挖掘模型并进行模型训练

6.3.3能选择合适评价指标对模型进行验证及调优

6.3.4能选择合适评价指标对模型进行测试并输出最终模型的性能评估报告

6.3.5能使用编程语言对模型进行部署和重构

6.3.1特征工程处理知识

6.3.2模型训练知识

6.3.3模型评估知识

6.3.4模型部署知识

6.4数据可视化

6.4.1能根据业务需求及分析结果，制定数据展示方案

6.4.2能设计数据可视化实现方式

6.4.3能与产品、运营人员合作美化数据报表及数据展示页面

6.4.4能开发并优化数据可视化库

6.4.5能对数据可视化结果进行业务分析并输出分析报告

6.4.1数据可视化设计知识

6.4.2可视化组件开发知识

7.大数据管理

7.1数据管理

7.1.1能制定数据标准管理制度，通过制度约束、系统控制等手段，提高平台治理水平

7.1.2能制定数据质量管理规范，确保平台数据质量符合规范

7.1.3能制定生命周期管理规范、数据血缘管理规范和元模型标准

7.1.4能制定安全审计要求，确保数据活动过程和相关操作符合安全要求

7.1.5能制定数据资产管理规则，注册入库数据资产信息，并进行资产维护

7.1.1数据标准管理知识

7.1.2数据质量管理知识