大数据系统架构人才培养方案Word下载.docx
- 文档编号:18526886
- 上传时间:2022-12-19
- 格式:DOCX
- 页数:8
- 大小:17.55KB
大数据系统架构人才培养方案Word下载.docx
《大数据系统架构人才培养方案Word下载.docx》由会员分享,可在线阅读,更多相关《大数据系统架构人才培养方案Word下载.docx(8页珍藏版)》请在冰豆网上搜索。
通过课程培训,让学员掌握:
1、掌握大数据方法体系;
2、掌握Hadoop原理技术;
3、掌握大数据质量管理体系;
4、掌握大数据架构设计思路与方法;
5、掌握大数据架构课程培训技巧;
6、掌握大数据项目的开展步骤及项目控制技巧;
7、授课期间搭建一个基于hadoop的大数据模拟架构平台。
培训对象:
大数据运营、管理和分析人员
参训条件:
管理人员及数据分析人员
课前调研:
在开课之前,与学员和领导进行访谈,进一步明确领导对课程的期望,并了解学员的基础,倾听学员的建议,有针对性的优化培训思路。
课程大纲:
时间
内容
第一讲:
大数据管理介绍与案例分享
大数据整体方案介绍及质量管理方法:
大数据整体解决方案介绍
大数据管理在企业架构中的定位
大数据管理的目标介绍
数据质量管理项目的特点和目标
优化数据质量的方法
第二讲:
Hadoop生态圈及设计原理精讲
hadoop生态系统介绍
hadoop生态圈及系统架构
应用场景及其局限性
本次培训的组件
Hadoop设计原理介绍
第三讲:
Hadoop分布式应用介绍
Hadoop及其生态圈介绍:
基本概念
HelloWorld(WordCount)
运行原理(任务从提交到任务结束的运行流程,有助于编写mr任务)
MapReduce2.x与Yarn(现在的mapreduce,强调hadoop生态系统概念)
第四讲:
Hadoop安装与实践
HDFS与MapReduceHDFS安装:
HDFS基本概念(NameNodeDataNode,数据块等概念)
HDFS的读写原理(分布式读写机制)
Hadoop安装(安装hadoop2.x)
HDFS操作上传文件
运行wordcount任务(通过此操作知道mapreduce怎么运行任务)
第五讲:
MapReduce精讲及任务开发实践
MapReduce应用开发
API的配置
合并资源
各种扩展形式
配置开发环境
MapReduce的工作原理
运行MapReduce作业
提交作业
作业的初始化
任务的分配
任务的执行
MapReduce的类型与格式
MapReduce类型
输入格式
输入分片与记录
文本输入
第六讲:
Hive精讲及操作实践
初识Hive
Hive安装与配置
Hive内建操作符与函数开发
HiveJDBC
Hive高级编程
HiveQL
HiveShell基本操作
hive优化
Hive体系结构
Hive的原理
第七讲:
Impala精讲及操作实践
初识Impala
Impala安装与配置
Impala内建操作符与函数开发
ImpalaJDBC
Impala高级编程
Impala优化
Impala的原理
第八讲:
Hbase精讲及操作实践
HBase基础
概念
数据模型速览
实现
第九讲:
Spark精讲及操作实践
Spark生态圈介绍
Spark包与目录介绍
如何运行Spark作业
Spark原理详细介绍
第十~十一讲:
通信大数据平台搭建实践
模拟通信业务建立大数据平台
将所学与实际需求相结合
在实践中讲解常见注意事项
第十二讲:
大数据平台性能优化及维护
可靠性措施:
一个名字节点和多个数据节点,数据复制(冗余机制)
存放的位置(机架感知策略)
故障检测
数据节点
心跳包(检测是否宕机)
块报告(安全模式下检测)
数据完整性检测(校验和比较)
名字节点(日志文件,镜像文件)
空间回收机制
节点失效应对措施
DataNode的磁盘挂了怎么办?
DataNode所在机器挂了怎么办?
NameNode挂了怎么办?
持久化元数据
SecondaryNameNode
课后考核与跟进:
在上机考试结束后完成毕业考核的评估。
并在本次培训结束后听取学员建议,改善下期课程,并跟进学员在工作中的应用情况,并为学员提供远程的技术答疑,确保学员能够学以致用。
大数据挖掘培养方案
该课程将带领学员理解大数据分析的分析思路和方法,了解云计算、机器学习、统计分析,文本和语义分析,可视化分析等技术。
提高大数据模型分析能力,采用理论与实践相结合的授课方式,来掌握解决实际问题的能力。
3~5天
2、掌握大数据挖掘的原理和思路;
3、熟悉各种大数据分析的模型;
4、掌握通信大数据分析的思路与能力。
大数据分析人员
数据管理介绍与案例分享
上午:
企业数据质量管理方法
数据管理在企业架构中的定位
数据管理的目标介绍
下午:
MapReduce2.0与Yarn(现在的mapreduce,强调hadoop生态系统概念)
大数据分析的重点应用及未来发展方向探讨
企业数据应用的重点方向介绍:
KPI分析
数据挖掘(结构化、非结构化、半结构化)
舆情分析
社会网络分析
大数据分析的常用方法学习
企业数据分析常用方法探讨:
分类预测(如决策树、神经网络、逻辑回归等)
关联(如简单关联、序列关联分析等)
细分(快速聚类、两步聚类等)
时间序列分析(指数平滑模型、ARIMA模型等)
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 系统 架构 人才培养 方案