大数据技术与应用专业培养方案.docx
- 文档编号:8162454
- 上传时间:2023-01-29
- 格式:DOCX
- 页数:21
- 大小:22.85KB
大数据技术与应用专业培养方案.docx
《大数据技术与应用专业培养方案.docx》由会员分享,可在线阅读,更多相关《大数据技术与应用专业培养方案.docx(21页珍藏版)》请在冰豆网上搜索。
大数据技术与应用专业培养方案
大数据技术与应用专业培养方案
一、专业名称及代码
专业名称:
大数据技术与应用
专业代码:
610201
二、教育类型及学历层次
教育类型:
高等职业教育
学历层次:
大专
三、招生对象及学制
招生对象:
普通高中毕业生或同等学历者
学制:
三年
四、就业范围及主要岗位
就业范围:
在各类企事业单位、政府机关以及IT行业从事大数据系统搭建、测试、管理、运维和大数据分析等相关工作。
主要岗位:
1、大数据架构工程师
2、大数据开发工程师
3、大数据分析工程师
4、售前工程师
5、销售支持工程师
6、运维工程师
7、售后技术工程师
五、培养目标及规格
(一)人才培养目标
本专业以服务吕梁、山西省及周边省市经济社会发展为宗旨,面向大数据行业,培养德智体美全面发展和身心健康,践行社会主义核心价值观,具备良好职业道德和诚信品质,掌握计算机技术、Java开发、Mysql数据库、Linux操作系统、数量统计等基础知识、会部署和使用Hadoop及Spark身体系统的常用组件,会使用网络信息采集和页面数据抓取工具,会使用SPSS等数据分析软件,具备对大数据下信息采集、预处理、储存、处理、分析、可视化等技术。
本专业毕业生能胜任政府、企事业单位、社会组织等部门的大数据系统测试、管理运维、大数据分析、数据可视化等技术工作。
(二人才培养规格
1、工作岗位描述(见表1)
2、能力结构与要求(见表2)
3、职业能力证书(见表3)
表1大数据技术与应用专业面向的工作岗位
岗位类型
工作岗位
类型工作任务
职业技能要求
大数据平台规则
大数据架构工程师
1、大数据核心产品设计规划,包括系统架构、技术选型、关键技术研发;
2、大数据新计算框架的选型,技术难题攻关,系统重构优化,根据业务规划及技术制定设计方案
3、大数据监控、运维系统等的构架设计,详细设计,核心功能代码编写,如Hadoop、Maperduce、Stirm等数据存储架构平台、计算框架、数据展示系统设计与搭建
1、具有严密的数学思维、突出的分析归纳能力和数据分析能力;
2、精通Linux操作系统,至少熟练使用Python、Scala、C++等语言中的一种编程;
3、熟悉Hadoop、Hbase、Spark工作原理,熟悉分布式计算实施过程中的问题;
4、精通常见的数据存储相关技术,包括Hdfs、HBase、Hive、MySQL、Redis、Mongodb等;
5、负责大数据平台的性能参数调整和优化;
6、根据业务需求,编制各类分析图表、撰写项目分析文档和报告。
大数据部署
大数据平台开发工程师
1、基于MySQL、Redis、Kafka、Hadoop、Hive搭建开发
大数据分析平台的后台服务,支持数据接入、统计、分析
业务;
2、构建基于Spark/Storm的实时数据处理平台,支撑上层业务使用,如:
数据监控、日报展现、统计分析、业务方调用等;
3、构建基于Hive的即席查询数据统计分析平台;
4、负责数据平台的设计、开发、维护与优化。
1、熟悉Linux的Shell命令,灵活运用Shell做文本处理和系统操作;
2、熟悉分布式计算各种范式,分布式算法实现,有较好的分布式架构设计能力;
3、能够使用SQL操作复杂的数据模型并有SQL优化的经验;
4、熟练掌握Golang、Scala语言,至少精通Python、Perl、Bashshell
脚本语言中的一种,并具有海量数据ETL加工处理经验,从事分布式数据存储与计算平台应用开发;
5、熟练搭建Hadoop集群环境,熟悉Hdfs文件系统,熟练编写MapReduce程序;
6、熟悉Hadoop、Hbase、Hive的原理,并能够管理、配置、运维。
大数据运维工程师
1、参与项目技术平台安装部署、日常运行维护与故障处理、大数据组件补丁升级管理;
2、平台的自动化部署、运维、监控、告警处理,收集Hadoop
的各项metrics指标,确保集群的正常运行;
3、针对Hadoop生态系统的批量部署场景进行运维调优;
4、负责任务调度平台配置及运维管理。
1、具有较强的数据仓库模型设计和ETL设计能力;
2、熟悉Hadoop平台的运维、调优,保障线上集群的稳定可靠;
3、熟练编写Linux下的Shell脚本,能开发相关安全管理工具;
4、能够利用开源软件搭建云服务,并进行相关测试。
大数据分析处理
大数据分析工程师
1、实现数据挖掘算法,并结合核心算法做程序开发;
2、使用数据挖掘、统计分析工具,提供数据决策分析
1、基于Hadoop、Spark的大数据分析和处理;
2、熟悉Python、Scala、Java中的一门以上开发语言,熟悉MySQL、Oralce数据库,对主流分布式存储和运算有一定的了解;
3、熟练使用SPSS、SAS或其它数据挖掘软件,具备数据建模和数据分析理论知识,熟悉常用数据结构和数据处理算法。
大数据可视化工程师
1、负责大数据系统设计和开发工作,如个性化推荐系统、
精准营销、用户画像等数据产品的设计和开发工作;
2、配合需求人员,完成功能模块,支撑日常业务数据需求,负责系统优化、问题跟进并及时解决。
1、有较强编程能力,熟悉C/C++和Python,设计搭建大数据平台;
2、较强逻辑思维能力及软件、算法实现能力,进行抽取、清洗、加工等数据处理;
3、能够设计基于云架构的数据仓库模型,基于大数据平台进行研发、运维、管理等;
4、熟悉数据库、应用服务器和相关开发语言。
良好的数据库设计能力和SQL编写能力。
表2大数据技术与应用专业人才能力结构与要求
职业能力项目
职业能力要求
专业课程
通识能力
计算机基础
操作能力
Windows操作系统、office办公软件应用能力
计算机基本软件应用能力。
《计算机应用基础》
计算机网络
组建能力
理解网络的原理及基本组成;掌握如何构建
简单的网络;
学会分析网络地址;了解现实生活中使用的
网络设备。
《计算机网络基础》
基础程序
语言设计能力
掌握C语言的基本语法。
《C语言程序设计》
大数据
基础能力
了解大数据技术的理论知识、应用前景和最
新发展动态;
了解业内常用的大数据处理工具。
《大数据基础》
岗位能力
面向对象
编程能力
掌握Java程序设计的基本语法、Java面向对
象编程思想;运用Java平台开发Web应用程
序;熟悉JSP,Servlet,JavaBean,JDBC等
技术。
《Java程序设计》
《Java程序设计实训》
《JavaWeb程序设计》
《Javaweb应用开发实训》
数据库
管理能力
使用MySQL创建、查询和管理数据库
《MySQL数据库原理及应用》
大数据系统
开发能力
大数据平台综合部署,包括业务需求分析、
集群环境设置、框架选择、服务器环境部署
等能力、性能测试、Hadoop与其他系统的集
成等;
Spark的部署,进行计算业务模块的开发;
大数据系统性能提升,包括数据读写优化、
并发处理优化、数据存储优化、数据查询优
化等,以及大数据系统安全维护。
《Linux操作系统》
《云计算架构技术与实践》
《Hadoop与大数据挖掘》
《Spark大数据处理技术》
《大数据系统开发实训》
大数据分析
处理能力
掌握数据采集、清洗、处理的原理和技能;
熟练使用数据统计分析软件,进行数据分析
利用可视化工具建立数据可视化方案。
《Python网络爬虫实战》
《概率论与数理统计》
《数据可视化技术》
表3大数据技术与应用专业职业能力证书考核安排
序号
证书名称
备注
1
全国计算机等级考试
选试
2
相关职业能力证书
选试
3
英语应用能力考试
选试
六、课程设置、时间分配、教学进程及实践性教学(见表4、表5、表6)
本专业总课时为2840节,其中理论课时926节,占总课时的32.6%,实践课时1914节,占总学时的67.4%。
表4大数据技术与应用专业教学计划进程表
序号
课程类别
课程名称
学分
总课时
开课学期与课时
第一学年
第二学年
第三学年
合计
理论
实践
一
二
三
四
五
六
1
公共必修课
思想道德修养与法律基础
3
48
32
16
√
2
毛泽东思想和中国特色社会主义理论体系概论
4
64
48
16
√
3
高的数学
3
60
60
√
4
大学英语
8
124
94
30
√
√
5
体育
8
126
126
√
√
√
√
6
大学语文及应用文写作
2
32
16
16
√
7
大学生职业规划与就业指导
2
38
22
16
√
√
8
形势与政策(讲座形式)
1
80
80
√
√
√
√
√
9
大学生心理健康教育
1
16
16
√
√
√
√
10
安全教育
1
16
16
√
√
√
√
11
健康教育
1
16
16
√
√
√
√
公共必修课小计
34
620
384
236
12
专业基础课
计算机应用基础
6
90
90
30
√
13
大数据基础
4
60
36
24
√
14
计算机网络基础
4
60
36
24
√
15
C语言程序设计
6
96
64
32
√
16
概率论与数理统计
4
64
32
32
√
17
Linux操作系统
4
64
32
32
√
专业基础课小计
28
634
260
174
18
专业核心课
MySQL数据库原理及应用
4
64
30
34
√
19
云计算架构技术与实践
4
64
30
34
√
20
Java程序设计
6
96
38
58
√
21
Python网络爬虫实践
4
64
28
36
√
22
JavaWeb程序设计
6
96
38
58
√
23
Spark大数据处理技术
4
64
28
36
√
24
Hadoop与大数据挖掘
7
112
30
82
√
25
数据可视化技术
4
64
28
36
√
专业核心课小计
39
624
250
374
26
专业技能实训
大数据系统开发实例
2
52
52
27
大数据分析挖掘实训
1
26
26
√
28
大数据综合项目实训
1
26
26
√
√
29
Java程序设计实训
2
52
52
30
JavaWeb应用开发实例
1
26
26
√
专业技能实例小计
7
182
182
31
IT认证
IT认证
2
52
52
√
2
52
52
32
综合实践
军事教育
3
78
78
√
33
社会实践
2
52
52
√
√
34
顶岗实习
10
520
520
√
35
毕业设计
7
182
182
√
综合实践小计
22
832
832
36
素质拓展课程
拓展课一
2
32
16
16
√
37
拓展课二
2
32
16
16
√
38
拓展课三
2
32
32
√
素质拓展课程小计
6
96
32
64
合计
138
2840
926
1914
150
578
484
538
608
182
表5大数据技术与应用专业全学程时间安排
学年
军事教育
教学
顶岗实习
复习考试
社会实践
学期周数合计
一
1
3
15
2
20
2
18
2
1
20
二
3
18
2
20
4
18
2
1
20
三
5
18
2
20
6
20
20
总计
3
87
20
10
假期进行
120
表6大数据主要实训课程教学环节一览表
序号
实训课程名称
主要内容及要求
1
大数据系统开发
技术实训(上)
本课程详细讲解了大数据生态体系的各个模块的功能和开发技术。
包括Hadoop体系中的HDFS,Hbase进行数据操作,MapReduce进行数据开发,YARN进行资源配置,Hive完成数据仓库,Pig进行数据分析,理解其基本原理,并通过实验掌握其操作和编程开发。
2
大数据系统开发
技术实训(下)
本课程详细讲解了大数据生态体系的各个模块的功能和开发技术。
包括Oozie完成工作流设计,Zookeeper完成分布式进程协调,Sqoop完成数据传输,Flume完成日志收集等模块,最后介绍Spark生态体系,及其Scala基础和SparkSQL开发。
理解其基本原理,并通过实验掌握其操作和编程开发。
3
大数据采集实训
课程包括网络爬虫基本理论知识的介绍,深入剖析网络爬虫进行数据采集的过程和策略,如何抓取不同类型的数据和文档内容,以及爬取过程中的优化。
通过一种常见工具完成对指定任务的爬取,并存储本地系统中。
4
数据仓库实训
课程通过介绍数据ETL过程、数据汇总过程、关键绩效指标分析、报表与即席查询、OLAP分析、数据挖掘等方法,使学员学到数据处理的思路与能力方法;通过介绍数据质量及元数据管理,使学员了解数据应用的本质,并将其有效运用于数据集市及数据仓库解决方案中。
5
数据统计及分析
掌握分析推断的统计技术,熟练使用数据软件(Python)来分析数据,利用Excel制作分析图表,具备良好的数据呈现技能。
对数据分析报告的撰写有一定程度的掌握,便于在工作中实际操作。
6
数据可视化
本课程从数据可视化的发展,理解数据和可视化的作用入手,介绍可视化工具和设计的方法。
具体结合Tableau和D3.js的工具,让学生掌握可视化的组件,以及各种组合成为的可视化图表。
并结合不同类型的数据和场景,介绍各中设计方法和最佳实践,学生如何产生的合适的可视化内容。
最后结合案例,理解可视化在各个领域的实际应用。
7
企业大数据技术
实训
课程全面讲解代表性大数据平台的产品,包括大数据计算服务MaxCompute,分析型数据库AnalyticDB,表格存储TableStore和大数据开发平台DataIDE,以及典型的大数据应用产品。
包括每个产品的使用场景,技术特点,以及实际操作实验。
8
大数据综合项目
实训
提供电商大数据、通信大数据、农业大数据、交通大数据、电力大数据、政务大数据、金融大数据、医疗大数据等八个完整的项目案例。
还会不断更新引入新的实训案例。
七、课程主要内容简表
课程课程名称
课程性质
主要内容
计算机网络技术
必修
1/1、掌握计算机网络概念,网络四层结构与协议、设备与操作系统
2/2、掌握局域网组网方法,互联网法律法规应用
C语言程序设计
必修
1、1、掌握C语言的和基本操作
2、2、掌握C语言程序设计的基本方法和基本技能
关系型数据库概论
必修
1、掌握关系型数据库概论的和基本操作
2、掌握关系型数据库概论的基本方法和基本技能
数据结构
必修
1、掌握常用的基本数据结构
2、了解数据结构的逻辑思想和实现方法
3、掌握程序设计方法、程序设计风格
Linux操作系统应用
必修
1、掌握运用Linux安装、环境的配置
2、掌握Linux系统管理,Linux网络管理
网页设计(HTML/CSS)
必修
/1、掌握Web网站的基本知识
22、掌握HTML/CSS的相关知识,并运用
SQLServer数据库应用
必修
1、1、掌握SQLServer2005的基本操作
2/2、运用SQL语言进行程序设计
云存储技术
必修
1、掌握本课程主要讲解云存储基础知识
2、掌握云存储整体架构的设计与搭建,通过集群应用、网格技术或分布式文件系统等功能,将网络中大量不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问
组网技术与网络管理
必修
1、了解组建一个计算机网络的各个环节
1、掌握组建网络和进行网络管理所需要的各种专业技术知识
大数据平台综合技术
必修
1、掌握大数据平台综合技术的基础知识
2、掌握大数据平台综合技术的传输介质、设计与施工、测试及标准等。
基础
必修
1、掌握语法、基本概念和基本知识
2、掌握结构和功能
2、能使用制作动态网站项目开发技术
项目开发
必修
1、能够运用动态网站开发技术,完成像网上商城购物系统后台设计的开发;
3、2、能够完成完成比较综合的动态网站项目的开发
PHP程序设计
必修
1、掌握PHP程序设计的理论知识
2、掌握PHP程序设计的基本方法和基本技能
软件工程
必修
1/1、掌握软件工程的基础知识
2、能够把软件工程相关知识运用于项目开发中,生产相关的文档
精通Javascript+Jquery
必修
1、掌握Javascript+Jquery的基本理论知识;
2、运用Javascript+Jquery来设计出较综合的应用程序
大数据分析与开发
必修
1、了解大数据概念,掌握大数据产生和应用,大数据的作用
2、掌握大数据关键技术、处理模块;分布式编程、开发等
PHP企业级应用开发
必修
1、运用PHP语言来设计出较综合的应用程序
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 技术 应用 专业 培养 方案