天津市卓越软件工程师.docx
- 文档编号:26348390
- 上传时间:2023-06-18
- 格式:DOCX
- 页数:22
- 大小:25.76KB
天津市卓越软件工程师.docx
《天津市卓越软件工程师.docx》由会员分享,可在线阅读,更多相关《天津市卓越软件工程师.docx(22页珍藏版)》请在冰豆网上搜索。
天津市卓越软件工程师
天津市卓越软件工程师
2015年实验班分方向培养计划
一、方向情况
序号
企业名称
方向名称
企业项目实训类别
方向负责人
1
中科瑞通
大数据与云计算
大数据应用开发
付立军
二、方向培养计划
(一)专业特色
企业项目实训类别
大数据应用开发
方向特色
当下是大数据时代。
“大数据”需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
“大数据”的是无法使用传统流程或工具处理或分析的信息。
为构建大数据平台,需要对分布式数据收集,大数据存储,分布式计算,资源管理等系统有全面而又深入的理解。
本课程提供在企业在大数据时代普遍面临的各种挑战的解决方案。
该实训授课内容均是大数据前沿最流行、最热点技术内容,这些开源技术在将来很长一段时间内还将不断的被发展、优化。
企业中如果应用大数据技术解决实际问题,为企业发展增加核心竞争力。
本项目将全面覆盖大数据领域通用架构及涉及到的技术组合:
离线数据平台:
Hadoop、Hive、HBase、ETL、Flume
实时数据平台:
Storm、Kafka、Flume
所需软硬件环境
单机器配置要求:
磁盘容量大于等于500G
2个4核/8核CPU
16-64GB内存
千兆以太网
LinuxCentOS6系统
Hadoop集群:
5台
Storm集群:
3台
(二)建议先修课程列表
序号
课程名称
需掌握知识点
1
数据结构
线性表,栈,队列,串,数组,树,图等基本数据结构知识。
2
数据库技术
对主流数据库Oracle10g、MySQL等熟悉,同时对NoSQL较好的认识。
3
操作系统
进程管理、内存管理、文件系统、网络通讯、安全机制、用户界面、驱动程序等功能了解掌握。
4
计算机网路
对路由、交换、通讯、体系结构、网络协议、设计及集成等掌握和了解。
(三)专业技术课程列表
序号
课程名称
学时
学分
任课教师
备注
1
JAVA高级开发与实践
30
2
李守斌
大数据基础课
2
Linux实践与计算机算法实践
15
1
刘冰
大数据基础课
3
Hadoop原理与实践
32
2
常志军
专业核心课
4
HBase技术实践与应用
45
3
高俊秀
专业核心课
5
Storm与实时数据系统
32
2
常志军
专业核心课
6
大数据平台架构与实现
60
4
高俊秀
常志军
专业核心课
7
数据仓库建设
30
2
徐文
方巍
提升及就业发展课
(四)专业技术课程简介
课程名称
(1)
JAVA高级开发与实践
教材
《Java核心技术:
卷I基础知识+卷II高级特性》
教学内容
技术块
Java编程基础及高级类特性、JAVA数据库编程技术
知识点
Java开发的工具Eclipse
Java类库熟练运用
关系型数据库及SQL语言
ODBC、JDBC的工作原理及使用方
MySQL数据库访问与运用
重点
MySQL数据库、JDBC、数据库连接池的使用
技术块
JSP+Servlet编程
知识点
Jsp运行原理、Jsp隐含对象、Jsp指令,Jsp动作
JavaBean、标签技术、文件上传、数据库连接池配置
Servlet运行原理、Web应用配置、Web应用服务器配置
SSL安全协议、监听器、过滤器、DAO概念
重点
JavaBean技术、数据库连接池配置、Web应用服务器配置、SSL安全协议
技术块
多线程机制和设计模式
知识点
程序、进程、线程的概念和原理
Thread类的子类创建线程方法
Runnable接口创建线程
设计模式的背景知识和设计模式的种类
重点
线程控制方法,线程的调度、互斥和同步;设计模式
技术块
目前流行的三大框架
知识点
Struts工作原理、Struts框架技术及应用
Spring工作原理、Spring框架技术及应用
Hibernate工作原理、Hibernate框架技术及应用
重点
SSH三大框架的整合应用项目开发技术
考核方式
项目实践、课堂出勤、团队合作
课程名称
(2)
Linux实践与计算机算法实践
教材
《Linux编程从入门到精通》,化工出版社;
《计算机算法与程序设计》,清华大学出版社;编程之美
教学内容
技术块
Linux基础与实践
知识点
Linux操作系统基础:
Linux系统的特点及安装管理;桌面系统的使用;用户管理;文件系统操作;VI工具使用。
Linux磁盘与网络管理:
网络管理;进程管理;磁盘管理;日志管理。
服务安装与部署:
WEB服务器;数据库服务;Java安装与配置;Linux服务;Iptables配置;虚拟化配置。
Linux下的Shell编程:
Linux下的Shell编程方式
重点
服务前安装部署,shell编程,磁盘与网络管理。
技术块
计算机设计算法实践
知识点
二叉树的前序遍历,中序遍历和后续遍历的实现(递归和非递归),查找算法,内排序(插入排序,快速排序,选择排序等)
时间复杂度和空间复杂度
数组及字符串实践应用
链表及树的运用
递归和动态规划
重点
熟练掌握算法各类应用
考核方式
项目实践、课堂出勤、团队合作
课程名称(3)
Hadoop原理与实践
教材
Hadoop权威指南(第2版)
教学内容
技术块
HDFS存储概述
知识点
HDFS存储核心概念
HDFS关键运作机制
HadoopShell
重点
了解Hadoop的存储架构HDFS,能够使用HadoopShell
技术块
MapReduce原理和事件
知识点
MapReduce运行机制
MapReduce使用注意事项
编写MapReduce程序并能运行出正确结果
重点
根据数据的特点能够设计MapReduce程序,并编写和运行
考核方式
项目实践、课堂出勤、团队合作
课程名称(4)
HBase技术介绍与应用
教材
HBase权威指南[HBase:
TheDefinitiveGuide]
教学内容
技术块
HBase文件系统
知识点
HBase部署安装
HBase存储于HDFS的关系
HBase逻辑存储原理
HBase查询流程
重点
了解HBase的原理,清楚HBase解决实时查询的关键设计
技术块
HBase基本操作
知识点
客户端API
Java实现对Hbase的put、get等方法
HBase过滤器使用
HBase表、列族、行键设计等
重点
能根据需求设计合理的HBase表,并能完成相关操作
考核方式
项目实践、课堂出勤、团队合作
课程名称(5)
Storm与实时数据系统
教材
Storm分布式实时计算模式[StormBlueprintsPatternsforDistributedReal-TimeComputation]
教学内容
技术块
Storm编程学习
知识点
Storm集群搭建,依赖ZeroMQ、JNMQ、Python2.6.6
Stormtopology构成组件及作用
Trident介绍
实践单词实时统计Topology
重点
掌握StormTopoloy编程各组件的角色和用法。
能将负责逻辑转成为组件流程。
技术块
基于Storm的实时流式处理平台
知识点
Flume部署,实时监控数据源
Kafka部署,实现Flume向Kafka加载数据
Storm集群部署、Storm从Kafka中读取实时处理
实践网站日志实时监控,完成ip黑名单功能
重点
理解实时流式数据平台的通用架构,加每个环节使用的技术
考核方式
项目实践、课堂出勤、团队合作
课程名称(6)
大数据平台架构与实现
教材
Hive编程指南[ProgrammingHive]
教学内容
技术块
Hive实现原理、了解metastore
知识点
Hive的产生背景、主要解决的问题
Hive转译引擎的工作机制
Hive加载、访问接口
HQL与SQL的对比
重点
了解Hive工具的作用,工作机制
技术块
Hive对表的基础操作
知识点
创建、删除、修改表
外表、内表、分区介绍
动态分区实现分区准确性
多表关联查询
重点
熟悉对Hive的基本操作,能根据需求建立Hive表。
考核方式
项目实践、课堂出勤、团队合作
课程名称(7)
数据仓库建设
教材
The Data Warehouse Mentor:
Practical Data Warehouse and Business Intelligence Insights
教学内容
技术块
数据仓库概述
知识点
数据仓库的由来和常见概念
数据仓库常见问题
数据仓库的基本架构
重点
数据仓库的基本架构
技术块
ETL理论和实施
知识点
ETL的基础理论
ETL常见问题
根据要求完成ETL任务
重点
完成ETL任务编写
技术块
构建示例数据仓库
知识点
根据要求完成多个相互关联的ETL任务
理解各种任务和数据仓库分层的概念
技术块
完成示例数据仓库的构建,并理解数据仓库的分成概念
考核方式
项目实践、课堂出勤、团队合作
(五)实训项目简介
在项目的设定上,根据行业培养的方向制定合理的项目实训计划。
项目名称1
企业营销管理系统(JAVA实践)
实训周期(周)
4
主讲
李守斌
助教
王学兵
项目简介
(主要填写项目实现的功能模块简介)
模拟实现某省移动营销支持系统,为管理员提供营销活动策划、审批、评估,为用户提供活动推荐、订购、查询功能。
该系统主要包括权限管理、实时数据采集、数据处理、营销活动策划、营销活动审批、营销活动推荐、营销活动受理,营销活动评估等功能。
权限管理,实现基础的工号和角色的管理,支撑工号、角色的增、删、改、查,角色权限分配,权限认证等功能。
数据采集,模拟实现数据的交互,用户行为轨迹。
数据处理,对采集的数据进行分类、分析、形成用户标签库
活动策划,实现对营销活动的配置,包括基础信息、营销内容、发布渠道等信息管理。
活动审批,实现对营销活动的多层级审批。
营销活动推荐,根据用户的行为进行主动、被动营销活动推荐。
活动受理,为用户办理某个营销活动,提供查询功能,包括参加活动的条件限制,和参加活动后的约束。
营销活动评估,实现以的统计报表,活动推荐、订购成功率等。
组织形式
角色
职责
人数
项目工程师
系统分模块开发、系统模块间整合
5人
助理工程师
负责需求调研与业务逻辑设计
1
项目经理
项目的规划、协调、项目节点把握
1
项目组
成立项目组,制定项目里程碑
项目组长
对项目设计、跟踪及需求的沟通
1
技术骨干
主要负责一个模块,带领1-2人完成
2
项目组成员
按照项目组长的安排,完成相关开发实践任
3
考核方式
评分总体标准:
●本门课程满分为100分;
●评分标准为:
总分=项目提交(50%)+平时表现(20%)+项目答辩(30%)
●对于实训课程注重过程,强调结果
内容
具体内容
评分标准
权重
项目提交物(50%)
项目相关文档
1)《项目任务分配及进度表》
2)《项目需求分析说明书》
3)《项目详细设计说明书》
4)《项目测试说明书》
5)《项目实训个人总结》
1)每份文档占该项的20%权重,根据其情况酌情进行处理。
2)根据文档具体的完成的情况进行酌情给分。
40%
项目源代码
依据项目源代码
1)代码书写美观符合编码规范。
2)代码运行正常。
3)页面的设计美观,合理,功能全面。
4)功能设计上有所创新。
5)不符合要求者,酌情扣分。
60%
平时表现(20%)
学习
态度
依据上课学习积极情况
根据其完成项目的积极性和做项目态度,教师进行给分。
50%
出勤
情况
依据考勤统计表
根据《考勤表》进行给分。
50%
答辩(30%)
答辩PPT
依据项目答辩的PPT
1)PPT制作美观,内容全面。
2)按照要求完成PPT的每个环节。
3)不满足要求者酌情给分。
50%
项目
运行
依据项目运行情况
1)项目能够正常运行。
2)对此项目各个功能的理解到位,能回答出老师的提问。
3)不满足以上条件酌情扣分。
50%
项目名称2
通用海量数据计算、分析平台建设
实训周期(周)
17
主讲
常志军\高俊秀
助教
裴鹏飞
项目简介
项目模块1:
分布式日志收集分析系统
实训周期(周):
4
实践意义:
日志收集是企业构建海量数据分析平台的第一步。
源数据包括:
日志、db、网络数据等。
当产生数据的服务器达到百台、甚至几千台时,分布式日志收集就更加重要,同时也将会面临更大的挑战。
本项目即为实践分布式日志收集系统在产业中采用的技术组合、关键指标、容错机制等。
项目目标:
(1)搭建Flume,HDFS,MapReduce,Hive系统
(2)构建一个分布式日志收集系统,涉及数据收集,存储,计算分析和报表展示
主要功能模块:
一、Flume作为最底层采集工具。
第一级Flume通过avro完成分布式收集,根据数据源、数据量的大小,第二级Flume进行数据接收并写到HDFS、(Kafaka,实时模块使用)中。
多级的Flume设计降低了应用服务器的负责,同时提高了容错性。
二、HDFS、MapReduce作为分布式存储、计算系统,主要完成对数据的存储和处理。
三、数据仓库构建工具Hive,构建实践使用的数据表。
Hive的本质是HDFS文件的逻辑记录,处理脚本通过Hive的翻译引擎。
数据应用人员通过撰写类SQL的HQL,即可实现对海量数据的处理。
项目模块2:
基于Hadoop的ETL系统
实训周期(周):
6
实践意义:
ETL是构建数据仓库的重要一环,从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据格式,将数据加载到数据仓库中去。
在数据仓库建设过程中,ETL是最花费时间、人力的,约占整个项目的60%-70%左右。
ETL就是要将各个不同的数据文件或数据库所撷取的资料,根据企业之需求及数据仓库Model的设计,转换成正确的信息,清除重复不需要的资料,转至统一的数据库中,保留在企业内以利后续使用。
企业级数据平台有很多通用的开源技术和方法,但只有ETL是需要独立开发的。
这是构建数据中心的不可回避的工作。
项目目标:
(1)构建一套基于HadoopMR的ETL工具,从HDFS作为源数据,ETL的结果数据导入到Hive数据仓库中。
实验数据采用:
常见的Apachehttps日志;
(2)在任务调度平台上定时统计IP黑名单的设计和实现。
使学生通过该实践,完成ETL、任务调度平台两个独立工程。
可以作为以后在实践工作中扩展的基础。
其中:
1.ETL和任务调度平台均采用Java开发,与HDFS、MR的交互均采用HadoopAPI形式,可以比较清晰的获取任务的状态及异常信息。
2.对ETL任务的管理模块,也在同一工程中实现,主要采用状态转化的方式,使多线程充分的并行计算。
ETL主要功能模块:
一、日志初始化模块:
完成对待处理数据的格式化并入DBQUEUE.
二、Job执行模块:
配置并启动mr任务,并采集job信息记录到DBQUEUE
三、加载到数据仓库模块:
将mr生成的结果文件加载到hive系统中。
四、重试机制:
对失败任务设定重试次数和时间。
五、行解析逻辑模块:
完成map中对一行的处理逻辑。
六、工程采用抽象工程模式,可以快速扩展新日志的ETL功能。
任务调度平台主要功能模块:
一、定时模块:
完成灵活多样的定时
二、适配器模块:
主要将对task管理的模块进行了抽象
三、逻辑实现模块:
每个任务的差别都很大,因此在设计上接口是同一的,逻辑是不同的。
四、重试机制:
对失败任务设置重试功能,可以设置次数。
项目模块1:
Storm实时处理系统(实时监控网站的PV\UV)
实训周期(周):
7
实践意义:
过去的十年是数据处理变革的十年,MapReduce、Hadoop以及一些相关的技术使得我们能处理的数据量比以前要大得多得多。
但是这些数据处理技术都不是实时的系统—它们设计的目的也不是为了实时计算。
然而大规模的实时数据处理已经越来越成为一种业务需求了,而缺少一个“实时版本的hadoop”已经成为数据处理整个生态系统的一个巨大缺失。
Storm填补了这个缺失。
项目目标:
(1)构建一个实时数据处理平台,技术组合:
Flumeng、Kafka、Storm、Mysql、Zookeeper。
(2)在这个平台上实践网站数据的实时处理,完成对PV\UV的统计。
使学生通过该实践,对实时处理系统有整体的理解,并能部署;可以写topology程序,完成对通用逻辑的处理。
其中:
1.掌握Flumeng需要下载Flumeng-kafka插件、kafka-storm插件的安装,并且能完成在第一级Flume对目录进行数据采集。
2、掌握Zookeeper作为协调系统,在Kafka、Storm以及nimbus和supvisor之间的znode使用方法。
主要功能模块:
一、收集模块:
flume实现近实时日志收集
二、消息缓冲模块:
因为flume与storm直接对接,可能会出现压力过大而丢失或异常,所以必须要有缓冲模块。
三、逻辑处理模块:
采用storm集群进行逻辑处理。
四、结果数据存储模块:
采用mysql作为结果数据的存储系统。
以供app使用数据。
组织形式
角色
职责
人数
项目工程师
负责系统的构建,程序设计与实现
6
分别负责ETL和任务调度工程的开发;
5
实时系统的部署与运维;统计逻辑的开发;
5
助理工程师
负责调研使用大数据解决的业务逻辑
1
项目经理
负责协调各层对接
1
拆分工作、定工程里程碑,跟进工程的实现
1
拆分工作、定工程里程碑,跟进工程的实现
1
项目组
成立项目组,制定项目里程碑
项目组长
负责任务分配,进度检查与反馈
1
技术骨干
主要负责一个模块,带领1-2人完成
3
项目组成员
按照项目组长的安排,完成相关开发实践任务
4
考核方式
评分总体标准:
●本门课程满分为100分;
●评分标准为:
总分=项目提交(50%)+平时表现(20%)+项目答辩(30%)
●对于实训课程注重过程,强调结果
内容
具体内容
评分标准
权重
项目提交物(50%)
项目相关文档
6)《项目任务分配及进度表》
7)《项目需求分析说明书》
8)《项目详细设计说明书》
9)《项目测试说明书》
10)《项目实训个人总结》
3)每份文档占该项的20%权重,根据其情况酌情进行处理。
4)根据文档具体的完成的情况进行酌情给分。
40%
项目源代码
依据项目源代码
6)代码书写美观符合编码规范。
7)代码运行正常。
8)页面的设计美观,合理,功能全面。
9)功能设计上有所创新。
10)不符合要求者,酌情扣分。
60%
平时表现(20%)
学习
态度
依据上课学习积极情况
根据其完成项目的积极性和做项目态度,教师进行给分。
50%
出勤
情况
依据考勤统计表
根据《考勤表》进行给分。
50%
答辩(30%)
答辩PPT
依据项目答辩的PPT
4)PPT制作美观,内容全面。
5)按照要求完成PPT的每个环节。
6)不满足要求者酌情给分。
50%
项目
运行
依据项目运行情况
4)项目能够正常运行。
5)对此项目各个功能的理解到位,能回答出老师的提问。
6)不满足以上条件酌情扣分。
50%
(六)就业保障
可推荐的就业目标企业
企业名称
就业地点
备注
搜狐网
北京
中国软件与技术服务股份公司
北京
及外地分公司
丰瑞祥信息技术有限公司
北京
及合作的支付类企业
北京百分点信息科技有限公司
北京
中科曙光
北京天津
及中科院所属其他企业
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 天津市 卓越 软件工程师
![提示](https://static.bdocx.com/images/bang_tan.gif)