江苏省高等职业院校技能大赛大数据技术与应用赛项竞赛规程.docx
- 文档编号:133229
- 上传时间:2022-10-04
- 格式:DOCX
- 页数:7
- 大小:49.16KB
江苏省高等职业院校技能大赛大数据技术与应用赛项竞赛规程.docx
《江苏省高等职业院校技能大赛大数据技术与应用赛项竞赛规程.docx》由会员分享,可在线阅读,更多相关《江苏省高等职业院校技能大赛大数据技术与应用赛项竞赛规程.docx(7页珍藏版)》请在冰豆网上搜索。
2018年江苏省高等职业院校技能大赛
大数据技术与应用赛项竞赛规程
一、赛项名称
大数据技术与应用
二、竞赛目的
本赛项的设置,是为适应大数据开发应用产业对高素质技术技能型人才的职业需求,赛项选取典型的大数据应用业务分析应用场景,重点检验参赛选手掌握大数据业务分析方法和数据分析能力、运用大数据平台及相关工具软件解决具体业务问题的能力,激发学生对大数据知识和技术的学习兴趣,提升学生职业素养和职业技能,展示职教改革成果及参赛师生良好精神风貌。
通过举办本赛项,可以搭建校企合作的平台,提升高职电子信息类及相关专业毕业生能力素质,满足企业用人需求,促进校企合作协同育人,对接产业发展,实现行业资源、企业资源与教学资源的有机融合,使高职院校在专业建设、课程建设、人才培养方案和人才培养模式等方面,跟踪社会发展的最新需要,缩小人才培养与行业需求差距,引领职业院校专业建设与课程改革。
三、竞赛内容
赛项以大数据技术与应用为核心内容和工作基础,重点考察参赛选手在Hadoop平台环境下,对于大规模并行数据处理以及内存计算技术的应用能力。
具体包括:
1.掌握Hadoop平台环境部署与基本配置,了解基于大数据计算平台的常见应用;
2.综合利用numpy、pandas、matplotlib、scikit模块和MapReduce技术、分布式存储系统HDFS、分布式计算框架MapReduce/Yarn、数据仓库Hive、Python等开发语言工具和技术,匹配和连接数据源,实现大数据的采集,提取、清洗、转换、分析、挖掘操作,产生分析结果,并且实现可视化呈现。
3.依据项目应用需求和分析结果,完成数据分析报告的编写。
4.竞赛时间4小时,竞赛连续进行。
竞赛内容构成如下:
考核环节
考核知识点和技能点
Hadoop平台
安装部署
Hadoop平台安装部署和基本配置。
HDFS常用操作命令(查询文件类别、上传、删除文件、查询HDFS基本统计信息)。
Hadoop集群的性能调优。
数据抓取
规则文件数据和关系型数据库数据抓取以及数据同步(同Hadoop/Hive数据同步)。
掌握Hive数据仓库导入、导出以及同Hadoop数据文件的转换,实现Hive数据管理常用命令。
能够通过Python编程,使用streaming和MapReduce机制实现数据的抓取。
数据清洗、整理、计算和表达
基于MapReduce的HDFS文件系统的文件数据的数据查询、整理和计算。
结合Hadoop大数据平台相关技术实现对数据的分析和展现。
应用Python编程工具,实现给定数据源的采集,提取、清洗、转换、分析、挖掘操作,产生分析结果,并且实现可视化呈现。
综合分析
综合应用数据抓取、清洗、整理、计算和表达等相关知识及技术,使用Python编程工具,实现对提供的数据源分析、展现,根据展现结果得出结论,并对结论进行分析,形成分析报告。
竞赛各阶段分值权重和时间分布如下:
序号
竞赛时间
分值权重
Hadoop平台安装部署
240分钟
权重15%
数据抓取
权重30%
数据清洗、整理、计算和表达
权重20%
综合分析
权重30%
团队分工明确合理、操作规范、文明竞赛
权重5%
四、竞赛方式
本赛项为团体赛。
每支参赛队由1名领队,3名选手(其中队长1名),2名指导教师组成。
五、竞赛规则
(一)竞赛工位通过抽签决定。
(二)竞赛所需的硬件设备、系统软件和辅助工具由赛项组委会统一准备,参赛选手不得自带硬件设备、软件、移动存储、辅助工具、移动通信等进入竞赛现场。
(三)参赛队自行决定选手分工、工作程序和时间安排。
(四)所有参赛选手都必须携带参赛证件进行检录。
参赛证件不包含身份证和学生证。
(五)参赛队在赛前10分钟进入竞赛工位并领取竞赛任务,竞赛正式开始后方可展开相关工作。
参赛选手迟到超过竞赛时间一半不得入场。
(六)竞赛过程中,选手须严格遵守操作规程,确保人身及设备安全,并接受裁判员的监督和警示。
如遇到设备或软件等故障,参赛选手应当举手示意;现场裁判应及时予以解决。
如确因计算机软件或硬件故障,致使操作无法继续的,由现场裁判协同技术支持人员共同解决。
(七)若因选手因素造成设备故障或损坏,无法继续竞赛的,由现场裁判报告裁判长。
裁判长有权决定中止该队竞赛;若因非参赛选手个人因素造成设备故障,由裁判长视具体情况做出裁决。
(八)竞赛结束或提前完成后,参赛队要确认已成功提交所有竞赛文档,由参赛队队长签字(签工位号)确认,参赛队在确认后不得再进行任何操作。
(九)竞赛结束或提前完成后,参赛队要确认已成功提交所有竞赛文档,由参赛队队长签字(签工位号)确认,参赛队在确认后不得再进行任何操作,经现场裁判确认后方可离开赛场
(十)成绩评定评分方法分为现场评分和结果评分,经裁判长、监督人员签字确认后予以公布。
(十一)竞赛过程不安排现场观摩。
(十二)其它未尽事宜,将在赛前向各领队做详细说明。
七、竞赛环境
1.竞赛场地。
竞赛场地分为:
竞赛现场、裁判员休息区、指导老师休息区、服务区。
其中,竞赛现场又划分为:
检录区、场内竞赛区、技术支持区。
以上区域应保证良好的采光、照明和通风;
2.竞赛设备。
场内竞赛区按照参赛队数量准备比赛所需的软硬件平台,为参赛队提供统一竞赛设备和备用设备。
选手无需自带任何工具及附件。
3.竞赛工位。
竞赛现场各个工作区配备单相220V/3A以上交流电源。
每个比赛工位上标明编号。
4.技术支持区。
为技术支持人员提供固定工位、电源保障。
5.服务区。
提供医疗等服务保障。
6.竞赛场地应符合消防安全规定,应急照明设施状态合格,赛场明显位置张贴紧急疏散图,赛场出入口专人负责。
现场临时用电满足《施工现场临时用电安全技术规范》JGJ46-2005的要求。
八、技术规范
竞赛项目基础标准(见表2)和软件开发标准(见表3)如下:
(一)基础标准
标准
内容
GB/T11457-2006
信息技术、软件工程术语
GB8566-88
计算机软件开发规范
GB/T12991-2008
信息技术数据库语言SQL第1部分:
框架
20120567-T-469
信息技术云数据存储和管理第1部分:
总则
20120568-T-469
信息技术云数据存储和管理第2部分:
基于对象的云存储应用接口
GB/T21025-2007
XML使用指南
GB/T20009-2005
信息安全技术数据库管理系统安全评估准则 已发布
GB/T20273-2006
信息安全技术数据库管理系统安全技术要求
20100383-T-469
信息技术安全技术信息安全管理体系实施指南
(二)软件开发标准
标准
内容
GB/T8566-2001
信息技术软件生存周期过程
GB/T15853-1995
软件支持环境
GB/T14079-1993
软件维护指南
GB/T17544-1998
信息技术软件包质量要求和测试
九、技术平台
(一)竞赛设备
设备类别
数量
设备用途
基本配置
服务器
1台。
内嵌大数据实训管理系统,提供大数据竞赛。
PC服务器
客户端
每支参赛队伍3台。
竞赛选手比赛使用。
性能相当于2.0GHZ处理器,4G以上内存,显示器要求1024*768以上
根据参赛团队数量,配备10%的备份机器。
(二)软件环境
设备类别
软件类别
软件名称
服务端
竞赛系统运行操作系统
Centos7.0
客户端
桌面操作系统
Windows7
虚拟环境
Virtualbox5.1
虚拟操作系统
Ubuntu14.04LTS
大数据平台软件
Hadoop2.7.1
开发语言
Python2.7.12
数据分析工具
Pandas0.9.12
Python集成开发环境
pycharm-community-2016.3.2
浏览器
Chrome/firefox
文档编辑器
Office2007及以上版本
(三)竞赛技术平台
比赛技术平台:
《北京四合天地大数据实训管理系统》。
十、成绩评定
评分标准
考核环节
考核知识点和技能点
分值
Hadoop平台安装部署
Hadoop平台安装部署和基本配置。
15
HDFS常用操作命令(查询文件类别、上传、删除文件、查询HDFS基本统计信息)。
Hadoop集群的性能调优。
数据抓取
规则文件数据和关系型数据库数据抓取以及数据同步(同Hadoop/Hive数据同步)。
30
掌握Hive数据仓库导入、导出以及同Hadoop数据文件的转换,实现Hive数据管理常用命令。
能够通过Python编程,使用streaming和MapReduce机制实现数据的抓取。
数据清洗、整理、计算和表达
基于MapReduce的HDFS文件系统的文件数据的数据查询、整理和计算。
20
结合Hadoop大数据平台相关技术实现对数据的分析和展现。
应用Python编程工具,实现给定数据源的采集,提取、清洗、转换、分析、挖掘操作,产生分析结果,并且实现可视化呈现。
综合分析
综合应用数据抓取、清洗、整理、计算和表达等相关知识及技术,使用Python编程工具,实现对提供的数据源分析、展现,根据展现结果得出结论,并对结论进行分析,形成分析报告。
30
团队分工明确合理、操作规范、文明竞赛
5
(二)评分方式
1.竞赛成绩评定实行“裁判长负责制”,负责组织评分裁判进行成绩评定。
2.评分裁判:
负责对参赛队伍(选手)的比赛作品、比赛表现按赛项评分标准进行评定。
3.成绩评定是根据竞赛考核目标、内容对参赛队或选手在竞赛过程中的表现和最终成果做出评价。
本赛项的评分方法为现场评分和结果评分,现场评分:
现场裁判根据参赛队的操作规范以及综合表现情况进行评分;结果评分:
依据赛项评价标准,对参赛选手提交的竞赛成果进行评分。
所有的评分表、成绩汇总表备案以供核查,最终的成绩由裁判长进行审核确认并上报赛项组委会。
4.成绩公布方法
竞赛成绩经复核无误后,经裁判长审核签字后公布。
十一、申诉与仲裁
(一)申诉
1.参赛队对不符合竞赛规定的设备、工具、软件,有失公正的评判、奖励,以及对工作人员的违规行为等,均可提出申诉。
2.申诉应在竞赛结束后1小时内提出,超过时效不予受理。
申诉时,应按照规定的程序由参赛队领队向赛项仲裁工作组递交书面申诉报告。
报告应对申诉事件的现象、发生的时间、涉及到的人员、申诉依据与理由等进行充分、实事求是的叙述。
事实依据不充分、仅凭主观臆断的申诉将不予受理。
申诉报告须有申诉的参赛选手、领队签名。
3.赛项仲裁工作组收到申诉报告后,应根据申诉事由进行审查,3小时内书面通知申诉方,告知申诉处理结果。
4.申诉人不得采取过激行为刁难、攻击工作人员,否则视为放弃申诉。
(二)仲裁
赛项设仲裁工作组接受由代表队领队提出的对裁判结果等方面问题的申诉。
赛项仲裁工作组在接到申诉后的2小时内组织复议,并及时反馈复议结果。
仲裁工作组的仲裁结果为最终结果。
第7页
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 江苏省 高等职业 院校 技能 大赛 数据 技术 应用 竞赛 规程