某大学高校大数据分析应用功能分析0922V15.docx
- 文档编号:896532
- 上传时间:2022-10-13
- 格式:DOCX
- 页数:17
- 大小:27.45KB
某大学高校大数据分析应用功能分析0922V15.docx
《某大学高校大数据分析应用功能分析0922V15.docx》由会员分享,可在线阅读,更多相关《某大学高校大数据分析应用功能分析0922V15.docx(17页珍藏版)》请在冰豆网上搜索。
某大学高校大数据分析应用功能分析0922V15
某大学大数据分析应用
功能分析
目录
1项目整体目标4
2项目总体建设内容4
2.1源数据采集4
2.2大数据管理平台系统4
2.3大数据业务分析模块4
3项目建设清单5
3.1数据采集与清洗5
3.2大数据管理平台5
3.2.1智能数据采集5
3.2.2智能数据治理5
3.2.3智能存储检索5
3.2.4智能挖掘算法6
3.2.5智能实时计算6
3.2.6智能数据运维6
3.2.7智能科研实践6
3.2.8智能统一API7
3.2.9智能数据安全7
3.3教师个人数据中心7
3.4学生个人数据中心7
3.4.1学生个人信息7
3.4.2学生成绩7
3.4.3奖助学金情况8
3.5学生画像应用8
3.6综合预警分析8
3.6.1关爱周报8
3.6.2关爱月报8
3.6.3低消学生分析8
3.6.4预警推送8
3.6.5成绩预警9
3.7行为轨迹分析9
3.8校园综合分析9
3.8.1学生成绩报告9
3.8.2学生消费报告9
3.8.3学生借阅报告9
3.8.4老师借阅报告9
3.9学生个人大数据报告10
4技术规格要求10
4.1数据采集与清洗技术要求10
4.2大数据管理平台技术要求11
4.2.1智能数据采集:
11
4.2.2智能数据治理:
11
4.2.3智能存储检索:
12
4.2.4智能挖掘算法:
12
4.2.5智能实时计算:
13
4.2.6智能数据运维:
13
4.2.7智能科研实践:
14
4.2.8智能统一API14
4.2.9智能数据安全:
15
4.3教师个人数据中心技术要求15
4.4学生个人数据中心技术要求16
4.5学生画像应用技术要求17
4.6综合预警分析技术要求19
4.7行为轨迹分析技术要求20
4.8校园综合分析技术要求21
4.9学生个人大数据报告技术要求21
5项目预算22
1项目整体目标
随着采购人信息化的建设与发展,学校各部门的信息化系统已逐步建设并投入使用,并且已经积累了大量的可用数据。
本项目通过某大学校园大数据分析的建设,将现有各业务系统产生的数据进行全校范畴内的有效整合,并通过数据关联分析,挖掘数据的核心价值,对全校师生提供深层次的信息增值服务,为学校领导及师生分析与决策提供数据支持,最终实现将数据转变为学校效益,提升管理效率,促进教学与服务质量,增强学校的综合竞争力。
2项目总体建设内容
本项目具体建设内容包括如下:
2.1源数据采集
本项目需要的数据源,包括校内业务系统、硬件设备等,包括各类型的结构化数据和非结构化数据进行采集和集成、数据清洗等工作,并按照统一标准格式进行数据采集入库,建立合适的数据模型。
2.2大数据管理平台系统
搭建与开发某大学大数据平台系统,用于管理和存储本项目建设需要的各类源数据,并进行周期性的数据自动预处理,包括对各类源数据进行采集、清洗、转换、质量处理等操作构建大数据数据仓库;同时提供标准的内外数据读取接口和图形化的数据管理运维系统。
2.3大数据业务分析模块
对存储在数据仓库的数据进行处理,按周期时间进行汇集,根据业务需求和用户要求进行多维关联分析及挖掘处理,制作针对不同场景的数据分析业务。
根据数据现状,结合学校大数据建设目标需求,针对性开发与提供7个(清单中第3到第9项)大数据业务分析系统。
3项目建设清单
3.1数据采集与清洗
系统数据采集与清冼服务:
包含接口调研,接口调测,数据采集,数据清洗,数据治理,数据质量监控、数据导入等;
数据源范围:
一卡通、教务系统、上网认证系统、上网审计系统、门禁系统、图书馆管理系统、校园WiFi、人事系统、科研系统等系统。
3.2大数据管理平台
3.2.1智能数据采集
支持不同的数据爬虫工具,实现将不同的数据爬取过来。
如:
http接口、FTP接口、webservice接口、oracle数据库、SQLserver数据库等。
支持可视化图形化采集功能,通过可视化采集工具,可以看到不同的业务系统的数据抽取情况,形成采集报告,做整体的可视化监控;
3.2.2智能数据治理
对数据进行治理,如数据缺失、数据重复、数据错误、数据不可用等,同时支持对不可用数据提供按规则适配、关键字匹配、枚举转换等治理方法;
3.2.3智能存储检索
采用Hadoop分布式存储方式,采用HIVE、HBASE、HDFS三种分布式存储技术对大数据仓库平台中的数据分类存储,提供原始库、标准库、主题库这三个数据库。
支持对整体数据仓储的管理和检索,平台对单条记录查询响应小于3ms,在10亿以上的日志库中检索响应时间可实现小于5ms;
3.2.4智能挖掘算法
提供包含特征工程、统计算法、分类算法、回归算法、时序分析、主成分分析、关联推荐、深度机器学习、信念网络、决策方法等优化的常用数据挖掘算法库,同时提供包含spark机器学习算法库、python算法库。
提供针对于教育行业关于学习、教学、管理、日志、互联网数据等数据的特定算法及模型库,用户可通过图形界面自主选择使用算法,含成绩标准换算、成绩预测分析算法,协同过滤推荐等算法。
商业BI工具采用商业BI,提供>=10个Lisecne授权;
3.2.5智能实时计算
针对实时性要求比较高的数据,提供实时采集、实时计算、实时展示功能。
利用flume做日志管理、利用kafka做实时流处理,形成消息队列处理机制;
3.2.6智能数据运维
提供运维管理功能,包括集群节点和系统服务的可视化配置与管理、性能和运行状况监控、异常告警、权限的管理与配置等相关功能。
提供用户的账号、类型、权限、邮箱等基础信息提供全方位的管理,并以角色权限的控制方式控制用户对数据平台的访问,粒度可达数据库的每个字段;
3.2.7智能科研实践
提供标准封装接口,支持科研构建应用,方便用户构建科研分析平台。
应用端呈现端与数据挖掘平台相互独立,采用解耦合架构,可适合多语言开发人员,并支持多前端应用框架;
3.2.8智能统一API
提供统一的数据仓库开发接口,支持包括Python、Java、R等语言的开发语言,提供标准的sql语言支持。
供统一的API接口管理中心,对接口提供统一的管理控制及授权。
提供统一的模型主题库开发接口,可无缝对接第三方BI开发工具,支持用户自定义业务呈现开发,同时支持对教学的建模及比赛,提供对外服务功能,包括API接口,结构化数据导出至Oracle、MySQL、SQLServer等关系型数据库,数据下载等相关功能;
3.2.9智能数据安全
构建了大数据平台的管理运维中心,负责大数据平台中的数据查询、数据管理、用户管理、存储管理、集群管理和用户管理等工作,采用图形化的工具,实现对成百上千节点的运维管理,同时支持平台性能、访问等异常告警功能并上报系统管理员,降低用户运维管理的技术难度,做到意外事前预测和事后追踪双重保障。
提供租户管理功能,包括多租户服务,划分大数据分析资源,资源各类等相关功能
3.3教师个人数据中心
包括教师的在校教学、科研成就、图书借阅、在校消费等,整个教师生命周期的综合业务查询与统计分析,并对教师进行个人数据画像
3.4学生个人数据中心
3.4.1学生个人信息
学生的个人信息包括姓名,学号,生日,籍贯,有无严重病史等;
3.4.2学生成绩
包括学生的历史成绩,各类竞赛成绩,英语四六级成绩;
3.4.3奖助学金情况
学生奖助学金获得情况,包含各类奖惩情况。
3.5学生画像应用
对学生从招生到成为校友的全过程业务数据综合展示,包括学生的在校学习、业余活动、在校社团、图书借阅、食堂消费、住宿情况、校友管理等,整个学生生命周期的综合业务查询与统计分析,并对学生进行个人数据画像分析。
3.6综合预警分析
3.6.1关爱周报
包括学生上周的各类数据统计,对比全校学生整体数据情况反映学生成长状况;
3.6.2关爱月报
包括学生上月的各类数据统计,对比全校学生整体数据情况描绘学生成长状况;
3.6.3低消学生分析
提供近期低消学生的分布情况、消费情况及对应的补助发放等情况;
3.6.4预警推送
为老师推送存在异常的问题学生,如多次逃课旷课,夜不归宿,疑似不在校,消费情况异常等行为,使辅导员及时了解学生存在的问题。
利用统一消息发送平台进行信息推送和异常预警;
3.6.5成绩预警
根据学生数据的历史行为表现,为辅导员推送存在成绩下滑危险的学生,使辅导员及时了解情况并采取相应措施
3.7行为轨迹分析
反映昨日学生活动轨迹,包括相关的一卡通数据、wifi数据,网络登入情况,图书馆借阅情况等,反应学生日常活动轨迹
3.8校园综合分析
3.8.1学生成绩报告
每学期统计一次,包括各院系优秀学生分布情况、各院系平均绩点排名、挂科TOP10课程列表等信息;
3.8.2学生消费报告
每月统计一次,包括各院系消费金额总额及人均消费情况、月消费TOP10排名等信息;
3.8.3学生借阅报告
每月统计一次,包括各院系图书借阅总量及人均借阅情况、最受欢迎TOP10图书等信息;
3.8.4老师借阅报告
每月统计一次,包括各部门图书借阅总量及人均借阅情况等信息
3.9学生个人大数据报告
提供网页版、微信版本的学生个人大数据报告,可提供消费、课程、成绩、网络几类信息,支持系统调整周期时间段
原厂售后服务
4技术规格要求
4.1数据采集与清洗技术要求
完成本项目需要的业务系统,包括校内结构化数据及校内各类非结构化数据(包括校内网站内容、学校通知公告等各类文档、图片、业务系统日志等)采集和集成,并进行对应格式转换入库。
完成校外网络日志、互联网数据等采集和数据清洗等工作,并按照统一标准格式进行数据采集入库,建立合适的数据模型,对采集的数据进行抽取、清洗、加工和整理;依据数据仓库及大数据相关规范,合理制定并完成数据存储及异构数据关联;
对于新增数据的采集部份,主要负责数据源采集、数据质量监控、清洗、数据加载入库等操作,采集的业务数据包括本项目大数据分析业务分析模块需要的相关数据源。
需要对采集的数据进行抽取、清洗、加工和整理,包括清理源数据中的噪声数据和无关数据、处理遗漏数据和清洗脏数据和空缺值、识别删除孤立点、实现数据的汇集,最终确保数据的质量和高可用性。
数据的采集和治理平台提供各类方便的支持大数据量的数据加载、转换、传输工具软件。
支持访问不同的数据库和文件系统;数据的清洗、转换和传输必须满足时间要求,能够在规定的时间范围内完成;支持增量加载,只把自上一次加载以来变化的数据加载到数据仓库。
本项目需要采集的数据源包括以下内容:
一卡通、教务系统、上网认证系统、上网审计系统、门禁系统、图书馆管理系统、校园WiFi、人事系统、科研系统系统;以及本次大数据业务建设相关的数据源系统。
4.2大数据管理平台技术要求
构建某大学大数据分析与服务平台,盘活现有的所有数据源,包括结构化数据和非结构化数据,并引入外部数据和互联网数据等,综合在一起进行有效的分析、挖掘,从而高效、安全、稳定、可靠的提供校务大数据服务;并辅之以有效的管理工具和手段,确保大数据平台可控、好管、易用。
大数据管理分析平台在技术上要实现智能数据采集、智能数据治理、智能存储检索、智能挖掘算法、智能实时计算、智能数据运维、智能科研实践、智能统一API、智能数据安全9个部份内容,每个部份技术要求如下:
4.2.1智能数据采集:
提供针对不同类型、不同结构的数据的接入技术和工具,支持低频知识数据、静
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 某大学 高校 数据 分析 应用 功能分析 0922 V15