XX大学大数据智能管理平台Word下载.docx
- 文档编号:17493455
- 上传时间:2022-12-06
- 格式:DOCX
- 页数:20
- 大小:2.51MB
XX大学大数据智能管理平台Word下载.docx
《XX大学大数据智能管理平台Word下载.docx》由会员分享,可在线阅读,更多相关《XX大学大数据智能管理平台Word下载.docx(20页珍藏版)》请在冰豆网上搜索。
美国罗格斯—新泽西州立大学熊辉教授认为大数据的“大”是相对的。
他举例说,10MB的数据量并不大,但要在1ms之内对10MB数据完成复杂的数据挖掘分析,可能就会超越目前常用设备的数据处理能力。
因此,大数据的“大”只是相对的概念,不只是量大,而且对处理的速度也提出了苛刻的要求。
信息技术的发展使得信息采集的成本大大降低,这是数据快速增长的主要原因。
2)多样性:
多样性是指管理多种数据类型的复杂性,包括结构化、半结构化和非结构化数据。
随着传感器、智能设备和社会协同技术的爆炸性增长,数据的类型无以计数,包括文本、微博、传感器数据、音频、视频、点击流、日志文件等。
3)速度:
数据在运动中,创建、处理和分析的速度在持续加快。
加速的原因是数据创建的实时先天性,以及需要将流数据结合到业务流程和决策过程中的要求。
速度影响数据延时从数据创建或获取到数据可以访问的时间差。
目前,数据以传统系统不可能达到的速度在产生、获取、存储和分析。
对于对时间敏感的流程,例如实时欺诈监测或多渠道“即时”营销,某些类型的数据必须实时地分析,以对业务产生价值。
4)价值:
价值密度低,商业价值高。
以视频为例,连续不间断的监控过程中,可能有用的数据仅仅有一两秒。
如随着物联网的广泛应用,信息感知无处不在,信息虽海量,但价值密度较低,需通过强大的机器算法更迅速地完成数据的价值“提纯”。
1.3高校背景
随着公众对电子政务认知力的提升,高校信息公开的能力和范围引起了越来越大的争议。
高校作为公共部门,需要用数据向其特定的信息用户提供所需的信息,并且提供横向或者纵向的比较,这在过去几乎是不可能的,但是随着大数据时代的来临,数据挖掘能力和人工智能开始飞速发展,越来越多的人工智能软件被开发和应用,这无疑对高校信息公开起着极大的推进作用。
“十三五”期间,各高校大力发展数字化校园,大数据与云平台的出现打破了以前高校信息化建设中的“信息孤岛”现象,它成为了各种分散教育资源集中应用的平台,这使得各种教育资源得到充分的应用,同时,云计算的出现让教师与学生有了真正的互动,并且它与各种终端设备的无缝连接,为移动学习提供了有力的技术支撑。
然而大数据的出现更是让云计算的应用有了真正的用武之地,它们的有力结合将会释放出巨大的能量,它几乎会波及各行各业,对于教育领域而言,他们的结合也将会给高校的教育资源的应用带来更多的机会。
智慧校园目前尚未形成标准的框架体系
但是数据却是通往智慧校园的必经之路
2、需求分析
大学创建于1947年,早在1955年开始招收研究生,是全国首批研究生招生单位。
自1978年恢复研究生招生以来,在医学、哲学、理学、管理、教育和法学等六大门类中总计授予全日制硕士和博士学位研究生6000余人。
生源来自全国近150所高等院校和国外高校。
现有博士后流动站3个,一级学科博士学位授权点4个,二级学科博士学位授权点37个,另外自主设置二级学科博士学位授权点3个;
一级学科硕士学位授权点9个,二级学科硕士学位授权点61个。
博士研究生指导教师125人,硕士研究生指导教师1100余人。
研究生院现下设院务办公室、招生办公室、培养办公室、学位办公室、学生工作办公室,负责研究生招生、学位和研究生教育的规划和管理、学生日常管理工作。
2.1现状描述
研究生院各信息系统是数据生产大户。
目前研究生院学生的学籍、选课、成绩、借书、上网、论坛、微博和吃饭刷卡等等都会产生大量数据,多年运营下来,已经积累很多数据,这就是高校信息系统中的大数据。
研究生院中的大数据有很高的教学与科研价值,能够改变教育领域的授课和学习模式。
用大数据可以帮助教学管理,辅助海量数据的科研计算,做招生推广活动,做学位管理工作等等。
在这个信息非常宝贵的时代,高校的师生们都将从大数据技术中获取收益。
在校园活动中,如果将高校数据按照大数据进行划分,可分为高校教学数据、学生管理数据、图书信息数据、人事管理数据、财务数据等结构化数据和多媒体教学资源、学校文体活动资源、学校公共设施资源等非结构化数据。
目前研究生院各系统仅能对数据进行简单的统计和分析,缺乏进行深层次利用的基础。
数据集成度普遍不高、数据标准不够健全、数据质量整体而言较低,导致可以利用的数据种类和数量有限,难以形成大数据应用(深层次利用)的广泛基础。
同时,缺乏解决这些问题的有效工具和手段。
2.2需求分析
通过对大学研究生院的了解及简单沟通,我们认为贵校的需求如下:
1、建立大数据智能分析与管理平台,掌握学校现有数据,同时实时了解学科发展最新动态,使教育决策者在掌握更多数据后做出更正确抉择;
2、了解各部门、各教师、学生的需求与问题,进行科学化管理;
3、关联性数据分析:
设置不同关联性数据指标标准,挖掘数据中潜在的价值为个性化教学、人性化管理、合理利用资源及增强学校竞争力提供数据支撑。
4、大数据预测分析:
预测招生生源情况、就业情况,预测学生的各种需求情况以及学校的将来发展状况等。
5、舆情预警系统建设:
对高校政治思想工作和高校稳定性的舆情建设。
2.3建设目的
通过对大学研究生院大数据智能分析与管理系统的建设,将实现以下目的:
1、个性化教学中应用:
在新教学大纲中,因材施教、终身教育已经成为高校教育工作的最高教学目标。
如今学生个性化特征非常明显,因此,利用大数据挖掘学生的兴趣与特长,具有针对性、个性化的进行教育,激发学生的创造力,并通过在线学习系统,让学生充分利用高校学习资源,培养专业化人才,并能够让学生享受学习的快乐,进而实现终身教育的目的。
2、教学质量评估中的应用:
教学评估是每个高校定期要做的项目,目的是通过教学评估发现教学中存在的问题,及时地调整教学方案和手段,以提高教学质量,从而培养出顺应社会发展要求的学生。
把大数据技术引入到教育领域的评估系统中,不仅提高了教育管理的科学性,而且增强了教育数字化建设的实效性。
将基于大数据挖掘的智能算法应用于教学质量评估中,从教师教学的效果、多媒体课件的使用、学生和教师的互动、教学与教学场所等因素中找出其中的内在联系,能为教学部门提供决策支持信息,为教师提供准确的反馈信息,使之更好地开展教学工作,提高教学质量。
3、专业化中的应用:
高校专业化水平是学生工作能力和科研能力的基础。
利用大数据对现有技术进行挖掘,提高科研能力和专业化水平,有助于提高学生的就业能力。
4、教学管理科学化中的应用:
高校管理主要是对高校资源和高校人事的管理。
针对于高校资源的管理,利用大数据挖掘潜在的物质资源、人文资源,并将这些资源加以利用,提高综合教学能力。
5、人事管理:
利用大数据分析,了解到教师、学生的需求与问题,可进行科学化的管理,增强教学管理的人性化。
6、学生生活管理中的应用。
学生在校园学习与生活过程中,产生大量的信息数据,将这些数据进行挖掘,可了解到学生在校园生活中的种种表现,以便于更好的对学生的校园生活进行管理。
7、预测:
大数据的核心就是预测。
它把数学算法运用到海量的数据上来预测事情发生的可能性。
亚马逊可以帮我们推荐想要的书,谷歌可以为关联网站排序,淘宝知道我们的购物喜好,而QQ的朋友推荐可以猜出我们认识谁。
这些预测系统之所以能够成功,关键在于它们是建立在海量数据的基础之上的。
此外,随着系统接收到的数据越来越多,通过记录找到最好的预测模式,可以对系统进行改进。
同样的技术也可以运用在高校预测招生生源情况、就业情况,预测学生的各种需求情况以及学校的将来发展状况等。
8、舆情分析:
舆情分析就是根据特定问题的需要,对针对这个问题的舆情进行深层次的思维加工和分析研究,得到相关结论的过程。
网络时代的高校舆情存在于论坛、微博、聊天室等等,这些都是典型的大数据。
在某个事件发生后,广大同学和老师会通过各种途径了解到事情的真相,随后而来的便是纷如雨下的评论,或支持或反对,或理性或感性,或热情参与或冷眼旁观。
当一种论调得到大家的认同后,舆情甚至可以对事件的走向发生重大的影响。
而一旦有心人可以从这舆情中分析出些什么,得到些什么,那么就可以做出一个正确的决定。
如果在信息传递极其不便的古代,舆情就相当于一条大江,那么在现代信息高度发达的年代,舆情已经从一条大江变成了汪洋大海,其对高校政治思想工作和高校稳定性的重要性不言而喻。
3、项目建设方案
3.1建设原则
标准化:
具有互操作性,可用性,可靠性,可扩充性,可管理性,建立一个开放式,遵循国际标准的网络信息系统。
先进性:
既要保证网络的先进性,同时也要兼顾技术的成熟性。
安全性:
对于安全性我们将通过对用户的区域划分,建议选用专用防火墙实现对本地资源的安全保护。
扩展性:
网络设计必须为今后的扩充留有足够的余地,以保护用户的投资,保证今后的网络扩充升级能力。
保护投资:
每个设备都进行严格的选型,在满足设计原则的功能前提下,提供最经济的设备配置方案。
可管理:
先进的网络管理可为多业务网络提供安全运行的基础。
3.2大数据管理平台特点
独特的云任务管理技术——使系统的并行效率提升显著、硬件资源被充分用于大数据处理,缩短处理时间、节约硬件成本。
独特的多层分布式缓存技术——使系统的吞吐量更大,运算性能更高,数据更加安全可靠。
双引擎技术——云计算引擎与传统计算引擎协同工作,使得业务支持类型更丰富、三方对接更方便、并实现了应用前端到后端的大数据处理以及秒级的响应速度。
独特的云目录管理技术——使得数据存储更完整,数据回收更灵活更即时,数据的近线存储更方便。
实用的监控体系——全面监控所有云节点、图形化的指标监控、完备的存活与性能告警、对于分析集群工作状态、性能瓶颈识别、故障分析提供实际数据支持。
方便快捷的安装——适合本地与远程部署。
部署操作基本自动化,适合于大规模集群的快速部署安装。
3.3平台实施方案
3.3.1整体架构
大数据智能管理及分析系统实现对海量半结构化和非结构化数据进行采集、管理,采用云架构多节点分布式存储,保证了数据存储和服务的可靠性,实现实时索引和查询海量的全文数据、对关联性数据进行挖掘分析,实现定性定量评价,为研究生院决策部署提供数据支撑。
3.3.2数据采集及处理
数据采集是利用多个数据库来接收发自客户端(Web、App或者传感器形式等)的数据,并且用户可以通过这些数据库来进行简单的查询和处理工作。
数据治理是一个体系和过程,是全局性的组织行为,是对数据来源、处理和使用进行集中和规范的管理,目的是形成可重复利用的高质量的有效数据。
通过在虚拟机上安装Hadoop2.6、hbase1.0等Nosql数据库集群,用sqoop1.3把现有的系统数据汇总进来,要对现有数据做个总的分析,对字段统一定义规划,制定转换策略,做到正确性、唯一性、可用性,去除重复字段,通过ETL抽取、清洗数据,把数据导入hbase,这样就可以消除信息孤岛,用spark、storm等大数据处理软件对hbase中的数据进行分析处理,挖掘数据价值,通过调度系统自动采集、加工、存储数据,为应用系统提供支持。
数据治理相关的系统和工具:
3.3.3数据挖掘
数据挖掘分为广义的和狭义的两种:
狭义的数据挖掘指从海量数据中揭示出隐含的、先前未知的并有潜在价值信息的非平凡过程;
广义的数据挖掘,知识发现时识别出存在于数据中有效的、新颖的、具有潜在价值的乃至最终可以理解的模式的非平凡过程。
即从已有数据中发现新数据的过程。
3.3.4数据分析
数据统计与分析主要利用分布式数据库,或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等,以满足大多数常见的分析需求。
根据不同性质统计分析可分为多种:
可视化分析
大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了。
数据挖掘算法
大数据分析的理论核心就是数据挖掘算法,各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点,也正是因为这些被全世界统计学家所公认的各种统计方法(可以称之为真理)才能深入数据内部,挖掘出公认的价值。
另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据。
预测性分析
大数据分析最重的应用领域之一就是预测性分析,从大数据中挖掘出特点,通过科学的建立模型,之后便可以通过模型带入新的数据,从而预测未来的数据。
语义引擎
非结构化数据的多元化给数据分析带来新的挑战,我们需要一套工具系统的去分析,提炼数据。
语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。
数据质量和数据管理
大数据分析离不开数据质量和数据管理,高质量的数据和有效的数据管理,在学术研究上保证分析结果的真实和有价值。
3.3.5系统安全性
整个系统必须有完整的用户权限控制和资源访问日志审计功能,防止操作人员和用户XX访问资源。
可靠性
高度可靠性是系统稳定工作的保障。
硬件设备上,保证系统全天候服务;
软件设计上,做到故障自动检测、无缝迁移,使局部故障对整个系统的影响降到最低;
系统开发平台使用国际上成熟的系统和中间件产品。
标准化
系统优先选择具有国家标准、国际标准、业界标准的技术,为兼容其它系统提供良好的基础。
4、主要功能
4.1信息采集
大数据的数据来源非常广泛,既包括传统的关系型数据库,也包括XML等半结构化数据,以及以视频、音频、文本和其他形式存在的非结构化数据。
数据抽取和集成要解决的主要问题就是收集各种碎片化的数据,对数据进行清洗,保证数据质量,同时根据时间演进不断更新数据模式,确定数据实体及其之间的关系,最终将数据按照统一的格式进行存储,以便提供给上层用来进行数据分析。
目前高校已经基本建立了完备的管理信息系统、学习管理系统等,在统一数据中心中积累了大量的结构化数据;
同时各类系统中还散布着大量的半结构化和非结构化数据。
半结构化和非结构化的数据经过一定处理后,可以转化为更容易分析使用的结构化数据。
同时针对定制的目标数据源,实时进行信息采集、抽取、挖掘、处理,从而为各种信息服务系统提供数据输入,并按业务所需,进行数据发布、分析整个过程。
网络信息采集系统
各应用系统数据采集
4.2关联性数据统计分析
经过抽取和集成得到的数据,需要经过分析挖掘其潜在的价值。
传统的数据挖掘、机器学习、统计分析等方法仍然可以用来对数据进行分析,只是需要根据大数据的特征进行调整。
首先,为了实现对海量数据的分析,需要依Map/Reduce模型,将数据拆分处理,然后再将结果汇总,一个完整的分析可能会经过多层类似的处理过程;
其次,大数据的应用通常具有实时性的特点,数据的价值会随着时间的流逝而递减,因此分析方法需要平衡处理的效率和准确率;
最后,大数据一般构建在云计算平台之上,分析方法需要考虑与云计算平台的集成或做为一种云服务。
系统建设过程中,可根据学校要求,设置不同关联性数据指标标准,如对学校学生生源地、学生消费情况、学生平均成绩与进出图书馆次数、学科投入经费及排名、学习行为分析、学科规划、心理咨询、校友联络、就业情况分析等相关性数据借助大数据分析技术,挖掘数据中潜在的价值为个性化教学、人性化管理、合理利用资源及增强学校竞争力提供数据支撑,如下图所示:
来校学生生源地统
学生消费情况统计分析
教职工基本情况统计分析
资产总计及明细统计分析
学习行为分析
为了支持学生的自主学习,高校一般都有自己的学习管理系统。
这些学习管理系统为学生、教师提供了课程学习和交流的空间。
美国教育部教育技术办公室认为教育数据分为键击层(keystrokelevel)、回答层(answerlevel)、学期层(sessionlevel)、学生层(studentlevel)、教室层(classroomlevel)、教师层(teacherlevel)和学校层(schoollevel),数据就寓居在这些不同的层之中。
一般高校每年的开课数在数千门,学生数在数万人,产生的数据量非常大。
应用大数据分析技术使得监控学生的每一个学习行为变为了可能,学生在回答一个问题时用了多长时间,哪些问题被跳过了,为了回答问题而作的研究工作等都可以获得,用这些学生学习的行为档案创造适应性的学习系统能够提高学生的学习效果。
学生排名与进出图书馆次数统计分析
学生各学期进出图书馆及教室打水次数分析
学科规划分析
促进学科交叉融合发展,构筑有生命力的学科生态,打造凸显核心竞争力的高水平学科是学校学科规划的重要任务。
借助大数据分析技术,充分收集各学科的教学状态数据、科研项目数据、前沿发展动态等信息,从而分析学科建设存在的不足,确定学科未来发展的方向,发掘出潜在的具有国际视野的学科带头人。
学科整体水平分类统计图
教学与教材质量分类统计图
校友联络统计分析
校友资源犹如一座座宝藏,对高校的发展建设有着不可替代的重要作用,是高校工作的重要组成部分。
有效地把校友联络起来、团结起来,对学校的建设和发展具有重要意义。
利用传统的管理方法,仅校友信息收集就要耗费大量的时间和精力。
利用大数据技术,收集各类社交网站上的非结构化数据,通过分类、聚类等数据挖掘方法,确定校友身份并收集其联系方式、参加的活动信息等,可以大大提高校友数据收集的效率,为以后利用校友资源提供良好的基础。
毕业生就业统计分析
毕业生创业统计分析
4.3大数据预测
大数据预测是大数据智能化的核心,预测的逻辑基础是,每一种非常规的变化事前一定有征兆,每一件事情都有迹可循,如果找到了征兆与变化之间的规律,就可以进行预测。
大数据预测无法确定某件事情必然会发生,它更多是给出一个概率。
让分析从“已经发生的过去”转向“即将发生的未来”。
在互联网之前便已经有基于大数据的预测分析了如天气预报,而互联网的出现,则使得预报更加准确。
其他如电子商城基于用户购买行为的分析预测、市场物价预测、股票走势、体育赛事、考试模拟题预测等。
体育赛事预测
大学报考预测
4.4舆情预警
进入21世纪以来,网民数量不断增大,互联网传播速度快,出现不可控因素增多,而舆情预警则是很好化解问题的手段,舆情预警是指从危机事件的征兆出现到危机开始造成可感知的损失这段时间内,化解和应对危机所采取的必要、有效行动。
舆情预警主要流程:
危机事件征兆
制定危机预警方案:
针对各种类型的危机事件,制定比较详尽的判断标准和预警方案,以做到有所准备,一旦危机出现便有章可循、对症下药。
密切关注事态发展:
保持对事态的第一时间获知权,加强监测力度。
这个可以通过舆情监控系统技术,在第一时间大量来采集、汇总各种互联网上的信息。
及时传递和沟通信息:
即与舆论危机涉及的政府相关部门保持紧密沟通,建立和运用这种信息沟通机制,已经成为网络舆情管理部门的重要经验。
各部门协同作战、相互配合、共同商议,判断危机走向,对预案进行适当修正和调整,以符合实际所需是危机应对的重要措施。
网络舆情预警系统
5、系统优势
我们不仅精通技术,还熟悉校园网业务。
公司充分发挥自身技术优势和利用以往开发经验,使大数据智能分析与管理平台主要具备以下优势:
1、先进性:
数据爆发时代,大数据应运而生,但各高校对大数据分析和管理相对薄弱,通过系统建设,学校可成为各大高效标杆,为各高校推进智慧化校园建设起到模范带头作用。
2、增强学校核心竞争力:
通过大数据统计分析功能,发现相关联数据之间的规则,学校做到有的放矢,提高招生、培养及毕业生质量和各部门科学化管理,增强学校核心竞争力。
3、为决策层提供数据支撑:
通过系统建设,学校决策层通过图文并茂的方式直观了解校园动态,为学校整体规划提供数据支撑。
4、有效预防、及时响应和处置各种突发事件。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- XX 大学 数据 智能 管理 平台