某软件学院大数据实验室建设方案.docx
- 文档编号:2782177
- 上传时间:2022-11-15
- 格式:DOCX
- 页数:16
- 大小:109.94KB
某软件学院大数据实验室建设方案.docx
《某软件学院大数据实验室建设方案.docx》由会员分享,可在线阅读,更多相关《某软件学院大数据实验室建设方案.docx(16页珍藏版)》请在冰豆网上搜索。
某软件学院大数据实验室建设方案
工学院大数据实验室
建设方案
1建设目标3
2配置方案3
2.1已有资源3
2.2扩容资源需求4
2.3物理服务器扩容配置4
2.4磁盘阵列扩容配置5
2.5网络扩容配置6
2.6网络扩容配置6
2.7扩容配置清单7
3部署方案8
3.1系统架构8
3.2网络部署9
3.3集群部署9
3.4部署计划10
4教学培训方案11
4.1教学优势11
4.2课程以及考核安排11
4.2.1相关教材11
4.2.2课程大纲13
4.2.3考核安排16
4.2.4证书认证16
1建设目标
中原工学院软件学院已经建设了云实验平台,在该平台上实现了编程教学实验、数据库实验以及网盘应用系统;该平台技术上采用服务器虚拟化技术通过云管理平台实现了实验环境的快速部署;虚拟化平台基于磁盘阵列集中存储,采用网络架构。
现规划建设一个大数据实验室,使用已经建设好的平台,通过扩展资源池的方式部署,利用现有服务器虚拟化平台虚拟出大量虚拟机用于构建集群,主要用于学生实验以及科研用途。
假定建设目标和规模如下:
建设目标:
建设成校级实验室,满足学生做大数据实验和教师大数据科研。
建设规模:
系统支持100个左右的虚机同时运行,性能满足学生大数据实验需求。
扩展性需求:
系统需具备良好扩展能力,可以方便扩展系统容量和性能,以满足更多实验和科研需求。
2配置方案
本章节对构建大数据实验室所需要的硬件资源进行配置,从大数据实验资源需求出发来分析构建大数据实验室需要对现有物理服务器、磁盘阵列、交换机、网络交换机的资源做哪些扩容。
2.1已有资源
云实验平台已经部署了10多台2路物理服务器,通过1台交换机与1台磁盘阵列连接;现有物理计算资源可以支撑同时运行200个虚机(1个、4内存、30虚拟磁盘),现有磁盘阵列的存储资源主要提供虚机存储空间和网盘存储空间。
2.2扩容资源需求
对资源需求进行估算是虚拟化系统硬件配置的基本依据。
在大数据实验室中,资源可分为两大类:
一类是运行时系统需要的资源,它决定了系统能支持同时运行多少个虚机,该情形主要关注物理服务器的资源、内存资源和磁盘阵列的资源,磁盘资源在大数据实验中需求相对较高;另一类是系统可以“存放”多少个虚机,这主要关注磁盘阵列的存储容量。
运行资源
假定虚机规格如下表中所示,该规格满足大数据实验环境下对性能的需求;则200个虚机同时运行,需提供下表中所需资源。
虚机规格
同时运行虚机数量
虚拟资源池大小需求
大小
2个逻辑、2.0
100
资源
200个逻辑、200
内存大小
4
内存大小
400
磁盘
100
磁盘
10000
当然,对于集群中的虚机应当配置大些内存,比如8。
存储容量
磁盘阵列存储空间由需要多少个虚机和虚机磁盘大小决定,假定虚机磁盘规格如下表所示、需要存放500个虚机,总共需要约210的存储空间。
虚机规格
虚机总数
磁盘阵列存储空间需求
磁盘1(系统盘)大小
15
500
磁盘空间
107500(100)
磁盘2(数据盘)大小
200
2.3物理服务器扩容配置
作为虚拟化主机的物理服务器,目前可选择的配置主要有2路和4路,综合考虑利用率、网络成本等因素,我们建议选择2路服务器作为虚拟化主机,2路较4路将提供更好的性价比。
首先计算总共需要多少物理的资源和内存资源,计算以上述“运行资源”为基本依据,并考虑物理资源的80%用作运行虚拟机。
虚拟资源池大小
比例
物理资源池大小需求
资源
200个逻辑、200
80%
资源
250个逻辑250
内存资源
400
内存资源
500
物理服务器规格和所需数量如下表所示。
新增物理资源池大小
物理服务器规格
物理服务器数量
资源
250个逻辑、250
2路10核、超线程(40个逻辑)、2.0
7
内存资源
500
内存
128
4
磁盘
1*240盘
网口
4*1
口
1*8
根据估算,需要新增7台2路物理服务器即可满足计算性能需求,本项目中我们实际配置上述规格的物理服务器8台。
2.4磁盘阵列扩容配置
磁盘阵列作为虚拟化系统后端共享存储,主要考虑性能和存储空间的要求。
存储空间显然容易配置,而存在诸多变数,这是个无法准确估算的指标,为了使系统具备较好的性能,我们进行了仔细考量。
依据2.2节所估算的性能要求和存储空间要求,估算系统需要多少块磁盘。
存储资源需求
单块盘
需配置磁盘数量
10000
200
50块
存储容量
107500
容量
900
120块
同时满足性能和容量需求需要新增约120块盘,这个投资显得过高。
为了降低存储上的投资,我们采取如下配置和部署的策略:
第1:
使用高性能盘结合盘,提供较盘更好的性能;该部分的空间主要用于虚机的系统盘。
第2:
使用高性能盘结合大容量盘,主要满足系统容量的需求,并提供了接近盘的性能;此部分存储空间主要用于虚机的数据盘。
现有磁盘阵列扩容配置配置如下表:
磁盘阵列扩容配置
可提供的规格、功能
控制器
(双活冗余控制器)
大于12000
缓存
(32)
存储容量
120裸容量
盘
新增:
4*200
缓存
支持
盘
新增:
12*900
精简置备
支持
盘
新增:
4*400
存储快照
支持
盘
新增:
28*4
2.5网络扩容配置
由于新增加了8台物理服务器,交换机需要新增加激活端口和相应模块,数量为8个。
2.6网络扩容配置
原交换机为48个千兆网口,从端口数量上来说资源是够的,但是在大数据实验环境中,虚机之间存在大量的东西向数据流量,因此我们设计增加一台24口的千兆交换机用于大数据集群后端网络流量通道。
2.7扩容配置清单
构建满足100个虚机同时运行的大数据实验平台,需要对现有云实验平台物理资源进行扩容,扩容包括:
新增8台物理服务器、磁盘阵列添加盘、交换机增加激活端口、新增1台24口交换机,详细扩容配置清单如下表:
序号
名称
品牌/型号
扩容配置描述
数量
单位
一
云实验平台硬件扩容配置
1-1
虚拟化主机
云创
2U机架式服务器带机架安装套件;:
2颗E5-2670V3,内存:
128;4个千兆网口;:
1块240,板载支持0,1,5口:
单口8;
8
台
1-3
磁盘阵列
云创
7000
扩容新增:
4*200,4*400,12*900盘、28*4盘,缓存功能、精简配置功能、快照功能
0
台
1-4
光纤交换机
300B
扩容新增:
8个端口激活许可,8个端口8模块;
0
台
1-5
千兆交换机
华为S5700-28
24个10/100/1000,可插拔交流电源,交流供电
1
台
二
教学培训服务
2-1
1
套
三
其他相关费用
3-1
机柜
1
台
3-2
定制开发
3-3
安装调试
3-4
培训服务
3部署方案
3.1系统架构
系统架构在扩容前后基本没有变化,扩容后的整个虚拟化系统部署架构如下图所示。
与原先区别主要是资源池扩充了,新增的物理服务器构成一个新的集群,并且通过新增加一台千兆交换机构成大数据实验虚机后端网络流量通道。
3.2网络部署
本项目中对于网络的部署设计,除了考虑环境下一般性的部署注意事项外,还需要注意由虚机构成的集群对网络的需求。
上图是一台物理服务器的虚拟网络和物理网络连接示意图。
每个虚机配置2个虚拟千兆网口,一个用于虚机前端业务流量,一个用于集群后端流量,虚拟交换机1和2技术上可以使用一台、可以配置为标准虚拟交换机或分布式虚拟交换机,为了清晰和降低难度,建议配置为2个标准虚拟交换机;0和1上行链路可以互为备份,1和2的上行链路可以互为备份;物理服务器4个网口连接到2台堆叠的物理交换机。
这种部署设计实现了网络全冗余,提供了故障切换和网络负载均衡功能。
3.3集群部署
通过虚机部署集群,当然需要评估虚机资源的需求,即使评估有误也无关系,虚拟化的一大好处就在于资源可以灵活调整。
在部署和使用虚机时,我们可以结合使用虚机模板、虚机克隆、虚机快照等技术为创建和使用实验环境提供便利。
集群包含了节点和节点,可以进行部署实验、实验、实验、实验、实验等。
下表是节点虚机配置参考。
节点配置参考
节点配置参考
2*
1-2*
8-16
2-8
1()
15
1()
15
2()
20
2()
50-200
虚拟网卡1
千兆
虚拟网卡1
千兆
虚拟网卡2
千兆
虚拟网卡2
千兆
本项目部署时,需要注意一个细节点是:
我们应该尽量将一个集群内的所有虚机运行在一台物理服务器上,避免流量流出物理服务器。
3.4部署计划
下表给出本项目部署实施的一些主要任务和时间预估。
任务
时间
地址规划规划
4H
规划
1H
存储规划
2H
虚机资源规划
1H
设备上架,完成物理安装
1D
磁盘阵列初始安装
2H
交换机配置
2H
网络配置(交换机、路由器)
2H
存储完成配置
2H
安装配置
1.5D
虚机资源规划
2H
软件导入,虚机模板创建
1H
第一个大数据集群建立
1D
使用测试,调整
2D
创建其他大数据集群
4教学培训方案
云创大数据科技股份有限公司为了帮助高校/高职培养人才,提供培训解决方案。
为高校实现信息化教学和科研管理奠定良性基础,增加高校学生就业机会和薪资水平,逐步培养当今互联网时代行业的人才。
云创针对高校培训提供了一揽子解决方案,该解决方案主要包含培训课程、培训教材、考核认证、教学实验平台等。
本章节是对云创的教学培训的介绍。
4.1教学优势
为什么要选择我们呢?
第一点:
国内最畅销的云计算教材和第一本编程书籍由我们出版发行。
第二点:
国内排名第一的云计算和大数据网站由我们创办经营。
第三点:
南京航空航天大学、北方工业大学、南京农业大学等众多名校都在使用我们的产品,并且广受好评。
第四点:
作为国内云计算、大数据领域的领军企业,是国家工信部推荐的高科技企业之一。
4.2课程以及考核安排
4.2.1相关教材
教材一
《实战》
简介
该书强调动手、强调实战、以风趣幽默的语言和一系列生动的实战应用案例,系统地讲授了的核心技术和扩展技术,包括:
、、、和等,并给出了3个完整的云计算综合应用实例,最后介绍了保障平台可靠性的方法。
本书读者对象为各类云计算相关企业、高校和科研机构的研发人员,亦适合作为高校研究生和本科生教材。
内容介绍
第1章神奇的大象——
第2章——不怕故障的海量存储
第3章分久必合——
第4章一张无限大的表——
第5章更上一层楼——进阶
第6章——飞进数据仓库的小蜜蜂
第7章——一头什么都能吃的猪
第8章的女神——
第9章——收集数据的大乌龟
第10章一统天下——
第11章综合实战1——打造一个搜索引擎
第12章综合实战2——生物信息学应用
第13章综合实战3——移动通信信令监测与查询
第14章高枕无忧
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 软件 学院 数据 实验室 建设 方案