电视台媒资存储系统研究要点.docx
- 文档编号:11475349
- 上传时间:2023-03-01
- 格式:DOCX
- 页数:12
- 大小:170.76KB
电视台媒资存储系统研究要点.docx
《电视台媒资存储系统研究要点.docx》由会员分享,可在线阅读,更多相关《电视台媒资存储系统研究要点.docx(12页珍藏版)》请在冰豆网上搜索。
电视台媒资存储系统研究要点
哈尔滨工业大学
工程硕士学位论文开题报告
研究生李文哲
入学时间2014年3月
导师温东新
论文题目电视台媒体资产存储系统设计
院(系)计算机
工程领域媒体、IT
开题报告日期2015年10月31日
研究生院培养处制
1.课题来源及研究的目的和意义
1.1课题来源
本课题来自黑龙江电视台媒体资产管理系统升级改造项目,对其中存储网络部分进行研究、设计。
1.2国内外研究状况
国内大多电视台的媒资系统仍在建设当中,对其中存储设备的应用基本相同,基于各电视台特点有所不同。
黑龙江电视台媒资系统起步较早,目前已经正式工作数年,对不同存储设备在其中的意义有深刻了解。
离线存储方面国内同行业主流采用LTO数据流磁带库(LTO5,LTO6),随着蓝光盘技术的发展,蓝光磁带库等一些其他离线存储产品也加入竞争。
在线存储方面非常成熟基本都是用磁盘阵列,但随着闪存盘的价格降低,将来一定会有闪存阵列出现在媒资系统中。
数据库存储介质方面,目前磁盘阵列仍是主流,但由于媒资系统是一个不断积累,用户查询量大,信息量大的系统,闪存数据库是将来的发展方向。
1.3研究的目的和意义
媒体资产管理(媒资,MediaAssetManagement,简称MAM)系统是是对各种类型媒体资料数据,如视音频资料、文本文件、图表等进行全面管理的完整解决方案。
电视台对素材处理一般分为采、编、播、存。
采即用录像机、照相机、录音笔、互联网采集等方式收集素材;编即使用非线性编辑软件对采的素材进行二次加工,使其方便观众理解,取其精华、去其糟粕;播就是将编辑好的素材通过播出系统传入千家万户的电视机前。
存作为媒体资产管理系统的主要功能,其目的是将现有的影视节目进行数字化或数据化,并采用适当的方式编码,再记录到成熟稳定的媒体上,达到影视节目长期保存和重复利用的目的,以满足影视节目的制作、播出和交换的需要。
各种存储设备可以说是媒资系统的核心所在。
媒资系统中存在着多种类型的存储设备,如离线存储设备,在线存储设备,数据库存储等,以其不同的特点在媒资系统中起着重要的作用。
结合黑龙江省电视台的媒资升级改造项目,对媒资系统存储设备的可用性、可靠性、可维护性、可服务性进行研究与讨论。
2.主要研究内容
2.1媒资存储网络架构
2.1.1媒资系统拓扑结构
媒资系统拓扑结构图,图1所示。
采用SAN+NAS的存储网络方案。
图1媒资系统拓扑结构图
光纤链路部分:
光纤交换机博科5100
(1)与5100
(2)在中心机房,博科300在上载机房。
博科300通过两根300米长的单模光纤链路,分别接入5100
(1)与5100
(2)。
离线存储STK磁带库有8个驱动器,分别接入两台5100。
在线存储EMCNVX5500的A控与B控各通过4根光纤接入两台5100。
其中A1,A2,B1,B2接5100
(1),A3,A4,B3,B4接5100
(2)。
NAS服务器、流媒体服务器、下载归档服务器、转码服务器等对带宽要求高的中心机房服务器通过光纤接入两台5100,以直接访问在线存储。
形成SAN存储网络。
上载机房中,14台上载站点通过光纤连接到博科300,通过虹桥卡将采集到的信号直接上传到在线存储NVX5500。
以太链路部分:
有中心机房的核心交换机Cisco7609和上载编目机房的接入交换机。
所有的中心机房服务器,都接在媒资核心交换机上,编目站点、上载站点、审核站点接在上载机房的接入交换机上。
非光纤站点及非光纤接入服务器需要访问存储中内容时,通过挂在NAS访问。
外系统,如播出系统、全台网、制作网需要从媒资中上下载高清素材时,通过对应的NAS服务器获得。
2.1.2DAS、NAS、SAN存储网络对比分析
作为目前三种常见的存储方式,被广泛应用于企业存储设备中,他们有着各自的特点。
一、DAS存储特点(直连存储)
DAS这种存储方式与我们普通的PC存储架构一样,外部存储设备都是直接挂接在服务器内部总线上,数据存储设备是整个服务器结构的一部份,DAS存储方式主要适用于小型网络、地理位置分散的网络和特殊服务器上。
DAS已经存在了很长时间,并且在很多情况下仍然是一种不错的存储选择。
由于这种存储方式在磁盘系统和服务器之间具有很快的传输速率,因此,虽然在一些公司中一些新的SAN设备已经开始取代DAS,但是在要求快速磁盘访问的情况下,DAS仍然是一种理想的选择。
更进一步地,在DAS环境中,运转大多数的应用程序都不会存在问题,所以你没有必要担心应用程序问题,从而可以将注意力集中于其他可能会导致问题的领域。
二、NAS存储特点(网络直连存储)
NAS(网络附加存储)方式则全面改进了以前低效的DAS存储方式。
它采用独立于服务器,单独为网络数据存储而开发的一种文件服务器来连接所存储设备,自形成一个网络。
这样数据存储就不再是服务器的附属,而是作为独立网络节点而存在于网络之中,可由所有的网络用户共享。
同时NAS存储真正做到了即插即用,并且部署起来也相对灵活,再加上管理成本低,是目前企业选择较多的,但它同时也有存储性能低和可靠度不高等缺点。
三、SAN存储(光纤存储)
SAN存储是基于光纤介质,最大传输速率达17MB/s的服务器访问存储器的一种连接方式,同时SAN也是最昂贵和最复杂的存储选项,SAN存储方式创造了存储的网络化,存储网络化顺应了计算机服务器体系结构网络化的趋势,SAN的支撑技术是光纤通道(FCFiberChannel)技术,它是ANSI为网络和通道I/O接口建立的一个标准集成,FC技术支持HIPPI、IPI、SCSI、IP、ATM等多种高级协议,其最大特性是将网络和设备的通信协议与传输物理介质隔离开,这样多种协议可在同一个物理连接上同时传送。
IPSAN与FCSAN对比
如今的SAN解决方案通常会采取以下两种形式:
光纤信道以及iSCSI或者基于IP的SAN。
光纤信道是SAN解决方案中大家最熟悉的类型,但是,最近一段时间以来,基于iSCSI的SAN解决方案开始大量出现在市场上,与光纤通道技术相比较而言,这种技术具有良好的性能,而且价格低廉。
相对于IPSAN,FCSAN的弱点是明显的。
它无法使存储设备随它在Internet上运行,从而无法满足应用前端对存储数据“随时随地”的要求。
FCSAN的物理覆盖也有限。
同时,受限于国内昂贵的租用价格,也许只有中国的电信运营商可以用得起远距离的FCSAN。
而IPSAN最显著的特点就是具有价格低廉以及无限长度扩展的优势。
它的价格是FC无法比拟的,尤其是当用户需要较长的传输距离时,IPSAN的优势就不言而喻了。
这些使iSCSI的发展成了必然,其市场价值是很多服务器和存储厂商看中的,也是无法承担FCSAN高成本光纤基础结构的市场客户所看中的。
通过集SCSI、以太网和TCP/IP等技术于一身,IPSAN的优点可以概述为:
建立在常见和稳定的工业标准上,IT工作人员对IP技术熟悉,容易接受和实施;由于TCP/IP协议附件减少了聘请专业人员的需要,所以安装和维护成本较低,使用iSCSI创建SAN架构,企业总体拥有成本更低;由于减少了不同的网络和布线,使用常规以太网交换机而不必专用光纤通道交换机,很大程度提高了互操作性和成本;传播更为便捷。
可以在全球IP网络上进行以太网传输,实际传播距离没有限制;速度已经提高到10Gbit,将可以和FC网络速率相媲美,甚至更快。
SAN真正的综合了DAS和NAS两种存储解决方案的优势。
例如,在一个很好的SAN解决方案实现中,你可以得到一个完全冗余的存储网络,这个存储网络具有不同寻常的扩展性,确切地说,你可以得到只有NAS存储解决方案才能得到的几百T字节的存储空间,但是你还可以得到块级数据访问功能,而这些功能只能在DAS解决方案中才能得到。
对于数据访问来说,你还可以得到一个合理的速度,对于那些要求大量磁盘访问的操作来说,SAN显得具有更好的性能。
利用SAN解决方案,你还可以实现存储的集中管理,从而能够充分利用那些处于空闲状态的空间。
更有优势的一点是,在某些实现中,你甚至可以将服务器配置为没有内部存储空间的服务器,要求所有的系统都直接从SAN(只能在光纤通道模式下实现)引导。
这也是一种即插即用技术。
SAN确实具有这些伟大的优点,那么,SAN的缺陷在哪里?
SAN有两个较大的缺陷:
成本和复杂性,特别是在光纤信道中这些缺陷尤其明显。
使用光纤信道的情况下,合理的成本大约是1TB或者2TB大概需要五万到六万美金。
从另一个角度来看,虽然新推出的基于iSCSI的SAN解决方案大约只需要两万到三万美金,但是其性能却无法和光纤信道相比较。
在价格上的差别主要是由于iSCSI技术使用的是现在已经大量生产的吉比特以太网硬件,而光纤通道技术要求特定的价格昂贵的设备。
DAS、NAS和SAN存储的主要区别
从连接方式上对比,DAS采用了存储设备直接连接应用服务器,具有一定的灵活性和限制性;NAS通过网络(TCP/IP,ATM,FDDI)技术连接存储设备和应用服务器,存储设备位置灵活,随着万兆网的出现,传输速率有了很大的提高;SAN则是通过光纤通道(FibreChannel)技术连接存储设备和应用服务器,具有很好的传输速率和扩展性能。
三种存储方式各有优势,相互共存,占到了现在磁盘存储市场的70%以上。
2.2核心在线存储的技术要求与功能分析
2.2.1硬件要求
根据电视台媒资系统的特殊性,对在线存储设备的可靠性、可用性有以下需求:
1)具备8个以上主机连接通道,通道接口标准8Gb/s光纤通道,所有主机连接通道采用模块化端口设计
2)双活动RAID控制器,每控制器内存不低于8GB
3)硬盘:
支持600GB10krpmFC磁盘、600GB10krpmSAS磁盘、600GB15krpmSAS磁盘和3TB7200rpmSATA磁盘
4)系统容量要求:
SATA磁盘容量270TB
5)要求说明RAID级别,支持RAID0、1、3、5、10、6,硬盘冗余备份方式,并提供5%的冷备盘,每年磁盘故障率低于5%
6)磁盘阵列前端带宽≥2GB/s
7)磁盘阵列在内部物理硬盘重建状态下能够保持正常的IO速度无明显下降
8)风扇和电源采用多冗余,热更换
9)采用行业标准19英寸机架
10)磁盘阵列支持配套的图形化管理与配置工具软件
11)管理软件:
随机配置存储管理软件;配置LUN屏蔽软件,提供在线性能监控
12)磁盘阵列本身具有容错特性、支持在线动态磁盘扩充,动态卷扩充
13)SAN支持:
支持通用FC交换机
14)支持以下OS:
IBMAIX,HPUnix,Windows,linux,Solaris,可与stornext等文件系统良好兼容
15)95块3TBSATA盘90块上线,包含配套盘箱、电源和连接线等相关配件
2.2.2不同RAID级别的可靠性、可用性
RAID是“RedundantArrayofIndependentDisk”的缩写即磁盘阵列的意思。
RAID就是把硬盘做成一个阵列,而阵列也就是把硬盘进行组合配置起来,做为一个整体进行管理,最关键的是这个阵列的磁盘之间具有冗余容错处理,这样可提高磁盘之间相互的安全性和稳定性,不存在“单点”硬盘现象,也就说不会让某些硬盘读写频繁,其他的硬盘可能数据交换较少的现象,从而提高硬盘的安全性,同时磁盘的整体管理会提高读写速度,使硬盘的利用发挥到最大。
针对可靠性、可用性对不同的RAID级别进行研究。
常用的RAID级别有:
RAID0即无差错控制的带区组,就是将N块硬盘,当一块硬盘来用,比如是两块硬盘,使用RAID0阵列配置,则是将数据平均的分成两部分,分别写在两块硬盘上,很明显,这样做的效果,就是极大的提高了读写速度,但其致命的弱点是,各硬盘之间数据没有校验功能,一旦其中任何一块硬盘出现问题,则整个数据不能被恢复。
所以RAID0能有效提高读写速度但是不能保证数据安全。
RAID1即镜象结构,也就是一半空间用来存储,一半空间是用来备份的。
但实际数据并不是单独存储在某一半硬盘。
RAID1的读写数据并没有提高,属于正常的读写速度。
RAID1的磁盘空间使用率只有50%,是一种不计成本,不能提高读写性能,只为数据安全。
RAID3即带奇偶校验码的并行传送,RAID3是在RAID2的基础上做了一个升级,只能查错不能纠错,其读写方式同RAID0,并行处理,速度很高,不同于RAID2,RAID3使用单块磁盘存放奇偶校验信息,如果一块磁盘失效,奇偶盘及其他数据盘可以重新产生数据。
如果奇偶盘失效,则不影响数据使用。
RAID3对于大量的连续数据可提供很好的传输率,但对于随机数据,奇偶盘会成为写操作的瓶颈。
利用单独的校验盘来保护数据虽然没有镜像的安全性高,但是硬盘利用率得到了很大的提高,为n-1。
实际应用中也非常之少,一般而言属于研究类或试验室的理论上的的RAIDlevel,在我们实际商业应用中非常少。
RAID5可以理解为是RAID0和RAID1的折中方案。
RAID5可以为系统提供数据安全保障,但保障程度要比RAID1低而磁盘空间利用率要比RAID1高。
RAID5具有和RAID0相近似的数据读取速度,只是多了一个奇偶校验信息,写入数据的速度比对单个磁盘进行写入操作稍慢。
同时由于多个数据对应一个奇偶校验信息,RAID5的磁盘空间利用率要比RAID1高,存储成本相对较低,是目前运用较多的一种解决方案。
RAID6可以理解为RAID5的升级方案。
与RAID5的不同之处于除了每个硬盘上都有同级数据XOR校验区外,还有一个针对每个数据块的XOR校验区。
当然,当前盘数据块的校验数据不可能存在当前盘而是交错存储的,具体形式见图。
这样一来,等于每个数据块有了两个校验保护屏障(一个分层校验,一个是总体校验),因此RAID6的数据冗余性能相当好。
但是,由于增加了一个校验,所以写入的效率较RAID5还差,而且控制系统的设计也更为复杂,第二块的校验区也减少了有效存储空间。
基于电视台媒资系统对数据安全以及性能的要求以及对成本的考虑,最终数据存储划分为Raid6,源数据存储划分为Raid1。
2.2.3StorenextFileSystem(SNFS)
SN文件系统,是由多个某操作系统能识别的最大卷(对于32位的windows就是2TB,或者比较大的卷),组合成StripeGroup,再由实现不同功能的StripeGroup组合在一起的文件系统。
一个SN文件系统,对于SN的客户端来说,就是一块可以本地连接的本地硬盘。
一个SN文件系统,需要由3种StripeGroup构成,分别是META、JOURNAL、DATA。
METAStripeGroup最小应具备一个不小于100GB的LUN;JOURNALStripeGroup最小应具备一个不小于50GB的LUN;DATAStripeGroup所包含的LUN最好一样大,且数目最好是2或4的倍数。
(经验上一个StripeGroup包含4个LUN时的性能最好,所以建议一个StripeGroup最多包含4条LUN,也可以为2条LUN)一般,一个SN文件系统将由1个METAStripeGroup,1个JOURNALStripeGroup和多个DATAStripeGroup构成。
可根据具体项目所需访问带宽,安全系数,维护难度等纬度来设计。
双活RAID控制器等其他技术的优势研究。
2.3媒资及电视台其他系统发展趋势
随着时间的推移,媒资系统中资料越来越多以后,对各种存储设备的维护,保养费用,资料管理难度,需要的人力成本进行分析。
展望媒资系统中存储设备的发展方向。
媒资、制作网、播出等现有网络的资源如何进行虚拟化,数据中心设立(私有云)的设想。
分析数据中心、虚拟化的优点与劣势。
3.研究方案
3.1技术路线
3.2关键技术
搭建电视台媒体资产的存储系统需要的关键技术有:
FCSAN存储网络,用以保证资料在离线存储中快速、稳定地传送到在线存储中;带宽要求高的服务器与站点能高效访问在线存储。
NAS存储网络,为编目站点和其他系统提供稳定带宽,后期扩容简洁方便,建设成本低。
双活RAID控制器、RAID6、RAID1,保证在线存储磁盘阵列高效、稳定。
虚拟化,分布式存储技术等。
3.3技术措施
采用SAN+NAS存储网络方案,保证系统稳定的前提下节约成本,降低实施的复杂度。
采用磁盘阵列技术使得前端带宽输出不小于2GB/s,保证磁盘阵列在内部物理硬盘重建状态下能够保持正常的IO速度无明显下降。
3.4技术条件
硬件设备有万兆以太交换机、光纤交换机、200T存储设备、50台服务器、100台工作站点。
经验丰富的现场人员和远程技术支持人员共同完成系统搭建。
4.进度安排及预期达到的目标
4.1进度安排
2015年9月~2015年11月查阅资料,整理参考文献。
2015年11月~2016年2月完成电视台媒资系统存储网络部分。
2016年2月~2016年5月完成磁盘阵列关键技术研究。
2016年6月~2016年9月完成对未来电视台数据中心、虚拟化的设计及关键技术研究。
2016年9月~2016年10月撰写毕业论文。
2016年12月准备答辩。
4.2预期达到目标
本课题最终要完成如下内容:
设计出适合电视台媒资系统的存储网络和在线存储设备。
研究成果符合电视台媒体资产存储系统对可靠性、可用性的要求。
5.研究过程中可能遇到的困难和问题及解决措施
困难:
磁盘阵列控制器的相关技术不了解
解决措施:
请教指导导师与设备厂商工程师讨论、查阅资料。
其他设计中的细节问题,不能查阅到的资料,与指导教师及其他厂商工程师探讨。
6.主要参考文献
[1]陈华英.磁盘阵列RAID可靠性分析[J].电子科技大学学报,2006,03:
403-405.
[2]朱月梅,徐豁,朱玉,滑海.FCSAN与IPSAN架构在数字图书馆中的应用研究[J].图书情报工作,2006,09:
113-116.
[3]谢胜彬,陶洋,王国梁.DAS、NAS与SAN的研究与应用[J].计算机与现代化,2003,07:
8-11.
[4]李晨迅.DAS、NAS和SAN存储方案的比较[J].信息与电脑(理论版),2014,10:
205-206.
[5]李辉.浅议DAS、NAS、SAN三种模式[N].通信产业报,2003/04/23030.
[6]胡春宇.SAN与NAS融合的存储备份系统的设计与应用[D].电子科技大学,2007.
[7]项利萍.RAID-6存储系统中故障修复问题研究[D].中国科学技术大学,2013.
[8]章宏灿,薛巍,舒继武.一种可扩展分布式RAID存储集群系统[J].计算机研究与发展,2008,04:
741-746.
[9]黄诚,吉萍.基于云存储的媒资管理系统[J].传媒观察,2013,01:
31-32.
[10]张扬,郭森,季平.基于SAPERP信息系统的双活数据中心研究[J].电力信息化,2013,01:
87-91.
[11]唐文杰.基于存储型媒资的制播一体网设计与建设[J].中国有线电视,2011,09:
1060-1065.
[12]王双.基于网络存储技术的高清播出二级存储系统[D].哈尔滨工业大学,2013.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 电视台 存储系统 研究 要点