视频监控存储方案.docx
- 文档编号:10863153
- 上传时间:2023-02-23
- 格式:DOCX
- 页数:22
- 大小:2.59MB
视频监控存储方案.docx
《视频监控存储方案.docx》由会员分享,可在线阅读,更多相关《视频监控存储方案.docx(22页珍藏版)》请在冰豆网上搜索。
视频监控存储方案
1存储容量计算
欧阳光明(2021.03.07)
以总计4.5PB计算,做RAID5,初步计算:
选型1、低端存储S2600产品:
24套,每套包含1个控制框、7个扩展框
总计需要24个控制框+168个扩展框
选型2、终端存储S5500T产品:
8套(每套1个控制框,12个扩展框)+1套(每套1个控制框,3个扩展框)
总计需要9个控制框+99个扩展框
选型3、高端存储S6800T产品:
4套,每套1个控制框,12个扩展框
总计需要4个控制框,48个扩展框
2产品概述
2.1S2600产品概述
【样例略】
OceanStorTMS2600
华为OceanStorTMS2600(以下简称S2600)存储系统是面向中低端存储市场推出的第三代存储产品。
S2600融合创新的架构设计理念,管理简便、节能环保,提供经济的存储方案和完善的数据保护措施。
S2600有以下主要特点:
●提供丰富的主机端口(FC/iSCSI/SAS/FC-iSCSICombo)
●备份软件与磁盘快照相结合的备份技术
●内置BBU掉电保护技术
●SAS,SATA分级存储
●硬盘休眠功能
●快照、卷拷贝、远程复制等增值软件功能
●WORM功能
●DHA硬盘健康检查功能
●系统节能设计(智能风扇调速、低功耗设计、直流供电系统等)
●便捷的ISM设备管理软件
2.2S2600产品规格
硬件特性
存储处理器
64位处理器
标配缓存(可扩展)
单控2GB、双控4GB
控制器数量
1或2
标配主机端口
单控:
4个1GbiSCSI或
2个4×3GbSAS或
4个4GbFC或
2个1GbiSCSI+2个4GbFC
双控:
8个1GbiSCSI或
4个4×3GbSAS或
8个4GbFC或
4个1GbiSCSI+4个4GbFC
磁盘数量(可扩展)
96
磁盘规格
SATA硬盘:
1TB/2TB(7200rpm)
SAS硬盘:
300GB/450GB/600GB(15Krpm)
磁盘密度
6个/U,12个/框
性能特性
连接主机数量
256
LUNs
512
RAID特性
RAID支持能力
0、1、3、5、6、10、50
可靠性
冗余保护能力
控制器、电源、风扇、BBU电池
热备盘
全局热备、预拷贝、硬盘坏道修复、DHA硬盘健康检测
掉电保护
数据保险箱、一体化UPS技术、WORM
主机兼容性
操作系统支持
Windows、Linux、Solaris、HP-UX、AIX、VMware
软件特性
主机多路径
UltraPath多路径软件
增值软件
快照代理、虚拟快照、LUN拷贝、异步远程复制、同步远程复制
管理特性
管理界面
ISM、CLI等
故障告警
网管界面告警、可闻可见告警(故障灯、蜂鸣器)、短信、邮件等多种告警方式
远程管理
支持Web远程登录模式、支持Modem拨号连接
物理特性
电源
AC100V~240V(50/60Hz),DC-48V~-60V,340W
功耗(控制框)
交流:
340W
功耗(磁盘框)
交流:
230W
尺寸(高*宽*深)
2U,86.1mm*446mm*536mm
重量(不带硬盘)
20kg
3简介/Introduction
OceanStorS2600系列存储系统具备以下特点,为您提供最优秀、最便捷的服务。
3.1创新Evolutionary
●FCSAN和IPSAN的无缝融合
同时支持FC和iSCSI两种主机端口。
●支持中端产品的功能特性
提供丰富的中端存储产品的特性,大大提高了产品的性价比。
如远程复制提供等级更高的数据容灾服务、数据保险箱保证掉电时数据一致性、磁盘预拷贝避免两块磁盘同时发生故障的风险等。
3.2简便Easy
●安装、使用简便
ISM存储平台管理软件,支持JWS免安装技术,提供配置向导,5分钟内可完成所有配置。
●维护、支持简便
支持短信、邮件、声音、灯光等多种报警方式;控制器、电源、磁盘等模块均支持在线热插拔。
●购买、服务简便
遍布全球的营销网络,为客户提供快速优质的服务。
3.3增强Enhanced
●增强的数据保护
支持多种增强的软件功能,如快照、LUN卷拷贝、远程复制等,提供全方位的数据保护。
●完善的磁盘保护方案
−利用磁盘快照与备份软件相结合的技术,实现快速高效的数据备份。
−提供自动磁盘坏道检测和修复功能。
●强大的扩容能力
−支持RAID后台初始化及在线容量扩展。
−支持96块磁盘,支持256个主机,完全满足用户扩容需求。
●电信级高可用性
系统可用性达到99.999%。
3.4节能Energy-Saving
●磁盘节能技术
采用业界领先的磁盘休眠及磁盘降速技术,在备份、归档等应用中可降低40%以上能耗。
●器件节能
采用低功耗的无铅元器件设计,满足绿色环保要求。
●电源节能技术
提供交流和直流供电方式,满足复杂的电力环境需求。
使用直流电源效率更高,有效降低系统能耗。
3.5经济Economical
●提供8个主机端口
提供8个主机端口,可节省组网环境中交换机的开销。
●SAS/SATA混插,优化空间利用
根据数据的重要性和安全级别,选择SAS/SATA磁盘,实现数据的按需存储,最大限度的降低投资成本。
4解决方案/Solution
4.1先进的硬件架构
虽然定位在中低端市场,但由于继承了上一代中端产品的特性,OceanStorS2600系列存储系统的体系架构实则为中端产品架构,在稳定性和可靠性方面绝对值得信赖:
它采用Active-Active双控制器设计架构,全64位的系统平台,提供更高的系统总线带宽,采用全冗余的系统设计,在硬件上确保系统的高可靠性。
OceanStorS2600系统逻辑架构如图3-1所示。
图4-1OceanStorS2600系列存储系统逻辑架构示意图
4.1.2领先的总线技术
OceanStorS2600系列存储系统采用先进的PCI-E技术,相对于上一代PCI-X总线技术,带宽有了显著提升。
OceanStorS2600系列存储系统提供高达24GB/s的系统总线带宽,即使在满配置FC主机端口的情况下也能保证每个FC端口进行线速访问;同时系统采用高端的SAS控制芯片,也可提供高达24GB/s的带宽。
4.1.3全冗余的架构设计
OceanStorS2600系列存储系统采用全冗余的架构设计,系统中所有关键部件均是1+1的冗余配置,如电源、风扇、控制器等。
双控之间的镜像通道在物理上也采用冗余的双链路SAS互连设计,仅镜像通道的带宽就高达2.4GB/s。
4.1.4Active-Active双控制器技术
在拥有两个或者多个控制器的存储系统中,控制器有Active-Passive(以下简称AP模式)和Active-Active(以下简称AA模式)两种工作模式。
AP模式又被称为主备模式,即任何时刻两个控制器中只有一个控制器处于激活状态,而另外一个控制器处于空闲状态,以便在主控制器出现故障或者处于离线状态时及时接管其工作;AA模式常被称为双活模式,顾名思义即两个控制器都处于激活状态,可并行处理来自应用服务器的I/O请求,一旦某个控制器出现故障或离线,另一个控制器将及时接管其工作,且不影响自己现有的任务。
OceanStorS2600存储系统的双控制器是AA模式,除了可以通过互为冗余备份来确保系统高可靠性之外,它还具有均衡业务量、充分利用资源,提升系统性能等诸多优点。
双控制器互为冗余备份的功能主要体现在当某个控制器失效时,如连接到该控制器的链路故障,失效控制器上的业务会切换到另外一个控制器上,在失效控制器恢复后,如连接链路的恢复,即可恢复对原有业务的控制。
整个过程中,业务的切换对您来说是透明的,主机看到的只是一次短暂的链路故障和恢复。
AA模式的双控制器的另外一个主要功能便是负载均衡。
它实现了存储业务在两个控制器上的负荷分担,从而避免了一个控制器负载过大,而另一个控制器长期处于闲置的情况发生,降低了单个控制器的负担,又更有效地利用系统资源,提高系统的工作效率和性能。
4.1.5数据保险箱技术
存储系统通常采用Cache来提高主机的读写性能,主机数据的写入首先到达的是Cache,而未直接写入硬盘。
然而存储系统的Cache是易失性介质,如果存储系统遭遇意外掉电时,如何保证数据的安全性和完整性?
OceanStorS2600采用的便是数据保险箱技术来提供数据的掉电保护。
用来存放掉电后Cache中数据的硬盘,就叫做数据保险箱。
它可以永久性的保存系统掉电后Cache中的数据,为系统提供强有力的可靠性保障。
OceanStorS2600的数据保险箱还有另外一个作用,便是存放系统的配置数据和告警日志。
不管是系统掉电后Cache中的数据,还是系统配置数据或者告警日志,对于一个存储系统来说,都是不容有失的,因此在数据保险箱的可靠性也是至关重要。
OceanStorS2600的数据保险箱由系统的前4块硬盘组成,且采用全冗余配置,重要数据都会在保险箱中保存4份完全相同的副本,即使某个保险箱硬盘出现故障,在更换硬盘后,保险箱将自动使用其数据恢复机制将数据完整地恢复到新硬盘上,整个操作可完全在线进行,不影响业务系统。
4.2丰富的软件功能
4.2.1双保险硬盘预拷贝技术
数据的安全性作为存储系统最基本的要求。
存储系统采用RAID技术来实现系统可靠性,但RAID算法的安全性很大程度上又是建立在硬盘可靠性的基础之上。
当硬盘经过长期的工作,其故障概率自然会逐渐增加,特别是同一系统往往采购的是同一批次的硬盘,当一块硬盘发生故障时,也就意味着其整体故障率开始呈现上升。
同时,任何RAID算法也只能允许一定数量的硬盘同时发生故障,如果不能及时发现运行中的硬盘故障隐患,并做出果断且正确的处理,将会给数据的安全性带来巨大的风险。
此外,在硬盘故障时,所需的RAID重构过程需要一定的时间,且会影响系统的整体性能。
为了预防或降低硬盘可靠性对存储系统的影响,通常采用预拷贝技术。
硬盘预拷贝技术是通过分析S.M.A.R.T报告(S.M.A.R.T,自我监测、分析和报告的技术),获取磁盘状态信息。
经过预拷贝算法对这些运行状态进行判断,以获悉硬盘可能即将失效的概率,提前将风险较大的硬盘数据拷贝到热备盘上,整个拷贝过程将优先占用系统运行的空闲时段,以减少对前端应用的影响。
这种预见行为不但能缩短和避免硬盘失效后的漫长重构时间,还降低了在重构过程中硬盘再次失效的概率,有效地提高了存储的安全性,保证系统的业务连续性。
硬盘状态预测的准确性是预拷贝技术的关键,它是根据记录硬盘运行中可跟踪的属性项来判断硬盘的“健康”状态。
但常规的硬盘状态预测面临着这些问题:
●硬盘作为精密机械设备,存在一些S.M.A.R.T无法及时发现问题的小概率事件。
●经专业机构的统计,高达36%的硬盘在损坏前没有收到S.M.A.R.T的任何警告。
因为,S.M.A.R.T的侦测重点多为机械性问题,而硬盘损坏与电子零件密切相关。
●可靠性新观点表明对硬盘可靠性的了解存在一些误区。
●未将硬盘工作的特定环境因素综合考虑到失效判断中。
OceanStorS2600系列存储系统在预拷贝技术上进行了以下革新,如图3-2所示。
图4-1双保险硬盘预拷贝原理图
1.第一部分数据:
硬盘的S.M.A.R.T检测项和预测的硬盘状态。
2.第二部分数据:
周期性采集存储设备自定义的检测数据,包括硬盘的特殊属性、RAID组的运行参数、设备管理数据、环境因素等。
其中,硬盘的特殊属性包括每个硬盘的盘龄、厂家批次、该批次的可靠指数、极新或极旧等特性。
RAID组的运行参数是指动态统计硬盘的使用情况,如连续读写情况、随机读写情况、带宽统计和一些运行期特性统计等。
3.综合上述两部分数据,被称为双保险数据,在经过特有的硬盘状态预测算法输出硬盘失效预测结果。
在OceanStorS2600的特有算法中,将根据不同情况、不同权值和预测策略综合分析和参考这些数据。
例如,在随机读写频繁时需更多地考虑磁校准、顺序读写频繁时需较多考虑读写错误、当有盘失效时则重点关注运行期性能变化率等属性。
4.根据预测结果启动必要的预拷贝操作。
OceanStor系列存储系统兼具全面、有效地预测硬盘状态和完善的预拷贝技术,更强力地支撑您的数据安全性和业务的可持续性。
4.2.2硬盘休眠技术
硬盘休眠技术就是让某些特定的硬盘进入“休眠状态”,来达到降低存储设备能耗,延长硬盘使用寿命的目的。
通常硬盘有几种状态:
Active、Idle以及Standby:
●Active状态:
硬盘有正常的I/O读写访问,硬盘电机与磁头均正常工作
●Idle状态:
硬盘无读写操作,磁头不动,但是电机正常运转
Standby状态:
电机停转,磁头不动,硬盘正常供电系统正常工作,保证对硬盘的供电。
OceanStorS2600系统的硬盘休眠功能是以RAID组为单位的。
用户可以根据需要,让某个RAID中的所有硬盘进入休眠状态,或者将某个RAID组中的所有硬盘由休眠状态“唤醒”至工作状态,但不允许对单个硬盘进行休眠设置。
对某个RAID组进行配置,使之处于“允许休眠”状态,是硬盘休眠的前提。
用户在明确该RAID组上存储的数据属于近线或离线数据的情况下,可以将该RAID组设置为“允许休眠”状态。
在配置完“允许休眠”后,存储设备会监测RAID组内所有硬盘上的IO,如果在用户设定好的一段时间内(如30分钟),该RAID组没有任何IO访问,则该RAID组中所有的硬盘会进入休眠模式,即所有硬盘停转。
如果该RAID组中有任何一个硬盘仍然存在IO读写,那么该RAID组不能进入休眠模式。
图4-1RAID组可以休眠的条件,以S2600为例
配置RAID组允许休眠的方式有两种:
如图3-4所示。
●通过ISM网管或CLI命令行的方式对S2600进行配置;(又称带外管理通道)
●通过主机应用程序直接下发命令的方式对S2600进行配置(又称SCSI带内通道)
图4-2配置RAID组允许休眠的两种方式,以S2600为例
4.2.3硬盘坏道自动修复技术
硬盘是存储系统最主要的设备之一,同时也是整个系统中最容易出故障的部件。
由于是采用磁介质来存储数据,在长时间的使用过程中,软件大压力的读写或者人为的使用不当,都很容易使硬盘产生坏道。
坏道数量越多,硬盘离报废也就越近了。
换一个角度来说,硬盘也是整个存储系统中维护成本最高的,由于硬盘的故障率较高,用户不得不投入一定的费用用于更换硬盘,来保护他们的数据安全。
在数据量持续增长的将来,随着硬盘读写次数的增多,硬盘的故障率将会更高,用户的投资也会随之而增加。
针对这种情况,华为在OceanStor系列存储系统上专门开发了硬盘坏道自动修复技术,该技术能够对硬盘坏道进行智能的修复,延长硬盘的使用寿命,降低硬盘的故障率,从而降低用户的总体投资成本。
在OceanStor系列存储系统的软件模块中,专门开发了硬盘坏道智能监测模块和硬盘坏道修复模块,实现对硬盘坏道的智能修复。
硬盘坏道智能监测模块通过硬盘的SMART技术和华为的智能预取专利技术相结合来完成对硬盘坏道的全面监测,相比于通过硬盘返回的读写数据错误来发现硬盘坏道的方式,这种监测方式更具有实时性。
经验证,此两项技术的结合,使得对硬盘坏道监测的准确率可以达到100%。
硬盘坏道修复模块的实现原理如下:
当存储系统通过硬盘坏道智能监测模块检测到损坏区之后,会利用RAID重构算法,通过RAID组中其它磁盘上的数据重建出损坏区的数据;然后寻找该硬盘的保留区域,将损坏区地址映射到硬盘的保留区,再在此映射地址上写入数据,以后的正常读写就在此地址上操作了,由于数据的重构只对坏道区的数据进行重构,重构时间经过测试是可忽略的。
OceanStor系列存储系统的硬盘坏道自动修复技术,能够主动的发现硬盘坏道并进行自动修复,无需人工干预,而不是等到数据读写错误后再来进行手动修复,这种“智能”的修复技术,对数据安全提供了更加强有力的保障,同时也有效降低了硬盘的故障率。
(可降低硬盘故障率达48%以上)
4.2.4阵列快照技术-HyperImage
快照是对指定数据集合的一个完全可用拷贝,该拷贝包含源数据在拷贝时间点的静态映像,这是存储网络行业协会(SNIA)对快照的定义。
在阵列上实现快照的方式也有很多,各大厂家也不尽相同,OceanStor系列存储设备的快照HyperImage是一种虚拟快照,它采用映射表和写前拷贝(copy-on-write)相结合的技术方式来实现。
由于采用写前拷贝来实现虚拟快照是一种通用技术,因此本文不再赘述该技术的实现细节。
在OceanStorS2600系列存储系统中,可以对每个LUN做8个不同时间点的快照,保存8个不同时间点的数据副本,以作他用。
HyperImage有以下几个特点:
●实现零备份窗口
备份窗口是指应用所能容忍的完成数据备份作业时间,实际上就是应用所能容许的停机时间。
采用HyperImage备份可以在线进行,备份窗口基本为零,无需业务停机。
●快速的数据恢复
HyperImage可通过直接读取快照卷的方式获得快照时间点的原数据,当源卷数据遭到破坏时,可以直接从快照卷中恢复出快照时间点的数据,实现数据回滚。
●循环定时快照,实现持续数据保护
HyperImage对同一源卷支持多个时间点的虚拟快照,并且可以设定策略,自动进行快照激活和停止操作。
当多个时间点的快照采用循环的方式沿时间轴向前推进自动操作时,就非常方便且低成本的实现了持续数据保护。
●重新定义数据用途
通过HyperImage可获得源数据在快照时间点的一致性映像,它是可以直接读取的,系统可以将它分配给测试、归档、查询等其他应用使用,既保护了生产系统,又赋予了备份数据新的用途,如图3-5所示。
图4-1重新定义数据用途
4.2.5卷拷贝技术-HyperCopy
卷拷贝是指将磁盘阵列中的源卷数据拷贝到目标卷中,源卷和目标卷可以是在同一阵列中,也可以分布在不同的阵列中,甚至可以是不同类型的阵列。
卷拷贝主要用于实现阵列内部、或者阵列之间的数据备份,实现卷拷贝的技术手段较多,业界常用的有全量拷贝和增量拷贝两种:
全量拷贝是指把源卷数据一次性完整的拷贝至目标卷。
全量拷贝需要暂停业务,它必须在离线条件下进行,否则拷贝的数据将是一份过程数据。
另外,如果源卷较大的话,全量拷贝的时间是较长的。
增量拷贝是指除创建增量拷贝之初,需要进行源卷至目标卷的初始同步以外,以后每次拷贝都只将源卷自上次同步以来更新过的数据拷贝到目标卷,即只拷贝上次时间点至本次拷贝时间点之间更新的数据。
和全量拷贝相比,增量拷贝可以在线进行,它结合了快照功能来实现。
OceanStorS2600的卷拷贝技术叫做HyperCopy,它可同时支持全量和增量两种拷贝方式,以满足用户不同的数据拷贝和备份需求。
HyperCopy有以下特点:
●HyperCopy的增量拷贝与快照相结合,拷贝过程可在线进行,无须中断业务;
●HyperCopy是基于阵列的数据复制技术,对应用服务器和业务网络没有影响;
●HyperCopy支持基于FC链路和基于IP网络两种方式进行卷拷贝;
●HyperCopy可支持同一台OceanStor阵列内部、两台OceanStor阵列之间、以及OceanStor与其他品牌阵列间的卷拷贝
●支持一台OceanStor阵列到多台OceanStor阵列间的拷贝
4.3远程复制
远程复制是数据镜像技术的一种,它能够在两个或多个站点维护若干个数据副本,利用长距离来避免灾难发生时的数据丢失。
1.1.1为一个典型的远程复制系统的拓扑图。
图4-1远程复制系统拓扑图
实现远程复制功能的技术较多,业界使用最为广泛的主要有同步远程复制和异步远程复制两种。
OceanStorS2600存储阵列同时支持同步远程复制(HyperMirror/S)和异步远程复制(HyperMirror/A)两种主流的远程复制技术,以满足用户对数据容灾方式的多重选择。
4.3.2WORM(WriteOnceReadMany)技术
WORM技术是通过软件和硬件设备相结合,使存储介质只能写入一次数据,不能重复写入且不允许被修改、删除。
WORM技术为特殊、重要数据备份提供了最安全的保证。
WORM技术的实现原理是在阵列侧增加WORMLUN判断,如果将普通LUN制定为WORMLUN,则该LUN可读不可写。
工作流程如图3-7所示。
图4-1WORM工作流程
1.主机下发读/写IO到阵列。
2.在阵列TGT层判断需要读写的LUN是否为WORMLUN。
3.如果是WORMLUN,读IO不受影响,读取数据后返回给主机;写IO不能访问WORMLUN直接返回相应的错误码。
用户可以设置一个LUN为WORMLUN,并设定一个以天为单位的保护期限。
在保护期限内,该LUN的数据将不会被修改,也不能删除该LUN。
保护期限到期前,用户可以修改期限,但是只能增加,不能减少。
保护期限到期后,可以手动将WORMLUN设置回普通LUN。
设置回普通LUN后,所有关于WORMLUN的限制都不再存在。
保护期限为1天~60年(60*365)。
4.3.3DHA技术
DHA(DiskHealthAnalyzer)技术支持硬盘状态信息的采集、存储和自动回传功能(可配置),支持离线硬盘健康状态的检测和分析,并发出失效预警,能有效提高客户数据的安全性,是服务的一大亮点。
DHA采样硬盘使用过程中SMART等信息的变化,通过积累大量数据,通过数据分析方法预测硬盘健康状态信息的变化趋势,给即将失效的硬盘发出预警,避免客户数据丢失。
DHA系统包括:
阵列控制器中的硬盘信息采集模块、ISM中的分析模块和CallHome模块、服务中心专家系统中的数据预处理、硬盘信息数据库和数据分析。
具体实现过程如图3-8所示:
图4-1DHA系统原理图
●阵列控制器中集成了DHA系统的信息采集模块,硬盘信息由该模块收集后上传给ISM网管。
●ISM中集成了DHA系统的分析模块,用于分析收集到的硬盘信息并作出诊断。
DHA系统的功能可通过ISM中的开关手动打开或关闭。
●ISM通过CallHome功能,将这些信息通过网络上传给华为服务中心。
华为服务中心接收到ISM传过来的硬盘信息数据后,将数据入库,并利用数据分析系统对数据库中的数据进行分析,得出对故障的预测、诊断和建议。
5推广/Experience
5.1S2600的独特价值
5.1.1Combo接口技术
Combo是“组合”的意思,在OceanStorS2600系列存储系统中,Combo接口是指在一个控制器中同时提供FC和iSCSI两种接口,即FC和iSCSI的组合接口。
OceanStorS2600C存储系统的每个控制器可支持2个FC和2个iSCSI接口,双控制器共可支持4个FC和4个iSCSI接口。
Combo接口的优势在于,在一套存储系统中,整合两种不同类型的主机端口,使得一套存储系统便可满足两种不同的组网需求(FC和IP),极大的简化了用户的组网环境;另一方面,使得原本分离的两种应用能够整合到一套存储设备中,即提高了设备的可管理性,又可节省投资成本,可谓一举两得。
5.1.2硬盘休眠技术
绿色存储,节能减排,早已成为当今存储界的热门名词。
在节能技术的研究上,华
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 视频 监控 存储 方案