专家在线访谈演讲内容存储从零讲起Word文档下载推荐.docx
- 文档编号:16990557
- 上传时间:2022-11-27
- 格式:DOCX
- 页数:10
- 大小:26.76KB
专家在线访谈演讲内容存储从零讲起Word文档下载推荐.docx
《专家在线访谈演讲内容存储从零讲起Word文档下载推荐.docx》由会员分享,可在线阅读,更多相关《专家在线访谈演讲内容存储从零讲起Word文档下载推荐.docx(10页珍藏版)》请在冰豆网上搜索。
1.3.存储系统的应用
存储系统的重要应用体现在很多方面。
例如制造业和工程设计领域,包括汽车设计和飞机设计等;
高性能计算领域,比如地震数据处理,气象预报、石油勘探等;
在信息处理领域,包括Web、Email服务等;
在数字化媒体和娱乐领域,包括IPTV、流媒体、数字内容服务等;
在数据分析领域,包括数据挖掘、金融分析等;
在企事业单位里,包括电信、电力、政府、金融、交通、教育等多种单位;
在社会公共服务行业,包括数字城市、数字图书馆、医疗卫生等。
除此之外,国家战略领域,也是存储系统的重要应用领域。
比如说在我国军事应用领域中,有航空、航天、遥感、技侦和高性能计算等;
在公安领域,有安全监视、身份论证、电子巡检等;
以及在国防领域里的有害信息防堵和信息安全攻防等。
1.4.网络存储技术:
NAS和SAN
网络存储技术是针对网络存储的管理和使用这个方面的技术。
简单来说,网络存储就是将存储设备直接连接到网络上。
网络存储技术就是对这种直接连接到网上的硬盘进行组织与管理,形成网络存储系统,并管理和控制网络硬盘的使用。
存储系统技术可以分为直连式存储技术、附网存储技术和存储区域网技术三种。
其中,附网存储技术,简称NAS;
存储区域网技术,简称SAN,它们都是网络存储技术。
NAS(NetworkAttachedStorage)即为网络附加存储,它是以数据为核心的存储结构,可实现异构平台下的文件共享,可以直接与LAN相连,提供文件级服务。
但在实际的应用中,当多用户同时并发访问同一数据时,繁锁的网络传输过程,增大了网络资源的开销,使得文件的I/O速度变慢,严重影响用户的正常使用。
所以,NAS不适合在对访问速度要求过高的应用场合中使用。
此外,NAS无法将多个NAS设备,整合成一个统一的存储池进行集中管理。
SAN(StorageAreaNetwork)即存储区域网络,它和NAS一样,也是一种新型的数据存储模式。
SAN由RAID阵列连接光纤通道组成,提供无限的扩展能力和高速的数据处理能力与连接速度。
1.5.存储技术和应用需求的发展对于存储系统的影响
一个产业的发展,除了需要市场需求拉动之外,还要有技术发展机遇和社会发展机遇。
目前,我们正在面临两个颠覆性技术发展机遇。
一个是IP存储技术,另外一个是串行硬盘技术。
在2003年的春季,国际上通过了IP存储的第一个标准—iSCSI协议。
从此,IP存储技术正式登上舞台。
IP存储的特点是高聚合带宽、低采购成本、低维护成本和高可持续集成。
这尤为适合中国国情。
此外,2005年,国际上开始大力推广串行硬盘技术,大大降低存储硬件的成本,提高磁盘访问带宽。
这使得构造大型存储系统更为廉价和可行。
这两项破坏性的创新技术,对于中国存储产业的发展起着重要的推动作用。
除此之外,随着国内社会经济的发展,国家提出自主创新的目标为中国存储产业发展,提供了无限的社会发展机遇。
从应用需求而言,数字化信息生产的速度非常之高,而且增长的加速度还在不断上升。
这直接导致了所谓的信息雪崩危机,即我们可能不能够处理我们所生产出的信息。
随着计算技术的发展,计算系统的瓶颈已经从CPU和内存转移到了I/O子系统上。
特别是随着网络技术的发展,计算系统已经不再是由单一计算机构成,而是由分布于网络之上的众多的计算机和庞大的存储系统构成。
在新的应用环境中,数据总量之大、计算机之多、数据访问量之大都是前所未有的。
面对信息雪崩危机,存储系统必须调整自身的体系结构和核心技术。
在几年前,SunMicrosystems的一位CTO就明确提到:
“在未来的3到5年中,服务器将发展成为存储系统的外设。
”为了更好地满足应用需求的发展,存储系统系统结构的全面革命已经迫在眉睫。
作为计算系统的核心,存储系统的新型系统结构不仅要为“外设”系统(服务器)的访问提供巨大的、可扩展的I/O带宽,而且要为“外设”系统的管理提供灵活的、简洁的支持基础。
2.SAN的介绍
2.1.SAN特性
SAN作为网络存储基础设施,是为了提供灵活、高性能和高扩展性的存储环境而设计的。
SAN通过在服务器和存储设备(例如磁盘存储系统和磁带库)之间实现连接来达到这一目的。
高性能的存储网络交换机和存储网络协议可以确保设备连接既可靠且有效。
一个或多个交换机以网络拓扑(SAN架构)形式为主机服务器和存储设备提供互联。
由于SAN是为在服务器和存储设备之间传输大量数据而进行优化的,因此SAN对于以存储为核心的应用环境有着重要的影响。
典型应用环境包括数据库应用,集中的存储管理与备份等。
除了常见的FCSAN之外,近年来IPSAN和IB(InfiniBand)SAN也得到了长足的发展。
●IPSAN
由于继承了IP技术的成熟性和开放性,IP存储技术在企业应用环境中有着巨大的应用前景。
特别是在远程的数据备份、数据镜像和服务器集群等领域,IP存储技术的介入都可以大大丰富其内容。
作为IP存储技术的一种标准,iSCSISAN已经初步得到了市场的认可,正式登上了存储市场的舞台。
以IP网络技术的成熟性、低成本、开放性、高普及度、高可集成性、聚合高带宽等特点为基础,iSCSISAN为存储系统的管理与运营奠定了良好基础,为存储系统的服务化提供了发展空间。
●IB(InfiniBand)SAN
作为一种高带宽、低延迟、可扩展、开放的网络技术标准,IB(InfiniBand,无限带宽网络)从技术的诞生之日起就受到了广泛的关注。
其高带宽、低延迟、可扩展的技术优势使其非常适合于存储应用。
因此,IB网络技术作为高端存储网络的可行性备受技术界关注。
近年来,由于10Gbps的IB已经成熟,IB技术的网络协议栈日趋完善,IBSAN的提出也就成为必然趋势。
作为高端存储网络技术,IB网络有效地集成了最新的高效数据传输技术,为大量数据传输提供了底层技术支持;
在网络带宽方面,IB网络可达到数十Gbps的传输带宽,这为将来的持续发展奠定了技术基础;
在成本方面,IB网络无论是主机端的HBA卡还是IB交换机都已经呈现出标准化低成本的优势,这位大规模市场推广奠定了基础。
2.2.SAN的优缺点
由于出色的可扩展性,SAN技术可以较好地满足迅速增长的数据存储需求。
按照IDC近期的市场预测,到2009年,SAN形式的存储市场将会占到整个存储市场的71.9%。
相对于2005年的58%的市场占有率,在未来的4年内将提高近14%。
这是一个巨大的增长。
SAN存储架构具有显著的优势。
如集中管理、扩展和备份,降低系统总体拥有成本;
在数据传送过程中,系统处理效率更高等。
长期以来FCSAN本身缺乏标准,特别在管理上;
采购成本居高不下,甚至于远高于新兴的IB网络技术,属于大型企业使用的高端存储方案;
在管理与维护上,需要专业性人才,其总拥有成本较高。
近年来,基于IPSAN技术得以迅速发展,它以成本相对低廉、互操作性好、技术普及、用户众多等特点,在存储领域里迅速被得以应用。
今天,随着信息技术的不断发展,SAN已经渐渐与NAS环境相结合,以提供用于NAS设备的高性能海量存储。
事实上,许多SAN目前都用于NAS设备的后台,满足存储扩展性和备份的需要。
2.3.SAN市场现有产品
各个知名国际存储厂商都有自己的SAN系统产品。
如HP的EVA,EMC的CLARiiON等。
近年来,各个厂商也在研发和推广支持异构设备的SAN虚拟化系统。
如,IBMTotalStorageSAN,EMC的Invista,日立公司的TagmaStore,FalconStor(飞康)公司的IPStor等。
这些产品主要采用带内管理方式。
随着存储技术的发展,存储系统的系统结构已经在发生变化。
由于带内管理模式存在系统瓶颈问题,一些新兴的存储公司开始研发和推广新一代的存储产品。
如致力于开放环境中的存储虚拟化产品的以色列公司StoreAge。
其主推产品SVM就采用带外虚拟化方式。
作为国内最早研发网络存储系统之一的,依托于中国科学院计算技术研究所的国家高性能计算机工程技术研究中心,始终坚持着自主研发的发展方向,并通过北京中科储天信息技术有限公司,将其国内领先的、自主研发的先进技术进行产品化,形成蓝鲸网络存储系列产品,而其中的蓝鲸虚拟存储系统具有鲜明的技术特点,是国内唯一采用带外存储虚拟化方式的、具有自主知识产权的SAN虚拟化存储系统。
该系统以IPSAN为基础,具有超强的在线可扩展能力,并可望在近期支持FCSAN和IBSAN。
通过专用虚拟化系统软件对多个网络存储设备进行管理,为用户提供大容量、动态可扩展的虚拟存储空间,可以有效支持数据库等大型数据应用,适用于数据中心等典型应用环境。
3.FAN的介绍
在二十世纪九十年代,转换为SAN网络是用户和厂商一致寻求的部署和共享存储资源的通用体系结构。
延伸“区域网络”框架所固有的共享资源的概念,为存储行业开启了更为广阔的视野。
SAN可以有效地解决用户的存储资源的共享、统一存储和管理问题;
与此相应,大规模数据资源的共享和管理也是亟待解决的一个问题,这就是FAN的目标。
一个全新的文件资源管理的时代已经来临,通过借用和延伸“区域网络”的概念以确立基础设施另一层上的文件数据管理方案,构建文件区域网络,即FAN(FileAreaNetwork)。
3.1.什么是FAN
通过有效地整合多种文件技术,FAN为供户提供一个可扩展的、灵活的、智能的文件信息共享平台。
FAN支持基于元数据和内容价值的文件管理,提供不间断地、物理位置透明地文件访问。
如同SAN相对于直连存储一样,相对于传统文件管理方法,FAN在性能、控制和投资回报率方面都有非常大的质的飞跃。
目前在FAN的体系结构和部署方面,存在着多种技术和方案。
在未来的几年中,许多厂商将参与到FAN生态环境中,FAN技术也将快速发展。
3.2.FAN的特性
作为存储系统的基础,FAN有以下各个部分组成:
●网络存储设备。
FAN的基础层是存储基础架构。
●文件服务设备/接口。
必须支持文件级信息协议。
●命名空间。
支持文全局统一的命名空间。
●文件管理和控制服务。
支持各种文件的管理和访问控制服务。
●数据访问终端。
终端可以是普通的PC机或服务器,也可以是其它类型的计算设备。
3.3.FAN市场现有产品
已经参与到FAN的研发中的厂商包括Brocade,EMC,惠普,Microsoft,NetApp等。
通过一系列的收购和转向等工作,Brocade和EMC已经开始了FAN的研发工作,而且与其现有的产品紧密集成。
惠普和NetApp以自助研发为基础,辅之以OEM等商业手段,已经可以支持一系列FAN软件服务。
以DFS技术为基础,微软最新发布的WindowsServerR2提供一整套以微软为中心的FAN提供支持。
作为国内自主研发的网络存储系统之一,蓝鲸集群文件系统和蓝鲸数据备份系统是由中科院计算所工程中心研究和开发。
蓝鲸集群文件系统采用网络可扩展系统结构,支持异构计算环境的数据共享和在线容量、性能的扩展。
面向大规模集群数据处理和服务环境,支持可高达数百台的各种Linux和Windows服务器间的数据共享。
蓝鲸数据备份系统支持各种计算环境的数据备份、恢复与管理。
除支持全量、差量和增量等方式外,蓝鲸数据备份系统还支持强大的后端数据融合功能,为高效的数据保护和管理奠定基础。
4.CAN的介绍
相对于存储系统范围内的SAN和FAN技术而言,CAN(ComputingAreaNetwork)技术主要是面向计算系统的系统结构改变。
正如SunMicrosystems公司的CTO所预言的,存储系统已经发展成为计算系统的核心,而服务器已经衍变成为计算系统的外设。
在这种情况下,作为计算系统核心的存储系统不仅要为“系统外设”提供足够的数据传输速度和传输带宽,而且要有效地管理“系统外设”,即大量的服务器资源。
CAN技术就是在这种背景下提出的,也是以基于存储系统为核心的理念所产生的服务器资源管理技术。
与SAN和FAN技术相对应,CAN技术的目标为有效解决面向数据处理应用环境中计算资源的管理问题。
通过借用和延伸“区域网络”的概念,以存储系统为核心的计算资源管理技术构建计算区域网络,即CAN(ComputingAreaNetwork)。
4.1.什么是CAN
通过有效地整合多种系统管理技术,CAN为供户提供一个可扩展的、灵活的、智能的计算资源共享平台。
CAN支持独立的操作系统、应用程序和用户定制配置等系统数据资源的管理,支持计算资源与系统数据资源的动态绑定,有效降低计算资源的安装、配置、维护和调度等管理成本。
相对于传统计算资源管理方法,CAN在性能、控制和投资回报率方面都有非常大的质的飞跃。
在未来的几年中,许多厂商将参与到CAN技术的研发环境中,CAN技术也将快速发展。
4.2.CAN的特性
作为存储系统的基础,CAN有以下各个部分组成:
CAN的基础层是存储基础架构。
●系统数据访问/管理接口。
必须支持文件级/设备级协议。
●计算资源。
计算资源可以是普通的PC机或服务器,也可以是其它类型的计算设备。
4.3.CAN市场现有产品
目前CAN的研究与开发上处于早期阶段。
已经参与到CAN的研发中的厂商包括Microsoft,Opsware等。
作为国内自主研发的网络存储系统之一,蓝鲸服务部署系统是由中科院计算所工程中心研究和开发。
该系统以网络存储为基础,支持存储设备、计算资源、用户、网络磁盘和绑定关系等方面的管理,可以有效支持各种Windows,Linux,以及其他各种操作系统(基于虚拟化硬件),可支持支持高达数百台的各种Linux和Windows等计算资源的管理。
5.国外网络存储系统现状
随着时间的推移和技术的发展,直连式的,即非网络式的存储系统已经逐渐遭到淘汰。
而网络存储技术的份额正在明显的上升。
在2005年的时候,网络存储系统实际上才占70%左右,而到了2009年,网络存储系统已经占有市场高达88%左右。
与直连式存储系统相比,网络存储系统的管理效率可高达九倍以上,资源利用率远远高于直连存储系统。
所以,网络存储系统不仅仅占有大量的市场,而且发展速度是极为迅速的。
有鉴于网络存储系统的重要性,欧美等西方国家都在极力发存储系统技术。
在市场方面,欧美各大跨国公司,如EMC、HDS、Veritas、IBM、惠普等,在存储系统产品的研发和未来技术发展上都有大力的资金和资源投入,并在市场上取得了垄断性地位。
与此相配合,欧美各国在国家战略角度上,重点支持大型网络存储系统研究和开发。
6.国内自主存储技术研发现状
6.1.存储产品
中国的存储市场,目前集中在IBM、HP、EMC这些国际知名品牌手里。
国内自主品牌在存储领域,只占有8.7%的市场份额。
在这仅有的约8.7%的市场份额中,有80%以上为从国外OEM或濒临淘汰的低端产品,而且没有一家国内厂商在存储领域的销售额上高于6000万。
如果把8.7%与80%这两个数字相乘的话,你可以发现真正的自有技术的产品,却只占到不足2%的市场份额。
在这不足2%的市场份额里,具有市场竞争力的核心存储产品几乎是少之又少。
6.2.市场需求
对于国有品牌及自主技术,用户需求强烈。
这表现为近年来国内品牌和自主技术在国内市场已经取得相当高的增长速度。
国内用户对于符合国情的产品、解决方案和专业化服务方面的认识和理解越来越深。
因此,对本土化厂商的要求越来越高。
6.3.存储技术
国内有一些大专院校,专门从事自主存储技术研究。
包括清华大学、华中科技大学、国防科大、西北工业大学等。
在研究所方面,依托于中国科学院计算技术研究所的国家高性能计算机工程技术研究中心专门从事网络存储技术的研发。
工程中心的研发特色是既强调技术的先进性,同时也确保系统的稳定性和实用性。
其研发的蓝鲸网络存储技术,研发目标就是支持市场经济时代的信息“超市”。
在信息的市场经济时代中,势必会导致数据大量集中。
信息“超市”就是规模化的必然产物。
而有效支持信息“超市”就是蓝鲸网络存储技术的目标。
信息“超市”具有数据量大且种类多,即数据超市;
存储容量大且种类多,即存储超市;
存储用户,即计算机多,且并发访问量大,即计算超市;
以及数据量不断增长等特点。
蓝鲸存储技术正是针对这些特点和需求而设计的。
蓝鲸网络存储系统在内部组织方面,采用带外管理,肯有超市化特征;
在外部使用方面,采用虚拟技术,具有服务化特征。
蓝鲸网络存储技术由以下几个系统组成:
●蓝鲸虚拟存储系统
作为存储资源超市的支撑技术,蓝鲸虚拟存储系统是基于虚拟存储技术的IPSAN。
通过专用虚拟化存储软件对多个网络存储设备进行带外管理,为用户提供大容量、动态可扩展的虚拟存储空间。
●蓝鲸服务部署系统
作为计算资源超市的支撑技术,蓝鲸服务部署系统是一种基于网络存储的新型计算环境。
系统中用户所拥有的服务都集中存储和统一管理。
通过支持简捷的系统安装,灵活的环境选择,系统可有效降低计算机运行、维护和管理的总体成本。
●蓝鲸集群文件系统
作为数据共享超市的支撑技术,蓝鲸集群文件系统采用网络可扩展系统结构,支持异构计算环境的数据共享和在线容量、性能的扩展。
●蓝鲸数据备份系统
作为数据管理超市的支撑技术,蓝鲸数据备份系统面向网络存储环境,支持Lan-Free和Server-Free的数据备份方式,为用户提供设备级和文件级的数据全量、差量和增量备份及其恢复,支持后台数据融合和备份策略。
蓝鲸网络存储技术都是面向数据中心的核心技术。
这些技术的聚合构成了面向数据中心应用环境的完整核心技术基础。
在国内,虽然有许多从事存储技术的自研发单位和院所,但真正实现将自研的存储技术进行产业化的单位,则相对较少。
蓝鲸存储技术在中科院计算所工程中心全体人员几年的努力研究和开发的基础上,进行产业化工作,形成了蓝鲸网络存储系列产品,包括蓝鲸集群文件系统、蓝鲸服务部署系统、蓝鲸虚拟存储系统和蓝鲸数据备份系统,以及在蓝鲸服务部署系统原有技术的基础上,针对刀片服务器及其它密集服务器机群应用环境的部署系统—Bladmin和针对教育领域公共计算机应用环境的计算机管理系统—PCSAN.edu等系列存储产品,填补了国产网络存储技术和产品的空白。
这些产品在石油、遥感、高教、政府、研究所等行业中得以应用。
行业应用的情况及石油、遥感行业中的问题。
这些产品通过用户的实际应用,不仅已有难以解决的问题,而且还提高了工作效率,得到用户的一致好评。
7.行业应用
随着信息技术的不断发展,企事业单位数据规模的不断增加,企事业单位对重要数据的存储也越来越受到人们的关注。
要使整个企、事业单位内部的数据得到统一管理和安全应用,就必须有一个安全、性价比好、应用方便、管理简单的物理介质来存储和备份企业内部的数据资料。
但在许多数据处理应用领域中,现有的网络存储系统通常不能完全解决应用中的出现的问题,例如在石油和遥感等大规模数据处理行业中,系统频繁的读写和存储数据,给数据的输入和输出通道常造成拥挤和堵塞。
蓝鲸存储技术可以有效地解决这些问题。
蓝鲸网络存储系统主要的产品特征是有效地支持数据集中。
蓝鲸的核心理念就是实现存储的市场经济时代,也就是信息“超市”。
在所有的蓝鲸存储产品中,都采用了虚拟化技术和带外管理技术,为用户提供异构资源的集中式管理,大大提高了资源利用率和人员管理效率。
而且,蓝鲸系列产品具有高性能、高可扩展等特点,同时,支持大规模数据并发访问,以及容量、性能的在线扩展。
7.1.地球物理应用
在中国石油天然气股份有限公司某勘探研究所的石油勘探地质资料处理中,由于石油勘探地震资料处理流程复杂/地质原始数据文件很大,通常处理流程的分析要占总时间的60%以上,极大地影响工作的进度和效率。
该研究所在采用蓝鲸集群文件系统后,其应用结果充分地说明蓝鲸系列存储产品的高可扩展性、高性能和稳定性。
测试所用应用节点均为双至强/2GB内存的IBM刀片服务器,所用存储系统为两台IPSAN存储设备和一个系统控制器所组成的蓝鲸集群文件系统。
存储系统与应用系统通过Cisco6509以太网千兆交换机相连接。
蓝鲸集群文件系统在三维叠前数据处理应用中,分别运行于32台、64台、96台和128台节点集群环境中。
随着服务器节点数理的增加,系统处理能力呈线性提高。
证明了蓝鲸集群文件系统完全可以支持多达数百台服务器节点并行访问。
其应用结果证明,蓝鲸集群文件系统具有优秀的可扩展性,解决了大规模集群系统中的I/O瓶颈问题。
在高性能计算中,得出结果的时间比NAS系统缩短一半甚至更多;
在常规计算中,计算时间比NAS系统缩短的更多,而且性能呈线性稳定增长。
原来需要计算3个月的项目,现在只需要1个月左右就可以完成,极大地缩短了项目完成的总体周期。
7.2.数字风洞应用
蓝鲸集群文件系统应用于中国空气动力研究与发展中心计算空气动力研究所的多种复杂外型的空气动力特性计算中。
其应用测试结果显示了蓝鲸存储技术的优势。
该研究所使用由大量服务器组成的高性能计算集君,进行空气动力特性计算此计算对系统存储容量的扩展性和I/O能力要求很高,而现有的存储系统已经不能满足这两方面的需求。
在采用了蓝鲸集群文件后,对I/O要求较高的计算任务,其完成时间为以前的9.6%,即以前需要10天才能完成的作业,现在仅需1天就可完成,极大地缩短了任务的完成周期。
中国空气动力研究与发展中心
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 专家 在线 访谈 演讲 内容 存储 讲起
![提示](https://static.bdocx.com/images/bang_tan.gif)