网络环境下的数据存储技术Word文件下载.docx
- 文档编号:22173137
- 上传时间:2023-02-02
- 格式:DOCX
- 页数:15
- 大小:186.52KB
网络环境下的数据存储技术Word文件下载.docx
《网络环境下的数据存储技术Word文件下载.docx》由会员分享,可在线阅读,更多相关《网络环境下的数据存储技术Word文件下载.docx(15页珍藏版)》请在冰豆网上搜索。
但随着运算机处理技术,专门是网络技术的不断进展,数据也成几何形式的增长,人们对数据储备提出了更高的要求,DAS差不多不能满足数据储备和治理的需求,新的储备技术网络储备就被提了出来。
1网络储备的概念和特点
所谓的网络储备确实是通过网络储备设备,包括了专用数据交换设备、磁盘阵列或磁带库等储备介质、以及专用的储备软件,利用原有网络或者构建一个储备专用网络为用户提供统一的信息系统的信息存取和共享服务。
网络储备的显现满足了人们对数据大容量储备、数据有限制共享、数据挖掘和信息充分利用、数据可靠性、数据备份与安全性、数据治理的简单化和统一化的要求。
同时网络储备还具有专门强的可扩展性,能够提供大数据量的信息传输率的特点。
网络储备第一解决了原先分布式应用产生的大量“信息孤岛”的问题。
在网络储备技术显现之前,大量的数据都以分散的方式存放在用户的各个部门之中,造成数据同步、集群运算时的困难,从而产生大量的“数据孤岛”。
许多用户数据得不到有效挖掘而成为垃圾,而与此同时用户又因为得不到有效数据而造成大量的缺失。
网络储备的显现能够有效的解决这一问题。
网络储备的一个特点确实是数据集中储备和治理,在一个或多个大容量介质中通过有效的治理软件,进行数据的储备,使得这些信息能够在操纵下实现数据的共享,排除了“数据孤岛”现象。
同时网络储备能够方便大型的数据仓库的建设,使得数据分析、数据挖掘等技术的应用更加灵活,对数据的治理更加简单、便利。
最后,网络储备使得建立安全备份机制和灾难复原手段成为可能。
原有分散的数据要进行数据备份和复原,需要对每一台服务器、每一个数据库的数据逐一进行备份。
在一个较大的网络环境中,服务器和数据库的数量都十分庞大,这使得备份成为一件十分纷杂的工作,同时显现疏漏的可能也大大增加。
而网络储备显现以后,只要采纳数据备份和灾难备份软件,这一问题就迎刃而解[1]。
2不同网络储备技术的分析和比较
网络储备在具体实现上由于采纳技术和协议的不同,能够分成不同的几种类型,如DAS、NAS、SAN、iSCSI和CAS等,其中NAS和SAN是应用最为成熟和广泛的两种技术。
下面分别介绍了这几种技术。
2.1DAS
DAS(DirectAttachedStorage)直截了当连接储备。
这种差不多的储备结构在校园网或办公环境中较为常见。
储备器通过一个通用服务器连接在网络上,储备器与服务器之间通过传统的I/O总线通讯。
客户机访问储备器上的数据时必须通过服务器进行储备转发,尽管这种技术存在I/O瓶颈、可扩展性差、储备升级均消耗服务器资源、治理成本较高等不足,但随着IDE硬盘技术的更新,以IDE硬盘为要紧载体的RAID储备系统日益改进,这促使DAS方式仍具有一定的生命力。
比如,用DAS实现本地储备,能够增加数据的安全性。
目前的以太网络大多采纳Client-Server结构。
在这种网络中,多个主机所承担的任务通常有所不同。
除网络交易需要一个数据仓库或数据库中心外,面对繁多而关键的数据,网管必须在本地加载本地储备设备实现数据爱护。
假如主机带RAID卡,可选择直连硬盘的方式;
否则,能够选择磁盘阵列,因此采纳DAS+IDE阵列的模式也有自身优势。
2.2NAS
NAS(NetworkAttachedStorage)网络附加储备。
它是基于LAN的,按照TCP/IP协议进行通信,面向消息传递,以文件的I/O方式进行数据传输,也确实是说,NAS使用的是平常我们一直在用的基于TCP/IP的局域网,并在上面进行数据传输的。
由于数据的传输能够在原有的局域网上进行,因此NAS的建设十分简单,对数据的治理也十分的方便。
同时NAS差不多完全能够实现异构平台之间的数据级共享,比如NT、UNIX等平台的共享,专门适合于ftp等文件共享服务的应用。
然而由于使用了与平常网络通信相同的网络,因此在网络带宽条件有限的情形下,它占用了宝贵的网络带宽资源,阻碍了网络的利用率,同时也使得NAS无法发挥其应有的性能。
2.3SAN
SAN(StorageAreaNetwork)储备区域网。
它是在原先的局域网外,另外构建一个专门用于储备的网络结构,那个储备网络能够看成是一个高速的子网,那个子网中的设备能够从你的主网卸载流量(图1)。
通常SAN由RAID阵列连接光纤通道(FibreChannel)组成,SAN和服务器和客户机的数据通信通过SCSI命令而非TCP/IP,数据处理是“块级”(blocklevel)。
图1SAN的拓扑方案
SAN结构以数据储备为中心,采纳灵活的网络拓扑结构,通过具有高传输速率的光纤通道的连接方式,以传统SCSI协议传输数据的一种体系。
SAN有许多优点,第一,SAN能够自由扩展,用户能够灵活地在SAN结构上添加各种储备设备,整个系统扩展起来十分方便灵活;
其次,SAN结构采纳光纤通道作为数据的传输方式,因此传输速率专门高;
再者,SAN上数据传输以是块传输方式进行,在光纤上能够传输大规模数据;
最后,SAN结构能够采纳LAN-Free或Server-Free的方式进行数据的备份,使得备份工作能够方便快捷的进行。
然而,由于SAN储备方式要构建一个专门用于数据储备的SAN结构,使得建设费用大为增加,同时在SAN结构中储备的数据以“块”的形式存在,也确实是每一个应用在储备介质中都有一个专属于自己的区域,其他应用是难于访问那个区域的。
这使得SAN互操作性较难,难于应用于大量存在的文件共享服务。
最后SAN的建设难度大,需要专业人员治理。
这些差不多上SAN的不足之处。
2.4iSCSI
由于网络储备SAN结构投资十分庞大,一样用户企业专门难承担。
与此同时,NAS技术尽管成本低廉,然而在使用的时候需要消耗有限的网络带宽资源,无法完成大容量储备的应用,因此,提出了iSCSI技术。
该技术是将现有SCSI接口与以太网络(Ethernet)技术结合,使服务器可与使用IP网络的储存装置互相交换资料(图2)。
此技术不但价格较目前使用的业界技术标准FiberChannel来的低廉,而且系统治理人员也能够用相同的设备来治理所有的网络,并不需要以另外的设备来进行网络的治理。
iSCSI作为IPStorage中最先得到应用得技术之一,它专门适合需要利用现有IP网络资源及IT技能拥有集中储备,但又不具备建设SAN结构的用户使用。
图2iSCSI拓扑图
2.5CAS
CAS(ContentAddressedStorage)内容寻址储备CAS的提出是基于如此一种统计,即储备的数字化信息中,除了需要不断更新的数据外,有更大的一部分的内容是以固定的形式存在的最终信息,也确实是这些信息的内容是不变的,如电台电视台差不多播放的广播、影视、医学诊断中使用的MRI、X光、检查图像等,差不多完成文档、CAD/CAM设计等等。
而如前所述,现有的网络储备技术,不管是NAS依旧SAN都没有对这种以固定形式存在的内容进行优化。
应用CAS技术储备的数据都含有一个全球唯独的标识符。
用户访问该信息的时候,只需在网络上发出带有这一标识符的信息,而不必去追踪被储存信息的物理位置,系统会自动依照这一标识符在网络搜寻到信息所存的位置,然后再将该信息反馈给用户。
由于CAS储备对数据会分配一个标识符,储备的信息不能任意改动,因此CAS只适用于储备内容固定不变的环境中[2]。
2.6比较
以上介绍了DAS、NAS、SAN、iSCSI、CAS五种不同网络储备方式,下面的表格对他们进行一个分析和比较(表1),该表格充分说明了各种储备技术的特点和典型应用。
DAS的储备磁盘是通过标准的SCSI的并行接口与数据服务器相连,客户端需要访问和治理数据必须通过数据服务器。
那么在整个网络的拓扑结构中数据服务器成为了数据的中枢,也成为了系统的瓶颈。
数据服务器的性能直截了当决定了整个网络数据服务的好坏,数据超负荷的运作,必定威逼到了数据服务器的安全和整个网络的安全,尽管目前DAS储备系统推出了双机容错的方案,在一定程度上缓解了数据服务器的瓶颈效应,然而双机冗错软件在主备机上实时运行、实时占用系统资源,这与尽量减轻数据服务器的运算负担的设计原则是有些冲突的。
因此,DAS系统多应用于一些中小型的企业内部的局域网,网络的数据传输量偏小,传输速率都在一百兆以内。
NAS与DAS相比其要紧的优势在于服务器的性能得到了庞大提高,把储备设备直截了当接到网络上,不再挂在服务器后端,幸免了给服务器增加负担,而且NAS储备设备在逻辑上也不再仅仅属于一台服务器,通过卷治理器,驱动器映射等多项技术,储备设备能够给多台数据服务器共享,单台服务器的故障不再会引起网络数据系统的全面崩溃。
NAS储备系统的缺点在于数据网络与非数据网络并存同一个网络中,NAS数据流和非NAS数据流在不断竞争网络的资源。
网络的特性必定阻碍NAS服务性能。
在整个网络轻载时NAS的弊端不明显,然而假如NAS在做数据备份等大流量的操作时,数据包的丢失,数据包的乱序,非数据信息包对网络带宽的占用,都会对NAS的性能产生专门大的阻碍[3]。
SAN技术的显现专门好地解决了储备数据流和非储备数据流分离的问题。
SAN储备系统是一项价格昂贵,性能杰出的方案。
SAN(storageareanetwork)储备区域网络将SAN网络与应用网络有机地分离,客户端通过应用网络向各类服务器提出数据的要求,各类服务器通过SAN网络与储备设备进行数据块级的数据访问。
面对迅速增长的数据储备需求,大型企业和服务提供商慢慢开始选择SAN作为网络基础设施。
SAN适合于投资比较充裕,同时存在大量数据库信息的对数据吞吐、传输要求较高的环境中,如企业的ERP系统、联机处理系统等等的大型系统中或在银行数据储备、电视台的专业视频信息储备等领域得到了良好的应用。
iSCSI则十分适合于投资有限,又想得到类似SAN功能的环境中。
CAS则在由大量固定内容的医学影像系统、档案系统中能够发挥大量的应用。
只是CAS系统目前在处在推广时期,真正的应用还不多。
表1不同数据储备技术的比较表
NAS
SAN
iSCSI
CAS
DAS
所使用的要紧协议
TCP/IP
SCSI
IP,SCSI
未知
无
储备所使用的网络
使用一般局域网
专属与储备的网络
同时使用
现有网络
数据储备的类型
文件
块(卷)
块
对象(内容)
数据的修改
可变
固定不变
典型的应用环境
文件共享
OLTP(联机事务处理),DW(数据仓库),ERP
投资有限,又想得到类似SAN功能的环境中
医学影像,文档,设计方案等固定内容
数据量较小,数据间关联性较低的地点
建设投资
低
高
中
治理难度
3网络储备技术的选型
3.1应考虑的几个因素
关于网络储备,第一要明确应用目的。
网络储备要紧是用来解决数据的集中储备和任务的分布处理。
数据的集中储备有利于把企业数据的战略资源统一进行爱护,然而应用上要求能够分布猎取信息。
现在的储备方式DAS、NAS等有各自的用途。
在网络储备设备的选型和技术的选择时,应考虑以下因素:
1)可用性。
用户应该了解网络储备系统容量、数据传输率、数据增长率等方面的要求。
这是选择储备系统的动身点。
2)兼容性。
应最大限度地利用现有数据信息及储备资源,实现不同网络协议和异构操作平台间的互操作。
假如原有系统运行于不同的操作系统平台,新增的储备系统应能被这些平台访问,以实现数据的共享与治理。
还应注意储备治理软件的功能、性能与兼容性是否受限。
3)扩展性。
要考虑系统的可扩展性和不同部件之间的互操作性,尽可能保证在今后数据增长时,系统能方便升级,运行稳固。
4)合理性。
不同的要求对储备系统性能的要求专门不一样。
合理配置系统,优化储备层次,才能充分发挥储备系统的效率。
5)安全性。
作为网络储备系统,安全应给予一定的保证,要能够自动、手动、定时备份数据。
3.2网络储备技术选择
目前国内储备市场处在一种不平稳的进展状态。
用户在开始配备储备设备时一样采纳DAS(直连储备),以大量数据为关键业务的行业则采纳NAS、SAN等先进的储备技术。
SAN、NAS虽被看好,然而大多数用户在建设储备系统时差不多以满足性能、容量需求为主,储备系统结构选用DAS(直连储备)模式较多。
SAN是目前人们公认的最具有进展潜力的储备技术方案,而以后SAN的进展趋势将是开放、智能与集成。
NAS是目前增长最快的一种储备技术,然而就SAN和NAS的进展趋势而言,在应用层面上二者将实现充分的融合。
iSCSI也被认为是以后网络储备的一个进展方向。
然而,不管SAN、NAS、iSCSI或虚拟储备技术,对用户来说,最重要的是拥有稳固、可升级、性价比最好的储备解决方案,而储备领域任何新技术和产品的进展,其最终目的也差不多上为了简化用户储备资源的利用和治理。
用户在选择储备产品时,要依照自身不同的条件和需求来选择[4]。
4网络储备技术在GIS中的应用
地理信息系统(GeographicInformationSystem,GIS)是一门介于信息科学、空间科学与地球科学之间的新技术。
GIS作为地学的第三代语言,将图像、图形、属性及专业模型融为一体,将地学空间技术与运算机技术相结合,通过系统建立、操作与模型分析,产生对资源环境进行区域规划,治理决策,灾难防治等方面的有用信息。
目前GIS凭借其开放的应用平台、透亮的访问操作和高时效性等特点差不多逐步走入人们的视野,空间信息系统的服务对象差不多从面向单一用户扩展到为宽敞一般用户提供空间信息服务的方向。
而数据储备治理技术作为GIS进展过程中的重要支撑技术之一,关系到整个GIS系统的应用性能。
4.1GIS的特点和数据储备需求
4.1.1GIS系统数据特点
对空间数据的处理是GIS的核心功能,GIS中的数据通常描述三部分信息:
空间信息(位置,空间关系等)、非空间的属性信息和时刻信息。
空间信息是GIS系统与其他治理系统的要紧区别,由于其专门的空间特性,使GIS数据具有数据量大、数据结构复杂、应用广泛等特点。
与传统的以独立主机结构为主的单机GIS系统不同,新兴的网络GIS具有更广泛的应用群体,要紧表现见表2。
表2 单机GIS系统与网络GIS系统的差异
4.1.2GIS的数据储备需求及需要解决的问题
GIS的进展对数据储备和数据治理提出了更高的要求,为满足日益增长的网络应用需求,需要有高效的数据储备传输能力、有效的网络安全操纵机制以及基于网络的海量空间数据的快速存取与调度能力。
①海量数据储备治理能力
空间数据应用领域迅速扩展,各级空间数据中心所采集、处理、储备与备份的各种类型空间数据呈海量增长的态势,海量空间数据的储备、治理及应用是GIS中第一要解决的问题。
在目前,GIS的数据要紧以文件和数据库的方式进行治理。
②海量数据处理能力
海量数据的应用,涉及到数据的网络传输、处理的速度,多用户并发访问的调控等,数据的应用不仅依靠于采纳软件的处理能力,还需要考虑网络带宽、服务器系统的负载均衡等问题。
③数据安全操纵
随着面向用户的增多,来自方方面面的各种安全隐患随之增多,网络GIS需要有完备的网络安全防范机制防止系统受到侵害。
④数据备份爱护
GIS多为面向多用户的应用和治理系统,要求系统具有连续可用性,可满足不同时段、不同需求的用户应用需求,系统数据需要有良好的储备备份机制,防止显现故障后系统的修复困难。
4.2网络化储备技术在GIS中的应用
随着地理信息系统技术的进展、数据采集技术水平的提高及数据源的增多,人们对地理信息认识了解的程度提高,各行业、各阶层的用户,对信息内容的需求逐步加大,数据库的容量也随之增大,数据的储备治理也从一台机器的治理转到多台机器的储备和治理。
采纳网络储备技术进行地理信息数据储备,能够解决GIS中海量数据的治理问题[5]。
4.2.1实现海量数据的数据储备
网络储备技术具有高度的可扩展性,通过储备设备和治理软件,采纳SAN和NAS技术及各种储备虚拟化技术,能够使分布于网络中的资源包括储备设备、服务器和数据资源组合到一起,灵活地进行资源整合,接近无限制的增大数据的储备能力,达到统一部署、简化治理、降低爱护经费的目的。
同时,网络储备的数据高速传输率,使数据的储备传输、访问、反馈的能够在网络环境下应用。
采纳网络储备技术,对GIS的海量数据,能够将其储备在不同的设备上,以对开发者和用户透亮的方式提供服务。
4.2.2实现基于网络的数据备份
在GIS中,数据的备份和复原是GIS的重要数据治理功能,是保证系统数据安全的重要措施。
数据的备份,与数据的内容、数据的储备方式、数据的使用情形、数据更新的周期等紧密相关。
基于网络储备技术,能够实现高速的文件归档,保证系统备份/复原和应用中的一致性,简化储备治理,而不必再进行大量的数据复制和爱护多个数据拷贝。
通过制定备份策略,能够实现基于网络的多种方式的数据备份,进一步提高数据的备份效率和安全性。
4.2.3实现全方位的数据治理
采纳网络储备方式,可实现多级别、多层次的用户治理。
服务器和储备设备的整合,可将储备在不同设备上的数据合并到一个整体的数据库或数据仓库里,使数据能够方便地进行治理和共享。
多个附属服务器的快速访问和吞吐量;
基于网络的远程或本地治理;
可依照实际的软硬件配置,提供简单、快速、可靠、可扩展的数据管明白得决方案,解决数据共享、数据爱护、数据治理等一系列问题。
4.3网络储备技术在GIS中的应用示例
网络储备技术在GIS中的应用,依照不同的需求,能够有不同的应用方法,那个地点从数据库的备份方面,结合现有的软硬件设施,简单介绍其应用方式。
4.3.1拓扑结构
使用NAS和SAN的不同方式的集成能够解决大部分网络系统中的数据储备问题,而关于以海量的块级数据的传输和储备为主的GIS系统来说,建立SAN为核心的储备环境是十分必要的(图3)。
图3 网络GIS中应用SAN储备的拓扑结构图
4.3.2环境配置
系统设备间的兼容性对系统的整体运行阻碍专门大,因此需尽量使用同一品牌的软硬件产品,从而发挥设备的最优性能。
如我们在核心储备设备和软件方面,均选用IBM公司的储备产品。
4.3.3虚拟化技术的应用
在服务器端和储备设备的层面上将物理上的多个磁盘虚拟为一个储备空间,从而达到整合储备资源、提供海量数据储备空间的目的,最常用的虚拟化技术是磁盘的RAID技术。
在数据库服务器等关键的服务器系统上通过阵列卡扩展多块高速的SCSI硬盘,利用逻辑卷治理功能将这些物理上的多个硬盘组成一个大容量的逻辑卷。
关于服务器来说不仅增大了储备容量、提高了数据的存取速度,而且也具备一定的容错能力。
如图4所示,在FLOOR2备份服务器和GIS应用服务器上分别配置6×
72GB的SCSI硬盘,将6块盘做成一个级别为5的RAID逻辑卷后,在操作系统的磁盘治理器中只看到一个容量为365GB的磁盘空间。
而在储备设备层面上,各种大型的磁盘阵列、磁带库本身确实是将多个磁盘或磁带虚拟为一个逻辑卷,再映射到服务器上的。
如图3所示,IBMFastT200光纤磁盘阵列是由60×
72GB的光纤硬盘组成,通过光纤交换机,在各个服务器端看到的只是4个容量分别为819GB、956GB、880GB和980GB的逻辑卷。
4.3.4GIS数据库备份方案的制定
在备份方式方面,因为SAN具备LAN-free和Server-free的备份功能,因此数据库系统的备份方式选择较多。
关于元数据库系统,使用基于OS的文件拷贝方式或专门的备份软件,将数据文件、操纵文件、归档日志等直截了当备份到磁
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 网络 环境 数据 存储 技术