哪些应用场景适合云存储技术产品选型如何考虑.docx

哪些应用场景适合云存储技术产品选型如何考虑.docx

《哪些应用场景适合云存储技术产品选型如何考虑.docx》由会员分享，可在线阅读，更多相关《哪些应用场景适合云存储技术产品选型如何考虑.docx（11页珍藏版）》请在冰豆网上搜索。

哪些应用场景适合云存储技术产品选型如何考虑

哪些应用场景适合云存储?

技术产品选型如何考虑?

哪些应用场景适合云存储?

存储虚拟化、分布式存储、对象存储这几种技术主要解决什么问题?

技术产品选型如何考虑?

|| 企业哪些应用场景适合借助云存储来实现?

传统IT环境中使用传统存储的困境有那些?

那些应用场景是传统存储不能满足而必须借助云存储来实现的?

分享一：

1、虚拟机存储

虚拟机存储是云计算平台中运行的虚拟机以及虚拟机镜像的存储环境，主要特点包括：

1）文件较大，一般为10G以上;

2）单个虚拟机的IOPS和带宽要求低，一般在几十以内;

3）可用性要求较高。

一般来说，在云计算环境下会存在大量的虚拟机，少则上千台，多则几万台甚至几十万台，虽然单台虚拟机所需资源较少，但是量变带来质变，整体对于存储的性能需求极高，该场景下为了满足所有虚拟机访问带来的带宽要求，使用传统存储的解决方案需要购置多套SAN或者NAS存储设备并分别部署，显然价格较贵。

云存储可构建统一的资源池，并能够动态扩展资源，并有效提升存储资源的管理和使用效率。

结合虚拟机存储的使用特点，存储资源池可使用SAS接口的磁盘甚至SATA接口的磁盘。

2、非结构化数据存储

业务系统在运行过程中，一般会生成一些非结构化的数据，包括记录的系统运行日志、生成的一些临时文件等。

该类型数据的特点包括：

1）文件大小中等，一般几十MB到几百MB不等;

2）IOPS和带宽要求低，一般是连续读写;

3）可用性要求较高。

该类型的应用场景类似于虚拟机存储，差别主要在于虚拟机主要表现为随机访问，非结构化数据主要表现为连续访问。

另外，该场景下的文件数量会非常大，文件大小也差别较大，从几MB到数GB都会有。

因此，云存储也可很好的满足上述要求，使用廉价SAS和SATA磁盘满足大规模非结构化数据的存储，并提供良好的扩展性。

3、数据库存储

业务系统运行过程中另外一个典型的存储应用就是关系型数据库，基本上所有的业务系统均需要存储用户基本信息、参数信息、业务交易信息等内容。

结合数据库使用的不同场景，包括联机业务数据库、批量业务数据库和参数库，相关的主要特点如下：

1）联机业务数据库：

面向实时交易业务处理过程中的数据存储和访问，主要特点包括业务访问并发量很高、实时性和可用性很高、每天数据量较大等，数据表内容可达到几千万甚至几亿条记录;

2）批量业务数据库：

面向交易业务处理过程中的非实时数据处理，比如说基于历史数据的统计分析，主要特点包括业务访问并发量不高、访问数据量较多、实时性较高等;

3）参数库：

面向业务处理过程中关联的用户信息、商户信息、业务参数等内容，主要特点包括数据增加缓慢、业务访问并发量不高、实时性较高等。

云存储结合固态硬盘SSD的应用，完全可以满足数据库应用场景下的带宽和IOPS方面的性能要求。

分享二：

首先说下传统存储（包括DAS存储、NAS存储、SAN存储等）的困境，主要是管理不方便，容量扩展麻烦，从成本上考虑硬件成本和维护成本都很高。

如果使用云存储，优点还是很明显的，开箱即用，扩容也比较简单。

至于哪些场景的话，主要是多媒体，音乐，图片，视频监控文件，软件，镜像，扫描件等其他海量文件的存储，这些都可以使用，主要还是易用性跟性价比。

分享三：

从架构来看，云存储比紧耦合设计的传统存储有更好的横向扩展性，这样在容量和性能上有更大的弹性，另外云存储采用的纠删码技术也可以提供较之于传统RAID更高的可靠性，可以应对多个数据节点的同时失效。

再者基于x86架构的分布式云存储较之于传统机柜式存储有更灵活的部署方式。

市面上的云存储普遍采用低速sata盘，实际上，对于没有高性能要求的非交易型系统，对于这些系统产生的海量非结构化数据，云存储是个不错的选择。

另外，从对海量数据的处理性能上来看，尤其是存储容量在几百TB，甚至是PB级，文件数量在千万、亿量级的时候，传统的SAN和NAS实际上已经有了瓶颈，而采用扁平化数据组织方式的对象存储就有了很明显的优势。

分享四：

云存储相对传统存储能解决的问题：

1.节点级的高可用;传统存储只解决硬盘级的故障，对设备整机损坏没有防护

2.整体接入性能随容量线性增长，多节点并发读写的模式;传统存储的IO性能随着扩展柜的增加呈抛物线分布

云存储的适用场景：

1.开源云计算的后端存储，如果上openstack，cloudstack，通常后端会配分布式存储而不是SAN存储。

2.海量非结构化数据存储，对于数PB的数据的统一存储，通常需借助分布式文件系统。

3.海量小文件数据存储，对于文件规模上亿的存储场景，通常使用对象云存储，以获得更高的IO性能和扩展性。

分享五：

从不度的维度可以有很多场景，几乎上规模的容量、性能及文件数量要求的大前提下，基本上都可考虑采用云存储实现。

从常规容量及性能维度来看，场景有海量存储需求（如多媒体存储）、对容量、读写性能有同步横向扩展需求（超算或高性能计算）等。

从数据结构类型维度来看，如非结构化数据、大型数据库、虚拟机存储等。

|| 云存储主要技术路线有哪些?

各有哪些优缺点?

分享一：

存储虚拟化：

存储虚拟化更多是对传统块（FCSAN,IPSAN）的虚拟化。

其主要解决了企业内部传统存储资源无法有效进行存储资源整合和统一管理的难题。

可以有效的提升整体存储资源的利用率和降低人员运维成本。

同时作为虚拟化网关，极大的方便了异构品牌平台存储间的数据集中和数据迁移。

很多存储虚拟化网关本身具有远超传统存储的企业级软件功能：

比如thin，压缩，快照，clone，数据复制等。

可以通过虚拟化网关进行统一的存储复制交付功能。

所以存储虚拟化的主要勇武之地还是在传统IT环境及私有云环境。

自然面向的也是高IO负载，低读写延迟等重要应用业务环境，比如数据库。

是对传统IT环境中企业存储阵列的一个补充和升华。

SDS软件定义分布式存储：

为什么对于分布式存储我要在开头加上“SDS软件定义呢”?

因为我们这里讨论的是云存储关联的分布式存储。

分布式存储早多少年即有之了，并且很多都耳熟能详。

比如EMC的VMAX高端存储阵列就是一种紧耦合的专有硬件的，硬件和软件相集成的传统分布式存储阵列。

比如IBM的XIV高存储阵列也是硬件和软件相集成的高密度容量的分布式存储阵列。

这些传统分布式存储阵列具有传统高端存储的高IOPS，低读写延迟优点，同时有具有分布式存储多副本，节点冗余自恢复等特色。

再说一说SDS软件定义分布式存储，这个是云里面，无论是公有云还是私有云都在炒的潮流。

也是云存储的主流当家花旦。

一般的SDS软件定义分布式存储产品功能协议支持都比较全：

A.块block协议给轻量级数据库,VM,提供高性能块裸设备。

B.文件file协议提供类似NAS的文件共享功能或是承载非IO性能密集型的应用。

C.支持api调用存取object对象，用来存储海量数据文件。

针对以上三个协议我要多说几句：

1、首先SDS分布式存储在block块协议这方面相比传统存储在高性能低延迟、成本控制及易管理维护方面没有任何优势。

同样的一套oracle数据库采用传统存储TCO总体拥有成本方面有可能只是SDS分布式存储成本的1/2甚至更少，这个在以前可能是误区，可能大家都认为开源的，或是软件定义的自己DIY搭的东西是最便宜的，其实很多时候事实刚好相反，开源的DIY的东西反而可能是最昂贵的。

对于传统IO密集型数据库应用来说，当前最好的存储模式还是采用传统高端存储阵列，因为这就好比存储中的跑车法拉利，虽然价格贵，但是久经验证，在性能和稳定性方面绝对可靠。

SDS分布式存储当前因为三副本等原因容量成本在超大规模以下场景成本优势不明显，甚至是劣势。

性能方面还是只能适用于opentask、VM、轻量级数据库场景。

块协议普遍存在IO输出不稳定、延迟高等缺点。

另外一个缺点就是在企业级存储软件功能方面，比如快照、clone，复制等技术方面相较传统存储还不是十分成熟，无法在生产环境中应用。

但是SDS软件定义分布式存储是未来的大方向，也是在逐渐成熟中，未来一统天下也未可知。

2.SDS分布式存储在file文件协议这一块PK的对手也慢多的,像传统的NAS存储，越来越火的分布式或是集群文件系统，比如GlusterFS、GPFS等，个人感觉这一块SDS分布式存储会抢占很多传统NAS的市场份额，毕竟很多使用NAS的应用在IO性能和延迟方面要求低很多，使用分布式存储的file协议，可以解决NAS产品scale-out横向扩展不足的缺点。

NAS能应用的很多场景，一款优秀的SDS分布存储file协议应该也可以满足。

3.对象协议。

这个放在下文对象存储中一起讨论。

毕竟多数SDS分布式存储的底层就是调用对象来存储和读取数据的。

块block协议功能和file协议功能都是间接调用基于的对象来实现的。

对象存储：

其实这个没有什么好说的。

对象存储的出现就是为解决了互联网上存储海量大数据的问题。

比如存储万亿的视频、图片，照片等。

比如进行海量的数据归档，数据备份等。

现在很流行的用法就就是用对象存储存储海量非结构化数据，然后进行大数据分析。

优点：

对象存储其采用key-volume的扁平化存储架构设计，使用简单，调用API就能进行数据存储和读取。

可以存储海量数据，这点传统存储和NAS就没辙。

在海量数据场景中你只能选择对象存储。

如果传统SAN存储是跑车，NAS是货车，那么对象存储就是万亿吨海上集装箱大油轮。

对对象存储来说，单个客户端的访问效率不高，延迟也很高。

但是你架不住他海量并发呀，互联网上海量客户端并发访问，这个带宽和总体性能一下就上去了。

缺点：

单个客户端访问效率低，延迟高。

应用功能和场景受限。

对象存储不支持随机读写操作，只能全读全写，其面向的是一次写入，多次读取的非结构化数据存储的需求场景。

|| 企业在分布式存储技术上主要是解决那些问题?

并且技术产品选型上应该如何考虑?

分享一：

SDS软件定义分布式存储支持三种协议方式：

A.块block协议给轻量级数据库,VM,提供高性能块裸设备

B.文件file协议提供类似NAS的文件共享功能或是承载非IO性能密集型的应用

C.支持api调用存取object对象，用来存储海量数据文件

虽然SDS分布式存储有很多中，但是仔细分析会发现不同厂商的分布式存储都会有其清晰的市场定位和优势场景：

比如solidfire其主要定位就在块block协议，不提供file和object对象功能。

其主要定位就是7成用来云opentask，VM，2成用在轻量级数据库比如mongoDB，PG，1成用来IOPS2W左右的物理机。

并且其核心设计里理念就是云里面保证qos，单个host提供有限的IO，其架构不适用于高带宽应用。

但其优势就是用丰富的API，和云集成比较好。

不能满足也不适合传统高性能数据库应用。

比如华为Fusionstorageblock存储其定位也是在块block，主要提供高性能块存储，可以适用于一般的高性能数据库。

但是也不支持file和object协议。

其支持应用主机通过两种模式SCSI和iSCSI模式访问存储集群。

仔细分析其架构和IO传输路径会发现：

单个主机在iSCSI访问模式下只能访问部分的存储节点，无法做到整个集群的IO并发响应。

单个主机的IO路径和IO性能被限制在固定的几个存储节点，此模式下无法发挥出分布式存储的架构优势，总体使用方式类似传统SAN存储（这样还不如用传统存储来的高效和方便）。

其他的分布式IPSAN存储只要使用iSCSI