|
|
51CTO旗下网站
|
|
移动端

云存储主要技术路线选型比较

哪些应用场景适合云存储?存储虚拟化、分布式存储、对象存储这几种技术主要解决什么问题?技术产品选型如何考虑?

作者:佚名来源:talkwithtrend|2018-08-08 10:38

【51CTO技术沙龙】10月27日,让我们共同探索AI场景化应用实现之道

哪些应用场景适合云存储?存储虚拟化、分布式存储、对象存储这几种技术主要解决什么问题?技术产品选型如何考虑?

企业哪些应用场景适合借助云存储来实现?

传统 IT 环境中使用传统存储的困境有那些?那些应用场景是传统存储不能满足而必须借助云存储来实现的?

分享一:

1、虚拟机存储

虚拟机存储是云计算平台中运行的虚拟机以及虚拟机镜像的存储环境,主要特点包括:

1) 文件较大,一般为 10G 以上;

2) 单个虚拟机的 IOPS 和带宽要求低,一般在几十以内;

3) 可用性要求较高。

一般来说,在云计算环境下会存在大量的虚拟机,少则上千台,多则几万台甚至几十万台,虽然单台虚拟机所需资源较少,但是量变带来质变,整体对于存储的性能需求极高,该场景下为了满足所有虚拟机访问带来的带宽要求,使用传统存储的解决方案需要购置多套 SAN 或者 NAS 存储设备并分别部署,显然价格较贵。

云存储可构建统一的资源池,并能够动态扩展资源,并有效提升存储资源的管理和使用效率。结合虚拟机存储的使用特点,存储资源池可使用 SAS 接口的磁盘甚至 SATA 接口的磁盘。

2、非结构化数据存储

业务系统在运行过程中,一般会生成一些非结构化的数据,包括记录的系统运行日志、生成的一些临时文件等。该类型数据的特点包括:

1) 文件大小中等,一般几十 MB 到几百 MB 不等;

2) IOPS 和带宽要求低,一般是连续读写;

3) 可用性要求较高。

该类型的应用场景类似于虚拟机存储,差别主要在于虚拟机主要表现为随机访问,非结构化数据主要表现为连续访问。另外,该场景下的文件数量会非常大,文件大小也差别较大,从几 MB 到数 GB 都会有。

因此,云存储也可很好的满足上述要求,使用廉价 SAS 和 SATA 磁盘满足大规模非结构化数据的存储,并提供良好的扩展性。

3、数据库存储

业务系统运行过程中另外一个典型的存储应用就是关系型数据库,基本上所有的业务系统均需要存储用户基本信息、参数信息、业务交易信息等内容。结合数据库使用的不同场景,包括联机业务数据库、批量业务数据库和参数库,相关的主要特点如下:

1)联机业务数据库:面向实时交易业务处理过程中的数据存储和访问,主要特点包括业务访问并发量很高、实时性和可用性很高、每天数据量较大等,数据表内容可达到几千万甚至几亿条记录;

2)批量业务数据库:面向交易业务处理过程中的非实时数据处理,比如说基于历史数据的统计分析,主要特点包括业务访问并发量不高、访问数据量较多、实时性较高等;

3)参数库:面向业务处理过程中关联的用户信息、商户信息、业务参数等内容,主要特点包括数据增加缓慢、业务访问并发量不高、实时性较高等。

云存储结合固态硬盘 SSD 的应用,完全可以满足数据库应用场景下的带宽和 IOPS 方面的性能要求。

分享二:

首先说下传统存储(包括 DAS 存储、NAS 存储、SAN 存储等)的困境,主要是管理不方便,容量扩展麻烦,从成本上考虑硬件成本和维护成本都很高。

如果使用云存储,优点还是很明显的,开箱即用,扩容也比较简单。

至于哪些场景的话,主要是多媒体,音乐,图片,视频监控文件,软件,镜像,扫描件等其他海量文件的存储,这些都可以使用,主要还是易用性跟性价比。

分享三:

从架构来看,云存储比紧耦合设计的传统存储有更好的横向扩展性,这样在容量和性能上有更大的弹性,另外云存储采用的纠删码技术也可以提供较之于传统 RAID 更高的可靠性,可以应对多个数据节点的同时失效。再者基于 x86 架构的分布式云存储较之于传统机柜式存储有更灵活的部署方式。市面上的云存储普遍采用低速 sata 盘,实际上,对于没有高性能要求的非交易型系统,对于这些系统产生的海量非结构化数据,云存储是个不错的选择。另外,从对海量数据的处理性能上来看,尤其是存储容量在几百 TB,甚至是 PB 级,文件数量在千万、亿量级的时候,传统的 SAN 和 NAS 实际上已经有了瓶颈,而采用扁平化数据组织方式的对象存储就有了很明显的优势。

分享四:

云存储相对传统存储能解决的问题:

1.节点级的高可用;传统存储只解决硬盘级的故障,对设备整机损坏没有防护

2.整体接入性能随容量线性增长,多节点并发读写的模式;传统存储的 IO 性能随着扩展柜的增加呈抛物线分布

云存储的适用场景:

1.开源云计算的后端存储,如果上 openstack,cloudstack,通常后端会配分布式存储而不是 SAN 存储。

2.海量非结构化数据存储,对于数 PB 的数据的统一存储,通常需借助分布式文件系统。

3.海量小文件数据存储,对于文件规模上亿的存储场景,通常使用对象云存储,以获得更高的 IO 性能和扩展性。

分享五:

从不度的维度可以有很多场景,几乎上规模的容量、性能及文件数量要求的大前提下,基本上都可考虑采用云存储实现。从常规容量及性能维度来看,场景有海量存储需求(如多媒体存储)、对容量、读写性能有同步横向扩展需求(超算或高性能计算)等。从数据结构类型维度来看,如非结构化数据、大型数据库、虚拟机存储等。

云存储主要技术路线有哪些?各有哪些优缺点?

分享一:

存储虚拟化:

存储虚拟化更多是对传统块(FC SAN,IP SAN)的虚拟化。 其主要解决了企业内部传统存储资源无法有效进行存储资源整合和统一管理的难题。可以有效的提升整体存储资源的利用率和降低人员运维成本。

同时作为虚拟化网关,极大的方便了异构品牌平台存储间的数据集中和数据迁移。

很多存储虚拟化网关本身具有远超传统存储的企业级软件功能:比如thin,压缩,快照,clone,数据复制等。可以通过虚拟化网关进行统一的存储复制交付功能。

所以存储虚拟化的主要勇武之地还是在传统IT环境及私有云环境。自然面向的也是高IO负载,低读写延迟等重要应用业务环境,比如数据库。是对传统IT环境中企业存储阵列的一个补充和升华。

SDS软件定义分布式存储:

为什么对于分布式存储我要在开头加上“SDS软件定义呢”? 因为我们这里讨论的是云存储关联的分布式存储。

分布式存储早多少年即有之了,并且很多都耳熟能详。比如EMC 的VMAX 高端存储阵列就是一种紧耦合的专有硬件的,硬件和软件相集成的传统分布式存储阵列。比如IBM 的XIV 高存储阵列也是硬件和软件相集成的高密度容量的分布式存储阵列。这些传统分布式存储阵列具有传统高端存储的高IOPS,低读写延迟优点,同时有具有分布式存储多副本,节点冗余自恢复等特色。

再说一说SDS 软件定义分布式存储,这个是云里面,无论是公有云还是私有云都在炒的潮流。也是云存储的主流当家花旦。

一般的SDS 软件定义分布式存储产品功能协议支持都比较全:

A. 块block协议 给轻量级数据库,VM,提供高性能块裸设备。

B. 文件file协议提供类似NAS 的文件共享功能或是承载非IO性能密集型的应用。

C. 支持api调用存取object 对象,用来存储海量数据文件。

针对以上三个协议我要多说几句:

1、首先SDS分布式存储在block块协议这方面相比传统存储在高性能低延迟、成本控制及易管理维护方面没有任何优势。同样的一套oracle数据库采用传统存储TCO总体拥有成本方面有可能只是SDS分布式存储成本的1/2甚至更少,这个在以前可能是误区,可能大家都认为开源的,或是软件定义的自己DIY搭的东西是最便宜的,其实很多时候事实刚好相反,开源的DIY的东西反而可能是最昂贵的。

对于传统IO密集型