|
|
|
|
公众号矩阵

您了解分区存储吗?现在该使用它了

我们知道,数据继续迅猛增加。据IDC Global Datasphere显示,未来三年的数据量将超过以往30年的总量。数十亿联网系统将从智能视频、消费者和传感器生成无数的上下文数据,这些数据必须加以捕获、转换和分析,才能为行业、企业和人们带来价值。

作者:布加迪编译来源:51CTO|2021-03-11 08:00

【51CTO.com快译】我们知道,数据继续迅猛增加。据IDC Global Datasphere显示,未来三年的数据量将超过以往30年的总量。数十亿联网系统将从智能视频、消费者和传感器生成无数的上下文数据,这些数据必须加以捕获、转换和分析,才能为行业、企业和人们带来价值。

存储是利用数据创造价值的基础。面临的挑战是如何经济高效地构建数据存储基础架构,以满足数据需求,同时降低总体拥有成本(TCO)。

尽管业界继续提高传统硬盘(HDD)和固态硬盘(SSD)介质的比特密度,以跟上数据增长的步伐,但仍需要新方法来提高大规模存储效率。为了应对泽字节(ZB)时代的挑战,现在应考虑的一种创新和架构就是分区存储(Zoned Storage)。

分区存储使云服务提供商和企业数据中心客户能够构建更高效、可高度扩展的数据存储层,以具有竞争力的TCO满足不断增长的数据需求。分区存储得到开放规范和西部数据等公司的支持,将基于标准的工具、库、资源和技术文档网站Zoned Storage.io结合在一起,使数据中心架构师能够理解和利用分区块管理的优势。分区块管理背后的技术意味着,主机和存储应用程序都可以智能化地大规模放置数据,以充分利用最高的可用存储容量,通常使用叠瓦式磁记录(SMR)HDD和最近规范化的面向NVMe SSD的分区命名空间(ZNS)标准。

新的工作负载和新的方法

过去十年出现了超大规模业者,利用规模化来创建、消费、处理和变现数据。今天,许多现代大规模工作负载被序列化或写入到更大的顺序块中,包括在线备份和归档、视频监控、物联网及其他机器生成的数据、确保合规的数据以及其他应用。存储密度、瓦特/TB和TCO是这些工作负载取得成功的关键参数。

现在正是求变的大好机会,但需要以不同的方式访问和管理存储,更清楚地了解数据的工作负载结构以及如何将数据放置在介质上以获得最佳效率。分区存储为开发者和架构师提供了工具和资源,以便将数据智能化地放置在HDD和SSD上,并进行优化,以获得更好的性能、更短的延迟、稳定的服务质量,以及最重要的是更高的密度和更低的TCO。

分区存储的版本

分区块管理背后的技术意味着主机和存储应用程序都可以智能化地大规模放置数据,以充分利用最高的可用存储容量,通常使用SMR HDD和最近规范化的面向NVMe SSD的ZNS标准。

SMR专用于HDD,数据磁道彼此重叠,利用了读磁头比写磁头小得多的事实。通过将HDD数据磁道彼此重叠在一起,可以在同样的空间获得高得多的磁录密度和容量。Dropbox改用了主机管理的SMR硬盘,与传统硬盘相比,使用SMR可以多存储20%的数据,因而节省了20%的成本。Dropbox继续走这条战略道路,利用最高的存储密度和最低的TCO,其云基础架构为6亿多在线客户提供服务。

ZNS带来了最适合多租户、超高容量硬盘、更高性能、服务质量和利用率的新一代SSD,同时最大限度地降低了公共云和内部企业基础架构的TCO。

ZNS将SSD划分为固定大小的区域,每个区域内按顺序写入。但现在这些区域与NAND本身的底层架构紧密相连(晶片、平面、读取页和删除页),因此将数据视为块消除了许多复杂性。

ZNS SSD和SMR HDD在业界遵循相似的现有协同效应,因此可以在标准化的统一分区存储软件框架下,跨ZNS SSD和SMR HDD使用主机软件。

通过部署ZNS SSD,使用ZNS可将数据中心性能提高4倍,将服务质量提高2.5倍。在当前基于SSD的传统部署中,应用程序并不将数据放置方面的信息从主机传递到SSD。因此,使用传统SSD部署的应用程序常常带来更高的WAF(写入放大),因为当数据通过直至SSD的应用程序堆栈写入到存储介质时,每一层都独立地执行垃圾收集操作。这导致部署环境出现低效现象,从而导致总体性能降低,并降低应用程序的服务质量。而在基于ZNS SSD的部署环境中,应用程序可以将数据智能化放置到SSD中,只需将数据写入到分区,因而消除了WAF,并为应用程序提供一贯很高的服务质量。

为什么现在是使用分区存储的时候?

业界正处于一个关键时刻:存储效率的提高不仅取决于更高的比特密度,还取决于应用程序和操作系统如何将数据智能化放置到存储设备这方面取得的重大进展。降低TCO可以通过以下方式来实现:不再将所有存储设备视作随机I/O、512K/4KB扇区架构,并且改动拥有顺序写入块数据(有类似的生命周期)的许多大规模工作负载,以适应分区存储HDD和SSD的实际物理特性。

分区存储为数据中心架构师提供了现在开始为SMR HDD和ZNS SSD设计的能力,不仅可以利用最高容量的数据存储解决方案,还可以从未来的角度考虑长期数据战略,并优化工作负载,以最低的TCO获得更高的效率和性能。通过充分利用支持SMR HDD和ZNS SSD的统一软件堆栈,云服务提供商和数据中心架构有望收回成本,还可以扩大规模以适应未来数据增长。

原文标题:Why Zoned Storage, and Why Now?,作者:Swapna Yasarapu

【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】

【编辑推荐】

  1. Tableau首席技术官:对抗虚假信息,用数据建立信任
  2. IDC:中国大数据市场规模有望在2024年超过200亿美元
  3. 美创数据支撑平台发布,全新升级赋能数据治理
  4. 一个支持监听SQL、感知事务状态、回溯数据源的动态数据源框架
  5. 大数据行业是男生专属?女生适合吗?
【责任编辑:华轩 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

数据湖与数据仓库的分析实践攻略

数据湖与数据仓库的分析实践攻略

助力现代化数据管理:数据湖与数据仓库的分析实践攻略
共3章 | 创世达人

6人订阅学习

云原生架构实践

云原生架构实践

新技术引领移动互联网进入急速赛道
共3章 | KaliArch

35人订阅学习

数据中心和VPDN网络建设案例

数据中心和VPDN网络建设案例

漫画+案例
共20章 | 捷哥CCIE

225人订阅学习

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微