让计算看到数据:粉碎存储网络的瓶颈

存储 存储软件
所有计算都包括将计算和数据集中在一起、向DRAM中加载来自存储的数据,这样处理器就可以完成它的工作。这不是一种物理上的靠近;处理器距离数据是1厘米还是20厘米无关紧要。重要的是降低数据访问延迟,并提高数据读取或写入存储的速度。

让计算靠近数据,这听起来像是一种绕过存储访问瓶颈的好方法,但由于软件问题以及开发特定硬件和非x86环境的需要,进展十分困难。

随着数据量从TB级增长到PB级以上,将数据带到处理器所需的时间正在成为一个越来越棘手的难题。

所有计算都包括将计算和数据集中在一起、向DRAM中加载来自存储的数据,这样处理器就可以完成它的工作。这不是一种物理上的靠近;处理器距离数据是1厘米还是20厘米无关紧要。重要的是降低数据访问延迟,并提高数据读取或写入存储的速度。

[[223194]]

存储和计算之间存在瓶颈,因为存储介质(主要是磁盘)的访问速度很慢。存储网络也很慢,处理存储IO堆栈需要太多周期。有过几次解决这个问题的尝试,其中一些失败了,另一些仍在开发中,特别是将计算添加到SSD。这些是:

  • - 将计算带入存储阵列
  • - 将存储带入计算
  • - 内存系统
  • - 将计算带入磁盘驱动器
  • - 将计算带入闪存驱动器
  • - 绕过NVMeoF的问题

将计算带入存储阵列

Coho Data试图将计算添加到其存储阵列DataStream MicroArray中,该阵列是Coho Data在2015年5月推出的,采用基于英特尔至强处理器的服务器/控制器、PCIe NVMe闪存卡和磁盘存储。然而,该产品未能取得进展,Coho Data在2017年8月停业。

[[223195]]

Coho Data DataStream阵列

在这种方法下,计算针对所谓紧密耦合的存储任务,如视频流转码和Splunk式数据分析。

它不是运行在主机服务器上执行的一般应用的。有两个明显的问题:首先必须自己编写软件或者购买软件以运行在阵列上,执行紧密耦合的存储任务。其次,用于启动的主机服务器代码、编排、管理和计算结果的处理必须自己编写或者购买。

之前在服务器(有一个附加存储阵列)上运行的任务,现在必须细分为主机服务器部分和存储阵列部分,然后进行管理。这也适用于其他任何是计算到存储介质的产品。Coho Data的这款阵列使用x86处理器。如果带入存储驱动器的计算系统不是x86的,那么在其上运行的代码将是在x86主流开发路径之外的。

据我们所知,目前没有任何其他尝试将计算带入存储阵列的显著方法。

将存储带入计算

超融合基础设施(HCI)设备将存储带入计算,使其不再需要外部共享存储阵列。

超融合基础设施节点使用的是本地存储,多个节点的存储聚合为一个虚拟SAN。这仍然可以使用标准的存储IO堆栈(如iSCSI)访问,并且需要通过以太网链路等远程节点上访问数据。

因此,这种将计算和存储更紧密地结合在一起的方式并不会取消存储访问IO堆栈或对远程存储的联网访问。超融合基础设施的好处在于其他方面。

内存系统

内存(DRAM)系统试图彻底取消运行时处理的存储。数据从存储加载到内存,然后在内存中使用,比数据存储在磁盘上的访问速度快得多。

GridGain和Hazelcast就是厂商提供软件运行内存系统的两个例子。

GridGain堆栈

另外一个系统是SAP HANA数据库。磁盘上的源数据很少被访问,以加载内存系统,然后内存数据的更改被写入磁盘,同样频率很低。

或者,对内存数据库的更改将写入保存在磁盘上的事务日志。数据库崩溃的话可以从日志中进行恢复。记录内存交易的的例子包括Redis、Aerospike和Tarantool等产品。

内存系统仅限于使用DRAM,因此在实际尺寸上是有局限性的。

将计算添加到磁盘驱动器的替代方案,旨在提供多TB的容量,而且比DRAM更便宜,提供与存储堆栈和存储网络访问全闪存阵列不同类型的性能提升。

将计算带入磁盘驱动器

希捷的Kinetic技术或多或少地开始实现这一想法——将小型处理器捆绑到磁盘驱动器,并向驱动器添加对象访问协议和存储方案。

[[223196]]

希捷Kinetic磁盘驱动器

这么做一部分理由是简化存储访问堆栈处理。但是使用这些驱动器的上游应用进展缓慢,存在软件方面的难题,部分原因是磁盘驱动器仍然是磁盘驱动器,与闪存驱动器相比速度较慢。

OpenIO Arm-y磁盘驱动器

OpenIO已经将ARM CPU添加到磁盘驱动器,将其转变为用于对象存储的纳米节点。

[[223197]]

从OpenIO到WDC磁盘驱动器,添加了ARM CPU系统

它有一套Grid for Apps方案,战略负责人Enrico Signoretti说:“硬盘纳米节点适合传统的对象存储用例(例如动态归档),但我们想要复制我们已经在纳米节点x86平台上所做的事情。”

“感谢Grid for Apps [无服务器计算框架],我们已经展示了图像识别和索引、模式检测、接受过程中的数据验证/数据准备、以及一般的数据处理和元数据丰富。借助CPU的动力,我们能够直接在磁盘层面迁移大部分操作,在元数据保存、访问或者更新的时候创造价值。”

他提到了应用领域的一个例子,那就是视频监控:“远程摄像头可以有一个或多个纳米节点保存所有视频流,在本地进行操作(如人脸识别、去除无用部分等等),只将相关信息(包含元数据)发送到核心。所有数据都保存在本地,但只有相关信息被迁移到云端。

“通过这种操作方式,你可以节省大量的网络带宽,同时从中央存储库中删除所有杂乱数据,从而加快操作,降低云中的存储成本。这是一个高级应用,同时也是具有变革意义的。”

他说基于闪存的纳米节点看起来很有前景,因为如果速度更快的话,“目前纳米节点中的硬盘正在限制了应用的范围,因为缺乏IOPS。”

“一旦闪存成为那些以容量驱动的应用的可行选项,我们准备利用我们的无服务器计算框架来运行更接近数据的应用。实时视频编码、人工智能/机器学习、物联网、实时数据分析都是我们密切关注的领域,我们将在接下来的几个月中分享更多信息。”

评论

一般来说,当磁盘IO延迟远远超过存储IO堆栈处理所花费的时间时,用户看不到充足的理由将计算带入磁盘驱动器。这暴露了磁盘速度较慢的特点,而将计算带入速度更快的闪存驱动器(如SSD)看起来更有前景。

就好像它不仅仅需要降低存储网络延迟一样;在将计算带入存储变得有意义之前,有必要消除磁盘驱动器的延迟。

责任编辑:武晓燕 来源: 今日头条
相关推荐

2016-11-10 16:14:56

闪存HDD闪存存储

2009-01-16 09:09:00

2011-04-01 15:04:54

僵尸网络垃圾邮件

2018-10-21 11:15:34

华为网络能源

2015-07-02 09:34:35

数据中心闪存

2018-04-13 08:44:40

存储大型网站

2015-06-16 13:26:54

数据中心数据中心优化

2011-08-25 09:56:49

数据访问

2015-05-28 11:13:50

2021-04-30 15:45:42

存储人工智能数据

2009-01-17 15:26:05

2017-01-16 18:11:23

存储

2010-03-29 11:52:27

云计算

2023-05-15 09:02:47

ITCIO行业

2015-06-30 16:56:27

敏捷网络石油石化华为

2009-08-12 17:48:56

存储高性能计算曙光

2015-12-29 17:06:17

大数据存储

2013-06-14 09:14:55

2019-12-16 15:43:34

英特尔

2014-03-07 10:18:31

存储在线
点赞
收藏

51CTO技术栈公众号