中国领先的IT技术网站
|
|

对象存储架构如何帮助降低存储复杂性

对象存储架构通过提供一种非常适合存储和保护大量非结构化数据的文件结构来解决传统的存储限制。

作者:佚名来源:机房360|2017-08-29 20:19

沙龙活动 | 去哪儿、陌陌、ThoughtWorks在自动化运维中的实践!10.28不见不散!


对象存储架构通过提供一种非常适合存储和保护大量非结构化数据的文件结构来解决传统的存储限制。

随着数据增长速度的加快,企业组织比以往任何时候都需要具备更多的数据存储能力,而且这样的数据存储能力需求还更快,更频繁。

而与此同时,这种趋势也造成了两大挑战难题:以非破坏性的方式增加存储容量是相当困难的,而传统的存储系统存储容量增加达到一定程度之后往往难以超越。对象存储体系架构则可以解决这些挑战。

增加存储通常需要在扩展期间取消关闭主存储,故而会导致中断。当容量增加时,还往往会对其他基础资源(如CPU和网络)造成压力,因为存储需要依赖这些资源以保持可接受的性能。

 对象存储架构如何帮助降低存储复杂性

传统存储还存在或将影响到可用性的其他方面的限制。也许最重要的是需要备份数据。如果您企业数据中心的存储空间不足,您需要一种方式来对其进行恢复。

随着数据集变得越来越大,提供事后数据保护可能难以解决,而且难度也很大。随着数据集的增长,在备份窗口中可以合理容纳更多的数据。处理数据保护需要一种更为实时的方法。而这就是对象存储技术发挥其用武之地的时候了。

关于对象存储架构

一款对象存储架构解决了非结构化数据增长的问题,并能够帮助企业降低其存储系统的复杂性。

您企业可能习惯于通过存储协议(如NFS、光纤通道、iSCSI或SMB)来访问的文件或块。然而,在对象存储领域,底层数据的结构意味着您企业将不再需要使用这些协议。虽然在某些情况下,您仍然可以,但在对象存储中,您不再需要创建复杂的目录层次结构来对对象进行分类。相反,对象存储允许您直接访问对象。

对象可以像一个单个文件、图像或视频一样简单,也可以由多个元素组成,但它们仍然可以作为单个对象进行访问。每个对象还具有关联的元数据和唯一的对象标识符,允许在稍后对其进行检索。这个可定制的元数据描述了每个关联对象的各种属性。

元数据元素总是包含共同的对象特征,但也可以扩展到包括应用程序特定的特性。让我们用一个照片库为例吧。在基于文件的领域中,您将拥有一个文件名、创建日期、修改日期、文件大小和文件所有者,以及某些操作系统特定的标识符。

现在,让我们不妨以Shutterstock公司为例。其对象存储系统可以扩展到包括额外的元数据元素,例如图像类型(图示或照片)、图像宽度(以像素为单位)、图像高度(以像素为单位)、图像中存在的基色等等。通过将所有这些信息附加到对象上,企业客户可以快速轻松地为其用户检索照片,而无需使用巨大的SQL数据库来跟踪所有这些信息。

作为另一示例,在医疗领域中,元数据可以包括患者的姓名、诊疗过程数据和医师姓名,并且附接到诸如X射线图像的对象。除了简单地描述一个对象之外,元数据也可以用于安全性和可用性的目的,通过描述谁被允许访问对象,对象应该有多少冗余等等。对象存储vs. 文件 vs.块

乍看之下,对象存储架构可能看起来类似于块存储,其在最基本的层面也不具有层次结构。然而,检索数据块需要文件系统中的较高级别的应用程序来在块存储上施加层次结构。块和对象之间的另一个区别是基于块的存储不带元数据。

对于基于文件的存储,文件系统提供了层次结构,甚至有限的元数据,因此其比原始块存储更适合于以内容为主的企业组织。但是,在现实的情况下,个别的文件被分解成小块碎片,然后散布在随机位置的存储中。文件系统知道在哪里可以获取所有的小块碎片,当用户请求文件时,文件系统便跳转以检索所有内容。

对象存储系统将文件存储为单个实体,在应用程序中使用对象ID对存储进行调用之后进行检索。每个对象都有一个唯一的对象ID,所以没有必要保持较高级别的结构来保持其组织架构。搜索所有元数据的功能使得检索项目更容易。

对象存储领域中的可用性和数据保护

保持存储数据的可用性和数据保护是IT最重要的职责之一。

为此,企业的存储专业人员们部署了RAID阵列和备份系统。 RAID有助于防止硬件故障,而当RAID不足时,或者当出现RAID无法防范的灾难时,备份和恢复系统介入。

一款对象存储架构通常包括一种或两种不同的数据保护方法,以防止硬件故障和灾难。虽然这对于每家具体的企业组织而言并不一定是必须的,但对象存储可能会消除对第三方备份和恢复软件的需求。这个举措可以通过几种不同的方式来实现。

擦除编码。这比传统的RAID实现要复杂一些,但目的是为了隐藏复杂性,并向管理员呈现一个更简单的环境。

擦除编码通过向数据块添加多个奇偶校验段,然后将这些奇偶校验段分配到各个不同的位置。例如,假设存储系统使用一个10+6的擦除编码方法。奇偶校验块分布在16款驱动器上,但您只需要10块磁盘才能继续检索数据。这意味着任何六款驱动器都可能会失败。只要10块磁盘仍然在运行,系统仍然运行。

如果某款驱动器出现故障,则在更换故障驱动器时,丢失的数据块将从保留在生产中的10款驱动器中重建。这导致比RAID更快的恢复速度,特别是对于大型驱动器而言。

借助快速重建,当涉及到容量开销费用时,擦除编码是有效的。其可以用于传统的文件和块存储,但是这些部署是罕见的,因为擦除编码是一个复杂的、计算密集的过程。

复制。有时除了擦除编码之外,在其他存储集群位置或甚至在其他地理位置进行数据的冗余副本时会涉及复制。但复制增加了容量开销。

通过使用两个复制因素,您企业可以将数据保存两次,使您的容量足迹翻倍。而三倍的复制因素将使您的容量足迹增加三倍,依此类推。通常,数据的本地可用性和保护可以通过擦除编码来处理,而灾难恢复则利用复制。

协议和文件访问。可通过HTTP和REST API调用本机访问对象存储系统。这使得即使通过企业防火墙也可以访问存储。但是,这不会使对象存储对于更多主流使用案例(如企业文件共享)有用。

用户已经习惯于通过NFS和SMB访问他们的文件。许多对象存储系统使用NFS或SMB服务作为其对象存储的前端,以便用户和应用程序可以使用这些行业标准协议访问文件。这只是一个兼容机制。在幕后,正在运行的则是对象存储系统。

谁在使用对象存储技术?

对象存储的最大消费者是媒体和娱乐公司、石油和天然气公司以及医疗机构。这些企业对数据存储的迫切需求正在快速增长,并且可以有效地容纳数十亿个成为对象的数据元素。

技术公司,特别是云服务提供商,以及其他软件和服务提供商也在使用对象存储。

对象存储架构的优缺点

对象存储架构提供了许多好处。

简单。对象存储几乎总是管理大量非结构化数据的适合的工具。由于强大的元数据功能和平面结构而言,对象存储不需要任何抽象层,如文件系统。

成本优势。由于扩展传统的存储和对数据增长的预测可能很困难,许多企业过度占用存储空间,因此不需要频繁地进行管理,并防止发生中断。

由于可扩展性高,因此对象存储可以帮助企业组织实现其存储成本。换句话说,他们可以根据需要轻松添加更多的存储空间,而不是批量购买。这种可扩展性也意味着传统存储更新的理念消失了。无需每隔一年计划花费一个周末的时间迁移到新的存储空间,您企业只需添加一个新的节点,并将旧的节点停止服务即可。

组织管理。管理的简化是一回事,但数据访问和检索的简单性却是另一回事。由于对象存储中所具有的固有的基本简单性,用户可以轻松找到内容。

但对象存储也有一些限制,也可能不适合所有企业。例如,如果您企业的数据正在快速更改,诸如具有高事务计数的重要数据库工作负载,对象存储可能并不适合您企业。

此外,一些对象存储供应商不支持或不推荐在其产品上运行虚拟机,因为底层数据的变化太快,应用程序性能可能会受到影响。

最后,虽然一些对象存储系统声称它们不需要使用传统工具进行备份,但许多企业风险管理者对此并不认可。而一些传统的备份工具不支持保护对象存储。对象存储采用者们将需要找到替代方法来匹配其对象存储系统与其企业的数据保护策略。

购买对象存储软件

您企业可以通过几种不同的方式购买对象存储。在这个软件定义数据中心的这个时代,如果您愿意添加更多的硬件,许多资源都可以作为软件来获得。

然而,许多企业可能更喜欢购买部署就绪的产品,并选择已经打包在设备上的软件。一般来说,这些设备是x86服务器,可以使用特定的软件进行调试。

对象存储的另一个选择是允许您企业的供应商在托管设备中为您进行管理。同时,也请不要忘记了云服务:对象存储在云存储提供商中是普遍存在的。对象存储公司通常支持在公共云中部署,以实现混合云计划,从而提供对于来自企业内部部署环境的数据的无缝转换。

对象存储平台市场

如下,我们将研究领先的对象存储供应商的产品。我们将聚焦于Caringo公司、DataDirect网络公司、戴尔EMC、日立数据系统公司、IBM、NetApp和Scality公司的产品。这些供应商及其产品是我们在对顶级市场进行了广泛研究后进行的选择,包括哪些产品最适合我们所提出的购买标准。以下,是对于每家供应商的简要概述。

Caringo公司作为独立的对象存储公司之一是值得注意的。该公司提供了Swarm对象存储平台以及FileFly产品,可以帮助企业客户将现有的Microsoft Windows和NetApp文件共享迁移到Caringo Swarm群集。

另一家独立公司日立提供了日立内容平台(HCP),其成为了企业对象存储的基础,这是一款全功能的对象存储。 HCP可以通过HCP Anywhere进行扩展,从而为企业客户提供本地同步和共享(类似Dropbox)功能。

并不是上文列出的所有企业都只关注对象存储。例如,DataDirect Networks公司就销售各种基于文件和块的存储产品以及WOS专用对象存储产品。而与Caringo公司一样,DDN是一家独立的,以存储为中心的公司,该公司开发了他们自己的存储产品线。

另一个从头开始打造其产品的是Scality公司的RING对象存储软件,该产品可以在商品x86硬件上运行,使其成为想要自己的硬件获得准确规格的企业客户的选择,同时也能够帮助降低成本。

戴尔EMC是最近经历了重大变革的企业的典范。戴尔通过收购EMC,现在提供多款对象存储产品,包括Isilon和弹性云存储。

如上所述,并不是所有的供应商都开发了自己的产品。其中一家这样的公司便是IBM。在2015年,IBM收购了Cleversafe,最近将该产品重新命名为IBM Cloud Object Storage。

同样,通过2010年收购Bycast,NetApp现在销售其StorageGRID Webscale产品,可以扩展企业客户内部部署,并实现了跨地理位置的部署。

【编辑推荐】

  1. 深度比较亚马逊AWS、微软Azure和谷歌云存储
  2. 如何通过云存储打造一个省钱、稳定的图片站
  3. 使用Azure Managed Disks简化云存储管理
  4. NAS与SAN架构:如何比较这两个存储系统
  5. 杉岩数据荣获“信息化影响中国·2017年存储行业最具影响力企业奖”
【责任编辑:未丽燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

热门职位+更多

读 书 +更多

计算机网络安全

本书从计算机网络安全的概念入手,分析了单机节点、单一网络、互联网络和开放互联网络的基本安全问题,并对计算机网络安全体系架构和安全机...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊
× Python最火的编程语言