分布式集群存储系统在电子档案场景下的应用

存储 存储软件 分布式
数字化档案管理系统的建设突破了传统的、封闭的档案管理模式,实现了档案工作以手工管理为主向以计算机管理为主、以管理档案实体为主向以管理档案信息为主、以档案存储保管为主向利用服务为主的转变。

数字化档案管理系统的建设突破了传统的、封闭的档案管理模式,实现了档案工作以手工管理为主向以计算机管理为主、以管理档案实体为主向以管理档案信息为主、以档案存储保管为主向利用服务为主的转变。

 1、背景介绍

数字化档案管理系统的建设突破了传统的、封闭的档案管理模式,实现了档案工作以手工管理为主向以计算机管理为主、以管理档案实体为主向以管理档案信息为主、以档案存储保管为主向利用服务为主的转变。数字化档案管理系统的开放系统包容了纸质档案、实物档案、图片档案、影视档案的各方面及档案信息的产生、收集、整理、保管、利用的全过程,将不同介质、不同类别相互独立的档案信息整合成统一的资源库,并确定其相互关联关系,增加了档案管理工作的科技含量,为各企事业单位生产、经营提供了安全、优质、高效的信息服务手段,充分发挥档案信息的经济价值和社会价值。

[[239290]]

2、电子档案系统数据存储需求分析

(1)需要存储能够支持文件全局共享:让档案的收集、整理、管理、利用等过程都能够无缝衔接,所有业务服务器能够直接按需共享访问对应的档案文件,确保管理流程中相关档案文件不需要拷贝或者传输就能够进行无缝的访问管理。整个工作流程中的各阶段流程能够顺畅的进行,从而提高整体业务的运转效率;

(2)需要存储提供较高的性能:从档案管理的业务发展方向来看,档案管理向着内容服务转变,档案文件的存储平台将会面临越来越多的访问和调用。为了能够更好的快速对海量的档案文件内容进行相关的编辑、管理和检索,充分利用档案的深入价值,就必须能够在海量的内容中快速的检索到需要的数据,这就要求存储系统必须具备较高的性能。如果存储系统的数据读写速度达不到需要的性能,那么档案信息平台将很难作为一个服务性的平台为更多的人和机构提供服务;

(3)按需建设,在线扩展的大容量存储系统:由于档案内容的清晰度越来越高,文件越来越多,以及需要保存的档案项目也不断增多,档案系统的数据量每年都在逐步增加,尤其是大型档案系统。如果不能将海量的档案数据进行较好的统一存储和管理,并且不能按需在线扩展实施,数据就会被分散的存储到多个独立的系统内,不能集中统一管理,导致后期信息平台管理过程浪费大量人力物力并且影响档案系统的正常业务;

(4)需要高效支持海量小文件:在档案的信息化流程中,海量的档案图片文件将会给存储系统带来巨大的压力。存储系统在这种大小文件混杂的情况下,访问性能会急剧降低,导致整个档案信息化平台运转效率低下,难以提供快速的检索访问服务;

(5)需要更高的数据安全性:硬盘级的数据安全保护已经不能满足档案系统的需要,像RAID5同一时间最多只能允许一块硬盘出现损坏,RAID6同一时间只允许损坏两块硬盘,但是当总数据量达到数十、上百TB,会导致RAID数据重建的时间比较慢,而且硬盘连续出现故障的概率会提高,另外也有可能会出现整个存储设备损坏从而导致数据不可用的情况发生;

(6)需要遵从法律法规:电子档案的存储和管理,需要符合相关法律法规要求,实现长期安全的保存,并且需要能够防止各种可能导致档案文件被破坏的事故,那么就要求存储系统自身具备良好的档案文件长期保存和管理能力。

3、分布式集群存储在电子档案场景下的应用特点

(1)系统提供单一文件系统共享存储池,采用文件切片式存储,并行处理,无性能瓶颈,高并发聚合带宽,性能随系统扩容线性增长;

(2)高效的元数据管理和集群技术,对海量小文件提供了很好的支持和优化,对档案图片等小文件的检索毫无压力;

(3)按照用户实际需要,在线不停机横向扩展,无需数据迁移,所有的维护操作可以不停机,不影响业务正常运行;

(4)系统内无任何单点故障,可做到设备级的冗余,允许损坏的设备数量可根据方案需要灵活调整,这样就确保了档案业务连续性,并且丢失或损坏的数据可快速恢复重建,速度是传统硬盘级RAID 的5-10倍;

(5)多台物理存储节点通过一个界面统一管理,统一调配存储资源,直观的管理界面,操作方便;

(6)系统自带WORM功能,预防数据被删除和篡改,另外由于文件采用分片式存储,即使存储设备丢失也能保证数据不泄露。

责任编辑:武晓燕 来源: 存储灾备
相关推荐

2017-11-22 10:23:32

存储系统VeSpace

2017-04-14 09:48:25

分布式存储系统

2018-09-29 14:08:04

存储系统分布式

2018-06-08 08:46:14

RaftPaxos系统

2017-07-18 09:51:36

文件存储系统

2017-10-16 10:24:47

LogDevice存储系统

2018-11-20 09:19:58

存储系统雪崩效应

2017-10-19 08:45:15

存储系统HBase

2017-10-12 09:36:54

分布式存储系统

2017-10-17 08:33:31

存储系统分布式

2017-12-18 10:47:04

分布式存储数据

2019-10-15 10:59:43

分布式存储系统

2018-05-10 09:34:21

spark存储系统

2019-05-13 15:20:42

存储系统算法

2017-06-06 14:25:54

CentOS 7Ceph分布式存储系统

2021-07-04 07:07:06

Ceph分布式存储架构

2018-10-24 11:01:53

分布式存储系统

2018-03-13 08:45:08

存储系统DHT算法

2018-10-29 12:42:23

Ceph分布式存储

2014-02-19 11:37:57

分布式对象存储Sheepdog
点赞
收藏

51CTO技术栈公众号