分布式高并发缓存设计系统

存储 存储软件 分布式
缓存在wiki上的定义:用于存储数据的硬件或软件的组成部分,以使得后续更快访问相应的数据。缓存中的数据可能是提前计算好的结果、数据的副本等。典型的应用场景:有cpu cache, 磁盘cache等。本文中提及到缓存主要是指互联网应用中所使用的缓存组件。

概述

缓存概述

什么是缓存

缓存在wiki上的定义:用于存储数据的硬件或软件的组成部分,以使得后续更快访问相应的数据。缓存中的数据可能是提前计算好的结果、数据的副本等。典型的应用场景:有cpu cache, 磁盘cache等。本文中提及到缓存主要是指互联网应用中所使用的缓存组件。

为什么引入缓存

传统的后端业务场景中,访问量以及对响应时间的要求均不高,通常只使用DB即可满足要求。这种架构简单,便于快速部署,很多网站发展初期均考虑使用这种架构。但是随着访问量的上升,以及对响应时间的要求提升,单DB无法再满足要求。这时候通常会考虑DB拆分(sharding)、读写分离、甚至硬件升级(SSD)等以满足新的业务需求。但是这种方式仍然会面临很多问题,主要体现在:

性能提升有限,很难达到数量级上的提升,尤其在互联网业务场景下,随着网站的发展,访问量经常会面临十倍、百倍的上涨。

成本高昂,为了承载N倍的访问量,通常需要N倍的机器,这个代价难以接受。

一丶分布式高并发缓存设计系统

总体架构图

1.2自定义的客户端协议

业务模块采用自定义应用层协议和cacheProxy交互

整个cache后端采用什么协议,什么存储(redis,memcached等)对业务模块透明

cache后端和业务端进行了隔离,修改互不影响

1.2负载均衡与容错机制

采用一致性hash算法,即使部分节点down机,也不会导致全部的缓存失效,新增节点也不会导致大量缓存失效和重建

一份缓存数据保留两份,当前hash节点和下一个真实的hash节点,单个节点down机时,缓存也不会马上失效

cacheMan是一个弱的管理节点,负责监控,删除节点,新增节点,可以任意启停

1.3缓存维护与淘汰机制

redis原生超时机制+三层LRU缓存架构,减少最终穿透到redis实例上的请求。

客户端LRU缓存

cacheProxy代理LRU缓存

redis实例内存总量限制+LRU缓存

1.4安全机制

redis实例都会开启auth功能

redis实例都监听在内网ip

1.5核心流程

新增redis节点



删除redis节点

set缓存

get缓存

二、问题

任何平台随着用户规模的扩大、功能不断的添加,持久化数据库层承受的读写压力会越来越大,一旦数据库承压过大会导致读写性能陡然下降,严重时会导致大量的业务请求超时,进而发生“雪崩”引发严重的故障。

三、解决方案

在业务层和数据库持久层之间引入一层内存缓存层,对于复杂且业务逻辑上不会变化的查询结果进行缓存,业务请求再次发起时,每次都先从缓存层中查询,从而大大减少对数据库的查询,减小对数据库的压力。

四、分布式内存缓存、本地单点缓存、应用层缓存对比

类型稳定性扩展性通用性对代码的侵入性

应用层缓存应用会频繁重启更新,缓存易丢失,稳定性不佳差,受限于进程的资源限制差,不同应用难以复用代码侵入性小,无网络操作,只需要操作应用进程内存

本地单点缓存独立的缓存应用(redis、memcached等),不会频繁重启,稳定性一般,但有单点故障问题一般,受限于单服务器资源限制一般,业务应用和缓存应用有强耦合代码侵入性一般,需要引入对应的api通常有网络操作

分布式内存缓存分布式系统,具备故障自动恢复功能,无单点故障问题,稳定性佳好,支持水平扩展好,对业务层提供通用接口,后端具体的缓存应用对业务透明代码侵入性一般,需要引入通用的api通常有网络操作。

 

责任编辑:武晓燕 来源: 程序猿小秘圈
相关推荐

2022-04-07 17:13:09

缓存算法服务端

2023-05-05 06:13:51

分布式多级缓存系统

2020-10-13 07:44:45

理解分布式

2009-11-09 09:25:24

Memcached入门

2020-09-23 22:36:27

分布式架构系统

2009-02-10 08:57:01

分布式缓存.Net开发

2023-05-18 14:02:00

分布式系统幂等性

2022-01-10 19:45:40

微服务GO系统

2018-12-14 10:06:22

缓存分布式系统

2023-10-08 10:49:16

搜索系统分布式系统

2013-04-19 11:03:32

memcahce入门教分布式缓存系统

2009-02-06 09:38:38

memcached分布式缓存系统ASP.NET

2023-05-12 11:52:21

缓存场景性能

2020-02-10 19:16:52

服务端高并发架构

2019-09-25 09:01:53

高并发架构分布式

2019-12-17 11:18:37

高并发分布式架构

2020-11-26 09:38:19

分布式架构系统

2019-09-05 09:02:45

消息系统缓存高可用

2013-01-07 10:29:31

大数据

2022-05-11 13:55:18

高可用性分布式弹性
点赞
收藏

51CTO技术栈公众号