详解 Redis 内存淘汰机制和持久化机制原理 剖析Redis必备!
假设生产环境里面MySQL 数据库有 1000w 数据,Redis 中只存 10w 的数据,如何保证 Redis 中的数据都是热点数据?
- 作者:波波说运维来源:今日头条|2019-11-12 14:15
概述
前段时间有朋友问了关于Redis 内存淘汰机制和持久化机制原理,今天抽空整理了下分享给大家,内容如下:
- Redis 内存淘汰机制
- Redis 持久化机制(怎么保证 Redis 挂掉之后再重启数据可以进行恢复)
Redis 内存淘汰机制
假设生产环境里面MySQL 数据库有 1000w 数据,Redis 中只存 10w 的数据,如何保证 Redis 中的数据都是热点数据?
Redis 提供 6 种数据淘汰策略:
- volatile-lru:从已设置过期时间的数据集(server.db[i].expires)中挑选最近最少使用的数据淘汰。
- volatile-ttl:从已设置过期时间的数据集(server.db[i].expires)中挑选将要过期的数据淘汰。
- volatile-random:从已设置过期时间的数据集(server.db[i].expires)中任意选择数据淘汰。
- allkeys-lru:当内存不足以容纳新写入数据时,在键空间中,移除最近最少使用的key(这个是最常用的)。
- allkeys-random:从数据集(server.db[i].dict)中任意选择数据淘汰。
- no-enviction:禁止驱逐数据,也就是说当内存不足以容纳新写入数据时,新写入操作会报错。这个应该没人使用吧!
通过这 6 种数据淘汰策略redis来保证Redis 中的数据都是热点数据
Redis 持久化机制
很多时候我们总会碰到服务器挂掉或者不小心杀了进程之类的情况,那么怎么保证 Redis 挂掉之后再重启数据可以进行恢复?
实际上我们只需要持久化数据也就是将内存中的数据写入到硬盘里面。
大部分原因是为了之后重用数据(比如重启机器、机器故障之后恢复数据),或者是为了防止系统故障而将数据备份到一个远程位置。
Redis 不同于 Memcached 的很重要一点就是,Redis 支持持久化,而且支持两种不同的持久化操作。
Redis 的一种持久化方式叫快照(snapshotting,RDB),另一种方式是只追加文件(append-only file,AOF)。
下面讲下这两种持久化方式。
快照(snapshotting)持久化(RDB)
Redis 可以通过创建快照来获得存储在内存里面的数据在某个时间点上的副本。
Redis 创建快照之后,可以对快照进行备份,可以将快照复制到其他服务器从而创建具有相同数据的服务器副本(Redis 主从结构,主要用来提高 Redis 性能),还可以将快照留在原地以便重启服务器的时候使用。
快照持久化是 Redis 默认采用的持久化方式,在 redis.conf 配置文件中默认有此下配置:
save 900 1 #在900秒(15分钟)之后,如果至少有1个key发生变化,Redis就会自动触发BGSAVE命令创建快照。 save 300 10 #在300秒(5分钟)之后,如果至少有10个key发生变化,Redis就会自动触发BGSAVE命令创建快照。 save 60 10000 #在60秒(1分钟)之后,如果至少有10000个key发生变化,Redis就会自动触发BGSAVE命令创建快照。
AOF(append-only file)持久化
与快照持久化相比,AOF 持久化的实时性更好,因此已成为主流的持久化方案。
默认情况下 Redis 没有开启 AOF(append only file)方式的持久化,可以通过 appendonly 参数开启:
- appendonly yes
开启 AOF 持久化后每执行一条会更改 Redis 中的数据的命令,Redis 就会将该命令写入硬盘中的 AOF 文件。
AOF 文件的保存位置和 RDB 文件的位置相同,都是通过 dir 参数设置的,默认的文件名是 appendonly.aof。
在 Redis 的配置文件中存在三种不同的 AOF 持久化方式,它们分别是:
- appendfsync always #每次有数据修改发生时都会写入AOF文件,这样会严重降低Redis的速度
- appendfsync everysec #每秒钟同步一次,显示地将多个写命令同步到硬盘
- appendfsync no #让操作系统决定何时进行同步
为了兼顾数据和写入性能,用户可以考虑 appendfsync everysec 选项 ,让 Redis 每秒同步一次 AOF 文件,Redis 性能几乎没受到任何影响。
而且这样即使出现系统崩溃,用户最多只会丢失一秒之内产生的数据。当硬盘忙于执行写入操作的时候,Redis 还会优雅的放慢自己的速度以便适应硬盘的最大写入速度。
Redis 4.0 对于持久化机制的优化
Redis 4.0 开始支持 RDB 和 AOF 的混合持久化(默认关闭,可以通过配置项 aof-use-rdb-preamble 开启)。
如果把混合持久化打开,AOF 重写的时候就直接把 RDB 的内容写到 AOF 文件开头。
这样做的好处是可以结合 RDB 和 AOF 的优点, 快速加载同时避免丢失过多的数据。
当然缺点也是有的,AOF 里面的 RDB 部分是压缩格式不再是 AOF 格式,可读性较差。
【编辑推荐】
点赞 0
- 大家都在看
- 猜你喜欢
编辑推荐
- 24H热文
- 一周话题
- 本月获赞
- SSD接口详解,再也不会买错固态硬盘了恢复时间目标(RTO)和恢复点目标(RPO)的理解差异那些奇奇怪怪的缓冲问题再谈Raid 5和Raid 6的写性能差异Redis集群的5种使用方式,各自优缺点分析NAS、DAS和SAN三种存储架构的区别什么鬼,面试官竟然让我用Redis实现一个消息队列!!?ECC内存和普通内存有什么区别,有必要买ECC内存吗
- 恢复时间目标(RTO)和恢复点目标(RPO)的理解差异SSD接口详解,再也不会买错固态硬盘了完全可替代网盘:移动硬盘了解下NAS、DAS和SAN三种存储架构的区别什么鬼,面试官竟然让我用Redis实现一个消息队列!!?iSCSI环境部署高可用集群配置实例再谈Raid 5和Raid 6的写性能差异Redis集群的5种使用方式,各自优缺点分析
- SSD接口详解,再也不会买错固态硬盘了恢复时间目标(RTO)和恢复点目标(RPO)的理解差异NAS、DAS和SAN三种存储架构的区别再谈Raid 5和Raid 6的写性能差异Redis集群的5种使用方式,各自优缺点分析SAN和NAS、ISCSI存储有什么区别,SAN和NAS设备哪个更好?这里帮你总结了一下Linux下查看内存使用情况的多种方法~数据库为什么会分为“行式存储”和“列式存储”呢?
订阅专栏+更多
-
骨干网与数据中心建设案例
高级网工必会共20章 | 捷哥CCIE384人订阅学习
-
中间件安全防护攻略
4类安全防护共4章 | hack_man137人订阅学习
-
CentOS 8 全新学习术
CentOS 8 正式发布共16章 | UbuntuServer286人订阅学习
视频课程+更多
-
老段带你学OCP Oracle 11g全套培训视频课程
讲师:老段101736人学习过
-
19.3crac_生产RHEL7_ORACLE19C_RAC_安装详细
讲师:伟哥273人学习过
-
2019年软考系统集成项目管理工程师-考前冲刺
讲师:小任老师103389人学习过
- 精选博文
- 论坛热帖
读 书 +更多
Scrum敏捷项目管理
本书详细描述如何在复杂技术项目中使用Scrum,并结合真实的Scrum案例及专家洞识,在简明及高度概括的理论之上更侧重于实践,并不断强调Scru...
-
订阅51CTO邮刊
点击这里查看样刊

51CTO服务号

51CTO官微