硬核干货!Redis 分布式集群部署实战

存储 存储软件 分布式 Redis
Redis集群采用一致性哈希槽的方式将集群中每个主节点都分配一定的哈希槽,对写入的数据进行哈希后分配到某个主节点进行存储。

 

[[332217]]

本文转载自微信公众号「 民工哥技术之路」,作者老A。转载本文请联系民工哥技术之路公众号。

原理:

  • Redis集群采用一致性哈希槽的方式将集群中每个主节点都分配一定的哈希槽,对写入的数据进行哈希后分配到某个主节点进行存储。
  • 集群使用公式(CRC16 key)& 16384计算键key数据那个槽。
  • 16384个slot均匀分布在各个节点上。
  • 集群中每个主节点将承担一部分槽点的维护,而槽点中存储着数据,每个主节点都有至少一个从节点用于高可用。

节点通信方式:

  • 开启一个端口 设置的端口号+10000,用于集群之间节点通信交换信息。
  • 每个节点默认每秒10次选择随机5个节点发送ping消息,将自身信息和知道的集群信息传递,收到ping消息后返回pong消息做回复,最后通过这种随机的消息交换,最终每个节点将获得所有信息。
  • 当某个主节点挂掉,所有节点将会发现主节点挂掉了,作为主节点的从节点,就会接替主节点的工作,然后告诉所有其它节点,他成为了主。这样其它存活节点,就将它们维护的信息表更新从节点将接任做主,如果都挂掉集群将报错。当从一个节点操作,根据一致性哈希计算后将存储在其中一个主节点中,从节点将同步主的数据。

  • redis cluster是去中心化的,集群中的每个节点都是平等的关系,每个节点都保存各自的数据和整个集群的状态。每个节点都和其他所有节点连接,而且这些连接保持活跃。
  • 搭建集群时,会为每一个分片的主节点,对应一个从节点。实现slaveof功能,同时当主节点down,实现sentinel哨兵的自动failover切换功能

Redis分布式集群(部署):

端口号:7000-7005

本次分布式分片集群在一台LInux系统即可,只需要安装多个实例作为集群配置。

安装ruby环境支持:

  1. yum -y install ruby rubygems 

yum安装2.0.0版本,但是gem需要2.2.2版本以上,所以选择编译

下载并安装ruby环境:

  1. wget https://cache.ruby-lang.org/pub/ruby/2.6/ruby-2.6.1.tar.gz 
  2. tar xf ruby-2.6.1.tar.gz && cd ruby-2.6.1/ 
  3. ./configure --prefix=/usr/local/ruby 
  4. make && make install && echo $? 
  5. echo 'export PATH=$PATH:/usr/local/ruby/bin' >> /etc/profile 
  6. source /etc/profile 

修改gem工具国内源:

  1. # 查看gem工具源地址 
  2. gem sources -l 
  3. # 添加一个阿里云的gem工具源 
  4. gem sources -a http://mirrors.aliyun.com/rubygems/ 
  5. # 删除gem工具默认国外源 
  6. gem sources --remove https://rubygems.org/ 
  7. # 下载当前最新版本集群插件 
  8. gem install redis -v 4.1.0 

集群节点准备:

  1. mkdir /data/700{0..5} 

配置7000端口实例:

  1. vim /data/7000/redis.conf 
  2. port 7000 
  3. daemonize yes 
  4. pidfile /data/7000/redis.pid 
  5. loglevel notice 
  6. logfile "/data/7000/redis.log" 
  7. dbfilename dump.rdb 
  8. dir /data/7000 
  9. protected-mode no 
  10. cluster-enabled yes 
  11. cluster-config-file nodes.conf 
  12. cluster-node-timeout 5000 
  13. appendonly yes 

拷贝其他端口实例:

  1. # 拷贝配置文件 
  2. cp /data/7000/redis.conf /data/7001/ 
  3. cp /data/7000/redis.conf /data/7002/ 
  4. cp /data/7000/redis.conf /data/7003/ 
  5. cp /data/7000/redis.conf /data/7004/ 
  6. cp /data/7000/redis.conf /data/7005/ 
  7.  
  8. # 修改配置文件内容 
  9. sed -i 's#7000#7001#g' /data/7001/redis.conf 
  10. sed -i 's#7000#7002#g' /data/7002/redis.conf 
  11. sed -i 's#7000#7003#g' /data/7003/redis.conf 
  12. sed -i 's#7000#7004#g' /data/7004/redis.conf 
  13. sed -i 's#7000#7005#g' /data/7005/redis.conf 

启动所有实例:

  1. redis-server /data/7000/redis.conf 
  2. redis-server /data/7001/redis.conf 
  3. redis-server /data/7002/redis.conf 
  4. redis-server /data/7003/redis.conf 
  5. redis-server /data/7004/redis.conf 
  6. redis-server /data/7005/redis.conf 

创建命令软链接:

(这个命令过期了,现在使用redis-cli命令)(可选执行命令)

  1. ln -s /usr/local/redis-5.0.2/src/redis-trib.rb /usr/sbin/ 

查看进程:

  1. ps -ef |grep redis-server 

加入所有实例节点到集群管理:

  1. --replicas 1",1是代表每一个主有一个从,后面的是所有节点的地址与端口信息 
  2. redis-cli --cluster create --cluster-replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 

分布式主从规则为,前三个实例节点是主,对应的后面三个实例节点为从节点,如果replicas 2,那就多加3个实例节点

查看主节点状态:

  1. redis-cli -p 7000 cluster nodes|grep master 

查看从节点状态:

  1. redis-cli -p 7000 cluster nodes|grep slave 

Redis-分布式集群(管理)

集群节点增加准备:

  1. mkdir /data/700{6..7} 
  2.  
  3. 拷贝其他端口实例: 
  4.  
  5. # 拷贝配置文件 
  6. cp /data/7000/redis.conf /data/7006/ 
  7. cp /data/7000/redis.conf /data/7007/ 
  8.  
  9. # 修改配置文件内容 
  10. sed -i 's#7000#7006#g' /data/7006/redis.conf 
  11. sed -i 's#7000#7007#g' /data/7007/redis.conf 

启动新节点实例:

  1. redis-server /data/7006/redis.conf 
  2. redis-server /data/7007/redis.conf 

查看进程:

  1. ps -ef |grep redis-server 

添加主节点:(7000实例是管理节点)

  1. #'把7006实例添加到7000实例这个主节点所在集群内(此时已经有了4个主节点) 
  2. redis-cli --cluster add-node 127.0.0.1:7006 127.0.0.1:7000 

查看主节点状态:

  1. redis-cli -p 7000 cluster nodes|grep master

转移slot(重新分片):

  1. #'操作集群管理节点从新分配,并在交互界面指定分片大小、选择接收分片的节点ID 
  2. redis-cli --cluster reshard 127.0.0.1:7000 
  3.  
  4. How many slots do you want to move (from 1 to 16384)? 4096 
  5. #通过人工手动计算数据分片总大小除以主节点后的数字 
  6.  
  7. What is the receiving node ID? 2129d28f0a86fc89571e49a59a0739812cff7953 
  8. #选择接收数据分片的节点ID,(这是新增节点7006实例的ID号) 
  9.  
  10. Source node #1: all 
  11. #选择从哪些源主节点重新分片给新主节点)(all是所有节点) 
  12.  
  13. Do you want to proceed with the proposed reshard plan (yes/no)? yes            
  14. #确认修改以上的操作 

重新查看主节点状态:(可以看到集群数据的重新分片)

  1. redis-cli -p 7000 cluster nodes|grep master 

添加从节点:

  1. #'把7007实例节点添加到7006实例主节点内,并指定对应7006实例主节点坐在集群的管理节点 
  2. redis-cli --cluster add-node 127.0.0.1:7007 127.0.0.1:7000 --cluster-slave --cluster-master-id 2129d28f0a86fc89571e49a59a0739812cff7953 

查看从节点状态:

  1. redis-cli -p 7000 cluster nodes|grep slave 

集群节点删除准备:

移动要删除节点的数据分片:

  1. #'操作集群管理节点从新分配,并在交互界面指定分片大小、选择接收分片的节点ID 
  2. redis-cli --cluster reshard 127.0.0.1:7000 
  3.  
  4. #方法是根据要删除master节点的分片位置,然后一个组分一个节点 , 也可以直接移动所有数据片到一个节点 
  5.  
  6. How many slots do you want to move (from 1 to 16384)? 1365                     
  7. #通过人工手动查看数据分片总大小 
  8.  
  9. What is the receiving node ID? e64f9074a3733fff7baa9a4848190e56831d5447 
  10. #选择接收数据分片的节点ID,(这是新增节点7006实例的ID号) 
  11.  
  12. Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953 
  13. #选择从哪些源主节点重新分片给新主节点(这是要删除的主节点的ID号) 
  14.  
  15. Source node #2: done 
  16. #这是结束命令 
  17.  
  18. Do you want to proceed with the proposed reshard plan (yes/no)? yes            
  19. #确认修改以上的操作 

重新查看主节点状态:(可以看到集群数据的重新分片)

  1. redis-cli -p 7000 cluster nodes|grep master 

继续移动数据片:

  1. #'操作集群管理节点从新分配,并在交互界面指定分片大小、选择接收分片的节点ID 
  2. redis-cli --cluster reshard 127.0.0.1:7000 
  3.  
  4. # 方法是根据要删除master节点的分片位置,然后一个组分一个节点 , 也可以直接移动所有数据片到一个节点 
  5.  
  6. How many slots do you want to move (from 1 to 16384)? 1366                    #通过人工手动查看数据分片总大小 
  7.  
  8. What is the receiving node ID? f6c1aaea3a8c56e0c7dee8ad7ae17e26dd04244c 
  9. #选择接收数据分片的节点ID,(这是新增节点7006实例的ID号) 
  10.  
  11. Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953 
  12. #选择从哪些源主节点重新分片给新主节点(这是要删除的主节点的ID号) 
  13.  
  14. Source node #2: done 
  15. #这是结束命令 
  16.  
  17. Do you want to proceed with the proposed reshard plan (yes/no)? yes            
  18. #确认修改以上的操作 

重新查看主节点状态:(可以看到集群数据的重新分片)

  1. redis-cli -p 7000 cluster nodes|grep master 

最后一次移动数据片:

  1. #'操作集群管理节点从新分配,并在交互界面指定分片大小、选择接收分片的节点ID 
  2. redis-cli --cluster reshard 127.0.0.1:7000 
  3.  
  4. #方法是根据要删除master节点的分片位置,然后一个组分一个节点 , 也可以直接移动所有数据片到一个节点 
  5.  
  6. How many slots do you want to move (from 1 to 16384)? 1365                     
  7. #通过人工手动查看数据分片总大小 
  8.  
  9. What is the receiving node ID? 5a0df4ea0af5f35c1248e45e88d44c3f2e10169f 
  10. Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953 
  11. Source node #2: done 

重新查看主节点状态:(可以看到集群数据的重新分片)

  1. redis-cli -p 7000 cluster nodes|grep master 

删除清空数据片的主节点:

  1. #'删除已经清空数据的7006实例 
  2. redis-cli --cluster del-node 127.0.0.1:7006 2129d28f0a86fc89571e49a59a0739812cff7953 
  3.  
  4. #删除没有主库的7007实例 
  5. redis-cli --cluster del-node 127.0.0.1:7007 821bcf78c5e4c0b08aa7a5d514214b657ebec4ab 

其他配置管理:

  1. 内存信息查看 
  2. redis-cli -p 6382 -a redhat info memory 
  3.  
  4. #设置最大只能使用100MB的内存 
  5. redis-cli -p 6382 -a redhat config set maxmemory 102400000 

 

责任编辑:武晓燕 来源: 民工哥技术之路
相关推荐

2020-09-08 13:25:52

HBase分布式数据库

2021-01-28 09:50:29

分布式对象SharedObjec

2023-01-13 07:39:07

2019-06-19 15:40:06

分布式锁RedisJava

2021-03-10 09:54:06

Redis分布式

2021-07-09 05:49:53

分布式代码算法

2017-09-11 15:17:01

分布式集群负载均衡

2017-08-10 10:17:32

Hadoop分布式搭建

2022-10-19 08:39:46

⾼可⽤分布式集群

2019-09-26 15:43:52

Hadoop集群防火墙

2022-03-29 23:17:52

PostgreSQL集群Citus

2014-07-15 11:15:44

hadoop分布式部署

2019-08-05 07:58:01

分布式架构系统

2018-11-15 12:35:25

Ceph分布式存储

2020-09-21 09:15:12

系统

2020-07-15 09:20:48

MyCatMySQL分布式

2019-07-22 09:35:23

RedisSentinel

2022-01-06 10:58:07

Redis数据分布式锁

2023-08-21 19:10:34

Redis分布式

2022-03-21 19:44:30

CitusPostgreSQ执行器
点赞
收藏

51CTO技术栈公众号