首页 > 数据库 >第三章 分布式缓存Redis

第三章 分布式缓存Redis

时间:2024-11-23 22:01:39浏览次数:8  
标签:缓存 slave Redis master RDB 服务器 节点 分布式

1. Redis持久化

1.1 RDB持久化

Redis Database Backend备份机制,也叫Redis快照。在Redis中,fork用于创建子进程来进行数据持久化操作,这样可以避免阻塞主进程,从而提高性能。

1.1.1 RDB方式bgsave的基本流程?

1.fork主进程得到一个子进程,共享内存空间

2.子进程读取内存数据并写入新的RDB文件

3.用新的RDB文件替换旧的RDB文件

1.1.2 RDB会在什么时候执行?

默认是服务停止时执行。

save 60 1000代表60秒内至少执行1000次修改则触发RDB。

1.1.3 RDB的缺点?

RDB执行间隔时间长,两次RDB之间写入数据有丢失的风险

fork子进程压缩、写出RDB文件都比较耗时

1.2 AOF持久化

Append only file,将Redis的写命令持久化到文件中。

当某个命令执行多次时,只有最后一个命令是有效命令,为了避免AOF的文件过大,可以使用bgrewriteaof命令实现对命令的重新写入。

在这里插入图片描述

1.3 RDB和AOF比较

RDB和AOF各有自己的优缺点,如果对数据安全性要求较高,在实际开发中往往会结合两者来使用。

RDBAOF
持久化方式定时对整个内存做快照记录每一次执行的命令
数据完整性不完整,两次备份之间会丢失相对完整,取决于刷盘策略
文件大小会有压缩,文件体积小记录命令,文件体积很大
宕机恢复速度很快
数据恢复优先级低,因为数据完整性不如AOF高,因为数据完整性更高
系统资源占用高,大量占用CPU和内存低,主要是磁盘IO资源,但AOF重写时会占用大量CPU和内存
使用场景可以容忍数分钟的数据丢失,追求更快的启动速度对数据安全性要求较高

2. Redis主从

2.1 全量同步的流程?

在这里插入图片描述

1.slave节点请求增量同步

2.master节点判断replid,发现不一致,拒绝增量同步

3.master将完整内存数据生成RDB,发送给slave

4.slave清空本地数据,加载master的RDB

5.master将RDB期间的命令记录在repl_baklog,并持续将log中的命令发送给slave

6.slave执行接收到的命令,保持与master之间的同步

2.2 增量同步

slave根据offset偏移量去master的repl_backlog中同步数据。但是当文件(循环列表)中的数据太多被重新覆盖后,就无法进行增量同步,只能全量同步。

2.3 Redis集群优化

1.在master中配置repl-diskless-sync yes启用无磁盘复制,避免全量同步时的磁盘IO

2.Redis单节点上的内存占用不要太大,减少RDB导致的过多磁盘IO

3.适当提高reply_backlog的大小,发现slave宕机时尽快实现故障恢复,尽可能避免全量同步

4.限制 一个master上的slave节点数量,如果有太多slave,则可以采用主-从-从链式结构,减少master压力

2.4 全量同步和增量同步的区别

全量同步:master将完整内存数据生成RDB,发送RDB到slave。后续命令则记录在repl_backlog,逐个发送给slave。

增量同步:slave提交自己的offset到master,master获取repl_backlog中从offset之后的命令给slave。

2.5 什么时候执行全量同步?

slave节点第一次连接master节点时

slave节点断开时间太久,repl_backlog中的offset已经覆盖时

2.6 什么时候执行增量同步?

slave节点断开又恢复,并且在repl_backlog中能找到offset时

2.7 简要说明repl_backlog的原理及作用是什么?

  1. 当一个从服务器连接到主服务器时,主服务器会开始将repl_backlog中的数据发送给从服务器,以便从服务器可以更新其数据以匹配主服务器的状态。
  2. 如果一个从服务器断开并重新连接,主服务器可以使用repl_backlog中的数据来帮助从服务器捕获到断开期间的所有更改,slave与master的offset之间的差异,就是salve需要增量拷贝的数据了。
  3. repl_backlog的大小是可配置的,如果它被设置得太小,那么在从服务器断开并重新连接后,可能无法获取到所有的更改。如果设置得太大,那么会消耗更多的内存。
  4. repl_backlog是一个环形缓冲区,当它满了之后,新的数据会覆盖旧的数据。此时如果slave需要同步,却发现自己的offset都没有了,无法完成增量同步了。就只能做全量同步。
    因此,repl_backlog在Redis的主从复制中起着非常重要的作用,它可以帮助从服务器在断开后快速地捕获到所有的更改。

3. Redis哨兵

3.1 Sentinel的三个作用是什么?

  1. 监控(Monitoring):哨兵会不断地检查你的Redis主服务器和从服务器是否正常工作。
  2. 通知(Notification):如果某个Redis实例出现故障,哨兵可以通过API向管理员或者其他应用程序发送通知。
  3. 自动故障迁移(Automatic failover):如果一个主服务器无法正常工作,哨兵可以开始故障迁移过程,将一个从服务器升级为主服务器,然后由其他从服务器开始复制新的主服务器。
  4. 配置提供者(Configuration provider):客户端可以询问哨兵来发现主服务器和从服务器的地址。
    通过以上功能,Redis哨兵提供了一种自动处理Redis节点故障的机制,增强了系统的可用性和稳定性。

3.2 Sentinel如何判断一个Redis实例是否健康?

每隔1秒发送一次评命令,如果超过一定时间没有响应则认为是主观下线

如果大多数Sentinel都认为实例下线,则判定服务下线

3.3 故障转移步骤有哪些?

首先选定一个slave作为新的master,执行slaveof no one

然后让所有节点都执行slaveof 新master

修改故障节点配置,添加slaveof 新master

3.4 如果redis主节点宕机了,哨兵是如何选取主节点的?

一旦发现master故障,sentinel需要在salve中选择一个作为新的master,选择依据是这样的:
1.首先会判断slave节点与master节点断开时间长短,如果超过指定值(down-after-milliseconds * 10)则会排除该slave节点
2.然后判断slave节点的slave-priority值,越小优先级越高,如果是0则永不参与选举。如果slave-prority一样,则判断slave节点的offset值,越大说明数据越新,优先级越高。
3.最后是判断slave节点的运行id大小,越小优先级越高。

3.5 配置读写分离

3.5.1 编写配置参数

spring:
  redis:
    sentinel:
      master: mymaster
      nodes:
        - 192.168.137.110:27001
        - 192.168.137.110:27002
        - 192.168.137.110:27003

3.5.2 添加Bean对象

    /**
     * 实现redis集群的读写分离
     *
     * @return
     */
    @Bean
    public LettuceClientConfigurationBuilderCustomizer clientConfigurationBuilderCustomizer() {
        return clientConfigurationBuilder -> clientConfigurationBuilder.readFrom(ReadFrom.REPLICA_PREFERRED);
    }

4. 分片集群

4.1 Redis如何判断某个key应该在哪个实例?

将16384个插槽分配到不同的实例

根据key的有效部分计算哈希值,对16384取余

余数作为插槽,寻找插槽所在的实例即可

4.2 如何将同一类数据固定的保存在同一Redis实例?

这一类数据使用相同的有效部分,例如key都已{typeId}为前缀

5. 踩坑记录

1.Redis的主从集群搭建失败

在这里插入图片描述

一直报错。

经老师指点,发现redis的配置文件需要修改一个参数:

bind 0.0.0.0

默认是bind 127.0.0.1 ,表示redis监听本地地址;

bind 0.0.0.0 表示可以监听任何网络地址的信息

标签:缓存,slave,Redis,master,RDB,服务器,节点,分布式
From: https://blog.csdn.net/qq_52174380/article/details/143996596

相关文章

  • Redis如何保证高可靠性?(Redis集群模式)
    高可靠性数据尽量少丢失:AOF和RDB的持久化保证了数据尽量少丢失服务尽量少中断:增加副本冗余量通过如下3种集群模式保证高可靠性主从模式主从节点之间采用的是读写分离的方式,从节点只负责读操作,主节点负责读写操作,由主节点同步给从节点重要概念复制偏移量主从节点,......
  • Redis的高可用性
    前言  对于Redis的知识的话我在前两篇文章当中已经说明了,那么这篇文章的话我们就会在前两篇的基础之上进行一个知识的提高,让我们的思考的高度更升一层楼,加油加油Redis的高可用性: 我们在前面说的知识其实都是在一台机器上实现的,可是我们就要想一个问题那么就是......
  • Redis最终篇分布式锁以及数据一致性
     在前三篇我们几乎说完了Redis的所有的基础知识以及Redis怎么实现高可用性,那么在这一篇文章中的话我们主要就是说明如果我们使用Redis出现什么问题以及解决方案是什么,这个如果在未来的工作中也有可能会遇到,希望对看这篇博客的人有帮助,话不多说直接开干一.Hotkey以及BigK......
  • Redis集群
    文章目录集群1.槽分配2.集群中执行命令3.重新分片4.ASK错误5.复制和故障转移5.1故障转移集群Redis集群是redis提供的分布式数据库方案,集群通过分片来进行数据共享。//连接集群中各个节点,将指定ip和port的节点添加到当前集群clustermeetipportclust......
  • 查找redis数据库的路径
    Redis数据库的路径通常由配置文件中的dir参数指定查找Redis配置文件:Redis配置文件通常命名为redis.conf。您可以在以下位置查找它:/etc/redis/redis.conf(Linux系统上的常见位置)/usr/local/etc/redis/redis.conf(源码安装时的常见位置)如果您不确定配置文件的位置,......
  • 宝塔错误信息 php未安装redis扩展
    当宝塔面板提示“php未安装redis扩展”时,说明你的PHP环境中缺少Redis扩展。你可以按照以下步骤来安装和启用Redis扩展:1.安装Redis扩展通过宝塔面板安装登录宝塔面板:打开浏览器,输入宝塔面板的地址和端口,登录宝塔面板。进入软件商店:点击左侧菜单栏的“软件商店”。......
  • 【完美复现】基于多智能体系统一致性算法的电力系统分布式经济调度策略(Matlab代码实现
    ......
  • 2024年最新互联网大厂精选 Java 面试真题集锦(JVM、多线程、MQ、MyBatis、MySQL、Redis
    前言春招,秋招,社招,我们Java程序员的面试之路,是挺难的,过了HR,还得被技术面,在去各个厂面试的时候,经常是通宵睡不着觉,头发都脱了一大把,还好最终侥幸能够入职一个独角兽公司,安稳从事喜欢的工作至今...近期也算是抽取出大部分休息的时间,为大家准备了一份通往大厂面试的小捷径,准备......
  • redis高级篇之IO多路复用select方法简介 第174节答疑
    1、bitmap最大1024位,一个进程最多只能处理1024个客户端2、&rset不可重用,每次socket有数据就相应的位会被置位3、文件描述符数组拷贝到了内核态(只不过无系统调用切换上下文的开销。(内核层可优化为异步事件通知)),仍然有开销。select调用需要传入fd数组,需要拷贝一份到内核,高......
  • Redis & 事务 & 总结
    前言 相关系列《Redis&目录》(持续更新)《Redis&事务&源码》(学习过程/多有漏误/仅作参考/不再更新)《Redis&事务&总结》(学习总结/最新最准/持续更新)《Redis&事务&问题》(学习解答/持续更新)  参考文献《Redis事务详解》  概述    Redis事务并......