Redis持久化与Redis主从、哨兵架构

如下两个配置可以控制AOF自动重写频率

auto‐aof‐rewrite‐min‐size 64mb //aof文件至少要达到64M才会自动重写;文件太小恢复速度本来就很快;重写的意义不大

auto‐aof‐rewrite‐percentage 100 //aof文件自上一次重写后文件大小增长了100%则再次触发重写

当然AOF还可以手动重写;进入redis客户端执行命令bgrewriteaof重写AOF。
注意;AOF重写redis会fork出一个子进程去做(与bgsave命令类似);不会对redis正常命令处理有太多
影响。

RDB 和 AOF ;我应该用哪一个?

③混合持久化

重启 Redis 时;我们很少使用 RDB来恢复内存状态;因为会丢失大量数据。我们通常使用 AOF 日志重放;但是重放 AOF 日志性能相对 RDB来说要慢很多;这样在 Redis 实例很大的情况下;启动需要花费很长的时间。 Redis 4.0 为了解决这个问题;带来了一个新的持久化选项——混合持久化。

通过如下配置可以开启混合持久化(必须先开启aof);

aof‐use‐rdb‐preamble yes

如果开启了混合持久化;AOF在重写时;不再是单纯将内存数据转换为RESP命令写入AOF文件;而是将重写这一刻之前的内存做RDB快照处理;并且将RDB快照内容和增量的AOF修改内存数据的命令存在一起;都写入新的AOF文件;新的文件一开始不叫appendonly.aof;等到重写完新的AOF文件才会进行改名;覆盖原有的AOF文件;完成新旧两个AOF文件的替换。

于是在 Redis 重启的时候;可以先加载 RDB 的内容;然后再重放增量 AOF 日志就可以完全替代之前的AOF 全量文件重放;因此重启效率大幅得到提升。

Redis数据备份策略;

2.Redis主从、哨兵架构

redis主从架构;

Redis自从架构搭建;

redis主从架构搭建;配置从节点步骤;

1、复制一份redis.conf文件

2、将相关配置修改为如下值;
port 6380
pidfile /var/run/redis_6380.pid # 把pid进程号写入pidfile配置的文件
logfile ;6380.log;
dir /usr/local/redis‐5.0.3/data/6380 # 指定数据存放目录
注意;需要注释掉bind
bind 127.0.0.1;bind绑定的是自己机器网卡的ip;如果有多块网卡可以配多个ip;代表允许客户端通
过机器的哪些网卡ip去访问;内网一般可以不配置bind;注释掉即可;

3、配置主从复制
replicaof 192.168.0.60 6379 # 从本机6379的redis实例复制数据;Redis 5.0之前使用slaveof
replica‐read‐only yes # 配置从节点只读

4、启动从节点
redis‐server redis.conf

5、连接从节点
redis‐cli ‐p 6380

6、测试在6379实例上写数据;6380实例是否能及时同步新修改数据

7、可以自己再配置一个6381的从节点

Redis主从工作原理

如果你为master配置了一个slave;不管这个slave是否是第一次连接上Master;它都会发送一个PSYNC命令给master请求复制数据。

master收到PSYNC命令后;会在后台进行数据持久化通过bgsave生成最新的rdb快照文件;持久化期
间;master会继续接收客户端的请求;它会把这些可能修改数据集的请求缓存在内存中。当持久化进行完毕以后;master会把这份rdb文件数据集发送给slave;slave会把接收到的数据进行持久化生成rdb;然后再加载到内存中。然后;master再将之前缓存在内存中的命令发送给slave。

当master与slave之间的连接由于某些原因而断开时;slave能够自动重连Master;如果master收到了多个slave并发连接请求;它只会进行一次持久化;而不是一个连接一次;然后再把这一份持久化的数据发送给多个并发连接的slave。

主从复制(全量复制)流程图;

数据部分复制;增量复制;;

当master和slave断开重连后;一般都会对整份数据进行复制。但从redis2.8版本开始;redis改用可以支持部分数据复制的命令PSYNC去master同步数据;slave与master能够在网络连接断开重连后只进行部分数据复制(断点续传)。

master会在其内存中创建一个复制数据用的缓存队列;缓存最近一段时间的数据;master和它所有的slave都维护了复制的数据下标offset和master的进程id;因此;当网络连接断开后;slave会请master继续进行未完成的复制;从所记录的数据下标开始。如果master进程id变化了;或者从节点数据下标offset太旧;已经不在master的缓存队列里了;那么将会进行一次全量数据的复制。

主从复制(部分复制;断点续传)流程图;

主从复制风暴;

如果有很多从节点;为了缓解主从复制风暴(多个从节点同时复制主节点导致主节点压力过大);可以做如下架构;让部分从节点与从节点(与主节点同步)同步数据。

redis管道与调用lua脚本;

管道;Pipeline;

jedis.pipelined();

客户端可以一次性发送多个请求而不用等待服务器的响应;待所有命令都发送完后再一次性读取服务的响应;这样可以极大的降低多条命令执行的网络传输开销;管道执行多条命令的网络开销实际上只相当于一次命令执行的网络开销。需要注意到是用pipeline方式打包命令发送;redis必须在处理完所有命令前先缓存起所有命令的处理结果。打包的命令越多;缓存消耗内存也越多。所以并不是打包的命令越多越好。

pipeline中发送的每个command都会被server立即执行;如果执行失败;将会在此后的响应中得到信息;也就是pipeline并不是表达“所有command都一起成功”的语义;管道中前面命令失败;后面命令不会有影响;继续执行。

Redis Lua脚本

Redis在2.6推出了脚本功能;允许开发者使用Lua语言编写脚本传到Redis中执行。使用脚本的好处如下:
1、减少网络开销;本来5次网络请求的操作;可以用一个请求完成;原先5次请求的逻辑放在redis服务器上完成。使用脚本;减少了网络往返时延。这点跟管道类似。
2、原子操作;Redis会将整个脚本作为一个整体执行;中间不会被其他命令插入。管道不是原子的;不过redis的批量操作命令(类似mset)是原子的。
3、替代redis的事务功能;redis自带的事务功能很鸡肋;报错不支持回滚;而redis的lua脚本几乎实现了常规的事务功能;支持报错回滚操作;官方推荐如果要使用redis的事务功能可以用redis lua替代。

从Redis2.6.0版本开始;通过内置的Lua解释器;可以使用EVAL命令对Lua脚本进行求值。EVAL命令的格式如下;

EVAL script numkeys key [key ...] arg [arg ...]

script参数是一段Lua脚本程序;它会被运行在Redis服务器上下文中;这段脚本不必(也不应该)定义为一个Lua函数。numkeys参数用于指定键名参数的个数。键名参数 key [key …] 从EVAL的第三个参数开始算起;表示在脚本中所用到的那些Redis键(key);这些键名参数可以Lua中通过全局变量KEYS数组;用1为基址的形式访问( KEYS[1] ; KEYS[2] ;以此类推)。在命令的最后;那些不是键名参数的附arg[arg…];可以在Lua中通过全局变量ARGV数组访问;访问的形式和KEYS变量类似( ARGV[1] 、 ARGV[2] ;诸如此类)。例如;

 127.0.0.1:6379> eval ;return {KEYS[1],KEYS[2],ARGV[1],ARGV[2]}; key1 key2 first seco
nd
1) ;key1;
2) ;key2;
3) ;first;
4) ;second;

jedis.set(;product_stock_10016;, ;15;); //初始化商品10016的库存
3 String script = ; local count = redis.call(;get;, KEYS[1]) ; ;
4 ; local a = tonumber(count) ; ;
5 ; local b = tonumber(ARGV[1]) ; ;
6 ; if a >= b then ; ;
7 ; redis.call(;set;, KEYS[1], a‐b) ; ;
8 //模拟语法报错回滚操作; bb == 0 ; ;
; return 1 ; ;
; end ; ;
; return 0 ;;
Object obj = jedis.eval(script, Arrays.asList(;product_stock_10016;), Arrays.asList(;1
0;));
System.out.println(obj);

1、复制一份sentinel.conf文件
cp sentinel.conf sentinel‐26379.conf

2、将相关配置修改为如下值;
port 26379
daemonize yes
pidfile ;/var/run/redis‐sentinel‐26379.pid;
logfile ;26379.log;
dir ;/usr/local/redis‐5.0.3/data;
# sentinel monitor <master‐redis‐name> <master‐redis‐ip> <master‐redis‐port> <quorum>
# quorum是一个数字;指明当有多少个sentinel认为一个master失效时(值一般为;sentinel总数/2 ;1);master才算真正失效
sentinel monitor mymaster 192.168.0.60 6379 2 # mymaster这个名字随便取;客户端访问时会用到

3、启动sentinel哨兵实例
src/redis‐sentinel sentinel‐26379.conf

4、查看sentinel的info信息
src/redis‐cli ‐p 26379
127.0.0.1:26379>info
可以看到Sentinel的info里已经识别出了redis的主从

5、可以自己再配置两个sentinel;端口26380和26381;注意上述配置文件里的对应数字都要修改

1 sentinel known‐replica mymaster 192.168.0.60 6380 #代表redis主节点的从节点信息
2 sentinel known‐replica mymaster 192.168.0.60 6381 #代表redis主节点的从节点信息
3 sentinel known‐sentinel mymaster 192.168.0.60 26380 52d0a5d70c1f90475b4fc03b6ce7c3c569
35760f #代表感知到的其它哨兵节点
4 sentinel known‐sentinel mymaster 192.168.0.60 26381 e9f530d3882f8043f76ebb8e1686438ba8
bd5ca6 #代表感知到的其它哨兵节点

1 sentinel known‐replica mymaster 192.168.0.60 6379 #代表主节点的从节点信息
2 sentinel known‐replica mymaster 192.168.0.60 6381 #代表主节点的从节点信息
3 sentinel known‐sentinel mymaster 192.168.0.60 26380 52d0a5d70c1f90475b4fc03b6ce7c3c569
35760f #代表感知到的其它哨兵节点
4 sentinel known‐sentinel mymast

1 sentinel monitor mymaster 192.168.0.60 6380 2

RedisTemplate中提供了几个常用的接口方法的使用;分别是:
private ValueOperations<K, V> valueOps;
private HashOperations<K, V> hashOps;
private ListOperations<K, V> listOps;
private SetOperations<K, V> setOps;
private ZSetOperations<K, V> zSetOps;

redisTemplate.opsForValue();//操作字符串
redisTemplate.opsForHash();//操作hash
redisTemplate.opsForList();//操作list
redisTemplate.opsForSet();//操作set
redisTemplate.opsForZSet();//操作有序set