资讯

展开

Redis内存缓冲区

作者:快盘下载 人气:

00、redis内存缓冲区

对于一个DBA来说,"缓冲区"的概念不难理解,缓冲区是为数据的输入输出做缓冲的,从数据库的角度看,它是防止数据库的数据传输速度和客户端的处理消费速度不一致,导致数据库或者客户端阻塞的一块内存区域。

今天来看Redis以及业务客户端中常见的内存缓冲区。

01、客户端的输入和输出缓冲区

Redis服务器给每个客户端的连接都设置了一个输入缓冲区和输出缓冲区,客户端的命令先进入输入缓冲区,Redis再从缓冲区中拿到数据,处理完成之后,再写入输出缓冲区,然后客户端从输出缓冲区中获取数据。

Redis内存缓冲区

1.1 输入缓冲区溢出情况?

Redis中输入缓冲区在下面2种情况下有溢出风险:

a、写入了bigkey

b、服务器出现了阻塞情况,无法正常处理输入的请求

输入缓冲区一旦溢出,Redis就会关闭这个客户端的连接。如果连接数过多,超过了Redis内置的MaxMemory参数配置,就会自动触发数据淘汰。淘汰策略一般使用Maxmemory-policy参数控制,这里不赘述。

可以使用Redis中的内置命令client list来查看redis每个client的输入缓冲区使用情况:

redis> client list
addr=10.xx.xx.xx:41524 fd=45 idle=65081 flags=N db=0 sub=0 psub=0 qbuf=0 obl=0 oll=0 events=r cmd=hgetall
addr=10.xx.xx.xx:42353 fd=82 idle=65081 flags=N db=0 sub=0 psub=0 qbuf=0 obl=0 oll=0 events=r cmd=hgetall
addr=10.xx.xx.xx:30604 fd=133 idle=1835117 flags=S db=0 sub=0 psub=0 qbuf=0 obl=0 oll=0 events= cmd=syncfrom
addr=10.xx.xx.xx:17294 fd=8 idle=1 flags=N db=0 sub=0 psub=0 qbuf=0 obl=0 oll=0 events=r cmd=publish

其中

qbuf就是目前已经使用的输入缓冲区的字节数。

qbuf-free,表⽰输⼊缓冲区尚未使⽤的⼤⼩,这个案例中没有。

cmd是指执行的命令,例如hgetall

1.2 能否手工调整输入缓冲区?

不能,Redis基于下面2个考虑,不支持这个功能。

第一:Redis中,对于输入缓冲区的上限设置为1GB,这个值已经很大了,考虑到Redis可能同时并发多个连接,如果某个连接超过这个值,那么该连接应该是发生了异常情况;

第二:过大的缓冲区情况下,多个客户端的就会占用大量内存,有可能导致Redis直接崩溃

1.3 输出缓冲区溢出?

Redis的输出缓冲区分为2个部分,其中,一部分内容是用来存储OK等响应信息,另一部分是一个可以动态增加的缓冲空间,可以用来存储响应的结果。例如keys * 命令的结果

输出缓冲区溢出的场景分为3中:

a、还是bigkey,这次是返回了bigkey,占用了大量的内存

b、执行了监控命令monitor,通常会刷屏。

这个命令会持续占用输出缓冲区,直到溢出,通常情况下,线上开启monitor的时间不要太长。

c、缓冲区大小太小。

这个缓冲区的大小,其实可以通过参数来控制client-output-buffer-limit,具体的参数大家可以自查。

02、主从复制的缓冲区

主从复制过程中,分为全量复制和增量复制,这两种情况下,稍有不同,这里简单分析下。

全量同步

主节点向从节点传递RDB文件的同时,会继续接受客户端上的写请求,此时这些请求就写入了复制缓冲区中。等到RDB文件传输完毕后,再把这些命令写入从节点中。主节点会向每个从节点都维护这么一个复制缓冲区,来保证数据同步。画图如下:

一旦这个复制缓冲区溢出,则主从的全量复制也会断开。

所以,主节点的数据量不要太大,如果太大,传输RDB的时间就会很长,导致写命令堆积超过复制缓冲区,最终复制无法建立。

增量同步

主节点把客户端的的写命令同步给从节点的时候,会先将这些命令写入到复制积压缓冲区中,一旦从节点发生网络闪断,可以从复制积压缓冲区中读取之前的复制偏移位点,快速重建复制。

数据库

复制积压缓冲区是一个环形区域,类似mysql的redo log或者MongoDB的Oplog一样,一旦从节点网络断开时间过长,复制积压缓冲区滚动满一圈,则无法重新建立复制关系,需要重新全量同步数据。

Redis中,使用repl_backlog_size这个参数控制复制积压缓冲区的值。

加载全部内容

相关教程
猜你喜欢
用户评论
快盘暂不提供评论功能!