Keepalived高可用服务解决方案

0x05 配置文件

配置文件：

主配置文件：/etc/keepalived/keepalived.conf
主程序文件：/usr/sbin/keepalived
提供校验码：/usr/bin/genhash
Unit File：/usr/lib/systemd/system/keepalived.service 
Unit File的环境配置文件：/etc/sysconfig/keepalived
keepalived的日志默认在：tailf /var/log/messages

#keepalived的配置文件分为三个部分，分别是：
Global Configuration：全局配置部分
  Global definition
  static routes/address

VRRPD Configuration：VRRPD配置部分
    1. vrrp_script ： 添加一个周期性执行的脚本。脚本的退出状态码会被调用它的所有的VRRP Instance记录
    2. vrrp_sync_group ： VRRP synchronization group:VRRP同步组
    3. garp_group : 当检测到组里面任意服务发生变化时候，将进行主从切换
    4. vrrp_instance ： VRRP instance:VRRP实例配置

LVS Configuration：LVS配置部分
  Virtual server: ipvs的RS和VS

#全局定义模块
! Configuration File for keepalived
global_defs {
   notification_email {
     sysadmin@firewall.net   #邮件报警收件人
   }
   notification_email_from sender@firewall.net  #右键报警发信人
   smtp_server 192.168.200.1  #连接smtp服务于超时时间
   #smtp_helo_name <HOST_NAME>：指定在HELO消息中所使用的名称。默认为本地主机名。
   smtp_connect_timeout 30

   router_id LVS_DEVEL  #此处注意router_id为负载均衡标识，在局域网内应该是唯一的建议使用机器名（不能重复）

   #### 组播方式-add ####
   vrrp_mcast_group4 224.1.101.33 #设置组播地址，其他主机也一样
   vrrp_mcast_group6 ff02::12     #指定发送VRRP组播消息所使用的IPV6组播地址。默认是ff02::12
   #default_interface eth0：设置静态地址默认绑定的端口。默认是eth0。
   ##### end

   ##### LVS -add ###
   lvs_sync_daemon <INTERFACE> <VRRP_INSTANCE> [id <SYNC_ID>] [maxlen <LEN>] [port <PORT>] [ttl <TTL>] [group <IP ADDR>]
    设置LVS同步服务的相关内容。可以同步LVS的状态信息。 
    INTERFACE：指定同步服务绑定的接口。
    VRRP_INSTANCE：指定同步服务绑定的VRRP实例。 
    id <SYNC_ID>：指定同步服务所使用的SYNCID，只有相同的SYNCID才会同步。范围是0-255. 
    maxlen：指定数据包的最大长度。范围是1-65507 
    port：指定同步所使用的UDP端口。 
    group：指定组播IP地址。

   lvs_flush：在keepalived启动时，刷新所有已经存在的LVS配置。
   ##### end

   ###start
   vrrp_version 2|3：  #设置默认的VRRP版本。默认是2.
   vrrp_check_unicast_src：在单播模式中，开启对VRRP数据包的源地址做检查，源地址必须是单播邻居之一。
   ###end

   vrrp_skip_check_adv_addr  #默认是不跳过检查。检查收到的VRRP通告中的所有地址可能会比较耗时，
   #设置此命令的意思是，如果通告与接收的上一个通告来自相同的master路由器，则不执行检查(跳过检查)。

   vrrp_strict   #vrrp通信严格模式（不能ping通） 严格遵守VRRP协议。下
   #列情况将会阻止启动Keepalived：1. 没有VIP地址。2. 单播邻居。3. 在VRRP版本2中有IPv6地址。

   vrrp_garp_interval 0
   vrrp_gna_interval 0


   #静态地址和路由配置范例 （在复杂的环境下可能需要配置，一般不会用这个来配置）
    # static_ipaddress{
    #   192.168.1.1/24 brd + dev eth0 scope global #相当于: ip addr add 192.168.1.1/24 brd + dev eth0 scope global
    #   192.168.1.2/24 brd + dev eth1 scope global #就是给eth1配置IP地址
    # }
    # static_routes{
    #   src $SRC_IP to $DST_IP dev $SRC_DEVICE #路由和ip同理，一般这个区域不需要配置
    #   src $SRC_IP to $DST_IP via $GW dev $SRC_DEVICE
    # }

    #杂项
    vrrp_iptables  #不添加任何iptables规则。默认是添加iptables规则的。
    #
    vrrp_priority <-20 -- 19> #：设置VRRP进程的优先级。
    checker_priority <-20 -- 19>  #：设置checker进程的优先级。
    vrrp_no_swap  #：vrrp进程不能够被交换。
    checker_no_swap #：checker进程不能够被交换。
    
    script_user <username> [groupname]  #设置运行脚本默认用户和组，默认用户为keepalived_script(需要该用户存在)，否则为root用户。默认groupname同username。 
    enable_script_security  #如果脚本路径的任一部分对于非root用户来说，都具有可写权限，则不会以root身份运行脚本。 
    nopreempt #默认是抢占模式 要是用非抢占式的就加上nopreempt
}

#VRRP同步组(synchroization group)配置范例
vrrp_sync_group VG_1 {
    group {
    http #实例名
    mysql #实例名
    }
    notify_master /path/to/to_master.sh #表示当切换到master状态时，要执行的脚本
    notify_backup /path_to/to_backup.sh #表示当切换到backup状态时，要执行的脚本
    notify_fault "/path/fault.sh VG_1"
    notify /path/to/notify.sh
    smtp_alert   #表示切换时给global defs中定义的邮件地址发送右键通知 (当状态发生改变时，发送邮件)
}

# VRRP脚本定义块 （主主、主备配置）
#首先在vrrp_script区域定义脚本名字和脚本执行的间隔和脚本执行的优先级变更
#然后在实例(vrrp_instance)里面引用，有点类似脚本里面的函数引用一样：先定义，后引用函数名
vrrp_script check_running {
    script "/usr/local/bin/check_running"  #指定要执行的脚本的路径。
    interval 10     #脚本执行间隔
    weight 10      #脚本结果导致的优先级变更：10表示优先级+10；-10则表示优先级-10 #调整优先级。默认为2.
    rise <INTEGER>  #：执行成功多少次才认为是成功。
    fall <INTEGER> #：执行失败多少次才认为失败。
    user <USERNAME> [GROUPNAME] #：运行脚本的用户和组。
    init_fail #：假设脚本初始状态是失败状态。
}


#VRRP实例定义块 （主主配置） 定义vrrp实例名
vrrp_instance VI_1 {
    state MASTER 　#状态只有MASTER和BACKUP两种，并且要大写，MASTER为工作状态，BACKUP是备用状态。
    interface ens192  #指定网卡接口
    use_vmac [<VMAC_INTERFACE>] #在指定的接口产生一个子接口，如vrrp.51，该接口的MAC地址为组播地址，通过该接口向外发送和接收VRRP包。 
    vmac_xmit_base #通过基本接口向外发送和接收VRRP数据包，而不是通过VMAC接口。 
    native_ipv6  #强制VRRP实例使用IPV6.(当同时配置了IPV4和IPV6的时候)

    #dont_track_primary  忽略VRRP的interface错误
    # track_interface {
    #     eth0
    #     eth1
    # }

    #踪接口，设置额外的监控，里面任意一块网卡出现问题，都会进入故障(FAULT)状态，例如，用nginx做均衡器的时候，内网必须正常工作，如果内网出问题了，这个均衡器也就无法运作了，所以必须对内外网同时做健康检查
    #mcast_src_ip <IPADDR>  #设置多播地址224.0.0.17(这个非常重要，一定要选择稳定的网卡端口来发送，这里相当于heartbeat的心跳端口)，
    #指定发送组播数据包的源IP地址。默认是绑定VRRP实例的接口的主IP地址。

    #unicast_src_ip <IPADDR>：指定发送单薄数据包的源IP地址。默认是绑定VRRP实例的接口的主IP地址。

    #garp_master_delay 10 #在切换到master状态后，延迟进行免费的ARP(gratuitous ARP)请求
    lvs_sync_daemon_inteface eth1  #默认没有相当于心跳线接口，DR模式用的和上面的接口一样，也可以用机器上的其他网卡eth1，用来防止脑裂。
    virtual_router_id 51  # #同一组的vrrp成员,该id需要一致
    priority 100     #优先级,范围(0-255) 且 主 > 备
    advert_int 1     #发送hello的时间间隔（检查间隔，）
    #通过密码身份验证
    authentication {
        auth_type PASS     #PASS简单密码认证(推荐),AH:IPSEC认证(不推荐)。
        auth_pass 11111111  #密码为8位,不能用默认的密码
    }
    virtual_ipaddress {
        #定义虚拟IP(VIP),但ip默认32位子网掩码
        #<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPT> label <LABEL>
        10.10.107.236/24 dev ens192 label eth192
        10.10.107.237
    }
    virtual_routes {
        # src <IPADDR> [to] <IPADDR>/<MASK> via|gw <IPADDR> dev <STRING> scope <SCOPE> tab
        src 192.168.100.1 to 192.168.109.0/24 via 192.168.200.254 dev eth1
        192.168.110.0/24 via 192.168.200.254 dev eth1
        192.168.111.0/24 dev eth2
        192.168.112.0/24 via 192.168.100.254
    }

    #不抢占(只针对BACKUP机器生效)
    nopreempt  #设置为不抢占。默认是抢占的，当高优先级的机器恢复后，会抢占低优先级的机器成为MASTER，
    #而不抢占，则允许低优先级的机器继续成为MASTER，即使高优先级的机器已经上线。

    preemtp_delay 300  #抢占延迟
    debug  #debug级别
    notify master  #和sync group这里设置的含义一样，可以单独设置

    #调用vrrp_script中的脚本执行
    track_script {
        <SCRIPT_NAME> weight <-254-254>
        check_running weight 20
    }
}

vrrp_instance VI_2{ #定义一个虚拟路由器，第二个
    state BACKUP  #当前状态，从的
    interface ens193  #当前的vrp应用，绑定到那个网卡设备上
    virtual_router_id 34  #这个虚拟ip，与其他主机要保持一至
    priority 96 #优先级，低于master主机
    advert_int 1
    authentication {
        auth_type PASS  #密码认证
        auth_pass a6b7c8d9   #密码为8位,不能用默认的密码，这里修改一下
    }
    virtual_ipaddress {#虚拟ip地址
        172.16.15.99/16 dev eth0 
    }
}



#LVS 配置：
#这里LVS配置并不是指真的安装LVS然后用ipvsadm来配置他，而是用keepalived的配置文件来代替ipvsadm来配置LVS
# virtual server可以以下面三种的任意一种来配置
    1. virtual server IP port
    2. virtual server fwmark int
    3. virtual server group string

#示例1.
virtual_server 10.10.107.236 80 {  #设置一个virtual server: VIP:Vport
    delay_loop 6   ## service polling的delay时间，即服务轮询的时间间隔
    lb_algo rr|wrr|lc|wlc|lblc|sh|dh     #LVS调度算法
    lb_kind NAT|DR|TUN   #集群模式       
    persistence_timeout 50 # #会话保持时间（秒为单位），即以用户在50秒内被分配到同一个后端realserver
    #persistence_granularity <NETMASK>       #LVS会话保持粒度，ipvsadm中的-M参数，默认是0xffffffff，即每个客户端都做会话保持
    protocol TCP|UDP|SCTP  #健康检查用的是TCP还是UDP，4层协议。
    # virtualhost <string>         #HTTP_GET做健康检查时，检查的web服务器的虚拟主机（即host：头）
    # sorry_server <IPADDR> <PORT>                 #备用机，就是当所有后端realserver节点都不可用时，就用这里设置的，也就是临时把所有的请求都发送到这里啦

    #后端真实节点主机的权重等设置，主要后端有几台这里就要设置几个
    real_server 10.10.107.221 80 {
        weight 1    #默认为2
        inhibit_on_failure                    #表示在节点失败后，把他权重设置成0，而不是冲IPVS中删除
        notify_up <STRING> | <QUOTED-STRING>  #检查服务器正常(UP)后，要执行的脚本
        notify_down <STRING> | <QUOTED-STRING> #检查服务器失败(down)后，要执行的脚本

        #下面是常用的健康检查方式，健康检查方式一共有【HTTP_GET|SSL_GET】|TCP_CHECK|SMTP_CHECK|MISC_CHECK这些
        HTTP_GET|SSL_GET {  #  #健康检查方式
            url { # #要坚持的URL，可以有多个
                path /testurl/test.jsp
                digest 640205b7b0fc66c1ea91c463fac6334d  # 摘要。计算方式 genhash -s 10.10.107.221 -p 80 -u /index.html
                # MD5SUM = 09174a47a3944b5604699f5cb48e4e3e
                status_code 200                                            #返回状态码
            }
            connect_ip <IP ADDRESS>  #：连接的IP地址。默认是real server的ip地址。
            connect_port <PORT>   #：连接的端口。默认是real server的端口。
            bindto <IP ADDRESS>  #：发起连接的接口的地址。
            bind_port <PORT>  #：发起连接的源端口。
            connect_timeout   3            #连接超时时间
            nb_get_retry 3                  #重连次数
            delay_before_retry 2           #重连间隔
            fwmark <INTEGER> #使用fwmark对所有出去的检查数据包进行标记。
            warmup <INT>  #指定一个随机延迟，最大为N秒。可防止网络阻塞。如果为0，则关闭该功能。
        }
    }

    #检测mysql端口是否可以连接
    real_server 10.10.107.33 3306 {
        weight 1
        TCP_CHECK {
            # connect_port 3306
            # bindto 10.10.107.33  #本地服务地址（即连接到数据库机器）
            connect_timeout 3    #连接超时
            nb_get_retry 3       #重试次数
            delay_before_retry 3 #重试间隔时间
        }
    }


    # SMTP方式，这个可以用来给邮件服务器做集群
    SMTP_CHECK
    host {
        connect_ip <IP ADDRESS>
        connect_port <PORT>                                     #默认检查25端口
        14 KEEPALIVED
        bindto <IP ADDRESS>
    }
        connect_timeout <INTEGER>
        retry <INTEGER>
        delay_before_retry <INTEGER>
        # "smtp HELO"?|·-?ê§?à"
        helo_name <STRING>|<QUOTED-STRING>
    } #SMTP_CHECK

    #MISC方式，这个可以用来检查很多服务器只需要自己会些脚本即可
    MISC_CHECK
    {
        misc_path <STRING>|<QUOTED-STRING> #外部程序或脚本
        misc_timeout <INT>       #脚本或程序执行超时时间
        misc_dynamic             #这个就很好用了，可以非常精确的来调整权重，是后端每天服务器的压力都能均衡调配，这个主要是通过执行的程序或脚本返回的状态代码来动态调整weight值，使权重根据真实的后端压力来适当调整，不过这需要有过硬的脚本功夫才行哦
        #返回0：健康检查没问题，不修改权重
        #返回1：健康检查失败，权重设置为0
        #返回2-255：健康检查没问题，但是权重却要根据返回代码修改为返回码-2，例如如果程序或脚本执行后返回的代码为200，#那么权重这回被修改为 200-2
    }
  
    #DNS检测
    DNS_CHECK { 
        connect_ip <IP ADDRESS>：连接的IP地址。默认是real server的ip地址。 
        connect_port <PORT>：连接的端口。默认是real server的端口。 默认是25端口 
        bindto <IP ADDRESS>：发起连接的接口的地址。 
        bind_port <PORT>：发起连接的源端口。 
        connect_timeout <INT>：连接超时时间。默认是5s。 
        fwmark <INTEGER>：使用fwmark对所有出去的检查数据包进行标记。 
        warmup <INT>：指定一个随机延迟，最大为N秒。可防止网络阻塞。如果为0，则关闭该功能。 
        retry <INT>：重试次数。默认是3次。 
        type <STRING>：DNS query type。A/NS/CNAME/SOA/MX/TXT/AAAA 
        name <STRING>：DNS查询的域名。默认是(.) 
    }
}

总结：

0x06 入坑记

原因：防火墙/keepalived配置文件中启动了vrrp_strict 解决办法：

关闭防火墙
注释：keepalived.conf配置中 #vrrp_strict 参数

[root@slave sec]# ping 10.10.107.236
PING 10.10.107.236 (10.10.107.236) 56(84) bytes of data.
64 bytes from 10.10.107.236: icmp_seq=1 ttl=64 time=0.056 ms

我们可以通过tcpdump来抓取vrrp通信包进行查看;

tcpdump -i ens192 vrrp -vv -c 2
tcpdump: listening on ens192, link-type EN10MB (Ethernet), capture size 262144 bytes
11:21:31.013073 IP (tos 0xc0, ttl 255, id 64656, offset 0, flags [none], proto VRRP (112), length 40)
    10.10.107.254 > vrrp.mcast.net: vrrp 10.10.107.254 > vrrp.mcast.net: VRRPv2, Advertisement, vrid 5, prio 120, authtype none, intvl 1s, length 20, addrs: gateway
11:21:31.357117 IP (tos 0xc0, ttl 255, id 223, offset 0, flags [none], proto VRRP (112), length 40)
    master > vrrp.mcast.net: vrrp master > vrrp.mcast.net: VRRPv2, Advertisement, vrid 51, prio 100, authtype simple, intvl 1s, length 20, addrs: master auth "11111111"

先清理master的arp，将vip切回至master,ping vip正常再清理slave的arp

#组合命令清楚所有arp缓存：
arp -n | awk '/^[1-9]/{system("arp -d "$1)}'

答：tcpdump -i eth0 -nn host 224.1.101.33 #对多播地址抓包

haproxy的故障转移

[root@localhost ~]# cat /etc/keepalived/keepalived.conf

! Configuration File for keepalived
global_defs {
     router_id teacher
}
vrrp_script chk_haproxy {
     script "lsof -i:80 | grep haproxy || exit 1"
     interval 2
     fail 1
}
vrrp_instance lvs_inst {
   state MASTER
   interface ens33
       virtual_router_id 51
       priority 250
       nopreempt
       advert_int 1
authentication {
             auth_type PASS
             auth_pass 1111
}
track_script {
           chk_haproxy
}
virtual_ipaddress {
           10.18.42.124
          }
}

主从节点都必须有的检测haproxy服务状态的文件（注：该文件必须有可执行权限！！！）： vim /opt/check_haproxy.sh

#!/bin/bash

if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then###判断haproxy是否已经启动

     systemctl start haproxy###如果没有启动，则启动haproxy程序

fi

sleep 2###睡眠两秒钟，等待haproxy完全启动

if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then###判断haproxy是否已经启动

      systemctl stop keepalived###如果haproxy没有启动起来，则将keepalived停掉，则VIP
        自动漂移到另外一台haproxy机器,实现了对haproxy的高可用

fi

mysql 与 keepalived

https://blog.51cto.com/gaowenlong/1888036 实现MySQL的故障转移

1)、实现master与slave1两台主机的复制(AA复制) 2)、利用keepalived 的健康检查功能,检测本机的3306端口是否存活,如果端口失效,则自动执行自定义脚本 3)、自定义脚本的内容为:kill 本机的keepalived进程,并删除本机VIP;当本机keepalived进程被kill掉之后,另一台主机的keepalived进程即可获得虚拟IP,实现的故障转移 4)、测试:客户端连接keepalived提供的虚拟IP(mysql需要事先授权grant连接)

[root@localhost ~]# cat /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
           router_id teacher
}
vrrp_instance lvs_inst {
          state MASTER
          interface ens33
          virtual_router_id 51
          priority 250
          nopreempt
          advert_int 1
          authentication {
                  auth_type PASS
                  auth_pass 1111
}
           virtual_ipaddress {
                       10.18.42.123
           }
}
virtual_server 10.18.42.123 3306 {
             delay_loop 6
             lb_algo rr
             lb_kind DR
             #persistence_timeout 50
             protocol TCP

real_server 10.18.42.251 3306 {
         weight 1
         notify_down /etc/keepalived/kill.sh   #检测失败执行的脚本
         TCP_CHECK {
                   connect_port 3306
                   connect_timeout 3
                   nb_get_retry 3
                   delay_before_retry 3
                   }
         }
}

[root@localhost ~]# cat /etc/keepalived/kill.sh
#!/bin/bash
pkill keepalived
#systemctl stop keepalived #尽量使用此方式关闭keepalived
ip addr del dev ens33 10.18.42.123/32