linux下负载均衡（LVS安装与配置）

浏览数：28 / 时间：2015年06月20日

一、LVS的三种包转发方式
      LVS提供了三种包转发方式：NAT(网络地址映射)、IP Tunneling(IP隧道)、Direct Routing(直接路由)
     不同的转发模式决定了不同的cluster的网络结构，下面对三种转发方式分别介始：
1、NAT(网络地址映射)：
     NAT方式可支持任何的操作系统，以及私有网络，并且只需一个Internet IP地址，但是整个系统的性能受到限制。因为执行NAT每次需要重写包
     有一定的延迟；另外，大部分应用有80%的数据是从服务器流向客户机，也就是用户的请求非常短，而服务器的回应非常大，对负载均衡器形成很大压力，成为了新的瓶颈。
2、IP Tunneling(IP隧道)：
     director分配请求到不同的real server。real server处理请求后直接回应给用户，这样director负载均衡器仅处理客户机与服务器的一半连接
    IP Tunneling技术极大地提高了director的调度处理能力，同时也极大地提高了系统能容纳的最大节点数，可以超过100个节点
    real server可以在任何LAN或WAN上运行，这意味着允许地理上的分布，这在灾难恢复中有重要意义。服务器必须拥有正式的IP地址用于与客户机直接通信
    并且所有服务器必须支持IP隧道协议。

3、Direct Routing(直接路由)：
     与IP Tunneling类似，负载均衡器仅处理一半的连接，避免了新的性能瓶颈，同样增加了系统的可伸缩性。Direct Routing与IP Tunneling相比
    没有IP封装的开销，但由于采用物理层（修改MAC地址）技术，所有服务器都必须在一个物理网段。
二、LVS的八种调度算法：
     * rr   轮叫（Round Robin）
      调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载。

    * wrr   加权轮叫（Weighted Round Robin）
      调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

    * lc   最少链接（Least Connections）
      调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。

    * wlc   加权最少链接（Weighted Least Connections）
      在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

    * lblc   基于局部性的最少链接（Locality-Based Least Connections）
      "基于局部性的最少链接" 调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务器，将请求发送到该服务器。

    * lblcr   带复制的基于局部性最少链接（Locality-Based Least Connections with Replication）
      " 带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按"最小连接"原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。

    * dh   目标地址散列（Destination Hashing）
      "目标地址散列"调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

    * sh   源地址散列（Source Hashing）
      "源地址散列"调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

　注：如果想了解关于以上几点的技术细节，LVS的主页查询。LVS的主页是：

　　http://www.LinuxVirtualServer.org/
　　http://www.linux-vs.org/

三、安装ipvsadm服务
     1、官网去下载安装包：http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz
       　ipvsadm 安装：
        # tar zxvf ipvsadm-1.24.tar.gz -C /usr/src/
          # cd /usr/src/ipvsadm-1.24
          # make all
          # make install
          # ipvsadm --version
      2、yum安装（简单且方便）
           #yum -y install ipvsadm
四、配置ipvsadm服务
      备注：以下步骤分别按照LVS的三种包转发方式进行配置
     实验环境如下：
     lvsserver            192.168.1.49(eht0)     vip: 192.168.1.40 8.8.8.8(nat模式下)
     serverA             192.168.1.46(eth0)
     serverB             192.168.1.47(eth0)

1、vs/nat模式下各服务器的配置
lvsserver配置如下：
ifconfig eht0 192.168.1.49 netmsk 255.255.255.0
ifconfig eht1 8.8.8.8 netmask 255.255.255.0
(注：由于nat模式需要两块真实网卡，所以又额外加了一块网卡，此网卡的IP地址同时也是VIP的地址)
vi ipvsadm.sh （创建脚本文件）
-------------------------------------------------------------------------------------------------------------------------------------------------------------
#！/bin/bash
echo 1 > /porc/sys/net/ipv4/ip_forward   （开启路由功能）
ipvsadm -C      （清除之前的转换表）
ipvsadm -At 8.8.8.8:80 -s rr   （指定带有调度算法转换的服务器）
ipvsadm -at 8.8.8.8:80 -r 192.168.1.46:80 -m （增加一台真实服务器，-m是nat模式，-g是直接路由（dr )模式，-i是tun模式）
ipvaadm -at 8.8.8.8:80 -r 192.168.1.47:80 -m

#chmod u+x ipvsadm.sh (增加可执行权限)

------------------------------------------------------------------------------------------------------------------------------------------------------------------
serverA配置如下：
ifconfig eth0 192.168.1.46 netmask 255.255.255.0
route add default gw 192.168.1.49
(注：此网关是lvsserver的eth0的IP地址)
service httpd start    (开启测试用的web服务)
echo ‘192.168.1.46‘ > /var/www/html/index.html     （制作测试用的html网页)
-------------------------------------------------------------------------------------------------------------------------------------------------------------------
serverB配置如下：
ifconfig eth0 192.168.1.47 netmask 255.255.255.0
route add default gw 192.168.1.49
(注：此网关是lvsserver的eth0的IP地址)
service httpd start    (开启测试用的web服务器
echo ‘192.168.1.47‘ > /var/www/html/index.html     （制作测试用的html网页)

--------------------------------------------------------------------------------------------------------------------------------------------------------------------
2、vs/tun模式下各服务器的配置
lvsserver配置如下：
ifconfig eht0 192.168.1.49 netmsk 255.255.255.0
(注：tun 模式下只需要一块物理网卡，可将eth1网卡禁用)
ifconfig tunl0 192.168.1.40 netmask 255.255.255.255 up
(注：tunlo接口配置的地址为vip地址)
route add -host 192.168.1.40 dev tunlo
vi ipvsadm.sh （创建脚本文件）
-------------------------------------------------------------------------------------------------------------------------------------------------------------------
#！/bin/bash
ipvsadm -C      （清除之前的转换表）
ipvsadm -At 192.168.1.40:80 -s rr   （指定带有调度算法转换的服务器）
ipvsadm -at 192.168.1.40:80 -r 192.168.1.46:80 -i （增加一台真实服务器，-m是nat模式，-g是直接路由（dr )模式，-i是tun模式）
ipvaadm -at 192.168.1.40:80 -r 192.168.1.47:80 -i

#chmod u+x ipvsadm.sh (增加可执行权限)
#./ipvsadm.sh
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
serverA配置如下：
ifconfig eth0 192.168.1.46 netmask 255.255.255.0
ifconfig tunl0 192.168.1.40 netmask 255.255.255.255 up
route add -host 192.168.1.40 dev tunlo
vi arp.sh （创建脚本文件）

#!/bin/bash
echo "1" > /proc/sys/net/ipv4/conf/tunl0/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/tunl0/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
serverB配置同severA一样
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
3、vs/dr模式下各服务器的配置
lvsserver配置如下：
ifconfig eht0 192.168.1.49 netmsk 255.255.255.0
(注：dr 模式下只需要一块物理网卡，可将eth1网卡禁用)
ifconfig eth0:0 192.168.1.40 netmask 255.255.255.255 up
(注：eth0:0接口配置的地址为vip地址)
route add -host 192.168.1.40 dev eth0:0
vi ipvsadm.sh （创建脚本文件）
----------------------------------------------------------------------------------------------------------------------------------------------------------------------
#！/bin/bash
echo 1 > /porc/sys/net/ipv4/ip_forward   （开启路由功能）
ipvsadm -C      （清除之前的转换表）
ipvsadm -At 192.168.1.40:80 -s rr   （指定带有调度算法转换的服务器）
ipvsadm -at 192.168.1.40:80 -r 192.168.1.46:80 -g （增加一台真实服务器，-m是nat模式，-g是直接路由（dr )模式，-i是tun模式）
ipvaadm -at 192.168.1.40:80 -r 192.168.1.47:80 -g

#chmod u+x ipvsadm.sh (增加可执行权限)
./ipvsadm.sh
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
serverA配置如下：
ifconfig eth0 192.168.1.46 netmask 255.255.255.0
ifconfig lo:0 192.168.1.40 netmask 255.255.255.255 up （在lo接口上增加vip地址）
route add -host 192.168.1.40 dev lo:0 （增加到环回接口的路由）
vi arp.sh （创建脚本文件）

#!/bin/bash
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
#chmod u+x arp.sh (增加可执行权限)
#./arp.sh
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
serverB配置和serverA一样
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
测试：1、显示LVS 目前的连接
             如：ipvsadm -L -c    ipvsadm -L --stats
    2、将46和47的ＷＥＢ服务启用。直接输入vip的地址不停的刷新你将会看到不同页面的切换