Linux集群入门之：正明的lvs

一、集群

1. HA：高可用性，衡量标准，平均无故障时间

平均无故障时间/（平均无故障时间+平均修复时间）---à 95%, 99%, 99.9%, 99.99%, 99.999%

四层交换，工作在tcp/ip的第四层。无法根据应用层转发。

七层转发，七层负载均衡。可以使用应用层来控制。

2. 集群类型

3. LB

硬件解决方案：F5 BIG-IP / Citrix Netscaler / A10 A10 / Array / Redware

软件解决方法之lvs

类型

lvs调度方法（scheduling method）

session管理

1、 session绑定：始终将同一个请求这的连接定向至同一个RS（第一此请求时仍由调度方法选择），没有容错能力

2、 session复制：在RS之间同步session，因此，每个RS持有集中中所有的session，对与大规模的集群环境不使用，反集群

3、 session服务器：利用单独部署的服务器统一存储管理session，需要使用高可用的方法实现。

4. 什么是lvs集群服务

LVS ：Linux Virtual Server

基本概念：lvs无法监控后台服务器的健康状况。工作在内核，数据不用进入用户空间，已经脱离了套接字的限制，效率高，使用于大型网站。IPVS与iptables不能同时使用

四层交换：四层路由

ipvs根据请求目标套接字（包括端口的协议类型tcp，udp）来实现转发。

ipvs依靠ipvsadm书写规则实现功能

系统默认支持ipvs，但默认的管理工具ipvsadm需要安装。

5、NAT模式

在NAT模式中，请求从CIP发出，vip接受到请求报文时，源IP为cip，目标IP为vip。经过lvps，使用目标地址转换，报文头发生改变，源IP为cip，目标IP为rip。在RS处理之后，再封装成报文，此时报文rip为源地址，vip为目标地址，指定RS的默认网关为dip。

经过Director的DNAT功能，出去之后的源IP地址为vip，目标地址cip。这样cip就可以得到自己想要要的响应。

因此，主要的配置如下：

基本的配置思路：在Director上设定vip（这里vip是一个浮动的IP地址，设置成eth0的别名）。设置dip（dip作为rip的默认网关）。在RS上设置好各自的ip地址即可。这些设置好后，在Driector上打开转发（不同的IP之间的数据转发），然后设置ipvs的规则即可。设置完成后可以测试。

6、DR模式

在DR模式下，Director有两个IP，vip和dip。RS也有两个IP，vip和rip。

为什么要给RS vip？

为了分摊Director的负担，将响应的工作给了RS。这样出去的报文要由DR来承担发送。不考虑别的问题，RS处理了Director发过来的请求，如果不做任何改变，仍然以自己的IP地址作为源IP，那么报文将不能正确响应cip。因此，需要给RS分配vip地址，数据报的格式包装成源IP为vip，目标Ip为cip。

怎样实现Driector转发给RS，并且目标IP是vip？

当用户请求的报文到达网络后，用arp协议请求vip的物理位置，这个时候一定要认为屏蔽掉RS的vip响应请求报文，确保请求报文能正确找到Director，到达Director之后，经过调度将请求转发给RS，根据上述问题，如果将整个时候的目标地址更改为rip，最后报文将不能正确响应客户端。因此在上图3位置，不能使用rip作为目标地址，仍然使用vip。为了能够找到RS，Director维护了一张RS的IP与mac地址对应表，此处处理后，将vip的mac地址更换为rip的mac地址，就可以正确找到RS了。

具体的流程是什么？

如上图所示，解析之：当客户端的请求过来，源IP为cip，目标ip为vip。到达内部的物理网络后，广播请求知道vip所在的物理位置，这个时候一定要屏蔽掉RS上的vip对此请求的回应（此处包含两层含义：在广播请求IP的时候，设置RS上的vip广播地址为自己，不响应这个广播；在arp层面上，设置不响应不通告arp（由于Linux特性，会主动通报接受主机上所有的网卡信息）），请求报文正确到达Director，经过处理，替换vip的mac地址为RS的mac地址，找到RS。在RS上处理之后，封装为源IP是vip，目标IP是cip的报文响应客户端。在从RS出去之后，有两种情况需要考虑。如果RS同vip一样，在同一个网段，都是公网IP，那么可以直接连接同一个路由器直接转发出去；如果RS仅仅是内部的IP地址，这个时候，由于不和ip在同一个网段不能使用同一个路由器，必须使用另外的路由器做转发。

关联知识

当rip、dip、vip在同一网段中时：

配置过程：

1、 配置Director上IP信息

1) 配置vip为eth0:0 172.16.37.10

2) 设置主机路由

# route add -host 172.16.37.11 dev eth0:0 ？这一步有必要吗？

打开转发功能

echo "1" > /proc/sys/net/ipv4/ip_forward

2、 配置RS上IP

1) 设置rip:设置ip为 172.16.37.2 172.16.37.3

2) 设置arp规则

# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore

# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce

3) 设置vip在lo上：

# ifconfig lo:0 172.16.37.10 netmask 255.255.255.255 broadcast 172.16.37.11 up

4) 设置lo的主机路由

# route add -host 172.16.37.10 dev lo:0

3、 配置Director上规则

# ipvsadm -A -t 172.16.37.10:80 -s rr

# ipvsadm -a -t 172.16.37.10:80 -r 172.16.37.2 -g

# ipvsadm -a -t 172.16.37.10:80 -r 172.16.37.2 –g

vip与dip、rip不在同一网段时

这里，使用的客户端是172.16.37.100。192.168.0.1与172.16.0.1之间能互相转发。这里还有一个dip 192.168.37.100，但是似乎没有使用上使用

1、 配置各IP地址

1) 配置Director上的vip：

ifconfig eth0:0 172.16.37.10 netmask 255.255.255.255 broadcast 172.16.37.10 ？

route add –host 172.16.37.10 dev eth0:0

2) 配置RS上的IP

ipconfig eth0 192.168.0.2/24

ipconfig eth0 192.168.0.3/24

确认他们的网关是192.168.0.254

route add default gw 172.168.0.254

2、 配置RS上的内核参数

# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore

# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce

3、 配置RS上的lo：0及主机路由：

ifconfig lo:0 172.16.37.10 netmask 255.255.255.255 broadcast 172.16.37.10

route add –host 172.16.37.10 dev lo:0

4、 配置RS上规则

# ipvsadm -A -t 172.16.37.10:80 -s rr

# ipvsadm -a -t 172.16.37.10:80 -r 192.168.0.2 -g

# ipvsadm -a -t 172.16.37.10:80 -r 192.168.0.3 –g

转发功能打开echo "1" > /proc/sys/net/ipv4/ip_forward

（这个不是持久有效的）

7、LVS持久性

连接模板：ipvsadm –L –C

在Director中的连接模板，记录了连接信息，包括timeout。根据用户模版，追踪用户请求，设置请求时间。

持久连接类型

PCC	将来自于同一个客户端发往VIP的所有请求同一定向至同一个RS	定义规则时 ipvsadm –A –t 172.16.37.10:80 –p 120 ipvsadm –A –t 172.16.37.10:0
PPC	将来自同一个客户端发往某VIP的某端口的所有请求同一定向至同一个RS	定义规则时 ipvsadm –A –t 172.16.37.10:22
PFMC	端口绑定：port affinity。能够实现基于防火墙标记，将两个或以上的端口绑定为同一个服务。

若超时，则默认续订2分钟

主要介绍：PFMC，这里使用iptables给防火墙打标记。然后再编写规则

RS设置同DR。主要是在Director上设置有所不同。

设置防火墙标记：# iptables -t mangle -A PREROUTING -d VIP -p tcp --dport CS_Port -j MARK --set-mark # (0-99)

定义集群规则：# ipvsadm -A -f #

[root@localhost ~]# iptables -t mangle -A PREROUTING -d 172.16.37.10 -p tcp --dport 80 -j MARK --set-mark 10

[root@localhost ~]# iptables -t mangle -A PREROUTING -d 172.16.37.10 -p tcp --dport 443 -j MARK --set-mark 10

[root@localhost ~]# service iptables save

iptables: Saving firewall rules to /etc/sysconfig/iptables:[ OK ]

[root@localhost ~]# ipvsadm -A -f 10 -s rr

[root@localhost ~]# ipvsadm -a -f 10 -r 192.168.0.2 –g

[root@localhost ~]# ipvsadm -a -f 10 -r 192.168.0.3 –g

小结：lvs是淘宝正名研发的集群开源软件，作为国人开发的软件，由是开源软件中的佼佼者，应多学习使用。但，这里不禁要思考一个问题，马云真的是个好鸟吗？呵呵

Linux集群入门之：正明的lvs,古老的榕树,5-wow.com