Linux集群之LVS

浏览数：25 / 时间：2015年06月20日


一、LVS简介

  LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。

  负载均衡集群（Load Balancing，简称为LB）从工作在协议层来划分为TCP和应用层；TCP协议层是根据请求的目标地址和端口进行调度；应用层协议是根据请求的内容进行调度，而且此种调度为“代理”方式，即反向代理。

 

二、LVS组成

  LVS软件由ipvs和ipvsadm两个程序组成，ipvs是工作在内核中的；ipvsadm是工作在用户空间，将为工作在内核空间的ipvs定义集群服务，作出调度决策算法的功能的一种工具，从功能上来看类似于netfilt.

2.1 LVS工作原理

  ipvs工作于netfilter的INPUT链上；ipvsadm用于在ipvs上定义集群服务：同时也得定义此集群服务对应于有哪个后端主机可用；根据所指定的调度方法（算法）作出调度决策；

技术分享

  当用户的请求到达本机时，首先经由PREROUTING链，到达PREROUTING链后进行路由判断，经路由判断后发现是送往本机的，将用户请求送往INPUT链接中，此时ipvs将检查INPUT链上的所有经过的报文，判断是不是请求的集群服务，如果请求的是集群服务，ipvs将“拦下”服务，经过调度算法挑选出一个时先定义好的主机，并将用户请求服务转发出去，经由网络将用户请求送往后端主机并为用户提供服务响应。

 

2.2 LVS常见术语约定

  为用户提供挑选后端服务器的主机称为调度器（Director）；后端提供服务的主机称为Real Server （简写为RS）。

  客户端（Client）的IP称为CIP；被DNS域名解析后的IP称为VIP（Director Virtual IP）；调度器面向后方的集群的IP称为DIP（Director IP）；Real Server服务器上的IP称为RIP（Real Server）。

技术分享

2.3 LVS的类型

  LVS的类型分为lvs-nat、lvs-dr、lvs-tun、lvs-fullnat。

 

三、lvs-nat

  lvs-nat非常类似于DNAT，支持多目标转发，它是通过修改请求报文的目标地址并根据调度算法所挑选出的某RS的RIP来进行转发。

技术分享

  当用户请求报文到达Director时，源地址为CIP目标地址为VIP，Director经过内部路由后发现是送往本机的，就送往INPUT链，ipvs将检查在INPUT链发现对CIP请求的是集群服务，根据在ipvs中指明的RS1和RS2，并根据内部的调度算法，挑选出一台RS为本次请求服务，此时更改请求报文中的目标地址改为挑选出的RS的IP地址如“CIP：RIP1”，并经由forward链转发出去，在报文到达RS1服务器是源地址是CIP目标地址是RS1的IP地址（即本机的IP地址），本机运行着有用户请求服务，RS1进行报文响应，响应报文的源地址是RIP1，目标地址是CIP，即“RIP1：CIP”；到响应报文达到Director时，Director根据内部的NAT追踪机制，发现用户访问的是CIP，因此Director将进行修改源地址为VIP，报文格式“VIP：CIP”。

lvs-nat架构特性：

 (1) RS应该使用私有地址，即RIP应该为私有地址；各RS的网关必须指向DIP；

 (2) 请求和响应报文都经由Director转发；高负载场景中，Director易于成为系统瓶颈；

 (3) 支持端口映射；

 (4) RS可以使用任意类型的OS;

 (5) RS的RIP必须与Director的DIP在同一网络；

 

四、lvs-dr

  lvs-dr模型即为直接路由；Director在实现转发时不修改请求的IP首部，而是通过直接封装MAC首部完成转发；目标MAC是Director根据调度方法挑选出某RS的MAC地址；拓扑结构有别有NAT类型；

技术分享

  当用户请求到达路由器，路由器经过路由到达交换机，并把用户请求交给Director，Director经过调度至RS服务器，RS服务器在响应是并不经过Director，而是直接经交换机-->路由器送往用户。

技术分享

  在Director服务器的网卡上配置DIP，在网卡别名上配置VIP；在RS服务器上的网卡配置RIP，把VIP配置到RS服务器内部的lo网卡的别名上如lo:1。当用户请求到达时，首先到达路由器，路由器通过路由送往另一个接口，此接口经过ARP广播，解析到内网中VIP的MAC地址。此时路由器会收到三个VIP的MAC地址，显然这不是我们希望得到的结果，我们得想办法让RS服务器不能响应路由器ARP广播请求解析得到VIP的MAC地址，或者响应了不让响应请求出去；这样就能保证只有Director的VIP会响应ARP广播请求解析VIP的MAC地址。当路由器得到VIP的MAC地址时，路由器会进行封装报文帧，在源报文的基础上加上自己的MAC地址和ARP广播请求解析VIP的MAC地址，然后报文到达Director服务器，Director发现请求的报文是本机的地址，把报文送往INPUT链，ipvs发现这是一个请求的集群服务，根据调度算法挑选出一个RS如RS1，并ARP广播请求解析RS1的RIP地址的MAC得到RS1的RIP地址的MAC地址，源IP地址和目标IP没有变，只是修改源MAC和目标MAC地址变成了Director的和RS1的RIP的Mac地址。当报文送往RS1服务器，RS1服务器判断源IP和目标IP是自己本机上，并响应服务封装报文，源IP是VIP，目标IP是CIP，将报文发送给RS1设置的网关地址路由器接口。

  此时会有一个问题，在Linux中由哪块网卡发送出去目标IP就是哪块网卡的IP地址，这里可以要求强求报文必须由lo出去，但lo出不去的，可以通过forward链转发出去的。

架构特性：

(1) 保证前端路由器将目标地址为VIP的请求报文通过ARP地址解析后送往Director;

解决方案：

   静态绑定：在前端路由直接将VIP对应的目标MAC静态配置为Director的MAC地址；

    arptables：在各RS上，通过arptables规则拒绝其响应对VIP的ARP广播请求；

   内核参数：在RS上修改内核参数，并结合地址的配置方式实现拒绝响应对VIP的ARP广播请求；

(2) RS的RIP可以使用私有地址；但也可以使用公网地址，此时可通过互联网上的主机直接对此RS发起管理操作（不安全）；

(3) 请求报文必须经由Director调度，但响应报文必须不能经由Director;

(4) 各RIP必须与DIP在同一个物理网络中；

(5) 不支持端口映射；

(6) RS可以使用大多数的OS；

(7) RS的网关一定不能指向Director；

 

五、lvs-tun

  lvs-tun不修改请求报文IP首部，而是通过IP隧道机制在原有的IP报文之外再封装IP首部，经由互联网把请求报文交给选定的RS；

技术分享

架构特性：

(1) RIP, DIP, VIP都是公网地址；

(2) RS的网关不能，也不可能指向DIP;

(3) 请求报文由Director分发，但响应报文直接由RS响应给Client；

(4) 不支持端口映射；

(5) RS的OS必须得支持IP隧道;

 

六、lvs-fullnat

  lvs-fullnat并不是LVS官方的模型，这是由淘宝开发团队开发的一种模型，并没有被官方收录至LVS中，要使用lvs-fullnat模型需要重新经内核打补丁，并重新编译内核。

  lvs-fullnat：通过请求报文的源地址为DIP，目标为RIP来实现转发；对于响应报文而言，修改源地址为VIP，目标地址为CIP来实现转发；

技术分享

架构特性：

(1) RIP,DIP可以使用私有地址；

(2) RIP和DIP可以不在同一个网络中，且RIP的网关未必需要指向DIP；

(3) 支持端口映射；

(4) RS的OS可以使用任意类型；

(5) 请求报文经由Director，响应报文经由Director；

 

七、LVS调度算法

类型算法
说明
静态方法RR
round-robin, 轮询；
WRRweighted round-robin, 加权轮询；Overhead=conn/weight
SHSource ip Hashing，源地址哈希；把来自同一个地址请求，统统定向至此前选定的RS;
DHDestination ip Hashing, 目标地址哈希；把访问同一个目标地址的请求，统统定向至此前选定的某RS；
动态方法LCleast connection：最小连接，Overhead=Active*256+Inactive
WLCweighted least connection：加权最小连接，Overhead=(Active*256+Inactive)/weight；默认的调度算法
SEDShorted Expection Delay：最短期望延迟，Overhead=(Active+1)*256/weight
NQNever Queue：永不排序
LBLCLocal-Based Least Connection，基于本地的最小连接：动态方式的DH算法
LBLCRReplicated LBLC：带复制的LBLCR


八、LVS-NAT实现

  通过前面的原理介绍，这里来实现一下lvs-nat模型，将要使用三台虚拟机，客户端就用物理机来访问；RS-1和RS-2的网卡要使用Vmware Workstation中的仅主机模式，Director要使用两张网卡，一个用于当VIP一个用于当DIP，DIP网卡要使用仅主机模式与后端RS使用一个私有网络地址；

技术分享

  Real Server分别开启Web服务器用于测试，页面就是种RealServer的名称，使用rr调度算法进行轮询，这样更容易看出效果。

8.1 RealServer的配置

（1）配置IP地址及网关

ifconfig 192.168.190.81/24 up  #设置IP地址，如果你已经设置好了，此步可以省略的

route add default gw 192.168.190.100   设置默认网关

[root@RS-1 ~]# route  -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
192.168.190.0   0.0.0.0         255.255.255.0   U    0      0        0 eth0
0.0.0.0         192.168.190.100 0.0.0.0         UG   0      0        0 eth0


（2）启动httpd服务

# service httpd start

8.2 Director的配置

（1）配置IP地址

如果你已经设置好了，此步可以省略；

 

ifconfigeth0 172.16.9.100/16 up
 ifconfigeth1 192.168.190.100/24 up

（2）开启路由间转发

echo 1 > /proc/sys/net/ipv4/ip_forward
[root@LVS ~]# cat/proc/sys/net/ipv4/ip_forward

1

（3）配置LVS

如果你没有安装ipvsadm，需要在配置好yum源之后直接yum install ipvsadm即可；

ipvsadm -C
 ipvsadm -A -t 172.16.9.100:80 -s rr
 ipvsadm -a -t 172.16.9.100:80 -r192.168.190.81:80 -m
 ipvsadm -a -t 172.16.9.100:80 -r192.168.190.82:80 -m

#-C：表示清空ipvsadm中的所有定义的集群服务

#-A：定义集群服务

#-t：承载的应用层协议为基于TCP协议提供服务的协议；其service-address的格式为“VIP:PORT”，如“172.16.100.6:80”；

#-s：指定调度算法，默认为wlc

#-a：创建集群服务上的RS

#-r：指明RS，server-address格式一般为“IP[:PORT]”；注意，只支持端口映射的lvs类型中才应该显式定义此处端口

#-m：指明LVS的类型为nat

[root@LVS ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
 -> RemoteAddress:Port          Forward Weight ActiveConn InActConn
TCP 172.16.9.100:80 rr
 -> 192.168.190.81:80           Masq    1      0         0         
 -> 192.168.190.82:80           Masq    1      0         0

 

（4）在浏览器中访问测试

在浏览器中输入VIP的地址，不断的刷新将会出现轮询的效果。

技术分享

技术分享


 

 

九、LVS-DR实现

 

技术分享

  Real Server分别开启Web服务器用于测试，页面就是种RealServer的名称，使用rr调度算法进行轮询，这样更容易看出效果。

9.1 Real Server的配置

         各Real Server的配置都是一样的，这们就介绍一个Real Server的配置即可。

（1）抵制ARP对VIP的请求

echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 >/proc/sys/net/ipv4/conf/lo/arp_announce
echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce

（2）配置VIP地址及路由

ifconfig lo:0 172.16.9.100 netmask255.255.255.255 broadcast 172.16.9.100 up
route add -host 172.16.9.100 dev lo:0

（3）启动HTTP服务

service httpd start

（4）在浏览器中访问测试

技术分享

技术分享


 

9.2 Director上的配置

（1）配置VIP

ifconfig eth0:0 172.16.9.100 netmask255.255.255.255 broadcast 172.16.9.100 up
route add -host 172.16.9.100 dev eth0:0

（2）配置ipvs服务

 ipvsadm-A -t 172.16.9.100:80 -s rr
 ipvsadm -a -t 172.16.9.100:80 -r 172.16.9.81-g
 ipvsadm -a -t 172.16.9.100:80 -r 172.16.9.82-g

（3）检查ipvs配置信息

[root@node-03 ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
 -> RemoteAddress:Port          Forward Weight ActiveConn InActConn
TCP 172.16.9.100:80 rr
 -> 17.16.9.81:80               Route   1      0         0        
 -> 17.16.9.82:80               Route   1      0         0

（4）在浏览器中浏览

不断的刷新将会出现轮询的效果。


技术分享

技术分享

 

完


本文出自 “乌大宛” 博客，请务必保留此出处http://wuday.blog.51cto.com/2623944/1657817

郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。

标签： lvs-nat fullnat tun nat dr lvs lvs-nat fullnat tun nat dr lvs

相关文章

随机文章

您可能还喜欢

您可能还喜欢