所谓LVS,是Linux Virtual Server的缩写,直译就是linux虚拟服务器。LVS说是虚拟服务器,并不是说这个服务器本身不存在,而是指一般用户访问企业web网站时,访问的都是LVS,而LVS本身上面没有任何web界面资源,真实的界面以及服务都在后端web服务器上,LVS服务器起到的是一个指引分流的作用,所以相对来说,后端的web服务器是real server,而LVS就被称为是virtual server(虚拟服务器)了。
  既然这个服务器上没有页面资源,又无法提供服务,那为什么还有必要部署它来多此一举呢?因为通常来说,我们访问的web服务,都不是由单一服务器主机来支撑的,背后都有好几台、甚至成百上千台web服务器集群共同提供,一台单一主机是无法支撑大的访问并发的,需要很多台服务器来共同分担压力,这时就需要一个专门的服务器来进行调度,将大量访问请求分配到不同的web服务器上,减小每台服务器的压力,实现负载均衡。
  本文将详细介绍LVS调度器的工作模式及配置实例。

集群和分布式

  集群:同一个业务系统,部署在多台服务器上。集群中,每一台服务器实现的功能没有差别,数据和代码都是一样的。
  分布式:一个业务被拆成多个子业务,或者本身就是不同的业务,部署在多台服务器上。分布式中,每一台服务器实现的功能是有差别的,数据和代码也是不一样的,分布式每台服务器功能加起来,才是完整的业务。
  分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率。
  对于大型网站,访问用户很多,实现一个群集,在前面部署一个负载均衡服务器,后面几台服务器完成同一业务。如果有用户进行相应业务访问时,负载均衡器根据后端哪台服务器的负载情况,决定由给哪一台去完成响应,并且一台服务器垮了,其它的服务器可以顶上来。分布式的每一个节点,都完成不同的业务,如果一个节点垮了,那这个业务可能就会失败。

Cluster概念

  Cluster:集群,为解决某个特定问题将多台计算机组合起来形成的单个系统。
;Linux Cluster类型:

  • LB:Load Balancing,负载均衡
  • HA:High Availiablity,高可用,SPOF(single Point Of failure)
    MTBF:Mean Time Between Failure 平均无故障时间
    MTTR:Mean Time To Restoration( repair)平均恢复前时间
    A=MTBF/(MTBF+MTTR(0,1):99%,99.5%,99.9%,99.99%,99.999%
  • HPC:High-performance computing,高性能
LB Cluster的实现
  • 硬件
    F5 Big-IP
    Citrix Netscaler
    A10 A10
  • 软件
    lvs:Linux Virtual Server,阿里四层SLB (Server Load Balance)使用网络传输的下四层,不支持应用层等数据的调度内核级:功能虽然弱,性能好,一般最为最前端的调度器.
    nginx:支持七层调度,阿里七层SLB使用Tengine
    haproxy:支持七层调度
    ats:Apache Traffic Server,yahoo捐助给apache
    perlbal:Perl 编写
    pound
LB Cluster基于工作的协议层次划分:
  • 传输层(通用):DPORT
    LVS:
    nginx:stream
    haproxy:mode tcp
  • 应用层(专用):针对特定协议,自定义的请求模型分类
    proxy server:
    http:nginx, httpd, haproxy(mode http), …
    fastcgi:nginx, httpd, …
    mysql:mysql-proxy, …
LB Cluster中用户的会话保持

  负载均衡之后,用户会话保持的解决方案:
  (1) session sticky:同一用户调度固定服务器
   Source IP:LVS sh算法(对某一特定服务而言)(固定IP)
   Cookie (LVS四层调度,无法识别cookie)
  (2) session replication:每台服务器拥有全部session
   session multicast cluster
  (3) session server:专门的session服务器,如Memcached,Redis

分布式系统:

常见的分布式存储: Ceph,GlusterFS,FastDFS,MogileFS
常见的分布式计算:hadoop,Spark
这里不多介绍。

LVS介绍

  LVS:Linux Virtual Server,负载调度器,在linux内核集成。LVS项目在1998年5月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一。
  LVS实现负载均衡,自身的单点失败问题由keepalived解决(vrrp协议).
  keepalived还可以实现检查后端服务器状态.

lvs集群类型中的术语:

  • VS:Virtual Server,Director Server(DS),Dispatcher(调度器),Load Balancer
  • RS:Real Server(lvs),,upstream server(nginx),backend server(haproxy)
  • CIP:Client IP
  • VIP: Virtual serve IP VS外网的IP (一般也是内网IP,由防火墙DNAT指向)
  • DIP: Director IP VS内网的IP
  • RIP: Real server IP
      访问流程:CIP <–> VIP == DIP <–> RIP
  • lvs: ipvsadm/ipvs
      ipvsadm:用户空间的命令行工具,规则管理器,用于管理集群服务及RealServer
      ipvs:工作于内核空间netfilter的INPUT钩子上的框架

lvs的模式:

  lvs-nat:修改请求报文的目标IP,多目标IP的DNAT
  lvs-dr:操纵封装新的MAC地址
  lvs-tun:在原请求IP报文之外新加一个IP首部
  lvs-fullnat:修改请求报文的源和目标IP

lvs-nat:

  本质是多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发
(1)RIP和DIP应在同一个IP网络,且应使用私网地址;RS的网关要指向DIP
(2)请求报文和响应报文都必须经由Director转发,Director易于成为系统瓶颈
(3)支持端口映射,可修改请求报文的目标PORT
(4)VS必须是Linux系统,RS可以是任意OS系统

LVS-DR:

  Direct Routing,直接路由,LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发,源MAC是DIP所在的接口的MAC,目标MAC是某挑选出的RS的RIP所在接口的MAC地址;源IP/PORT,以及目标IP/PORT均保持不变
(1) Director和各RS都配置有VIP
(2) 确保前端路由器将目标IP为VIP的请求报文发往Director
  在前端网关做静态绑定VIP和Director的MAC地址
  在RS上使用arptables工具
arptables -A IN -d $VIP -j DROP
arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
  在RS上修改内核参数以限制arp通告及应答级别
/proc/sys/net/ipv4/conf/all/arp_ignore
/proc/sys/net/ipv4/conf/all/arp_announce
(3)RS的RIP可以使用私网地址,也可以是公网地址;RIP与DIP在同一IP网络;RIP的网关不能指向DIP,以确保响应报文不会经由Director
(4)RS和Director要在同一个物理网络
(5)请求报文要经由Director,但响应报文不经由Director,而由RS直接发往Client
(6)不支持端口映射(端口不能修败)
(7)RS可使用大多数OS系统

lvs-tun:

  转发方式:不修改请求报文的IP首部(源IP为CIP,目标IP为VIP),而在原IP报文之外再封装一个IP首部(源IP是DIP,目标IP是RIP),将报文发往挑选出的目标RS;RS直接响应给客户端(源IP是VIP,目标IP是CIP)
   (1) DIP, VIP, RIP都应该是公网地址
   (2) RS的网关一般不能指向DIP
   (3) 请求报文要经由Director,但响应不经由Director
   (4) 不支持端口映射
   (5) RS的OS须支持隧道功能

lvs-fullnat:通过同时修改请求报文的源IP地址和目标IP地址进行转发

  CIP –> DIP
  VIP –> RIP
(1) VIP是公网地址,RIP和DIP是私网地址,且通常不在同一IP网络;因此,RIP的网关一般不会指向DIP
(2) RS收到的请求报文源地址是DIP,因此,只需响应给DIP;但Director还要将其发往Client
(3) 请求和响应报文都经由Director
(4) 支持端口映射
注意:此类型kernel默认不支持

LVS调度算法

ipvs scheduler:
  根据其调度时是否考虑各RS当前的负载状态分为两种:静态方法和动态方法

  • 静态方法:仅根据算法本身进行调度

      1、RR:roundrobin,轮询
      2、WRR:Weighted RR,加权轮询
      3、SH:Source Hashing,实现session sticky,源IP地址hash;将来自于同一个IP地址的请求始终发往第一次挑中的RS,从而实现会话绑定
      4、DH:Destination Hashing;目标地址哈希,第一次轮询调度至RS,后续将发往同一个目标地址的请求始终转发至第一次挑中的RS,典型使用场景是正向代理缓存场景中的负载均衡,如:宽带运营商
  • 动态方法:主要根据每RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度

      1、LC:least connections 适用于长连接应用
      Overhead=activeconns*256+inactiveconns
      2、WLC:Weighted LC,默认调度方法
      Overhead=(activeconns*256+inactiveconns)/weight
      3、SED:Shortest Expection Delay,初始连接高权重优先
      Overhead=(activeconns+1)*256/weight
      4、NQ:Never Queue,第一轮均匀分配,后续SED
      5、LBLC:Locality-Based LC,动态的DH算法,使用场景:根据负载状态实现正向代理
      6、LBLCR:LBLC with Replication,带复制功能的LBLC,解决LBLC负载不均衡问题,从负载重的复制到负载轻的RS

ipvsadm/ipvs:

ipvs:

  grep -i -A 10 "ipvs" /boot/config-VERSION-RELEASE.x86_64
  支持的协议:TCP, UDP, AH, ESP, AH_ESP, SCTP
ipvs集群:
  管理集群服务
  管理服务上的RS

ipvsadm:

  程序包:ipvsadm
  Unit File: ipvsadm.service
  主程序:/usr/sbin/ipvsadm
  规则保存工具:/usr/sbin/ipvsadm-save
  规则重载工具:/usr/sbin/ipvsadm-restore
  配置文件:/etc/sysconfig/ipvsadm-config
ipvsadm命令
核心功能:

  • 集群服务管理:增、删、改
  • 集群服务的RS管理:增、删、改
  • 查看

  例:命令总结:

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pepersistence_engine] [-b sched-flags]
ipvsadm -D -t|u|f service-address 删除
ipvsadm –C 清空
ipvsadm –R 重载
ipvsadm -S [-n] 保存
ipvsadm -a|e -t|u|f service-address -r server-address [options]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
管理集群服务:增、改、删

  增、改:
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
  删除:
ipvsadm -D -t|u|f service-address
service-address: VIP
   -t|u|f:
   -t: TCP协议的端口,VIP:TCP_PORT
   -u: UDP协议的端口,VIP:UDP_PORT
   -f:firewall MARK,标记,一个数字
  [-s scheduler]:指定集群的调度算法,默认为wlc

管理集群上的RS:增、改、删

  增、改:
ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
  删:
ipvsadm -d -t|u|f service-address -r server-address server-address
  rip[:port] 如省略port,不作端口映射
选项:
  lvs类型:
  -g: gateway, dr类型,默认
  -i: ipip, tun类型
  -m: masquerade, nat类型
  -w weight:权重

  清空定义的所有内容:
ipvsadm –C
清空计数器:
ipvsadm -Z [-t|u|f service-address]

查看:

ipvsadm -L|l [options]
  –numeric, -n:以数字形式输出地址和端口号
  –exact:扩展信息,精确值
  –connection,-c:当前IPVS连接输出
  –stats:统计信息
  –rate :输出速率信息

ipvs规则:/proc/net/ip_vs
ipvs连接:/proc/net/ip_vs_conn

保存及重载规则

  保存:建议保存至/etc/sysconfig/ipvsadm
ipvsadm-save > /PATH/TO/IPVSADM_FILE
ipvsadm -S > /PATH/TO/IPVSADM_FILE
systemctl stop ipvsadm.service
  重载:
ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
systemctl restart ipvsadm.service

注意事项

负载均衡集群设计时要注意的问题
  (1) 是否需要会话保持
  (2) 是否需要共享存储
共享存储:NAS, SAN, DS(分布式存储)
数据同步:

lvs-nat:

设计要点:
  (1) RIP与DIP在同一IP网络, RIP的网关要指向DIP
  (2) 支持端口映射
  (3) Director要打开核心转发功能

LVS-DR

DR模型中各主机上均需要配置VIP,解决地址冲突的方式有三种:

  • (1) 在前端网关做静态绑定
  • (2) 在各RS使用arptables
  • (3) 在各RS修改内核参数,来限制arp响应和通告的级别
    限制响应级别:arp_ignore
    0:默认值,表示可使用本地任意接口上配置的任意地址进行响应
    1: 仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时,才给予响应
    限制通告级别:arp_announce
    0:默认值,把本机所有接口的所有信息向每个接口的网络进行通告
    1:尽量避免将接口信息向非直接连接网络进行通告
    2:必须避免将接口信息向非本网络进行通告
附:

  RS的配置脚本

    #!/bin/bash
    vip=10.0.0.100
    mask='255.255.255.255'
    dev=lo:1
    case $1 in
    start)
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ifconfig $dev $vip netmask $mask #broadcast $vip up
    #route add -host $vip dev $dev
    ;;
    stop)
    ifconfig $dev down
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ;;
    *)
    echo "Usage: $(basename $0) start|stop"
    exit 1
    ;;
    esac

  VS的配置脚本

#!/bin/bash
vip='10.0.0.100'
iface='lo:1'
mask='255.255.255.255'
port='80'
rs1='192.168.0.101'
rs2='192.168.0.102'
scheduler='wrr'
type='-g'
case $1 in
start)
ifconfig $iface $vip netmask $mask #broadcast $vip up
iptables -F
ipvsadm -A -t ${vip}:${port} -s $scheduler
ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1
ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1
;;
stop)
ipvsadm -C
ifconfig $iface down
;;
*)
echo "Usage $(basename $0) start|stop“
exit 1
esac

FireWall Mark

  FWM:FireWall Mark
  MARK target 可用于给特定的报文打标记
  –set-mark value
其中:value 可为0xffff格式,表示十六进制数字
  借助于防火墙标记来分类报文,而后基于标记定义集群服务;可将多个不同的应用使用同一个集群服务进行调度
  实现方法:
  在Director主机打标记:
iptables -t mangle -A PREROUTING -d $vip -p $proto –m multiport - -dports $port1,$port2,… -j MARK --set-mark NUMBER
  在Director主机基于标记定义集群服务:
ipvsadm -A -f NUMBER [options]

持久连接

  session 绑定:对共享同一组RS的多个集群服务,需要统一进行绑定,lvs sh算法无法实现
  持久连接( lvs persistence )模板:实现无论使用任何调度算法,在一段时间内(默认360s ),能够实现将来自同一个地址的请求始终发往同一个RS
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
  持久连接实现方式:
  每端口持久(PPC):每个端口定义为一个集群服务,每集群服务单独调度
  每防火墙标记持久(PFWMC):基于防火墙标记定义集群服务;可实现将多个端口上的应用统一调度,即所谓的port Affinity
  每客户端持久(PCC):基于0端口(表示所有服务)定义集群服务,即将客户端对所有应用的请求都调度至后端主机,必须定义为持久模式

LVS高可用性

  • Director不可用,整个系统将不可用;SPoF Single Point of Failure
      解决方案:高可用
      keepalived heartbeat/corosync
  • 某RS不可用时,Director依然会调度请求至此RS
      解决方案: 由Director对各RS健康状态进行检查,失败时禁用,成功时启用keepalived heartbeat/corosync ldirectord
      检测方式:
      (a) 网络层检测,icmp
      (b) 传输层检测,端口探测
      (c) 应用层检测,请求某关键资源
      RS全不用时:backup server, sorry server

ldirectord

  ldirectord:监控和控制LVS守护进程,可管理LVS规则
  包名:ldirectord-3.9.6-0rc1.1.1.x86_64.rpm
  下载:http://download.opensuse.org/repositories/network:/haclustering:/Stable/CentOS_CentOS-7/x86_64/
  文件:
  /etc/ha.d/ldirectord.cf 主配置文件
  /usr/share/doc/ldirectord-3.9.6/ldirectord.cf 配置模版
  /usr/lib/systemd/system/ldirectord.service 服务
  /usr/sbin/ldirectord 主程序,Perl实现
  /var/log/ldirectord.log 日志
  /var/run/ldirectord.ldirectord.pid pid文件

  Ldirectord配置文件示例

checktimeout=3
checkinterval=1
autoreload=yes
logfile=“/var/log/ldirectord.log“ #日志文件
quiescent=no   #down时yes权重为0,no为删除
virtual=5      #指定VS的FWM 或 IP:PORT
real=172.16.0.7:80 gate 2    #DR模型,权重为 2
real=172.16.0.8:80 gate 1
fallback=127.0.0.1:80 gate   #sorry server
service=http
scheduler=wrr
checktype=negotiate
checkport=80
request="index.html"
receive=“Test Ldirectord"

一个低调的男人