Linux Lvs负载均衡集群技术（二）

2024-04-26 15:38
文章标签 linux 集群 技术 负载 均衡 lvs

本文主要是介绍Linux Lvs负载均衡集群技术（二），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

转自：博客园“走自己的路”

1.6安装LVS软件
1.6.1 安装LVS的准备
1.6.1.1 需要三台服务器或VM虚拟主机
1、数据库及memcache等对内业务的负载均衡环境

管理IP地址

角色

备注

10.0.0.51

LVS（负载均衡器）

对外提供VIP 10.0.0.56

10.0.0.55

RS1（真实服务器）

 

10.0.0.57

RS2（真实服务器）

 

 

 

 

 

 

 

2、web服务或web cache等负载均衡环境

管理IP地址

内部IP地址

角色

备注

192.168.1.51

10.0.0.51

LVS（负载均衡器）

对外提供VIP 10.0.0.56

192.168.1.55

10.0.0.55

RS1（真实服务器）

 

192.168.1.57

10.0.0.57

RS2（真实服务器）

 

 

 

 

 

 

 

注意：将10网段为内网卡，192假设为外网卡。

1.6.1.2 LVS安装配置

复制代码 
#查看ip_vs是否在内核存在
[root@tty-lvs tools]# lsmod |grep ip_vs#查看系统版本
[root@tty-lvs tools]# cat /etc/redhat-release 
CentOS release 5.8 (Final)#查看系统内核号
[root@tty-lvs tools]# uname -r
2.6.18-308.el5#查看系统位
[root@tty-lvs tools]# uname -m
x86_64#做内核链接
[root@tty-lvs tools]# ln -s /usr/src/kernels/2.6.18-308.el5-x86_64/ /usr/src/linux
[root@tty-lvs tools]# ls -l /usr/src/ |grep linux
lrwxrwxrwx 1 root root   39 Aug  5 12:30 linux -> /usr/src/kernels/2.6.18-308.el5-x86_64/注意事项：
1、此ln命令的链接路径要和uname -r输出结果内核版本对应，工作中可能有多个内核路径。
2、如果没有/usr/src/kernels/2.6.18-308.el5-x86_64/，是因为缺少kernel-devel-2.6.18-308.el5软件包，可通过yum -y install kernel-devel 安装
---------------------------------------------------------------------------------------------------------------------------#进入软件目录
[root@tty-lvs ~]# cd /tools/#查看内核版本
[root@tty-lvs tools]# uname -r
2.6.18-308.el5#下载软件1.24
[root@tty-lvs tools]# wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz
--2013-08-05 12:24:03--  http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz
Resolving www.linuxvirtualserver.org... 69.56.251.119, 2001:470:1f0f:297::2
Connecting to www.linuxvirtualserver.org|69.56.251.119|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 36598 (36K) [application/x-gzip]
Saving to: `ipvsadm-1.24.tar.gz'

100%[===============================================================>] 36,598      --.-K/s   in 0.06s   2013-08-05 12:24:12 (578 KB/s) - `ipvsadm-1.24.tar.gz' saved [36598/36598]

[root@tty-lvs tools]# ls -l ipvsadm-1.24.tar.gz 
-rw-r--r-- 1 root root 36598 Dec 11  2005 ipvsadm-1.24.tar.gz
[root@tty-lvs tools]# tar zxf ipvsadm-1.24.tar.gz 
[root@tty-lvs tools]# cd ipvsadm-1.24
[root@tty-lvs ipvsadm-1.24]# make
[root@tty-lvs ipvsadm-1.24]# make install#检测安装是否成功
[root@tty-lvs ipvsadm-1.24]# echo $?
0
[root@tty-lvs ipvsadm-1.24]##启动ipvs，进行查看确认
[root@tty-lvs ipvsadm-1.24]# ipvsadm或者  modprobe ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
[root@tty-lvs ipvsadm-1.24]# lsmod |grep ip_vs
ip_vs                 122113  0提示：执行ipvsadm命令就会把ip_vs加载到内核中
提示：ipvsadm 1.26的版本适用于kernel 2.6.28之后的版本，若符合此环境yum install libnl* popt* -y安装依赖库。
复制代码

1.7手动配置LVS负载均衡服务-DR模式
1.7.1 手动添加LVS转发

复制代码 
1）用户访问：www.123456.com  -->vip：10.0.0.56 ==>这个步骤是在DNS里配置。
2）配置LVS虚拟IP（VIP）
[root@tty-lvs ipvsadm-1.24]# ifconfig eth0:0 10.0.0.56 netmask 255.255.255.0 up
[root@tty-lvs ipvsadm-1.24]# ifconfig eth0:0
eth0:0    Link encap:Ethernet  HWaddr 00:50:56:31:04:2E  inet addr:10.0.0.29  Bcast:10.0.0.255  Mask:255.255.255.0UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1-->非必须的（添加路由）
[root@tty-lvs ipvsadm-1.24]# route add -host 10.0.0.56 dev eth0
[root@tty-lvs ipvsadm-1.24]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
10.0.0.29       0.0.0.0         255.255.255.255 UH    0      0        0 eth0
10.0.0.0        0.0.0.0         255.255.255.0   U     0      0        0 eth0
169.254.0.0     0.0.0.0         255.255.0.0     U     0      0        0 eth0
0.0.0.0         10.0.0.2        0.0.0.0         UG    0      0        0 eth03）配置后的检查结果
ping 10.0.0.56查看是否通4）手工执行配置添加LVS服务并增加两台RS
#清空ipvs所有的表记录
[root@tty-lvs ipvsadm-1.24]# ipvsadm -C#设置超时参数：tcp tcpfin udp 
[root@tty-lvs ipvsadm-1.24]# ipvsadm --set 30 5 60#添加虚拟服务和负载算法: wrr 权重轮询 
[root@tty-lvs ipvsadm-1.24]# ipvsadm -A -t 10.0.0.56:80 -s wrr -p 20#查看添加的虚拟服务
[root@tty-lvs ipvsadm-1.24]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.0.0.56:80 wrr persistent 20#添加RS主机
[root@tty-lvs ipvsadm-1.24]# ipvsadm -a -t 10.0.0.56:80 -r 10.0.0.55:80 -g -w 1 
[root@tty-lvs ipvsadm-1.24]# ipvsadm -a -t 10.0.0.56:80 -r 10.0.0.57:80 -g -w 1 
[root@tty-lvs ipvsadm-1.24]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.0.0.29:80 wrr persistent 20-> 10.0.0.57:80                 Route   1      0          0  -> 10.0.0.55:80                 Route   1      0          0   [删除RS方法]
[root@tty-lvs ipvsadm-1.24]# ipvsadm -d -t 10.0.0.56:80 -r 10.0.0.55:80LB端配置command
ifconfig eth0:0 10.0.0.56 netmask 255.255.255.0 up
ifconfig eth0:0
route add -host 10.0.0.56 dev eth0:0
route -n
ipvsadm -C
ipvsadm --set 30 5 60
ipvsadm -A -t 10.0.0.56:80 -s wrr -p 20
ipvsadm -a -t 10.0.0.56:80 -r 10.0.0.55:80 -g -w 1
ipvsadm -a -t 10.0.0.56:80 -r 10.0.0.57:80 -g -w 1
ipvsadm -L -n
复制代码

1.7.2 手工在RS端绑定VIP

复制代码 
1、每台RS端执行
[root@tty-rs1 ~]# ifconfig lo:55 10.0.0.56 netmask 255.255.255.255 up    <==子网掩码为255.255.255.255
[root@tty-rs1 ~]# route add -host 10.0.0.56 dev lo[root@tty-rs2 ~]# ifconfig lo:57 10.0.0.56 netmask 255.255.255.255 up    <==子网掩码为255.255.255.255
[root@tty-rs2 ~]# route add -host 10.0.0.56 dev lo2、RS上执行抑制ARP响应方法如下：
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce RS端配置command
ifconfig lo:55 10.0.0.56 netmask 255.255.255.255 up
route add -host 10.0.0.56 dev lo
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announceifconfig lo:57 10.0.0.56 netmask 255.255.255.255 up
route add -host 10.0.0.56 dev lo
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
复制代码

1.7.3 脚本实现自动配置

复制代码 
LB自动化配置脚本
#!/bin/bash. /etc/init.d/functionsVIP=10.0.0.56RIP=(10.0.0.5510.0.0.57
)NETMASK=255.255.255.0
RETVAL=0IFCONFIG=/sbin/ifconfig
ROUTE=/sbin/route
IPVSADM=/sbin/ipvsadm
SUBETH=eth0:`echo $VIP|awk -F "." '{print $4}'`
PORT=80function checkCMD(){if [ $# -ne 1 ];thenecho "Usage: /bin/sh $0 {start|stop}"fi
}function checkSubnet(){$IFCONFIG |grep "$1"|wc -l
}function start_lvs(){#if [ $(checkSubnet $SUBETH) -ne 0 ];then#               $IFCONFIG $SUBETH down#fi$IFCONFIG $SUBETH $VIP netmask $NETMASK up$IPVSADM -C$IPVSADM --set 30 5 60$IPVSADM -A -t $VIP:$PORT -s wrr -p 20for((i=0;i<`echo ${#RIP[@]}`;i++))do$IPVSADM -a -t $VIP:$PORT -r ${RIP[$i]} -g -w 1doneRETVAL=$?[ $RETVAL -eq 0 ] && action "start lvs" /bin/true || action "start lvs" /bin/falsereturn $RETVAL
}function stop_lvs(){$IFCONFIG $SUBETH $VIP netmask $NETMASK down$IPVSADM -C$IPVSADM -ZRETVAL=$?[ $RETVAL -eq 0 ] && action "stop lvs" /bin/true || action "stop lvs" /bin/falsereturn $RETVAL
}case "$1" instart)start_lvs;;
stop)stop_lvs;;
*)checkCMD;;
esacRS自动化配置脚本
#!/bin/bash
. /etc/init.d/functionsRVIP=10.0.0.56
NETMASK=255.255.255.255
RETVAL=0case "$1" in
start)interface="lo:`echo $RVIP|awk -F . '{print $4}'`"/sbin/ifconfig $interface $RVIP netmask $NETMASK updoneecho "1" >/proc/sys/net/ipv4/conf/lo/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/lo/arp_announceecho "1" >/proc/sys/net/ipv4/conf/all/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/all/arp_announceRETVAL=$?[ $RETVAL -eq 0 ]&& action "Start LVS of RearServer" /bin/true || action "Start LVS of RearServer" /bin/false;;
stop)interface="lo:`echo $RVIP|awk -F . '{print $4}'`"/sbin/ifconfig $interface $RVIP netmask $NETMASK downdoneecho "0" >/proc/sys/net/ipv4/conf/lo/arp_ignoreecho "0" >/proc/sys/net/ipv4/conf/lo/arp_announceecho "0" >/proc/sys/net/ipv4/conf/all/arp_ignoreecho "0" >/proc/sys/net/ipv4/conf/all/arp_announceRETVAL=$?[ $RETVAL -eq 0 ]&& action "Stop LVS of RearServer" /bin/true || action "Stop LVS of RearServer" /bin/false;;
*)echo "Usage: $0 {start|stop}"exit 1
esacLB上对RS的健康检查脚本
#!/bin/bashVIP=10.0.0.56
RIP=(10.0.0.5510.0.0.57
)
PORT=80while true
dofor((i=0;i<`echo ${#RIP[@]}`;i++))doCOUNT=`nmap ${RIP[$i]} -p $PORT |grep open |wc -l`if [ $COUNT -eq 1 ]thenif [ `ipvsadm -L -n|grep ${RIP[$i]}|wc -l` -ne 1 ];thenipvsadm -a -t $VIP:$PORT -r ${RIP[$i]}:$PORTfielseif [ `ipvsadm -L -n|grep ${RIP[$i]}|wc -l` -eq 1 ];thenipvsadm -d -t $VIP:$PORT -r ${RIP[$i]}:$PORTfifidonesleep 2
done
复制代码

1.7.4 ARP抑制技术参数说明

复制代码 
arp_ignore:定义对目标地址为本地IP的ARP询问不同的应答模式0 0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应4-7 - 保留未使用8 -不回应所有（本地地址）的arp查询arp_announce:对网络接口上，本地IP地址的发出的，ARP回应，作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理. 2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.
复制代码

1.8 LVS负载均衡-附
1.8.1 手工实现LVS负载均衡器的高可用
　　高可用脑裂问题及解决方案
　　(1)、导致裂脑发生的原因
　　　　1.高可用服务器之间心跳链路故障，导致无法相互检查心跳
　　　　2.高可用服务器上开启了防火墙，阻挡了心跳检测
　　　　3.高可用服务器上网卡地址等信息配置不正常，导致发送心跳失败
　　　　4.其他服务配置不当等原因，如心跳方式不同，心跳广播冲突，软件BUG等
　　(2)、防止裂脑一些方案
　　　　1.加冗余线路
　　　　2.检测到裂脑时，强行关闭心跳检测(远程关闭主节点，控制电源的电路fence)
　　　　3.做好脑裂的监控报警
　　　　4.报警后，备节点在接管时设置比较长的时间去接管，给运维人员足够的时间去处理(人为处理)
　　　　5.启动磁盘锁，正在服务的一方锁住磁盘，裂脑发生时，让对方完全抢不走"共享磁盘资源"
　　磁盘锁存在的问题：
　　　　使用锁磁盘会有死锁的问题，如果占用共享磁盘的一方不主动"解锁"另一方就永远得不到共享磁盘，假如服务器节点突然死机或崩溃，就不可能执行解锁命令，备节点也就　　　　无法接管资源和服务了，有人在HA中设计了智能锁，正在提供服务的一方只在发现心跳全部断开时才会启用磁盘锁，平时就不上

1.8.2 常见的LVS负载均衡高可用解决方案
　　　　1.通过开发脚本解决
　　　　2.hearbeat+lvs+ldirectord脚本配置方案（复杂、不易控制）
　　　　　　heartbeat and ldirectord方案资料： 
　　　　　　http://www.linuxvirtualserver.org/docs/ha/heartbeat_ldirectord.html
　　　　　　http://www.linuxvirtualserver.org/docs/ha/ultramonkey.html
　　　　3.通过Redhat提供的工具piranha来配置LVS
　　　　　　The Piranha Solution ：http://www.linuxvirtualserver.org/docs/ha/piranha.html 
　　　　4.keepalived方案（推荐的当前最优方案）
　　　　　　http://www.keepalived.org/
　　　　　　The Keepalived Solution： http://www.linuxvirtualserver.org/docs/ha/keepalived.html 
　　　　5.其他 ...

1.8.3 LVS分发请求RS不均衡生产环境解决
　　　　①persistent <会话保持造成的原因>
　　　　②reload重启keepalived

　　其他导致负载均衡不均衡的原因可能有：
　　　　1.LVS自身的会话保持参数设置（-p 300， persistent 300）。优化：大公司尽量用cookie替代session。
　　　　2.LVS调度算法设置，例如：rr,wrr,wlc,lc,dh,sh算法。
　　　　3.后端RS节点的会话保持设置参数，例如：apache的keepalive参数。
　　　　4.访问量较少的情况，不均衡的现象更加明显。
　　　　5.用户请求时间长短，请求资源多少。

1.8.4 LVS故障排查理论
　　　　1.调度器上LVS调度规则及IP的正确性。
　　　　2.RS节点上VIP绑定和抑制的检查。

　　处理思路:1、对绑定的VIP进行实时监控，出问题报警或者自动处理后报警。 2、把绑定的VIP做成配置文件，例如：vim /etc/sysconfig/network-scripts/lo:0
　　ARP抑制的配置思路：
　　　　1.如果是单个VIP，那么可以用通过脚本传参arp_ignore/arp_announce设置为0；
　　　　2.如果RS端有多个VIP绑定，此时一定不要置0，即使是停止VIP绑定，也一定不要置0.
　　　　3.RS节点上自身提供服务的检查。
　　　　4.辅助工具有tcpdump,ping等。

分类: 负载均衡高可用

这篇关于Linux Lvs负载均衡集群技术（二）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/937979。

相关文章

防止Linux rm命令误操作的多场景防护方案与实践

防止Linux rm命令误操作的多场景防护方案与实践

《防止Linuxrm命令误操作的多场景防护方案与实践》在Linux系统中,rm命令是删除文件和目录的高效工具,但一旦误操作,如执行rm-rf/或rm-rf/*,极易导致系统数据灾难,本文针对不同场景... 目录引言理解 rm 命令及误操作风险rm 命令基础常见误操作案例防护方案使用 rm编程 别名及安全删除
阅读更多...
Linux下MySQL数据库定时备份脚本与Crontab配置教学

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定
阅读更多...
使用docker搭建嵌入式Linux开发环境

使用docker搭建嵌入式Linux开发环境

《使用docker搭建嵌入式Linux开发环境》本文主要介绍了使用docker搭建嵌入式Linux开发环境,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 目录1、前言2、安装docker3、编写容器管理脚本4、创建容器1、前言在日常开发全志、rk等不同
阅读更多...
linux系统上安装JDK8全过程

linux系统上安装JDK8全过程

《linux系统上安装JDK8全过程》文章介绍安装JDK的必要性及Linux下JDK8的安装步骤,包括卸载旧版本、下载解压、配置环境变量等,强调开发需JDK,运行可选JRE,现JDK已集成JRE... 目录为什么要安装jdk？1.查看linux系统是否有自带的jdk：2.下载jdk压缩包2.解压3.配置环境
阅读更多...
Linux搭建ftp服务器的步骤

Linux搭建ftp服务器的步骤

《Linux搭建ftp服务器的步骤》本文给大家分享Linux搭建ftp服务器的步骤,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录ftp搭建1：下载vsftpd工具2：下载客户端工具3：进入配置文件目录vsftpd.conf配置文件4:
阅读更多...
Redis中哨兵机制和集群的区别及说明

Redis中哨兵机制和集群的区别及说明

《Redis中哨兵机制和集群的区别及说明》Redis哨兵通过主从复制实现高可用,适用于中小规模数据；集群采用分布式分片,支持动态扩展,适合大规模数据,哨兵管理简单但扩展性弱,集群性能更强但架构复杂,根... 目录一、架构设计与节点角色1. 哨兵机制（Sentinel）2. 集群（Cluster）二、数据分片
阅读更多...
Linux实现查看某一端口是否开放

Linux实现查看某一端口是否开放

《Linux实现查看某一端口是否开放》文章介绍了三种检查端口6379是否开放的方法：通过lsof查看进程占用,用netstat区分TCP/UDP监听状态,以及用telnet测试远程连接可达性... 目录1、使用lsof 命令来查看端口是否开放2、使用netstat 命令来查看端口是否开放3、使用telnet
阅读更多...
Linux系统管理与进程任务管理方式

Linux系统管理与进程任务管理方式

《Linux系统管理与进程任务管理方式》本文系统讲解Linux管理核心技能,涵盖引导流程、服务控制（Systemd与GRUB2）、进程管理（前台/后台运行、工具使用）、计划任务（at/cron）及常用... 目录引言一、linux系统引导过程与服务控制1.1 系统引导的五个关键阶段1.2 GRUB2的进化优
阅读更多...
Python中高级文本模式匹配与查找技术指南

Python中高级文本模式匹配与查找技术指南

《Python中高级文本模式匹配与查找技术指南》文本处理是编程世界的永恒主题,而模式匹配则是文本处理的基石,本文将深度剖析PythonCookbook中的核心匹配技术,并结合实际工程案例展示其应用,希... 目录引言一、基础工具：字符串方法与序列匹配二、正则表达式：模式匹配的瑞士军刀2.1 re模块核心AP
阅读更多...
Linux查询服务器 IP 地址的命令详解

Linux查询服务器 IP 地址的命令详解

《Linux查询服务器IP地址的命令详解》在服务器管理和网络运维中,快速准确地获取服务器的IP地址是一项基本但至关重要的技能,下面我们来看看Linux中查询服务器IP的相关命令使用吧... 目录一、hostname 命令：简单高效的 IP 查询工具命令详解实际应用技巧注意事项二、ip 命令：新一代网络配置全
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2