Linux Lvs负载均衡集群技术（二）

2024-04-26 15:38
文章标签 linux 集群 技术 负载 均衡 lvs

本文主要是介绍Linux Lvs负载均衡集群技术（二），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

转自：博客园“走自己的路”

1.6安装LVS软件
1.6.1 安装LVS的准备
1.6.1.1 需要三台服务器或VM虚拟主机
1、数据库及memcache等对内业务的负载均衡环境

管理IP地址

角色

备注

10.0.0.51

LVS（负载均衡器）

对外提供VIP 10.0.0.56

10.0.0.55

RS1（真实服务器）

 

10.0.0.57

RS2（真实服务器）

 

 

 

 

 

 

 

2、web服务或web cache等负载均衡环境

管理IP地址

内部IP地址

角色

备注

192.168.1.51

10.0.0.51

LVS（负载均衡器）

对外提供VIP 10.0.0.56

192.168.1.55

10.0.0.55

RS1（真实服务器）

 

192.168.1.57

10.0.0.57

RS2（真实服务器）

 

 

 

 

 

 

 

注意：将10网段为内网卡，192假设为外网卡。

1.6.1.2 LVS安装配置

复制代码 
#查看ip_vs是否在内核存在
[root@tty-lvs tools]# lsmod |grep ip_vs#查看系统版本
[root@tty-lvs tools]# cat /etc/redhat-release 
CentOS release 5.8 (Final)#查看系统内核号
[root@tty-lvs tools]# uname -r
2.6.18-308.el5#查看系统位
[root@tty-lvs tools]# uname -m
x86_64#做内核链接
[root@tty-lvs tools]# ln -s /usr/src/kernels/2.6.18-308.el5-x86_64/ /usr/src/linux
[root@tty-lvs tools]# ls -l /usr/src/ |grep linux
lrwxrwxrwx 1 root root   39 Aug  5 12:30 linux -> /usr/src/kernels/2.6.18-308.el5-x86_64/注意事项：
1、此ln命令的链接路径要和uname -r输出结果内核版本对应，工作中可能有多个内核路径。
2、如果没有/usr/src/kernels/2.6.18-308.el5-x86_64/，是因为缺少kernel-devel-2.6.18-308.el5软件包，可通过yum -y install kernel-devel 安装
---------------------------------------------------------------------------------------------------------------------------#进入软件目录
[root@tty-lvs ~]# cd /tools/#查看内核版本
[root@tty-lvs tools]# uname -r
2.6.18-308.el5#下载软件1.24
[root@tty-lvs tools]# wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz
--2013-08-05 12:24:03--  http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz
Resolving www.linuxvirtualserver.org... 69.56.251.119, 2001:470:1f0f:297::2
Connecting to www.linuxvirtualserver.org|69.56.251.119|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 36598 (36K) [application/x-gzip]
Saving to: `ipvsadm-1.24.tar.gz'

100%[===============================================================>] 36,598      --.-K/s   in 0.06s   2013-08-05 12:24:12 (578 KB/s) - `ipvsadm-1.24.tar.gz' saved [36598/36598]

[root@tty-lvs tools]# ls -l ipvsadm-1.24.tar.gz 
-rw-r--r-- 1 root root 36598 Dec 11  2005 ipvsadm-1.24.tar.gz
[root@tty-lvs tools]# tar zxf ipvsadm-1.24.tar.gz 
[root@tty-lvs tools]# cd ipvsadm-1.24
[root@tty-lvs ipvsadm-1.24]# make
[root@tty-lvs ipvsadm-1.24]# make install#检测安装是否成功
[root@tty-lvs ipvsadm-1.24]# echo $?
0
[root@tty-lvs ipvsadm-1.24]##启动ipvs，进行查看确认
[root@tty-lvs ipvsadm-1.24]# ipvsadm或者  modprobe ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
[root@tty-lvs ipvsadm-1.24]# lsmod |grep ip_vs
ip_vs                 122113  0提示：执行ipvsadm命令就会把ip_vs加载到内核中
提示：ipvsadm 1.26的版本适用于kernel 2.6.28之后的版本，若符合此环境yum install libnl* popt* -y安装依赖库。
复制代码

1.7手动配置LVS负载均衡服务-DR模式
1.7.1 手动添加LVS转发

复制代码 
1）用户访问：www.123456.com  -->vip：10.0.0.56 ==>这个步骤是在DNS里配置。
2）配置LVS虚拟IP（VIP）
[root@tty-lvs ipvsadm-1.24]# ifconfig eth0:0 10.0.0.56 netmask 255.255.255.0 up
[root@tty-lvs ipvsadm-1.24]# ifconfig eth0:0
eth0:0    Link encap:Ethernet  HWaddr 00:50:56:31:04:2E  inet addr:10.0.0.29  Bcast:10.0.0.255  Mask:255.255.255.0UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1-->非必须的（添加路由）
[root@tty-lvs ipvsadm-1.24]# route add -host 10.0.0.56 dev eth0
[root@tty-lvs ipvsadm-1.24]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
10.0.0.29       0.0.0.0         255.255.255.255 UH    0      0        0 eth0
10.0.0.0        0.0.0.0         255.255.255.0   U     0      0        0 eth0
169.254.0.0     0.0.0.0         255.255.0.0     U     0      0        0 eth0
0.0.0.0         10.0.0.2        0.0.0.0         UG    0      0        0 eth03）配置后的检查结果
ping 10.0.0.56查看是否通4）手工执行配置添加LVS服务并增加两台RS
#清空ipvs所有的表记录
[root@tty-lvs ipvsadm-1.24]# ipvsadm -C#设置超时参数：tcp tcpfin udp 
[root@tty-lvs ipvsadm-1.24]# ipvsadm --set 30 5 60#添加虚拟服务和负载算法: wrr 权重轮询 
[root@tty-lvs ipvsadm-1.24]# ipvsadm -A -t 10.0.0.56:80 -s wrr -p 20#查看添加的虚拟服务
[root@tty-lvs ipvsadm-1.24]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.0.0.56:80 wrr persistent 20#添加RS主机
[root@tty-lvs ipvsadm-1.24]# ipvsadm -a -t 10.0.0.56:80 -r 10.0.0.55:80 -g -w 1 
[root@tty-lvs ipvsadm-1.24]# ipvsadm -a -t 10.0.0.56:80 -r 10.0.0.57:80 -g -w 1 
[root@tty-lvs ipvsadm-1.24]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.0.0.29:80 wrr persistent 20-> 10.0.0.57:80                 Route   1      0          0  -> 10.0.0.55:80                 Route   1      0          0   [删除RS方法]
[root@tty-lvs ipvsadm-1.24]# ipvsadm -d -t 10.0.0.56:80 -r 10.0.0.55:80LB端配置command
ifconfig eth0:0 10.0.0.56 netmask 255.255.255.0 up
ifconfig eth0:0
route add -host 10.0.0.56 dev eth0:0
route -n
ipvsadm -C
ipvsadm --set 30 5 60
ipvsadm -A -t 10.0.0.56:80 -s wrr -p 20
ipvsadm -a -t 10.0.0.56:80 -r 10.0.0.55:80 -g -w 1
ipvsadm -a -t 10.0.0.56:80 -r 10.0.0.57:80 -g -w 1
ipvsadm -L -n
复制代码

1.7.2 手工在RS端绑定VIP

复制代码 
1、每台RS端执行
[root@tty-rs1 ~]# ifconfig lo:55 10.0.0.56 netmask 255.255.255.255 up    <==子网掩码为255.255.255.255
[root@tty-rs1 ~]# route add -host 10.0.0.56 dev lo[root@tty-rs2 ~]# ifconfig lo:57 10.0.0.56 netmask 255.255.255.255 up    <==子网掩码为255.255.255.255
[root@tty-rs2 ~]# route add -host 10.0.0.56 dev lo2、RS上执行抑制ARP响应方法如下：
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce RS端配置command
ifconfig lo:55 10.0.0.56 netmask 255.255.255.255 up
route add -host 10.0.0.56 dev lo
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announceifconfig lo:57 10.0.0.56 netmask 255.255.255.255 up
route add -host 10.0.0.56 dev lo
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
复制代码

1.7.3 脚本实现自动配置

复制代码 
LB自动化配置脚本
#!/bin/bash. /etc/init.d/functionsVIP=10.0.0.56RIP=(10.0.0.5510.0.0.57
)NETMASK=255.255.255.0
RETVAL=0IFCONFIG=/sbin/ifconfig
ROUTE=/sbin/route
IPVSADM=/sbin/ipvsadm
SUBETH=eth0:`echo $VIP|awk -F "." '{print $4}'`
PORT=80function checkCMD(){if [ $# -ne 1 ];thenecho "Usage: /bin/sh $0 {start|stop}"fi
}function checkSubnet(){$IFCONFIG |grep "$1"|wc -l
}function start_lvs(){#if [ $(checkSubnet $SUBETH) -ne 0 ];then#               $IFCONFIG $SUBETH down#fi$IFCONFIG $SUBETH $VIP netmask $NETMASK up$IPVSADM -C$IPVSADM --set 30 5 60$IPVSADM -A -t $VIP:$PORT -s wrr -p 20for((i=0;i<`echo ${#RIP[@]}`;i++))do$IPVSADM -a -t $VIP:$PORT -r ${RIP[$i]} -g -w 1doneRETVAL=$?[ $RETVAL -eq 0 ] && action "start lvs" /bin/true || action "start lvs" /bin/falsereturn $RETVAL
}function stop_lvs(){$IFCONFIG $SUBETH $VIP netmask $NETMASK down$IPVSADM -C$IPVSADM -ZRETVAL=$?[ $RETVAL -eq 0 ] && action "stop lvs" /bin/true || action "stop lvs" /bin/falsereturn $RETVAL
}case "$1" instart)start_lvs;;
stop)stop_lvs;;
*)checkCMD;;
esacRS自动化配置脚本
#!/bin/bash
. /etc/init.d/functionsRVIP=10.0.0.56
NETMASK=255.255.255.255
RETVAL=0case "$1" in
start)interface="lo:`echo $RVIP|awk -F . '{print $4}'`"/sbin/ifconfig $interface $RVIP netmask $NETMASK updoneecho "1" >/proc/sys/net/ipv4/conf/lo/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/lo/arp_announceecho "1" >/proc/sys/net/ipv4/conf/all/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/all/arp_announceRETVAL=$?[ $RETVAL -eq 0 ]&& action "Start LVS of RearServer" /bin/true || action "Start LVS of RearServer" /bin/false;;
stop)interface="lo:`echo $RVIP|awk -F . '{print $4}'`"/sbin/ifconfig $interface $RVIP netmask $NETMASK downdoneecho "0" >/proc/sys/net/ipv4/conf/lo/arp_ignoreecho "0" >/proc/sys/net/ipv4/conf/lo/arp_announceecho "0" >/proc/sys/net/ipv4/conf/all/arp_ignoreecho "0" >/proc/sys/net/ipv4/conf/all/arp_announceRETVAL=$?[ $RETVAL -eq 0 ]&& action "Stop LVS of RearServer" /bin/true || action "Stop LVS of RearServer" /bin/false;;
*)echo "Usage: $0 {start|stop}"exit 1
esacLB上对RS的健康检查脚本
#!/bin/bashVIP=10.0.0.56
RIP=(10.0.0.5510.0.0.57
)
PORT=80while true
dofor((i=0;i<`echo ${#RIP[@]}`;i++))doCOUNT=`nmap ${RIP[$i]} -p $PORT |grep open |wc -l`if [ $COUNT -eq 1 ]thenif [ `ipvsadm -L -n|grep ${RIP[$i]}|wc -l` -ne 1 ];thenipvsadm -a -t $VIP:$PORT -r ${RIP[$i]}:$PORTfielseif [ `ipvsadm -L -n|grep ${RIP[$i]}|wc -l` -eq 1 ];thenipvsadm -d -t $VIP:$PORT -r ${RIP[$i]}:$PORTfifidonesleep 2
done
复制代码

1.7.4 ARP抑制技术参数说明

复制代码 
arp_ignore:定义对目标地址为本地IP的ARP询问不同的应答模式0 0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应4-7 - 保留未使用8 -不回应所有（本地地址）的arp查询arp_announce:对网络接口上，本地IP地址的发出的，ARP回应，作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理. 2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.
复制代码

1.8 LVS负载均衡-附
1.8.1 手工实现LVS负载均衡器的高可用
　　高可用脑裂问题及解决方案
　　(1)、导致裂脑发生的原因
　　　　1.高可用服务器之间心跳链路故障，导致无法相互检查心跳
　　　　2.高可用服务器上开启了防火墙，阻挡了心跳检测
　　　　3.高可用服务器上网卡地址等信息配置不正常，导致发送心跳失败
　　　　4.其他服务配置不当等原因，如心跳方式不同，心跳广播冲突，软件BUG等
　　(2)、防止裂脑一些方案
　　　　1.加冗余线路
　　　　2.检测到裂脑时，强行关闭心跳检测(远程关闭主节点，控制电源的电路fence)
　　　　3.做好脑裂的监控报警
　　　　4.报警后，备节点在接管时设置比较长的时间去接管，给运维人员足够的时间去处理(人为处理)
　　　　5.启动磁盘锁，正在服务的一方锁住磁盘，裂脑发生时，让对方完全抢不走"共享磁盘资源"
　　磁盘锁存在的问题：
　　　　使用锁磁盘会有死锁的问题，如果占用共享磁盘的一方不主动"解锁"另一方就永远得不到共享磁盘，假如服务器节点突然死机或崩溃，就不可能执行解锁命令，备节点也就　　　　无法接管资源和服务了，有人在HA中设计了智能锁，正在提供服务的一方只在发现心跳全部断开时才会启用磁盘锁，平时就不上

1.8.2 常见的LVS负载均衡高可用解决方案
　　　　1.通过开发脚本解决
　　　　2.hearbeat+lvs+ldirectord脚本配置方案（复杂、不易控制）
　　　　　　heartbeat and ldirectord方案资料： 
　　　　　　http://www.linuxvirtualserver.org/docs/ha/heartbeat_ldirectord.html
　　　　　　http://www.linuxvirtualserver.org/docs/ha/ultramonkey.html
　　　　3.通过Redhat提供的工具piranha来配置LVS
　　　　　　The Piranha Solution ：http://www.linuxvirtualserver.org/docs/ha/piranha.html 
　　　　4.keepalived方案（推荐的当前最优方案）
　　　　　　http://www.keepalived.org/
　　　　　　The Keepalived Solution： http://www.linuxvirtualserver.org/docs/ha/keepalived.html 
　　　　5.其他 ...

1.8.3 LVS分发请求RS不均衡生产环境解决
　　　　①persistent <会话保持造成的原因>
　　　　②reload重启keepalived

　　其他导致负载均衡不均衡的原因可能有：
　　　　1.LVS自身的会话保持参数设置（-p 300， persistent 300）。优化：大公司尽量用cookie替代session。
　　　　2.LVS调度算法设置，例如：rr,wrr,wlc,lc,dh,sh算法。
　　　　3.后端RS节点的会话保持设置参数，例如：apache的keepalive参数。
　　　　4.访问量较少的情况，不均衡的现象更加明显。
　　　　5.用户请求时间长短，请求资源多少。

1.8.4 LVS故障排查理论
　　　　1.调度器上LVS调度规则及IP的正确性。
　　　　2.RS节点上VIP绑定和抑制的检查。

　　处理思路:1、对绑定的VIP进行实时监控，出问题报警或者自动处理后报警。 2、把绑定的VIP做成配置文件，例如：vim /etc/sysconfig/network-scripts/lo:0
　　ARP抑制的配置思路：
　　　　1.如果是单个VIP，那么可以用通过脚本传参arp_ignore/arp_announce设置为0；
　　　　2.如果RS端有多个VIP绑定，此时一定不要置0，即使是停止VIP绑定，也一定不要置0.
　　　　3.RS节点上自身提供服务的检查。
　　　　4.辅助工具有tcpdump,ping等。

分类: 负载均衡高可用

这篇关于Linux Lvs负载均衡集群技术（二）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/937979。

相关文章

Linux中压缩、网络传输与系统监控工具的使用完整指南

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压：数据存储与传输的优化核心1. zip/unzip：通用压缩格式的便捷操作2.
阅读更多...
Linux中SSH服务配置的全面指南

Linux中SSH服务配置的全面指南

《Linux中SSH服务配置的全面指南》作为网络安全工程师,SSH（SecureShell）服务的安全配置是我们日常工作中不可忽视的重要环节,本文将从基础配置到高级安全加固,全面解析SSH服务的各项参... 目录概述基础配置详解端口与监听设置主机密钥配置认证机制强化禁用密码认证禁止root直接登录实现双因素
阅读更多...
在Linux终端中统计非二进制文件行数的实现方法

在Linux终端中统计非二进制文件行数的实现方法

《在Linux终端中统计非二进制文件行数的实现方法》在Linux系统中,有时需要统计非二进制文件（如CSV、TXT文件）的行数,而不希望手动打开文件进行查看,例如,在处理大型日志文件、数据文件时,了解... 目录在linux终端中统计非二进制文件的行数技术背景实现步骤1. 使用wc命令2. 使用grep命令
阅读更多...
Linux如何快速检查服务器的硬件配置和性能指标

Linux如何快速检查服务器的硬件配置和性能指标

《Linux如何快速检查服务器的硬件配置和性能指标》在运维和开发工作中,我们经常需要快速检查Linux服务器的硬件配置和性能指标,本文将以CentOS为例,介绍如何通过命令行快速获取这些关键信息,... 目录引言一、查询CPU核心数编程（几C？）1. 使用 nproc（最简单）2. 使用 lscpu（详细信
阅读更多...
linux重启命令有哪些? 7个实用的Linux系统重启命令汇总

linux重启命令有哪些? 7个实用的Linux系统重启命令汇总

《linux重启命令有哪些?7个实用的Linux系统重启命令汇总》Linux系统提供了多种重启命令，常用的包括shutdown-r、reboot、init6等，不同命令适用于不同场景，本文将详细... 在管理和维护 linux 服务器时，完成系统更新、故障排查或日常维护后，重启系统往往是必不可少的步骤。本文
阅读更多...
Redis分片集群、数据读写规则问题小结

Redis分片集群、数据读写规则问题小结

《Redis分片集群、数据读写规则问题小结》本文介绍了Redis分片集群的原理,通过数据分片和哈希槽机制解决单机内存限制与写瓶颈问题,实现分布式存储和高并发处理,但存在通信开销大、维护复杂及对事务支持... 目录一、分片集群解android决的问题二、分片集群图解 分片集群特征如何解决的上述问题？（与哨兵模
阅读更多...
Qt如何实现文本编辑器光标高亮技术

Qt如何实现文本编辑器光标高亮技术

《Qt如何实现文本编辑器光标高亮技术》这篇文章主要为大家详细介绍了Qt如何实现文本编辑器光标高亮技术,文中的示例代码讲解详细,具有一定的借鉴价值,有需要的小伙伴可以了解下... 目录实现代码函数作用概述代码详解 + 注释使用 QTextEdit 的高亮技术（重点）总结用到的关键技术点应用场景举例示例优化建议
阅读更多...
SpringBoot连接Redis集群教程

SpringBoot连接Redis集群教程

《SpringBoot连接Redis集群教程》：本文主要介绍SpringBoot连接Redis集群教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 依赖2. 修改配置文件3. 创建RedisClusterConfig4. 测试总结1. 依赖 <de
阅读更多...
基于Linux的ffmpeg python的关键帧抽取

基于Linux的ffmpeg python的关键帧抽取

《基于Linux的ffmpegpython的关键帧抽取》本文主要介绍了基于Linux的ffmpegpython的关键帧抽取,实现以按帧或时间间隔抽取关键帧,文中通过示例代码介绍的非常详细,对大家的学... 目录1.FFmpeg的环境配置1) 创建一个虚拟环境envjavascript2) ffmpeg-py
阅读更多...
Linux脚本(shell)的使用方式

Linux脚本(shell)的使用方式

《Linux脚本(shell)的使用方式》：本文主要介绍Linux脚本(shell)的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录概述语法详解数学运算表达式Shell变量变量分类环境变量Shell内部变量自定义变量：定义、赋值自定义变量：引用、修改、删
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2