架构设计负载均衡层设计方案7.docx
- 文档编号:29252327
- 上传时间:2023-07-21
- 格式:DOCX
- 页数:13
- 大小:19.96KB
架构设计负载均衡层设计方案7.docx
《架构设计负载均衡层设计方案7.docx》由会员分享,可在线阅读,更多相关《架构设计负载均衡层设计方案7.docx(13页珍藏版)》请在冰豆网上搜索。
架构设计负载均衡层设计方案7
架构设计:
负载均衡层设计方案(7)
1、概述
上篇文章《架构设计:
负载均衡层设计方案(6)——Nginx+Keepalived构建高可用的负载层》(我们讲解了Nginx的故障切换,并且承诺各位读者会尽快讲解LVS+Keepalived+Nginx的安装和配置。
在中间由于工作的原因,我又插写了三篇关于zookeeper的原理使用的文章。
今天这边文章我们回归主题,为各位读者讲解LVS+Keepalived+Nginx的安装及配置。
2、安装计划和准备工作
下图,我们表示了本篇文章要搭建的整个集成架构的抽象结构:
我们采用两个LVS节点(141和142),但是一个时间工作的只有一个LVS节点,另一个始终处于热备standby状态,由keepalived监控这两个节点的工作状态并完成切换。
在LVS节点下,我们采用LVS-DR工作模式挂载了两个Nginx节点(131、132)。
并最终将外网请求交由这两个节点进行处理。
注意:
在实际工作中,Nginx下面一般就是访问静态资源、动态资源的配置了。
2-1、准备两个keepalived节点
首先我们在将要安装LVS的两个节点上,先安装keepalived,并保证这两个keepalived节点能够正常工作(监控批次的状态)。
当然,您也可以先准备LVS,在准备keepalived。
我想准备keepalived节点,大家应该轻车熟路了吧,在《架构设计:
负载均衡层设计方案(6)——Nginx+Keepalived构建高可用的负载层》这篇文章中详细介绍了keepalived的最简配置方式。
为了大家阅读方便,我们在这里再进行依次简要说明。
准备keepalived的整个过程包括:
安装必要的支撑组件,源码安装keepalived
将keepalived注册成节点的服务,以便保证keepalived在节点启动时就开始工作
更改keepalived的配置文件,让其可以正常工作
验证准备工作
=============安装keepalived
[root@lvs1~]#yuminstall-yzlibzlib-develgccgcc-c++opensslopenssl-developenssh
[root@lvs1~]#tar-zxvfkeepalived-1.2.17.tar.gz
[root@lvs1~]#cdkeepalived-1.2.17
[root@lvs1~]#./configure--perfix=/usr/keepalived-1.2.17
[root@lvs1~]#make&makeinstall12345
=============将keepalived注册成服务(如果您使用的默认路径安装,就不需要cp命令了)
[root@lvs1~]#cp/usr/keepalived-1.2.17/etc/sysconfig/keepalived/etc/sysconfig/keepalived
[root@lvs1~]#cp/usr/keepalived-1.2.17/sbin/keepalived/usr/sbin/keepalived
[root@lvs1~]#cp/usr/keepalived-1.2.17/etc/rc.d/init.d/keepalived/etc/rc.d/init.d/keepalived
[root@lvs1~]#mkdir/etc/keepalived
[root@lvs1~]#cp/usr/keepalived-1.2.17/etc/keepalived/keepalived.conf/etc/keepalived/keepalived.conf
[root@lvs1~]#可以做成服务了(不要拷贝,没用的)
[root@lvs1~]#chkconfigkeepalivedon1234567
做成服务后,先不要急着启动,因为配置文件还没有改好。
========配置keepalived(配置文件在:
/etc/keepalived/keepalived.conf)
!
ConfigurationFileforkeepalived
global_defs{
#notification_email{
#acassen@firewall.loc
#failover@firewall.loc
#sysadmin@firewall.loc
#}
#notification_email_fromAlexandre.Cassen@firewall.loc
#smtp_server192.168.200.1
#smtp_connect_timeout30
router_idLVS_DEVEL
}
vrrp_instanceVI_1{
#141节点设置为MASTER,142或者还有其他的节点设置为BACKUP
#还记得我们前面文章讲到的无抢占设置吗?
这里也可以用哦。
stateMASTER
#网络适配器名称
interfaceeth0
virtual_router_id51
#所有的SLAVE节点的优先级都要比这个设置值低
priority120
advert_int1
#真实ip,142要改成相应的lvs节点真实ip
mcast_src_ip=192.168.220.141
authentication{
auth_typePASS
auth_pass1111
}
#虚拟/浮动IP
virtual_ipaddress{
192.168.220.140
}
}1234567891011121314151617181920212223242526272829303132333435
以上配置还是最简单的keepalived配置,因为我们还没有加上配合LVS使用的虚拟ip监测设置和下层真实ip监测的设置。
最简配置主要是为了保证keepalived节点是工作正常的。
将以上的配置分别对应到LVS的两个节点(注意要改动的地方哦)
==========进行keepalived工作状态的检查:
[root@lvs1~]#/etc/init.d/keepalivedstart1
现在设置为MASTER的keepalived节点(或者在非抢占模式下,优先级最高的那个节点),已经绑定了140这个虚拟ip了:
[root@lvs2~]#ipaddr
1:
lo:
mtu16436qdiscnoqueuestateUNKNOWN
link/loopback00:
00:
00:
00:
00:
00brd00:
00:
00:
00:
00:
00
inet127.0.0.1/8scopehostlo
inet6:
:
1/128scopehost
valid_lftforeverpreferred_lftforever
2:
eth0:
mtu1500qdiscpfifo_faststateUPqlen1000
link/ether00:
0c:
29:
39:
75:
9fbrdff:
ff:
ff:
ff:
ff:
ff
inet192.168.220.141/24brd192.168.220.255scopeglobaleth0
inet192.168.220.140/32scopeglobaleth0
inet6fe80:
:
20c:
29ff:
fe39:
759f/64scopelink
valid_lftforeverpreferred_lftforever123456789101112
当然您也可以通过/var/log/message的日志进行keepalived是否正常工作的验证。
2-2、继续两个keepalived节点上准备LVS
准备lvs的工作就太简单了,因为centos6.4、6.5、6.6都已经集成了LVS的核心,我们只需要安装LVS的管理工具就行了:
两个LVS节点都执行:
yum-yinstallipvsadm1
还记得lvs管理工具怎么使用吗?
请参见我介绍LVS单节点安装的博文:
《架构设计:
负载均衡层设计方案(5)——LVS单节点安装》。
这里为了方便阅读,给出主要参数的含义列表:
-A–add-service在内核的虚拟服务器表中添加一条新的虚拟服务器记录。
也就是增加一台新的虚拟服务器。
-E–edit-service编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D–delete-service删除内核虚拟服务器表中的一条虚拟服务器记录。
-C–clear清除内核虚拟服务器表中的所有记录。
-R–restore恢复虚拟服务器规则
-S–save保存虚拟服务器规则,输出为-R选项可读的格式
-a–add-server在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。
也就是在一个虚拟服务器中增加一台新的真实服务器
-e–edit-server编辑一条虚拟服务器记录中的某条真实服务器记录
-d–delete-server删除一条虚拟服务器记录中的某条真实服务器记录
-L–list显示内核虚拟服务器表
-Z–zero虚拟服务表计数器清零(清空当前的连接数量等)
–settcptcpfinudp设置连接超时值
–start-daemon启动同步守护进程。
他后面可以是master或backup,用来说明LVSRouter是master或是backup。
在这个功能上也可以采用keepalived的VRRP功能。
–stop-daemon停止同步守护进程
-t–tcp-serviceservice-address说明虚拟服务器提供的是tcp的服务[vip:
port]or[real-server-ip:
port]
-u–udp-serviceservice-address说明虚拟服务器提供的是udp的服务[vip:
port]or[real-server-ip:
port]
-f–fwmark-servicefwmark说明是经过iptables标记过的服务类型。
-s–schedulerscheduler使用的调度算法,选项:
rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,默认的调度算法是:
wlc.
-p–persistent[timeout]持久稳固的服务。
这个选项的意思是来自同一个客户的多次请求,将被同一台真实的服务器处理。
timeout的默认值为300秒。
-M–netmasknetmaskpersistentgranularitymask
-r–real-serverserver-address真实的服务器[Real-Server:
port]
-g–gatewaying指定LVS的工作模式为直接路由模式DR模式(也是LVS默认的模式)
-i–ipip指定LVS的工作模式为隧道模式
-m–masquerading指定LVS的工作模式为NAT模式
-w–weightweight真实服务器的权值
–mcast-interfaceinterface指定组播的同步接口
–connection显示LVS目前的连接如:
ipvsadm-L-c
–timeout显示tcptcpfinudp的timeout值如:
ipvsadm-L–timeout
–daemon显示同步守护进程状态
–stats显示统计信息
–rate显示速率信息
–sort对虚拟服务器和真实服务器排序输出
–numeric-n输出IP地址和端口的数字形式123456789101112131415161718192021222324252627282930313233
到后面正式启动LVS的时候,就不要问我参数含义咯。
^_^
2-3、准备两个Nginx节点并保证可用
在《架构设计:
负载均衡层设计方案(5)——LVS单节点安装》(这篇文章中,我们详细讲解了Nginx节点的准备工作,但是为了方便各位读者阅读,这里我们大致再讲一下。
Nginx节点的准备工作主要由以下步骤构成(这个不是本文的重点,点到即可):
安装Nginx(当然,正式系统中,还涉及到Nginx的参数调优,可以参见《架构设计:
负载均衡层设计方案
(2)——Nginx安装》这篇文章)
打开Nginx所在服务器的“路由”功能、关闭“ARP查询”功能
将VIP:
192.168.220.140设置成Nginx所在节点的回环IP
=============安装Nginx
[root@vm1~]#yum-yinstallmakezlibzlib-develgccgcc-c++sshlibtool
[root@vm1~]#下载nginx(别拷贝,不能执行的)
[root@vm1~]#解压nginx(别拷贝,不能执行的)
[root@vm1~]#./configure–prefix=/usr/nginx-1.8.0
[root@vm1~]#make&&makeinstall
[root@vm1~]#设置环境变量(别拷贝,不能执行的)
[root@vm1~]#启动nginx1234567
=============打开Nginx所在服务器的“路由”功能、关闭“ARP查询”功能
[root@vm1~]#echo"1">/proc/sys/net/ipv4/conf/lo/arp_ignore
[root@vm1~]#echo"2">/proc/sys/net/ipv4/conf/lo/arp_announce
[root@vm1~]#echo"1">/proc/sys/net/ipv4/conf/all/arp_ignore
[root@vm1~]#echo"2">/proc/sys/net/ipv4/conf/all/arp_announce1234
=============设置回环IP
[root@vm1~]#ifconfiglo:
0192.168.220.140broadcast192.168.220.140netmask255.255.255.255up
[root@vm1~]#routeadd-host192.168.220.140devlo:
012
两台Nginx的节点都按照这样的方法去设置。
然后使用浏览器,看看这两个节点的Nginx是否工作正常:
=====
2-4、其他说明
keepalived和LVS是天生配合完美的一对,LVS负责进行请求转发不负责任何节点的健康监测;keepalived负责监控整个环境中,包括虚拟ip,真实ip对应的下层节点的健康状态监测。
3、开始配置:
LVS-DR工作模式
3-1、keepalived的更改——健康监测
首先我们要更改之前配置的“最简keepalived”配置,让keepalived能够对结构中所有节点和虚拟ip的健康状态进行监测。
更改配置和含义如下:
!
ConfigurationFileforkeepalived
global_defs{
#notification_email{
#acassen@firewall.loc
#failover@firewall.loc
#sysadmin@firewall.loc
#}
#notification_email_fromAlexandre.Cassen@firewall.loc
#smtp_server192.168.200.1
#smtp_connect_timeout30
router_idLVS_DEVEL
}
vrrp_instanceVI_1{
#141节点设置为MASTER,142或者还有其他的节点设置为BACKUP
#还记得我们前面文章讲到的无抢占设置吗?
这里也可以用哦。
stateMASTER
#网络适配器名称
interfaceeth0
virtual_router_id51
#所有的SLAVE节点的优先级都要比这个设置值低
priority120
advert_int1
#真实ip,142要改成相应的lvs节点真实ip
mcast_src_ip=192.168.220.141
authentication{
auth_typePASS
auth_pass1111
}
#虚拟/浮动IP
virtual_ipaddress{
192.168.220.140
}
}
virtual_server192.168.220.14080{
#健康时间检查,单位秒
delay_loop6
#负载均衡调度算法wlc|rr,和您将使用的LVS的调度算法保持原则一致
lb_algorr
#负载均衡转发规则DRNATTUN。
和您将启动的LVS的工作模式设置一致
lb_kindDR
#虚拟地址的子网掩码
nat_mask255.255.255.0
#会话保持时间,因为我们经常使用的是无状态的集群架构,所以这个设置可有可无
#persistence_timeout50
#转发协议,当然是TCP
protocolTCP
#真实的下层Nginx节点的健康监测
real_server192.168.220.13180{
#节点权重,
weight10
#设置检查方式,可以设置HTTP_GET|SSL_GET
HTTP_GET{
url{
path/
digestff20ad2481f97b1754ef3e12ecd3a9cc
}
#超时时间,秒。
如果在这个时间内没有返回,则说明一次监测失败
connect_timeout3
#设置多少次监测失败,就认为这个真实节点死掉了
nb_get_retry3
#重试间隔
delay_before_retry3
}
}
real_server192.168.220.13280{
weight10
HTTP_GET{
url{
path/
digest640205b7b0fc66c1ea91c463fac6334d
}
connect_timeout3
nb_get_retry3
delay_before_retry3
}
}
}12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182
这样一来,keepalived就可以检查整个架构中的所有节点状态了。
另外要说明的是,这个检查过程并不是必须的,您使用keepalived的最简配置也是可以的,不过您就需要自己写监测脚本了(道理是一样的)。
3-2、启动两个LVS节点
启动LVS的过程就太简单了(两个节点都是一样的启动方式):
[root@lvs2~]#ipvsadm-C
[root@lvs2~]#ipvsadm-At192.168.220.140:
80-srr
[root@lvs2~]#ipvsadm-at192.168.220.140:
80-r192.168.220.131-g
[root@lvs2~]#ipvsadm-at192.168.220.140:
80-r192.168.220.132-g
[root@lvs2~]#然后我们可以使用ipvsadm监控目前LVS的状态
[root@lvs2~]#ipvsadm123456
注意:
处于standby的lvs1节点也要这样进行设置。
还有,以上的LVS的设置,和realserver上的设置,在重启后都会消失,所以一定要做成脚本哦。
4、验证工作
这样LVS+Keepalived+Nginx方式的配置就做完了。
现在我们进行搭建效果的监测:
4-1、验证Master-LVS节点的工作
我们使用两个不同的浏览器,验证Master-LVS节点的工作:
=========浏览器1:
=========浏览器2:
看来140这个VIP下的LVS工作是正常的。
4-2、验证Master-LVS节点停止后的效果
下面我们停止Master-LVS1:
[root@lvs2~]#servicekeepalivedstop1
在经历了一些访问停顿后,浏览器1显示的效果如下(这就是为什么keepalived最好设置为非抢占模式):
5、后文介绍
好了,到这里负载均衡层所使用的几个标准工具就介绍完了。
下一篇文章我们将进行总结,然后进入架构设计:
业务层设计方案的系列文章。
在下一个系列文章中,我们将介绍至少两套SOA的实现、至少两套系统间通信使用的消息队列。
哦,应我朋友的要求,我会专门写几篇文章,介绍java中线程的基础知识和进阶知识。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 架构 设计 负载 均衡 设计方案