37LVS集群.docx

37LVS集群.docx

《37LVS集群.docx》由会员分享，可在线阅读，更多相关《37LVS集群.docx（15页珍藏版）》请在冰豆网上搜索。

37LVS集群

37_01_Linux集群系列之四——LVSDR详解及配置演示

37_02_Linux集群系列之五——脚本实现LVS后端服务健康状态检查

37_03_Linux集群系列之六——LVS持久连接

第一章：

LVS，DR详解以及配置演示

Ipvs一旦发现是集群的服务，本来数据包到达input之后进入用户空间，不会经过forward链，而是直接到了postrouting链

LVS监听在INPUT链

IPNUT-》postrouting，不经过forward

Ipvsadm：

管理服务：

-A，-E，-D

管理RS：

-a,-e,-d

查看:

-L|-l

-n;--stat,--rate,--timeout,--sort,--daemon

规则管理

-C;-S,-R

CIP/VIP

CIP/VIP

Director：

主管，领导，导演

到达DR后，DR不会修改原有的tcp首部以及ip首部，

也就是：

CIP/VIP都没有动，以及tcp首部端口都没有动

通过封装新的帧首部（源MAC为Director的MAC，目标MAC为挑选出的RS的MAC）完成调度。

RS和DR都有VIP，而请求进入时必须最先发送给DR，所以，在DR类型中，首先通过ARP广播确认DR主机，其他RS主机不响应，这就确定了哪一个是DR主机

但是在linux主机中，IP地址不属于网卡而是属于内核，就是说无论一个linux主机有多少个IP地址，它在接入的各个网络中都会公布它拥有的所有地址，这就给ARP广播的响应制造了困难，所以就需要修改内核参数来保证router发出ARP广播时，DR会响应RS不予响应，这里所说的内核参数分别为：

#arp_announce：

定义arp通知级别；

0：

默认级别，在各个网络中通告本机所含有的所有地址

1：

尽量不在各个网络中通告本机中含有的不属于该网络的地址

//尽可能仅向目标网络通告与其目标网络匹配的地址

2：

不在各个网络中通告本机中含有的不属于该网络的地址

//仅仅将与本地借口匹配的网络地址通告，只通告直连的，

#arp_ignore：

定义arp忽略arp请求或arp通告的级别；

0：

（默认值）:

 回应任何网络接口上对任何本地IP地址的arp查询请求 

1：

只回答目标IP地址是来访网络接口本地地址的ARP查询请求 //目标iip相同

2：

只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在p和income借口该网络接口的子网段内 

3：

不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应 

4-7：

保留未使用 

8：

不回应所有（本地地址）的arp查询

实现vip解析方法：

一：

在路由器上绑定VIP的mac为director的mac，这样，就直接发送给director

VIP：

MAC（DVIP），前提：

路由设备必须能够操作

二．Arptables，定义arptables规则，即可，在real-server上定义，请求本机的vip，不予响应

三．使用内核参数，arp_ignore,arp_announce,定义而，响应arp和通告arp的参数

一般使用第三种方式，

可以把rip：

eth0，Lo：

vip

有人请求vip地址的时候，real的lo对应vip，会用自己的mac，一定会通过eth0进行响应，

可以这样配置，

//可以配置，从eth0进来的，请求的地址不是eth0对应的地址，不予响应，

Arp_ignore对此，1:

代表目标ip进来的ip即eth0,2：

和1一样，但是必须在同一个网络中

Arp_announce:

向别人告诉自己的，mac和ip，通告级别默认0//尽可能响应或通告

Arp_ignore:

接收到arp请求时的响应级别；默认0

注意：

默认情况下，real-s响应报文的源地址为流出的接口的地址，即eth0，不是lo//添加一条路由即可

VIP一定是公网地址，rip和dip可以是内网地址,r1,r2,r3的vip对外是不可见得，

响应的时候DR可以使用vip响应，然后转发个rip，封装新的MAC首部，源mac是自己的，目标mac是real的

Real返回的时候，VIP和CIP都没有变，使用real自己的mac（eth0）进行返回，路由器需要解析real的mac，解析出来的ip是rip，但是real得ip和client的ip不在同一个网段，这样是出不去的

解决方法：

使用另外一个路由器，或者网关出去

或者：

路由器的黑色接口一定适合VIP是在同一个网段的，而和rip不在同一个网段

Rip的网关是路由器的白色接口

VIP和rip一定不在同一个网段，

Vip和路由器对外的接口都是公网地址，可以对外通信的

实验拓扑：

三台主机，都只需要一个网卡就可以了；三个网卡都在同一个网络中，都是用的是桥接

Rip必须先配置，arp_anounce,和arp_ignore以后才能配置vip

使用setup配置，rs1，rs2，以及director地址，rs1和rs2只配置eth0

配置rs1：

Cd/proc/sys/net/ipv4/conf/

Lsall，目录，lseth0目录，lslo目录

Sysctl-wnet.ipv4.conf.eth0.arp_anounce=2//配置eth0，只通告属于本网络的地址

Sysctl-wnet.ipv4.conf.all.arp_anounce=2

Echo1>/proc/sys/net/ipv4/conf/all/arp_ignore//目标接口必须和进来的接口相同

Echo1>/proc/sys/net/ipv4/conf/eth0/arp_ignore

Ifconfiglo:

0172.16.100.1

使用window主机ping172.16.100.1能够ping通，arp-a//查看对应mac地址//只有director响应，

配置rs2：

Echo2>/proc/sys/net/ipv4/conf/all/arp_announce

Echo2>/proc/sys/net/ipv4/conf/eth0/arp_announce

Echo1>/proc/sys/net/ipv4/conf/ath0arp_ignore

Echo1>/proc/sys/net/ipv4/conf/all/arp_ignore

Ifconfiglo:

0172.16.100.1/16

Windows必须能够ping通任何一台主机

Windows测试；arp–d*删除arp，进行ping后，arp–a查看还是director的mac地址

配置：

Real-server回应的时候使用vip：

Rs1:

Ifconfiglo:

0172.16.100.1broadcast172.16.100.1netmask255.255.255.255up

Routeadd-host172.16.100.1devlo:

0//目标地址是vip的通过lo：

0出去

Rs2:

Ifconfiglo:

0172.16.100.1broadcast172.16.100.1netmask255.255.255.255up

Routeadd-host172.16.100.1devlo:

0

Director：

Routeadd-host172.16.100.1deveth0:

0

配置ipvs

前提：

在director：

上使用curl可以访问，rs1，和rs2

在director上：

Ipvsadm–C//清空规则

Ipvsadm–A　–t172.16.100.1:

80–swlc

Ipvsadm–a–t172.16.100.1:

80-r172.16.100.7–g–w2

Ipvsadm–a–t172.16.100.1:

80-r172.16.100.8–g–w1

Ipvsadm–L–n//查看规则，

在windows上进行访问，http:

//172.16.100.1测试查看权重比例

Ipvsadm–L-n

问题：

模拟rs2损坏

Iptables–AINPUT–ptcp–dport80–jREJECT

在windows上刷新访问httpd服务，会出现错误，卡在一个页面

Rs2，损坏，但是director并不知道，没有办法做健康状况检查

LVS添加一个模块后可以实现，检查状况，但是ldirectord,但是这个是在ipvs做高可用的时候才能用到

或者开发一个在director上始终运行的一个脚本

测试rs是否在线，不在线，就在lvs列表中删除

错误：

得不到mac地址，原因，实际网关的子网掩码，和实验掩码不同，也就是说，其实他们不在同一个网络中

刷新，多次可以看到r1和r2之间的切换

第二章：

实验1：

实现director上提供web服务，不推荐，因为director比较忙，

DR：

Vip：

192.168.10.3

Dip：

192.168.10.5

Rs1：

192.168.10.7

Rs2：

192.168.10.8

可不可以在direcotor上的web服务器也启用，当做一个real-server使用

启动director上的httpd服务，写入一个index.html文件，进行测试

Ipvsadm-a-t172.16.6.101:

80-r127.0.0.1-g-w3

Ipvsadm–L–n//测试即可看到效果

//只有在所有主机都宕机了，这时候director提供一个页面，告诉用户，已经宕机，

实现集群自动配置

DR类型中，director和real-server的配置脚本示例

DR脚本，real-server脚本，以及状况检查脚本

RS=（"192.168.10.7""192.168.10.8"）//数组

Echo${a[0]}//

数组：

一片连续的内存空间，类型相同，array，element元素

Echo${#a[*]}//元素个数，

Echo${#a[0]}//第0个元素的字符个数，

Echo${a[*]}//列出所有元素

第三章：

LVS持久链接，

无论使用何种算法，LVS持久都能实现在一定时间内，将来自同一个客户端请求派发至此前选定的RS。

持久链接模板（内存缓冲区），以前记录，并且灭有超时，就是用原来的连接

ipvsadm-L--persistent-conn//持久链接信息

ipvsadm-A|E-t|u|fservice-address[-sscheduler][-p[timeout]][-Mnetmask]

//只需要在指定服务的时候使用-p指定持久链接的时长，默认300s

//给予ssl的回话中经常使用持久链接，

来自于同一个客户端的，不光是同一个服务http，还有ftp服务都定位到同一个客户端，假如后面的集群同时启用了多个服务

持久链接类型：

PPC：

持久端口链接：

同一个cip同一个集群服务，始终定向到一个rip

PCC：

持久客户端链接：

将同一个cip对所有端口的请求，始终定向到一个rip

PNMPP：

PersistentNetfilterMarkedPacketpersistence//持久防火墙标记链接，

实验：

LVS的PPC持久链接

ipvsadm-E-t172.16.6.101:

80-srr-p30

ipvsadm-L-n--persistent-conn

在windows上进行测试

实验：

PCC测试，telnet和http测试

分别在r1和r2上添加用户，并分配密码，

分别启动telnet服务，并检查是否启用，服务netstat—tunlp|grpe23

并测试，r1和r2的telnet是否能够使用

添加集群服务：

使用的vip还是上一个服务的同一个vip

ipvsadm-A-t172.16.6.101:

23-srr

ipvsadm-a-t172.16.6.101:

23-r172.16.6.107-g-w1

ipvsadm-a-t172.16.6.101:

23-r172.16.6.107-g-w2

telnet登录测试//ipvsadm–L－n查看效果

ipvsadm–E-t172.16.6.101:

23–srr–p3600//持久链接，实现PPC

ipvsadm–C//清空所有请求，重新创建

实现PCC：

//把所有的端口都定义位集群服务，一律像real-server转发，不仅仅包括，http和telnet

[root@localhost~]#ipvsadm-A-t172.16.6.101:

0-srr-p60

[root@localhost~]#ipvsadm-a-t172.16.6.101:

0-r172.16.6.107-g-w2

[root@localhost~]#ipvsadm-a-t172.16.6.101:

0-r172.16.6.108-g-w1

Ssh172.16.6.101//可以查看，虽然没有定义ssh服务，但是，只要real-server具有这个服务，就会提供该服务

PCC是所有集群服务，PPC是针对单个服务

假如需要单独定义两个单独的集群服务，其他的服务都是定义为一个集群服务，比较困难

方法：

防火墙标记：

PREROUTING

80:

10

23:

10//把80和23都标记为10，

然后在ipvsadm中，把防火墙标记为10的定义为一个集群服务

标记是0–99之间的整数，只要没有被使用就行

实验：

防火墙标记-PNMPP

ipvsadm-C

iptables-tmangle-APREROUTING-d172.16.6.101-ptcp--dport80-jMARK--set-mark8

iptables-tmangle-APREROUTING-d172.16.6.101-ptcp--dport23-jMARK--set-mark8

//防火墙设置

[root@localhost~]#ipvsadm-A-f8-srr

[root@localhost~]#ipvsadm-a-f8-r172.16.6.107-g-w2

[root@localhost~]#ipvsadm-a-f8-r172.16.6.108-g-w1

分别进行http测试，刷新，

以及telnet多次登录测试，查看ip

Ipvsadm–L–n//查看结果

[root@localhost~]#ipvsadm-E-f8-srr–p600//持久连接

持久链接一定会破坏LB效果，但是有时候需要使用持戒链接：

例如cookie或者session

LAMP

Mysql/NFS

LAMP

网页文件放在LAMP中，数据库文件放在同一台mysql中，上传的附件，放在NFS中

假如对网页文件进行二次开发，则需要在LAMP之间同步数据

可以把一台主机作为rsyncserver+inotify，其他主机向其同步，只需要更新rsyncserver即可

但是这个更新速度特别慢，不适合经常进行的文件

Sersync：

能够接受inotify开发机制，基于C++开发，性能特别好，支持大文件的同步

Sersync：

自己找

Rsync+inotify，以及sersync+inotify

Session共享，php使用memcached进行session共享

或者使用长连接机制

Memcached:

共享session，将两个lamp将session保存在memcached中

假如是一个购物网站：

假如购物车的东西，要么使用持久链接，要么进行session共享

假如购物完，进行支付的时候，肯定要是用https，但是https和http本身就不是同一种协议

假如定义到https网站：

在第二个服务器上肯定没有http的购物商品

所以，80和443基于防火墙标记绑定//一定要使用持久链接

两个https必然要使用到证书，是否能够用到证书，建议两个服务器上使用同一个证书

小结：

LVS-DR详解

ipvs-INPUT->postrouting

cip的请求到达director之后

DR封装新的MAC

Real-server//对于arp请求vip不予响应

arp_announce:

默认0

2：

同网段则通告

arp_ignore:

默认0

1：

请求的目标ip是流入的eth0的ip，

实现vip解析的方法：

1.在路由器上绑定vip+director.vip

2.arptables定义规则，

3.内核参数arp_announce,arp_ignore

DR模型real-s需要有独立的gw

real-server设置：

1.分别设置{eth0,all}.{arp_announce=2,arp_ignore=1}

Sysctl-wnet.ipv4.conf.eth0.arp_anounce=2//配置eth0，只通告属于本网络的地址

Sysctl-wnet.ipv4.conf.all.arp_anounce=2

Echo1>/proc/sys/net/ipv4/conf/all/arp_ignore//目标接口必须和进来的接口相同

Echo1>/proc/sys/net/ipv4/conf/eth0/arp_ignore

或者：

sysctl-wnet.ipv4.conf.{eth0,all}.{arp_ignore=1,arp_announce=2}//一条命令即可

2.ifconfiglo:

0172.16.6.101broadcast172.16.6.101netmask255.255.255.255up

ifconfiglo:

0172.16.6.101//director的vip，因为需要对外开放

3.routeadd-host172.16.6.101devlo:

0//返回时使用vip作为源地址

DR模型中，real-s需要配置vip，但是nat模型中不用

director上也可以提供http服务，也就是说，director即是director又是real-server

DR脚本：

director脚本：

接受start，stop，status实现自动创建DR或者关闭

REAL脚本：

实现real自动检查状态，失效就删除，恢复则添加

数组的使用

LVS持久链接：

1.PPC：

持久端口链接，同一个cip对一个服务的所有请求，始终定向为一个rip

ipvsadm-E-t172.16.6.101:

80-srr-p30

2.PCC：

持久客户端链接，同一个cip对所有服务的请求定向同一个rip

ipvsadm-A-t172.16.6.101:

0-srr-p60

3.PNMPP持久防火墙标记链接

iptables-tmangle-APREROUTING-d172.16.6.101-ptcp--dport80-jMARK--set-mark8

ipvsadm-A-f8-srr//标记，

ipvsadm-E-f8-srr–p600//持久连接

一般-端口/客户端

标记-端口/客户端

php使用memcached进行session共享

附件：

文件DR脚本

附件：

1.rsync+inotify

2.sersync+inotify