HACMP7配置.docx
- 文档编号:5195007
- 上传时间:2022-12-13
- 格式:DOCX
- 页数:10
- 大小:336.86KB
HACMP7配置.docx
《HACMP7配置.docx》由会员分享,可在线阅读,更多相关《HACMP7配置.docx(10页珍藏版)》请在冰豆网上搜索。
HACMP7配置
PowerVM环境下实施PowerHA7.1要点
本文主要介绍PowerVM环境下实施PowerHA的一些要点,包括PowerHA对虚拟网络监控、光纤心跳在虚拟化环境下的实施等。
需要注意的是,本文测试所得到的数据是试验中的测试数据,非IBM公司官方数据。
0
评论:
魏新宇,高级IT专家,IBMChina
2013年9月26日
∙
内容
前言
随着PowerVM使用的越来越多,在虚拟化环境下实施PowerHA的案例会越来越多。
传统PowerHA6.1在物理分区下实施是比较经典的配置,PowerHA7.1为了适应PowerVM,在开发的时候进行了相关考虑,主要包含三点:
PowerHA7.1中允许1个HA节点只有1个网卡、1个BootIP和一个ServiceIP,并且ServieIP可以和BootIP在相同网段;netmon.cf的功能在虚拟化环境中能够成功实施,解决了PowerHA监控虚拟网卡状态的问题;FC心跳在虚拟环境下能够成功实施。
本文讲主要介绍虚拟化环境下实施的相关要点。
回页首
PowerHA7.1对虚拟网络的监控
netmon.cf的配置
在传统的HA环境下,PowerHA可以通过监控物理网卡的状态来进行网络监控。
而虚拟化环境下,VIOC中虚拟网卡永远不会处于down或者detach的状态(除非人为操作),带来的结果是可能VIOC已经无法对外通信,但是由于其虚拟网卡状态仍然是up的状态,HA不会识别网络故障,资源组也不会发生切换,结果就是业务中断,也就是“该它干的活它没干”,HA失去了其本来的意义。
因此,在PowerVM环境下实施PowerHA7.1的时候,就必须要引入netmon.cf的配置。
在netmon.cf中,我们通过设备HA本地网卡ping目标地址的方法,来判断虚拟网卡通讯是否正常。
针对netmon.cf文件的配置。
在PowerHA7.1中推荐的格式是:
#cat/usr/es/sbin/cluster/netmon.cf
!
REQD172.16.25.175172.16.24.82
其中:
172.16.25.175是HA节点的bootIP,172.16.24.82是目标IP。
在这个配置文件中,通常建议写入多个IP地址(这个文件最多写32行),这样增加本机将会在ping不通第一个IP的时候,尝试ping第二个,直到配置文件中的所有IP地址都ping不通。
这样做的好处是避免由于网络不稳定造成资源组错误切换。
不同的HA节点的配置文件中,目标IP可以不同。
netmon.cf能够检测到虚拟网络问题并且触发资源组切换的条件是:
1.配置netmon.cf的分区的IP地址ping不通netmon.cf中配置的目标地址。
2.HA节点之间的网络多播心跳不通。
netmon.cf的功能验证
我们以一个双节点的PowerHA7.1作为实验环境。
实验环境中有两个物理服务器,每个物理服务器上有一个VIOS,一个VIOC,两个VIOC之间配置了PowerHA,并且在两个HA节点上都配置了netmon.cf。
查看配置文件内容:
#cat/usr/es/sbin/cluster/netmon.cf
!
REQD172.16.25.175172.16.24.82
查看资源组状态,资源组rg1运行在HA1上,浮动IP172.16.25.178处于up状态。
#clRGinfo
-----------------------------------------------------------------------------
GroupNameStateNode
-----------------------------------------------------------------------------
rg1ONLINEnode1
OFFLINEnode2
#netstat-in
NameMtuNetworkAddressIpktsIerrsOpktsOerrsColl
en01500link#2ce.2.cc.e.30.a18113201469900
en01500172.16.25172.16.25.17818113201469900
en01500172.16.25172.16.25.17518113201469900
lo016896link#11623701623700
lo016896127127.0.0.11623701623700
lo016896:
:
1%11623701623700
初始情况下,HA1节点可以ping通netmon.cf中的目标地址(172.16.24.82),目标地址与源地址互发网络包正常。
#tcpdumphost172.16.24.82
tcpdump:
verboseoutputsuppressed,use-vor-vvforfullprotocoldecode
listeningonen0,link-type1,capturesize96bytes
21:
33:
18.669852IPnode1>172.16.24.82:
ICMPechorequest,id488,seq587,length43
21:
33:
18.670058IP172.16.24.82>node1:
ICMPechoreply,id488,seq587,length43
接下来,让HA1节点与目标地址无法通讯(可以通过删除路由、将目标地址网卡down掉或者将目标分区down等方法),即HA1节点ping不通172.16.24.82地址时,HA1节点依然会正常工作,资源组不会发生切换。
从下面的输出信息中,可以看到HA1与目标地址交互不正常。
#tcpdumphost172.16.24.82
tcpdump:
verboseoutputsuppressed,use-vor-vvforfullprotocoldecode
listeningonen0,link-type1,capturesize96bytes
21:
00:
59.785591ARP,Requestwho-has172.16.24.82tell172.16.24.1,length46
21:
01:
01.071314IPnode1>172.16.24.82:
ICMPechorequest,id488,seq184,length43
21:
01:
01.426657IPnode1>172.16.24.82:
ICMPechorequest,id488,seq184,length43
21:
01:
01.782209IPnode1>172.16.24.82:
ICMPechorequest,id488,seq184,length43
在这个时候,可能我们会理所当然地认为本机网卡将会标示出故障。
其实不然,这个时候,在PowerHA的日志hacmp.out和PowerHA命令lscluster-m的输出信息中,不会有任何报错,网络是正常的。
资源组也不会发生切换。
因为HA1节点HA2节点发送多播信息是可以成功的。
将为HA1节点提供网络服务的VIOS上的SEA删掉(或者拔掉VIOS的网线)。
通过console登陆HA1,发现hacmp.out中会有网络报错:
Mar1321:
19:
34EVENTCOMPLETED:
network_down_completenode1net_ether_010
需要注意的是,HA识别网络错误分为0和-1两种。
0标示local网络故障,会引起资源组切换。
-1是全局网络故障,不会引发资源组切换
此时,通过PowerHA命令行查看网络状态:
lscluster-m中网卡状态为down:
#lscluster-m
Pointsofcontactfornode:
2
------------------------------------------
InterfaceStateProtocolStatus
------------------------------------------
dpcomDOWNnoneRESTRICTED
en0DOWNIPv4none
此时,如果资源组中包含浮动IP资源资源,将会引发资源组切换。
HACMPEventPreamble
----------------------------------------------------------------------------
Enqueuedrg_movereleaseeventforresourcegrouprg1.
ReasonforrecoveryofPrimaryinstanceofResourcegroup'rg1'
fromTEMP_ERRORstateonnode'node1'was'Localnetworkfailure'.
查看PowerHA的日志hacmp.out,可以看到过了大约不到30秒,资源组在HA2节点启动成功:
.....................
Mar1321:
51:
00EVENTCOMPLETED:
resource_state_change_completenode10
#clRGinfo
-----------------------------------------------------------------------------
GroupNameStateNode
-----------------------------------------------------------------------------
rg1OFFLINEnode1
ONLINEnode2
检测HA节点间Mutil-cast通讯的方法
以双节点HA为例,HA的多播地址为228.16.25.175,HA两个节点的名字分别为:
node1和node2.
HA节点间多播协议通讯正常的表现如下:
OnHAnode1:
从node1向多播IP发包:
在node2上,从多播地址获取包,显示可以获取到。
OnHAnode2:
如果HA节点node2上mping是没有输出,则说明节点之间的多播通讯mutil-cast有问题。
需要在交换机上进行配置,打通Mutil-Cast协议。
回页首
FC心跳在PowerVM中的实施
FC心跳的概念
PowerHA7.1中心跳分为三类:
以太网络Mutil-Cast心跳、FC心跳和Repositorydisk心跳。
为了使HA更加稳定,有效预防脑裂,通常建议客户在实施的时候配置FC心跳。
当IP心跳或者SAN心跳正常时,RepositoryDisk处于UPRESTRICTEDAIXCONTROLLED状态,只是作为Standby,不进行心跳数据的传输。
当IP心跳或者SAN心跳均不可用时,RepositoryDisk处于UPAIX_CONTROLLED状态,传输心跳消息。
在PowerVM环境下,VIOC一般使用虚拟HBA卡,而不配置物理HBA卡。
在这种情况下,FC心跳如何实施?
下面是实施的要点:
1.首先需要将两个VIOS上的一个物理光纤卡端口接在一个光纤交换机上,然后配置一个ZONE,将两个FCPort划分在内。
需要在VIOS和VIOC中新建一个虚拟网卡(或者给VIOS的SEA增加一个3358的VLANtag也可以),VLANID设置3358即可。
不需要物理交换机与SEA的接口打3358的VLANID,VIOC和VIOS上的3358的虚拟网卡上也不能配置IP地址。
2.划ZONE的时候,只需要对两个/多个VIOS上的物理光纤卡划zone。
在VIOC上,虚拟光纤卡不是必须的(由于生产环境下多使用NPIV,所以在VIOC下都会有vfc设备),在VIOC没有vfc卡的情况下,vfc心跳可以通过vscsiclient实现。
3.虚拟光纤卡心跳的实现,是通过VIOS与VIOC之间的sfwcomm设备实现的,也就是VLAN3358对应的设备名称。
4.如果VIOS上有单独可用于FC心跳的物理光纤口,那么可以单独给这两个WWPN划zone。
如果资源紧张,那么使用存储映射的光纤卡也可以,但是最好将两个WWPN单独配置在一个新的zone里(由于存储映射已经有了一个zone把两个WWPN划分在了一起,不增加新的zone也能实现功能,但是为了避免存储的干扰,单独增加一个ZONE效果会更好。
)。
PowerVM中FC心跳的实施步骤
1.在配置fc心跳之前,在HA节点(VIOC)进行查看:
#lscluster-isfwcom
Interfacesfwcomnotfound提示没有sfwcom设备。
图1.虚拟环境下FC心跳的架构图
2.在VIOS中调整物理光纤卡的参数:
chdev-P-lfcs0-atme=yes
chdev-P-lfscsi0-adyntrk=yes-afc_err_recov=fast_fail
需要注意的是,由于HBA卡下挂有设备,因此直接修改HBA卡的参数是不能成功的,这就需要增加-P参数,先行修改ODM库中的配置信息。
配置成功后,重启才能生效。
3.创建VLAN
在VIOS的SEA上增加3358的VLAN(或者直接在VIOS中DLPAR增加一个PVID为3358的虚拟网卡,然后保存修改到分区profile中):
图2VIOS增加SEA的VLANtag
如果是在SEA上增加3358的VLAN,那么创建完毕以后,需要de-active和re-activeVIOS。
如果是DLPAR一个新的PVID为3358的虚拟网卡,那么就不需要de-active和re-activeVIOS。
在VIOC上,用DLPAR增加一个新的虚拟网卡(然后在HMC上saveconfiguration),指向VIOS上的3358VLAN:
图3查看虚拟网卡
图4查看虚拟网卡
在VIOC上cfgmgr重新扫描设备信息。
然后在HA节点上(vioc)查看,sfwcom已经可见。
#lscluster-isfwcom
Network/StorageInterfaceQuery
ClusterName:
wxycluster
ClusterUUID:
397cd38e-8bdc-11e2-844a-ce02cc0e300a
Numberofnodesreporting=1
Numberofnodesstale=0
Numberofnodesexpected=1
Nodenode1
NodeUUID=398263b2-8bdc-11e2-844a-ce02cc0e300a
Numberofinterfacesdiscovered=1
Interfacenumber1,sfwcom
IFNETtype=0(none)
NDDtype=304(NDD_SANCOMM)
SmoothedRTTacrossinterface=0
MeandeviationinnetworkRTTacrossinterface=0
Probeintervalforinterface=100ms
IFNETflagsforinterface=0x00000000
NDDflagsforinterface=0x00000009
Interfacestate=UP
#lsdev-C|grepsfw
sfw0AvailableStorageFrameworkModule
sfwcomm0Available20-T1-01-FFFibreChannelStorageFrameworkComm
sfwcomm1AvailablevLANStorageFrameworkComm
这样,在虚拟化环境下实现PowerHA7.1的FCheartbeat就完成了。
测试将node1节点halt-q,然后再node2上观察node1节点的sfwcom接口状态,处于stale状态,而node2自身的sfwcom状态正常,这符合预期:
Nodenode1
NodeUUID=398263b2-8bdc-11e2-844a-ce02cc0e300a
Numberofinterfacesdiscovered=3
Interfacenumber1,en0
IFNETtype=6(IFT_ETHER)
NDDtype=7(NDD_ISO88023)
MACaddresslength=6
MACaddress=CE:
02:
CC:
0E:
30:
0A
SmoothedRTTacrossinterface=7
MeandeviationinnetworkRTTacrossinterface=3
Probeintervalforinterface=100ms
IFNETflagsforinterface=0x1E080863
NDDflagsforinterface=0x0021081B
Interfacestate=STALE
Numberofregularaddressesconfiguredoninterface=2
IPv4ADDRESS:
172.16.25.175broadcast172.16.25.255netmask255.255.255.0
IPv4ADDRESS:
172.16.25.178broadcast172.16.25.255netmask255.255.255.0
Numberofclustermulticastaddressesconfiguredoninterface=1
IPv4MULTICASTADDRESS:
228.16.25.175
Interfacenumber2,sfwcom
IFNETtype=0(none)
NDDtype=304(NDD_SANCOMM)
SmoothedRTTacrossinterface=0
MeandeviationinnetworkRTTacrossinterface=0
Probeintervalforinterface=100ms
IFNETflagsforinterface=0x00000000
NDDflagsforinterface=0x00000009
Interfacestate=STALE
Interfacenumber3,dpcom
IFNETtype=0(none)
NDDtype=305(NDD_PINGCOMM)
SmoothedRTTacrossinterface=76
MeandeviationinnetworkRTTacrossinterface=7
Probeintervalforinterface=830ms
IFNETflagsforinterface=0x00000000
NDDflagsforinterface=0x00000009
Interfacestate=STALE
回页首
总结
通过目前的实施案例来看,在PowerVM环境下实施PowerHA7.1是完全没有问题的,PowerHA也能实现其在物理分区中相同的功能。
关于技术要点,总结如下:
∙PowerHA7.1中允许1个HA节点只有1个网卡、1个BootIP和一个ServiceIP,并且ServieIP可以和BootIP在相同网段,这为在VIOC中简化网络结构提供了便利(网络的高可用通过VIOS上SEA的NIB或EtherChannel来实现)。
∙netmon.cf的功能的成功实现,解决了PowerHA监控虚拟网卡状态的问题
∙FC心跳的虚拟环境下的实施保证了VIOC在没有物理HBA卡的情况下,通过虚拟FC心跳的功能,使PowerHA更加稳定,有效地预防脑裂。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- HACMP7 配置