mysql+mmm+proxy实现数据库读写分离及高可用.docx
- 文档编号:3878756
- 上传时间:2022-11-26
- 格式:DOCX
- 页数:12
- 大小:102.74KB
mysql+mmm+proxy实现数据库读写分离及高可用.docx
《mysql+mmm+proxy实现数据库读写分离及高可用.docx》由会员分享,可在线阅读,更多相关《mysql+mmm+proxy实现数据库读写分离及高可用.docx(12页珍藏版)》请在冰豆网上搜索。
mysql+mmm+proxy实现数据库读写分离及高可用
Master-Slave的数据库机构解决了很多问题,特别是read/write比较高的web2.0应用:
1、写操作全部在Master结点执行,并由Slave数据库结点定时(默认60s)读取Master的bin-log
2、将众多的用户读请求分散到更多的数据库节点,从而减轻了单点的压力
这是对Replication的最基本陈述,这种模式的在系统Scale-out方案中很有引力(如有必要,数据可以先进行Sharding,再使用replication)。
它的缺点是:
1、Slave实时性的保障,对于实时性很高的场合可能需要做一些处理
2、高可用性问题,Master就是那个致命点(SPOF:
Singlepointoffailure)
本文主要讨论的是如何解决第2个缺点。
DB的设计对大规模、高负载的系统是极其重要的。
高可用性(Highavailability)在重要的系统(criticalSystem)是需要架构师事先考虑的。
存在SPOF:
Singlepointoffailure的设计在重要系统中是危险的。
Master-MasterReplication
1、使用两个MySQL数据库db01,db02,互为Master和Slave,即:
一边db01作为db02的master,一旦有数据写向db01时,db02定时从db01更新
另一边db02也作为db01的master,一旦有数据写向db02时,db01也定时从db02获得更新
(这不会导致循环,MySQLSlave默认不会记录Master同步过来的变化)
2、但从AppServer的角度来说,同时只有一个结点db01扮演Master,另外一个结点db02扮演Slave,不能同时两个结点扮演Master。
即AppSever总是把write操作分配某个数据库(db01),除非db01failed,被切换。
3、如果扮演Slave的数据库结点db02Failed了:
a)此时appServer要能够把所有的read,write分配给db01,read操作不再指向db02
b)一旦db02恢复过来后,继续充当Slave角色,并告诉AppServer可以将read分配给它了
4、如果扮演Master的数据库结点db01Failed了
a)此时appServer要能够把所有的写操作从db01切换分配给db02,也就是切换Master由db02充当
b)db01恢复过来后,充当Slave的角色,Master由db02继续扮演
难点:
3、4要如何自动进行?
Master-MasterwithnSlavesReplication
这比上一个还要复杂,即:
当一个MasterFail时,所有的Slave不再从原来失败的那个Master(db01)获取更新日志,而应该“自动”切换到最新充当Master角色的数据库db02。
MMM,agreateproject!
MMM的基本信息请参考它的网站(见后”参考资料”)
MMM有3个重要的器件:
1、mmmd_mon–monitoringscriptwhichdoesallmonitoringworkandmakesalldecisionsaboutrolesmovingandsoon.
2、mmmd_agent–remoteserversmanagementagentscript,whichprovidesmonitoringnodewithsimplesetofremoteservicestomakeserversmanagementeasier,moreflexibleabdhighlyportable.
3、mmm_control–simplescriptdedicatedtomanagementofthemmmd_monprocessesbycommands.
每一个MySQL服务器器结点需要运行mmmd_agent,同时在另外的一个机器上(可以是独立的一台机器,也可以是和AppServer共享同一个服务器)运行mmmd_mon。
形成1*mmmd_mon+n*mmmd_agent的部署架构。
MMM利用了虚拟IP的技术:
1个网卡可以同时使用多个IP。
(所以使用MMM时,需要2*n+1个IP,n为mysql数据库结点个数,包括master,slave)
当有数据库结点fail时,mmmd_mon检测不到mmmd_agent的心跳或者对应的MySQL服务器的状态,mmmd_mon将进行决定,并下指令给某个正常的数据库结点的mmmd_agent,使得该mmmd_agent“篡位”使用(注)刚才fail的那个结点的虚拟IP,使得虚拟IP实际从指向fail的那个机器自动转为此时的这个正常机器。
注:
据Qieqie猜测是将获得的虚拟IP设置给网卡,也只能这样了,改天测试验证一下。
repeat:
MMM对MySQLMaster-SlaveReplication绝对是一个很有益的补充!
整体架构的原理:
Webclient数据请求至proxy—proxy进行读写分发-转至mmm机制-在检测存活的机器进行读与写操作。
在此之前这些机器与为master/slave.
本文测试环境如下:
主机名
IP
Port
App
目录
备注
Node1
192.168.1.2
3306
mysql
/var/lib/mysql
数据库服务器1
Node2
192.168.1.3
3306
mysql
/var/lib/mysql
数据库服务器2
Mon
192.168.1.4
3306
Mysql
/var/lib/mysql
数据库管理服务器
Proxy
192.168.1.5
4040
Proxy
数据库代理(NLB)
node1node2数据库服务器replication双向master-master虚拟机有限,只能开4台,因为node1与node2即做读又做写。
配置步骤:
Node1node2replication双向master-master
Node1node2安装mmm并配置mmm_regent.conf
Mon安装mmm并配置mmm_mon.conf
proxy安装mysql-proxy
一、配置node1node2数据库服务器replication双向master-master
1、配置node1同步
Mkdir/var/log/mysql
Chownmysql.mysql/var/log/mysql
fatdb1shouldhavefollowingoptions:
server-id=
1
log_bin=
mysql-bin
master_host
192.168.1.2
master_port
3306
master_user
replication
master_password
slave
mysql>grantreplicationslaveon*.*to‘replication’@'%’identifiedby‘slave’;
showslavestatus\G;的结果:
Slave_IO_Running:
Yes
Slave_SQL_Running:
Yes
2、配置node2同步
Mkdir/var/log/mysql
Chownmysql.mysql/var/log/mysql
fatdb1shouldhavefollowingoptions:
server-id=
2
log_bin=
mysql-bin
master_host
192.168.1.3
master_port
3306
master_user
replication
master_password
slave
mysql>grantreplicationslaveon*.*to‘replication’@'%’identifiedby‘slave’;
showslavestatus\G;的结果:
Slave_IO_Running:
Yes
Slave_SQL_Running:
Yes
二、安装部署MMM
目标主机:
Node1
192.168.1.2
Node2
192.168.1.3
Mon
192.168.1.4
1、安装mon主机软件包
前提:
–
Algorithm-Diff-1.1902.tar.gz
–
Proc-Daemon-0.03.tar.gz
RPM
mysql-server-5.0.22-2.1
RPM
mysql-5.0.22-2.1
RPM
perl-DBD-MySQL-3.0007-1.fc6
–
mmm-1.0.tar.bz2
先安裝2个perl的包:
–
Algorithm-Diff-1.1902.tar.gz
–
Proc-Daemon-0.03.tar.gz
perl包的安裝過程都是:
perlMakefile.PL
make
maketest
makeinstall
安裝mmm:
./install.pl
2、安装node1node2agent软件包(使用agent功能)
mmm-1.0.tar.bz2
安裝mmm:
./install.pl
三台主机安装以上软件后进行配置过程
三:
node1node2的agent配置过程
$cd/usr/local/mmm/etc
$cpexamples/mmm_agent.conf.examples../mmm_agent.conf
node1配置文件所需要修改的地方如下
cluster_interfaceeth0--配置IP所用的网卡
#Definecurrentserveridthisdb1
thisdb1
modemaster
#Formasterspeerdb2
Peerdb2
#Clusterhostsaddressesandaccessparams
hostdb1
ip192.168.1.2
port3306
userrep_agent
passwordRepAgent
hostdb2
ip192.168.1.3
port3306
userrep_agent
passwordRepAgent
Node2配置文件所需要修改的地方如下
#Clusterinterface
cluster_interfaceeth0--配置IP所用的网卡
#Definecurrentserveridthisdb1
thisdb2
modemaster
#Formasterspeerdb2
Peerdb1
#Clusterhostsaddressesandaccessparams
hostdb1
ip192.168.1.2
port3306
userrep_agent
passwordRepAgent
hostdb2
ip192.168.1.3
port3306
userrep_agent
passwordRepAgent
设置权限(node1/node2)
GRANTALLPRIVILEGESon*.*to‘rep_monitor’@'%’identifiedby‘RepMonitor’;
四、修改mon主机的配置文件所需要修改的地方如下:
文件位置:
/usr/local/mmm/etc/mmm_mon.conf
#Clusterinterface
cluster_interfaceeth0----配置IP所用的网卡
#Clusterhostsaddressesandaccessparams
hostdb1
数据库名
ip192.168.1.2
node1ip
port3306
node1port
userrep_monitor
node1用户(供mon监控使用,该用户需要在db上添加)
passwordRepMonitor
对应密码
modemaster
模式
peerdb2
slave指定
hostdb2
意义同上
ip192.168.1.3
port3306
userrep_monitor
passwordRepMonitor
modemaster
peerdb1
#后续如有添加需求,请按照上面格式填写
active_master_rolewriter
#MysqlReaderrole
读规则
rolereader
modebalanced
模式为均摊
serversdb1,db2
规则覆盖db1db2(如有更多slave继续填写,别忘了ip)
ip192.168.1.7,192.168.1.8
对应ip虚拟的IP
#MysqlWriterrole
rolewriter
写规则
modeexclusive
模式为独占
serversdb1,db2
规则负载db1db2
ip192.168.1.9
两台数据库公用一个ip为写,采用HA模式,默认db1使用,db1下线db2接管此ip
五:
测试MMM
在db1/db2上启动agent功能
/usr/local/mmm/scripts/init.d/mmm_agentstart
在mon上启动mon功能
/usr/local/mmm/scripts/init.d/mmm_monstart
并对mon进行检测
#mmm_controlset_onlinedb1
#mmm_controlset_onlinedb2
#mmm_controlshow查看分配情况
正常情况下:
#mmm_controlshow
Serversstatus:
db1(192.168.1.2):
master/ONLINE.Roles:
reader(192.168.1.7;),writer(192.168.1.9;)
db2(192.168.1.3):
master/ONLINE.Roles:
reader(192.168.1.8;)
stop192.168.1.3
#mmm_controlshow
Serversstatus:
db1(192.168.1.2):
master/ONLINE.Roles:
reader(192.168.1.7;),writer(192.168.1.9;)
db2(192.168.1.3):
master/REPLICATION_FAIL.Roles:
None
检测出1.3出了故障.
等一会..进行了切换!
因为读写是轮循的.这时写切到了3
#mmm_controlshow
Serversstatus:
db1(192.168.1.2):
master/ONLINE.Roles:
reader(192.168.1.7;)
db2(192.168.1.3):
master/ONLINE.Roles:
reader(192.168.1.8;),writer(192.168.1.9;)
Telnet任何一个虚拟IP3306都是通的
五、mysql_proxy与mysqlMMM集成的必要性
1、实现mysql数据库层的负载均衡
2、数据库节点实现HA动态切换
3、读写分离,降低主数据库负载
六、安装mysqlproxy
1、下载proxy代码包
从svn上获取最新代码
svncomysql-proxy
2、安装
编译好的版本安装方法如下:
#tarzxfmysql-proxy-0.6.0-linux-rhas4-x86.tar.gz
#cdmysql-proxy-0.6.0-linux-rhas4-x86
#可以看到有2个目录
#ls
sbinshare
#mvsbin/mysql-proxy/usr/local/sbin/
#lsshare
mysql-proxytutorial-constants.luatutorial-packets.luatutorial-rewrite.luatutorial-warnings.luatutorial-basic.luatutorial-inject.luatutorial-query-time.luatutorial-states.lua
#将lua脚本放到/usr/local/share下,以备他用
#mvshare/mysql-proxy/usr/local/share/
#删除符号连接等垃圾代码
#strip/usr/local/sbin/mysql-proxy
proxy与MMM集成
连接接管
Proxy192.168.1.5
4040
读操作
Db1192.168.1.7:
3306
Db2192.168.1.8:
3306
写操作
Db1/db2192.168.1.9
默认db1先用,db1当机,db2接管
mysql-proxy–proxy-read-only-backend-addresses=192.168.1.7:
3306–proxy-read-only-backend-addresses=192.168.1.8:
3306–proxy-backend-addresses=192.168.1.9:
3306–proxy-lua-script=/usr/local/share/mysql-proxy/rw-splitting.lua&
现在解释一下:
–proxy-backend-addresses=192.168.1.9:
3306指定mysql写主机的端口
–proxy-read-only-backend-addresses=192.168.1.7:
3306指定只读的mysql主机端口
–proxy-read-only-backend-addresses=192.168.1.8:
3306指定另一个只读的mysql主机端口
–proxy-lua-script=/usr/local/share/mysql-proxy/rw-splitting.lua指定lua脚本,在这里,使用的是rw-splitting脚本,用于读写分离
完整的参数可以运行以下命令查看:
mysql-proxy–help-all
运行以下命令启动/停止/重启mysqlproxy:
#/etc/init.d/mysql-proxystart
#/etc/init.d/mysql-proxystop
#/etc/init.d/mysql-proxyrestart
Ps-ef|grepmysql-proxy
七、测试结果
将webserver如apache中部署的网站,数据库连接地址改为—-〉proxy的ip端口为4040
1、往数据库db1里写入数据,查看2个数据库同步情况
2、使用mon服务器mmm_controlshow查看状态
简单的测试可以连接proxy4040查看读写情况
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- mysql mmm proxy 实现 数据库 读写 分离 可用