【独家特稿】MySQL Proxy就是这么一个中间层代理,简单的说,MySQL Proxy就是一个连接池,负责将前台应用的连接请求转发给后台的数据库,并且通过使用lua脚本,可以实现复杂的连接控制和过滤,从而实现读写分离和负载平衡。对于应用来说,MySQL Proxy是完全透明的,应用则只需要连接到MySQL Proxy的监听端口即可。当然,这样proxy机器可能成为单点失效,但完全可以使用多个proxy机器做为冗余,在应用服务器的连接池配置中配置到多个proxy的连接参数即可。MySQL Proxy更强大的一项功能是实现“ 读写分离”,基本原理是让主数据库处理事务性查询,让从库处理SELECT查询。数据库复制被用来把事务性查询导致的变更同步到集群中的从库。在生成Mysql的M-S结构后,为了实现读写分离,需要使用Mysql Proxy。目前Mysql Proxy的版本为0.8.2 。

MySQl Proxy目前应用的生产环境:

一、现实中很多应用环境是这样:在程序开发初期就没有规划好,程序读写数据都只提供一个IP接口,后期由于压力顶不住,公司要求后来的系统架构师/DBA将公司的数据库架构更改,这样在程序上实现比较困难,所以加进此中间层来实现。

二、建议大家还是将其应用中小型网站,特别是读比较频繁的网站。如果是大型网站或门户型的网站,建议读写分离还是从开发层面实现。

三、建议大家采用MySQL Proxy 0.8.0以上的版本,它修正了以前不少BUG,而且稳定性也不错。

一、MySQL Proxy0.8.2的安装步骤如下:

先从mysql.com官方地址http://dev.mysql.com/downloads/mysql-proxy/下载源码包到/usr/local/src/目录下,建议大家采用***的MySQL Proxy0.8.2版本,Mysql Proxy0.8.2安装之前有先决条件,如下:

libevent 1.x 或更高 glib2 2.6.0 或更高 lua 5.1.x 或更高 pkg-config libtool 1.5 或更高 MySQL 5.0.x 或更高的开发库

服务器操作系统:Centos5.6 x86_64

1.为了加速安装进度,我们可以先yum安装必须的库,同时解决pkg-config、libtool和Mysql开发库,由于mysql-proxy实际并不需要在本机上运行mysql实例,所以我们在这里用yum安装,命令如下所示:

    yum-yinstallgccgcc-c++autoconfmysql-devellibtoolpkgconfigncursesncurses-devel

2.libevent安装libevent-2.0.13版本,从此处可以下载:

http://monkey.org/~provos/libevent-2.0.13-stable.tar.gz

运行如下命令进行安装:

    tarxvflibevent-2.0.13-stable.tar.gz cdlibevent-2.0.13-stable ./configure make&&makeinstall

3.glib2安装glib-2.18.4版,从此处可以下载:

http://ftp.gnome.org/pub/gnome/sources/glib/2.18/glib-2.18.4.tar.gz

运行如下命令进行安装:

    tarxvfglib-2.18.4.tar.gz cdglib-2.18.4 ./configure make&&makeinstall

4.lua安装5.1.4版本,安装之前需要先安装readline 6.1,不然会报错缺少头文件:

readline 6.1下载:

ftp://ftp.cwru.edu/pub/bash/readline-6.1.tar.gz

运行如下命令进行安装:

    tarxvfreadline-6.1.tar.gz cdreadline-6.1 ./configure make&&makeinstall

为了让动态链接库为系统所共享,我们这里用ldconfig

    ldconfig-v

用此选项时,ldconfig将显示正在扫描的目录及搜索到的动态链接库,还有它所创建的连接的名字。

5.安装lua 5.1.4,其下载地址为http://www.lua.org/ftp/lua-5.1.4.tar.gz。

    cd/usr/local/src tarxvflua-5.1.4.tar.gz cdlua-5.1.4

# 64位系统,需在CFLAGS里加上-fPIC ,我们用vim编辑下src/Makefile文件,修改代码如下所示:

    CFLAGS=-O2-Wall-fPIC$(MYCFLAGS)

我们继续用如下命令进行安装:

    makelinux makeinstall

6.配置pkg-config 环境变量,命令如下所示:

    cpetc/lua.pc/usr/local/lib/pkgconfig/ exportPKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig

7.以上操作就完成了基础文件的安装,接下来是MySQL Proxy0.8.2安装,下载完后运行如下命令:

    tarxvfmysql-proxy-0.8.2.tar.gz cdmysql-proxy-0.8.2 ./configure–prefix=/usr/local/mysql-proxy make&&makeinstall cplib/rw-splitting.lua/usr/local/lib/ cplib/admin.lua/usr/local/lib/

二、到这里MySQL-proxy已基本安装完成,接下来就是MySQL Proxy0.8.2的测试和配置了。

MySQL Proxy环境设置说明

Master MySQL服务器:192.168.2.117

Slave MySQL服务器:192.168.192.168.2.115

MySQL Proxy服务器:192.168.2.112

1.mysql-proxy选项说明,大家也可以用mysql-proxy –help-all查看它的帮助选项,命令如下所示:

    mysql-proxy--help-all

管理功能选项:

    --admin-address=host:port指定一个mysqo-proxy的管理端口,缺省是4041; --admin-username=<string>usernametoallowtologin --admin-password=<string>passwordtoallowtologin --admin-lua-script=<filename>scripttoexecutebytheadminplugin

代理功能选项:

-P,–proxy-address=<host:port> 是mysql-proxy 服务器端的监听端口,缺省是4040,建议改为3306,方便开发人员写代码。 -r,–proxy-read-only-backend-addresses=<host:port> 只读Slave的地址和端口,缺省为不设置; -b,–proxy-backend-addresses=<host:port> 远程Master地址和端口,可设置多个做failover和load balance,缺省是127.0.0.1:3306; –proxy-skip-profiling 关闭查询分析功能, 缺省是打开的; –proxy-fix-bug-25371 修正 mysql的libmysql版本大于5.1.12的一个#25371号bug; -s,–proxy-lua-script=<file> 指定一个Lua脚本来控制mysql-proxy的运行和设置,这个脚本在每次新建连接和脚本发生修改的的时候将重新调用;

其他选项:

–defaults-file=<file>配置文件,可以把mysql-proxy的参数信息置入一个配置文件里,建议大家用这种配置MySQL Proxy0.8.2,比较方便; –daemon mysql-proxy以守护进程方式运行; –pid-file=file 设置mysql-proxy的存储PID文件的路径; –keepalive try to restart the proxy if it crashed,保持连接启动进程会有2个, 一号进程用来监 视二号进程, 如果二号进程死掉自动重启proxy,这是新版MySQL Proxy的增加的Keepalived功能,它修正了以前MySQL Proxy容易死掉的bug,建议大家开启此功能。

完整的mysql-proxy配置文件如下:

    [mysql-proxy] admin-username=root admin-password=123456 admin-lua-script=/usr/local/lib/admin.lua proxy-read-only-backend-addresses=192.168.2.115 proxy-backend-addresses=192.168.2.117 proxy-lua-script=/usr/local/lib/rw-splitting.lua log-file=/var/log/mysql-proxy.log log-level=debug daemon=truekeepalive=true

2.给用户授权 在Master/Slave建立一个测试用户,因为以后客户端发送的SQL都是通过mysql-proxy服务器来转发,所以要确保可以从mysql-proxy服务器上登录MySQL主从库,分别在主和从MySQL机器上执行如下所示:

    mysql>grantallprivilegeson*.*to'test'@'192.168.2.117'identifiedby'test'withgrantoption; mysql>grantallprivilegeson*.*to'test'@'192.168.2.115'identifiedby'test'withgrantoption;

3.做完此步我们就可以在MySQL Proxy0.8.2上进行测试了,命令如下所示:

    /usr/local/mysql-proxy/bin/mysql-proxy-P192.168.2.112:3306--defaults-file=/etc/mysql-proxy.cnf

我们监测下MySQL Proxy的日志,有如下字样表示MySQL Proxy已成功启动了(注意之前要成功启动117和115上的mysql程序),如下所示: 2012-03-13 14:05:38: (message) added read-only backend: 192.168.2.115 2012-03-13 16:14:56: (message) proxy-plugin.c.1508: connect(192.168.2.115:3306) failed: Connection refused. Retrying with different backend. 2012-03-14 13:58:23: (message) chassis-unix-daemon.c:136: [angel] we try to keep PID=2399 alive 2012-03-14 13:58:23: (debug) chassis-unix-daemon.c:157: waiting for 2399 2012-03-14 13:58:23: (debug) chassis-unix-daemon.c:121: we are the child: 2399 2012-03-14 13:58:23: (message) mysql-proxy 0.8.2 started 2012-03-14 13:58:23: (debug) max open file-descriptors = 1024 2012-03-14 13:58:23: (message) proxy listening on port 192.168.2.112:3306 2012-03-14 13:58:23: (message) added read/write backend: 192.168.2.117 2012-03-14 13:58:23: (message) added read-only backend: 192.168.2.115

我们多开些MySQL客户端,会发现MySQL Proxy0.8.2很容易的利用Lua脚本实现读写分离功能了,在进行测试前我比较担心的一个问题是:如果主Master因故障停止服务了,MySQL Proxy会不会在从机上面写数据呢?这样会导致主从数据不一,事实上,我在停掉192.168.2.117上的MySQL时发现,MySQL Proxy0.8.2直接不允许写数据了。

三、MySQL Proxy0.8.2测试中遇到的问题。 1.我们可以修改读写分离Lua脚本,让测试更容易,Lua脚本默认最小4个***8个以上的客户端连接才会实现读写分离(这是因为mysql-proxy会检测客户端连接, 当连接没有超过min_idle_connections预设值时,不会进行读写分离,即查询操作会发生到Master上),现改为最小1个***2个,我们用vim修改/usr/local/lib/rw-splitting.lua脚本,改动内容如下所示:

    ifnotproxy.global.config.rwsplitthen proxy.global.config.rwsplit={ min_idle_connections=1, max_idle_connections=2, is_debug=false} end

2.MySQL Proxy0.8.2启动后,我们看的网站页面全是乱码,所以我们要将主从数据库的配置文件my.cnf加进如下代码以避免这个问题:

    [mysqld] skip-character-set-client-handshake init-connect='SETNAMESutf8'default-character-set=utf8

3.配置文件的权限问题

建议使用配置文件的形式启动,注意配置文件必须是660权限,否则无法启动。如果有多个Slave的话,proxy-read-only-backend-addresses参数可以配置多个以逗号分隔的IP:Port从库列表。

注意的是,虽然以前的MySQL Proxy的版本存在着这样或那样的问题,但新版的MySQL Proxy0.8.2基本都修正这些Bug了,而且它毕竟是MySQL官方推出的产品,而且相对于Amoeba而言,MySQL Proxy支持事务,我们在生产环境下可以尝试将其用之于代码已固定而且不能更改、的中小型网站。

【编辑推荐】

    MySQL源码学习:MDL字典锁MySQL Cluster开发环境简明部署MySQL的四种不同查询的分析MySQL的四种不同查询的分析MySQL内存表的特性与使用介绍