农商银行新一代综合柜面业务系统性能测试报告doc.docx

农商银行新一代综合柜面业务系统性能测试报告doc.docx

《农商银行新一代综合柜面业务系统性能测试报告doc.docx》由会员分享，可在线阅读，更多相关《农商银行新一代综合柜面业务系统性能测试报告doc.docx（32页珍藏版）》请在冰豆网上搜索。

农商银行新一代综合柜面业务系统性能测试报告doc

农商银行新一代综合柜面业务系统性能测试报告（doc29页）

北京农商银行

新一代综合柜面业务系统

性能测试报告

文档编号

保密等级

作者

最后修改日期

审核人

最后审批日期

批准人

最后批准日期

修订记录

日期

版本

修订说明

修订人

2011-10-12

0.1

编写测试报告中的方案部分

王晓华

2011-10-13

0.2

对测试脚本、测试数据、测试场景进行描述

王晓华

2011-10-25

0.3

整理测试执行结果

王时磊

2011-10-28

0.4

数据分析和修订

王晓华

1测试简介

1.1项目背景

为解决原有字符终端柜面系统不能处理非线性数据（如图像）的缺陷、解决业务中的柜员离柜问题，并对交易前端的功能性梳理和整合，北京农商银行将实施现有字符终端向图形终端的改造，实施新一代综合柜面业务系统项目。

在新一代综合柜面业务系统全面推广上线前，需要对新系统平台进行性能测试，获取系统的并发处理能力、交易响应时间等性能指标。

1.2测试目标

本次性能测试的测试目标为：

Ø获取新一代综合柜面业务系统在测试环境中的性能指标数据

Ø发现性能瓶颈，协助开发人员进行性能调优，对系统上线提供性能建议和评估

1.3测试范围

新一代综合柜面系统的架构示意图如下图所示，图中红线虚框为本次性能测试的范围，包括ABS处理平台的后台应用服务器和数据库服务器。

1.4性能测试指标要求

指标分类

序号

指标描述

是否需求

性能指标

需求数值

备注

系统

处理能力

1

每秒事务数TPS

否

通过性能测试获取系统处理能力峰值

2

典型交易平均交易响应时间ART

否

获取实际指标值

3

批处理效率

否

柜面系统无大数据量批处理任务

4

最大

并发用户数

是

≥50

全行柜面终端数约为2800

5

交易成功率

是

≥99%

系统

资源利用率

6

CPU占用率

是

≤80%

7

内存使用率

是

≤80%

8

I/O使用率

是

≤80%

2测试方案

2.1压力模型

本次性能测试采用如下的简易压力模型：

Ø通过LoadRunner模拟图形终端各柜员向ABS平台发起交易压力

Ø通过测试环境中的核心业务系统响应柜面交易请求

2.2交易选择

根据和开发组的沟通，选择如下前端处理比较复杂的典型交易：

编号

交易码

交易名

交易占比

参数化域

备注

1

0210

个人客户信息建立

100%

无

处理较复杂的交易

2.3测试脚本

根据上述的系统架构示意图，通过LoadRunner的Socket协议录制柜面前端向柜面系统应用服务器发起的柜面交易，发现Socket交互次数（一组send和receive算一次交互）特别多（0210交易51次Socket交互），而且脚本回放时报接收报文长度不匹配错误。

新柜面系统开发组提供了一个测试用的Jar包，将图形前端ABC和后台应用服务器ABS之间的通讯过程进行了封装，通过解析描述型的交易数据文件后向后台提交交易，为此，使用LoadRunner的Java协议，测试脚本中通过调用Jar包中的对象提交柜面交易。

使用此测试脚本方案暂时也有如下缺点：

Ø无法实现交易数据的参数化

Ø脚本中只能定义各柜面交易执行全过程的长事务，无法对交易中各阶段进行分解分析（比如页面控件响应时间、交易提交响应时间、打印响应时间等）

Ø测试脚本中无法获取交易执行结果：

交易提交后不返回响应特征码，从测试脚本中无法判断交易执行的情况，需要分析后台日志文件或数据库流水表分析交易是否成功（性能测试交易量巨大可能会引起大量的交易结果分析工作量）

ØLoadRunner统计分析数据失真（因失败交易也当成成功交易进行统一分析）

2.4资源监控

根据压力测试模型，本次性能测试需要监控如下主机的一些性能指标数据：

v新柜面系统应用服务器主机（Linux操作系统）

✓CPU–CPUUtilization（CPU使用率%）

✓Memory–Pagingrate（内存页交换速率）

✓I/O–DiskTraffic（磁盘交换速率）

v新柜面系统数据库服务器主机（AIX操作系统）

✓CPU–CPUUtilization（CPU使用率%）

✓Memory–Pagingrate（内存页交换速率）

✓I/O–DiskTraffic（磁盘交换速率）

vLoadRunner控制器和压力产生器主机（WindowsXP操作系统）

✓CPU–%TotalProcessorTime（总的CPU使用率）

✓Memory–AvailableMbytes（物理内存的可用数，单位Mbytes）

✓Memory–PageFaults/sec（页面错误导致的页交换计数）

✓I/O–%DiskTime（磁盘驱动器读写请求已用时间所占百分比）

主机资源指标数据监控的方法：

Ø优先通过LoadRunner进行监控

Ø通过操作系统内部指令（如top、vmstat等）

2.5测试场景

设计如下类型的测试场景：

Ø基准测试：

获取系统处理各典型交易在无压力情况下单笔交易的耗时，为并发场景提供一个基本数据参考。

Ø并发测试：

检验服务器端对每个典型交易多个并发用户的处理能力，获取系统处理性能指标值。

各测试场景设置信息如下：

编号

场景类型

场景名

并发用户数

加压方式

持续

时间

退出方式

思考时间/迭代延迟

交易组合

备注

1

基准测试

JZ_0210_1_100

1

同时

运行完成

同时

无

0210

2

并发测试

BF_0210_10

10

同时

运行完成

同时

无

0210

3

并发测试

BF_0210_20

20

同时

运行完成

同时

无

0210

4

并发测试

BF_0210_30

30

同时

运行完成

同时

无

0210

5

并发测试

BF_0210_40

40

同时

运行完成

同时

无

0210

6

并发测试

BF_0210_50_10m

50

每15秒

加10VU

10m

每15秒

减10VU

无

0210

7

并发测试

BF_0210_100_10m

100

每15秒

加200VU

10m

每15秒

减20VU

无

0210

8

并发测试

BF_0210_150_10m

150

每15秒

加300VU

10m

每15秒

减30VU

无

0210

9

并发测试

BF_0210_200_10m

200

每15秒

加40VU

10m

每15秒

减40VU

无

0210

10

并发测试

BF_0210_250_10m

250

每15秒

加50VU

10m

每15秒

减50VU

无

0210

11

并发测试

BF_0210_300_10m

300

每15秒

加60VU

10m

每15秒

减60VU

无

0210

注：

根据全行柜面终端数约2800的统计数据，最大并发数为终端数的10%～15%（经验值），选择最大300并发的场景。

3测试环境

3.1网络拓扑图

本次性能测试环境的网络拓扑图如下：

（其中核心系统使用测试环境中的172.16.12.6主机）

3.2软硬件配置

新一代柜面系统应用服务器

硬件配置

主机型号

CPU

4C8U，Intel（R）Xeon（R）CPUE5506@2.13GHz

物理内存

8G

硬盘容量

276G

IP地址

192.156.33.6

网络设备

100M局域网卡

软件配置

类型

名称

版本

操作系统

SUSELinux

EnterpriseServer10（x86_64）

应用软件

JDK/JRE

1.6.0_23

新一代柜面系统数据库服务器

硬件配置

主机型号

IBM8202-E4B

CPU

Power6，4C8U@3000MHz

物理内存

16G

硬盘容量

70G

IP地址

192.156.33.18

网络设备

100M局域网卡

软件配置

类型

名称

版本

操作系统

AIX

Version5.3

数据库

Oracle10g

10.1.0.2.0

核心业务系统主机

硬件配置

主机型号

IBMAS400

CPU

物理内存

硬盘容量

IP地址

172.16.12.6

网络设备

100M局域网卡

软件配置

类型

名称

版本

操作系统

OS400

数据库

LR控制器/压力产生器

硬件配置

主机型号

PC

CPU

2C@2.2G

物理内存

1G

硬盘容量

160G

IP地址

172.16.15.14

网络设备

100M局域网卡

软件配置

类型

名称

版本

操作系统

MicrosoftXPProfessional

SP2

应用软件

HPLoadRunner 

8.1英文版 

3.3测试工具

序号

工具名称

用途及说明

厂商

版本

1

LoadRunner

性能测试工具，Java协议（License并发数为300）

HP

8.1英文版

4测试实施情况

4.1测试时间和地点

时间：

2011年10月08日—2011年10月21日

地点：

北京农商银行空港办公区3楼测试机房

4.2参加测试人员

参加本次性能测试的人员包括：

Ø王鹏：

测试经理，性能测试总体协调

Ø高伟：

开发组支持，测试脚本录制和调试

Ø王晓华：

性能测试专家，制订方案、指导测试

Ø王时磊：

性能测试工程师，测试工具、测试场景准备、测试执行

4.3测试实施进度

编号

任务

开始日期

结束日期

责任人

1

讨论和制订测试方案

2011-10-08

2011-10-10

王晓华

2

测试工具准备

2011-10-08

2011-10-08

王时磊

3

测试脚本编制、调试

2011-10-08

2011-10-13

王时磊

4

测试场景准备

2011-10-12

2011-10-12

王时磊

5

测试环境准备

2011-10-13

2011-10-13

王鹏

6

测试执行

2011-10-21

2011-10-21

王时磊

7

编写《测试报告》

2011-10-25

2011-10-28

王晓华

5测试结果

5.1基准测试

5.1.1测试结果

使用测试工具LoadRunner运行测试脚本，统计出测试结果如下（TPS、ART、CPU%均为平均值）：

编号

场景名称

并发

用户数

交

易

总

数

成功

交易数

失败

交易数

交易

成功率

TPS

（笔/秒）

ART（秒）

应用服务器CPU%

数据库服务器CPU%

1

JZ_0210_1_100

1

100

100

0

100.00%

2.1

0.418

3.0%

1.1%

在无压力的情况下，0210（个人客户信息建立）的平均交易响应时间为418ms，其中该交易包括如下完整的交易处理过程（可参见附录2中0210交易处理脚本）：

Ø输入交易码后，获取Frame框架显示内容

Ø各输入场输入数据时与后台系统的交互

Ø提交交易，获取核心系统返回结果

5.1.2分析图表

测试工具LoadRunnerAnalysis的TPS图表：

测试工具LoadRunnerAnalysis的ART图表：

5.2并发测试

5.2.1测试结果

使用测试工具LoadRunner运行测试脚本，统计出测试结果如下（TPS、ART、CPU%均为平均值）：

编号

场景名称

并发

用户数

交

易

总

数

成功

交易数

失败

交易数

交易

成功率

TPS

（笔/秒）

ART（秒）

应用服务器CPU%

数据库服务器CPU%

1

BF_0210_10_10m

10

11,451

11,451

0

100.00%

19.0

0.524

12.9%

3.4%

2

BF_0210_20_10m

20

15,532

15,532

0

100.00%

25.7

0.779

17.5%

6.4%

3

BF_0210_30_10m

30

15,967

15,966

1

99.99%

26.4

1.136

18.2%

7.3%

4

BF_0210_40_10m

40

15,987

15,987

0

100.00%

26.4

1.497

18.0%

7.7%

5

BF_0210_50_10m

50

22,152

21,791

361

98.37%

30.6

1.452

21.6%

7.7%

6

BF_0210_100_10m

100

23,629

19,214

4,415

81.32%

32.6

2.861

20.9%

6.5%

7

BF_0210_150_10m

150

22,683

19,747

2,936

87.06%

31.2

4.466

21.1%

7.2%

8

BF_0210_200_10m

200

26,133

19,077

7,056

73.00%

36.0

4.955

22.8%

6.9%

9

BF_0210_250_10m

250

28,696

16,066

12,630

55.99%

39.5

5.693

23.7%

7.2%

10

BF_0210_300_10m

300

22,409

22,315

94

99.58%

30.8

8.757

22.3%

6.2%

在并发场景时，出现了如下两种交易失败导致交易成功率不高：

1）并发数达到50时，ABS交易流水表出现记录状态为"x"的记录（未收到核心系统对交易的处理结果），并发数为10、20、30、40时基本正常

2）并发数达到100及以上时，ABS交易流水表中记录数小于LoadRunner中记录的实际发送的交易笔数（部分交易数据丢失，未发往核心系统）

另外，从表中可以看出：

Ø在当前测试环境配置下，新柜面系统的最大处理能力约为40tps

Ø在50并发时，0210交易的平均交易响应时间为1.452秒

Ø在各并发场景下，应用服务器和数据库服务器的CPU占用率均不高

5.2.2分析图表

v场景BF_0210_10_10m结果分析图

1）交易吞吐量TPS-虚拟用户数量VU合并曲线

2）交易响应时间ART-虚拟用户数量VU合并曲线

3）应用服务器主机CPU占用率-虚拟用户数量VU合并曲线

4）数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线

v场景BF_0210_20_10m结果分析图

1）交易吞吐量TPS-虚拟用户数量VU合并曲线

2）交易响应时间ART-虚拟用户数量VU合并曲线

3）应用服务器主机CPU占用率-虚拟用户数量VU合并曲线

4）数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线

v场景BF_0210_30_10m结果分析图

1）交易吞吐量TPS-虚拟用户数量VU合并曲线

2）交易响应时间ART-虚拟用户数量VU合并曲线

3）应用服务器主机CPU占用率-虚拟用户数量VU合并曲线

4）数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线

v场景BF_0210_40_10m结果分析图

1）交易吞吐量TPS-虚拟用户数量VU合并曲线

2）交易响应时间ART-虚拟用户数量VU合并曲线

3）应用服务器主机CPU占用率-虚拟用户数量VU合并曲线

4）数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线

v场景BF_0210_50_10m结果分析图

1）交易吞吐量TPS-虚拟用户数量VU合并曲线

2）交易响应时间ART-虚拟用户数量VU合并曲线

3）应用服务器主机CPU占用率-虚拟用户数量VU合并曲线

4）数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线

v场景BF_0210_100_10m结果分析图

1）交易吞吐量TPS-虚拟用户数量VU合并曲线

2）交易响应时间ART-虚拟用户数量VU合并曲线

3）应用服务器主机CPU占用率-虚拟用户数量VU合并曲线

4）数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线

v场景BF_0210_150_10m结果分析图

1）交易吞吐量TPS-虚拟用户数量VU合并曲线

2）交易响应时间ART-虚拟用户数量VU合并曲线

3）应用服务器主机CPU占用率-虚拟用户数量VU合并曲线

4）数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线

v场景BF_0210_200_10m结果分析图

1）交易吞吐量TPS-虚拟用户数量VU合并曲线

2）交易响应时间ART-虚拟用户数量VU合并曲线

3）应用服务器主机CPU占用率-虚拟用户数量VU合并曲线

4）数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线

v场景BF_0210_250_10m结果分析图

1）交易吞吐量TPS-虚拟用户数量VU合并曲线

2）交易响应时间ART-虚拟用户数量VU合并曲线

3）应用服务器主机CPU占用率-虚拟用户数量VU合并曲线

4）数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线

v场景BF_0210_300_10m结果分析图

1）交易吞吐量TPS-虚拟用户数量VU合并曲线

2）交易响应时间ART-虚拟用户数量VU合并曲线

3）应用服务器主机CPU占用率-虚拟用户数量VU合并曲线

4）数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线

6数据分析

对并发场景，根据不同并发数对主要性能指标（TPS、ART、CPU%）进行图表分析如下：

从图中可以看出：

Ø随着并发用户数增加，TPS缓慢增加。

当并发数为250时，TPS达到最大值，约为40tps。

Ø随着并发用户数增加，ART也随之增加。

当并发数大于50时，平均交易响应时间超过2秒的最佳用户体验值。

Ø在各并发场景中，应用服务器和数据库服务器的CPU占用率均不高，表明主机硬件配置暂时还不会成为系统瓶颈。

7系统评价

通过在本次性能测试环境中对新一代柜面系统的性能评测，可得到如下基础结论：

1）新柜面系统在50个以上的并发用户数时均出现较多的交易失败（失败类型包括未收到核心处理结果及交易请求未发往核心系统），新柜面系统在本次测试环境中支持的最大并发数约为40。

2）当前测试环境下，新柜面系统支持的最大交易处理能力约为40tps，且应用服务器和数据库服务器CPU占用率均不超过25%

3）在小于50个并发时，平均交易响应约为1.5秒，在最佳用户体验值范围内。

8测试遗留问题

因测试脚本、测试环境、测试支持等方面的限制，本次性能测试遗留有一些问题留待以后合适的时间进行解决：

1）测试环境与生产环境的硬件配置有差异（如生产环境应用服务器有负载均衡设备），导致当前测试结果仅能提供一些参考。

2）受测试脚本、挡板程序开发进度的限制，本次性能测试仅选择一个0210典型交易，无法执行更能模拟生产情况的混合业务场景。

3）稳定性场景也需要在混合场景的基础上进行长时间的测试执行，以考察新一代柜面系统提供持续服务的能力。

4）脚本无法进行参数化，网点开门时柜面并发登录的场景暂无法模拟，也无法获得系统支持的最大连接柜员数

5）达到50个并发后出现大量的交易失败，需要开发组定位问题原因，修改后再进行回归验证

6）在达到最大tps时，服务器CPU占用率并不高，系统瓶颈还需要和开发组进行分析验证

9附录

9.1性能测试记录表

9.20210交易处理脚本