XXXX性能测试报告0704V10.docx
- 文档编号:7181243
- 上传时间:2023-01-21
- 格式:DOCX
- 页数:15
- 大小:300.38KB
XXXX性能测试报告0704V10.docx
《XXXX性能测试报告0704V10.docx》由会员分享,可在线阅读,更多相关《XXXX性能测试报告0704V10.docx(15页珍藏版)》请在冰豆网上搜索。
XXXX性能测试报告0704V10
XXXX保险有限公司
xxxx会员项目性能测试报告
2018年06月27日
文档编号:
(V1.0)
文档信息
文档名称
XXXX会员销售系统接口压测
作者
XXX
审批者
说明
针对XXXX会员上线前系统评估
版本
日期
作者
修改描述
批准人
日期
V1.0
2018-06-27
XXX
初稿
目录
XXXX会员项目性能测试报告1
1.测试背景1
1.1.测试目的1
1.2.参考资料1
2.测试范围2
2.1.测试功能点2
3.性能需求指标2
3.1术语概述3
4.测试工具3
5.测试环境3
5.1.应用版本准备3
5.2.测试环境软硬件配置4
5.3.数据准备4
6.业务模型4
6.1.系统业务模型4
7.测试策略5
7.1.测试发起策略5
7.2.会员销售系统系统测试执行策略5
7.2.1.容量测试5
7.2.2.稳定性测试6
7.2.3.负载测试6
8.测试结果分析7
8.1.基准测试7
8.2.登录退出接口并发测试8
8.3.身份证OCR识别接口并发测试8
8.4.接口混合场景并发测试9
8.5.负载测试10
9.测试结论10
9.1.测试总结10
9.2.问题定位与建议11
1.测试背景
1.1.测试目的
为了解XXXX会员销售系统目前的性能情况,针对“会员销售系统”正式投产使用前进行性能测试,在高并发情况下检验能否满足业务需求,确保生产环境能够有序稳定运营。
本次对【会员销售系统】进行性能测试,通过选取如下测试类型,达到以下目的:
本次选取
测试类型
测试目的
负载测试
验证会员销售系统会员入会是否满足上线需求
容量测试
获取会员销售系统在既有环境满足指标要求下的最大处理能力
稳定性测试
验证系统整体的稳定运行能力
1.2.参考资料
Ø《会员系统压力测试方案》
Ø《XXXX会员销售系统接口文档》
2.测试范围
2.1.测试功能点
系统名称
功能名
接口名称
XXXX会员销售系统
登录接口
login
退出登录接口
signOut
拉取菜单接口
getMenus
客户管理列表接口
getMemberList
入会添加会员接口
addMember
获取基本配置数据接口
queryOccupationList
电子签名接口
member-sign
获取手机验证码接口
sendNMBSMS
微信端身份证认证接口
identify
预览信息接口
review-mem-info
预览pdf文件接口
protocol
预览pdf文件接口
insureinfo
预览pdf文件接口
baseinfo
本次会员销售系统性能测试不包含界面的性能测试,只针对接口同事提供的重要接口实施压测。
3.性能需求指标
系统在多用户并发下的性能指标,主要包括:
Ø交易响应时间:
3s
Ø系统处理能力(TPS):
是指系统每秒钟处理完成的交易数量
Ø系统资源利用率:
CPU使用率低于80%、内存使用率低于80%
Ø交易成功率:
会员销售系统各接口>99%,其他应用数据仅供参考
1
2
3
3.1术语概述
Ø最大并发用户数:
基于生产业务场景下,单位时间内服务端最大能承受多少用户同时访问服务端接口
Ø最大在线用户数:
基于生产业务场景下,单位时间内服务端最大能支撑多少用户同时在线
Ø最大TPS:
基于生产业务场景下,单位时间内服务端所能处理的最大事务数
Ø响应时间:
用户调用底层接口,从请求发起到APP收到返回的时间
Ø90%响应时间:
90%的用户接口调用最大耗时
4.测试工具
序号
测试工具名称
环境准备情况及要求
1
jmeter
安装部署完成后。
2
Jmeter插件
上传到服务器进行监控
4
5.测试环境
5.1.应用版本准备
应用名称
版本号
测试环境地址
会员销售系统应用服务器
V20180621
*.*.218.134
5.2.测试环境软硬件配置
主机用途
IP
数量
硬件资源
系统软件
会员销售系统数据库服务器
*.*.233.129
1
CPU:
8
内存:
16G
硬盘:
oracle
5.3.数据准备
序号
数据类型
数据准备情况及要求
1
基础数据
1000测试账号
2
测试数据
无
6.业务模型
4
6.1.系统业务模型
系统名称
功能名
接口名称
占比
XXXX会员销售系统
登录接口
login
2.00%
退出登录接口
signOut
2.00%
拉取菜单接口
getMenus
2.00%
客户管理列表接口
getMemberList
4.00%
入会添加会员接口(身份认证和身份信息确认)
addMember
50.00%
获取基本配置数据接口
queryOccupationList
2.00%
电子签名接口
member-sign
10.00%
获取手机验证码接口
sendNMBSMS
2.00%
微信端身份证认证接口
identify
10.00%
预览信息接口
review-mem-info
10.00%
预览pdf文件接口
protocol
2.00%
预览pdf文件接口
insureinfo
2.00%
预览pdf文件接口
baseinfo
2.00%
7.测试策略
5
7.1.测试发起策略
使用Jmeter测试工具,通过https协议向被测系统发起压力。
7.2.会员销售系统系统测试执行策略
7.2.1.容量测试
容量测试目的是在系统没有出现任何软件故障或主要功能仍可正常运行的状态下,获取系统的最大承载、服务能力以及系统性能表现。
测试方法:
1、使用一定的并发压力,通过逐步递增并发压力,找到满足所有指标要求的系统性能拐点,获取系统最大处理能力。
2、使用一定的并发压力,通过逐步递增并发压力,找到满足所有指标要求的系统性能拐点,获取最大并发连接数。
容量测试涉及的业务:
测试需求
测试场景/交易
加载/卸载方式
负载压力
持续时间
备注
容量测试
参考6.1系统业务模型的所有交易。
持续加压,保证Vuser全部正常登陆;持续退出,保证Vuser全部正常退出
按业务模型中各交易的配比
20分钟
7.2.2.稳定性测试
在一定压力负载下,验证系统是否可长时间稳定运行,特别关注系统资源使用情况是否平稳以及是否存在内存泄漏等异常问题。
在可能发生的业务模型下,使用一定的并发压力,可参考业务发生的日常压力或者预期的负载,对于无生产业务量参考的系统,可参考混合场景结果选取(一般选取混合场景最大系统处理能力的75%对应的并发压力)。
稳定性测试需运行较长时间,通常场景执行时间8小时,如需适当缩短或延长执行时间,需要提供理由说明,建议最短不低于8小时。
主要关注平均响应时间、系统处理能力、资源利用率、交易成功率等各项指标变化是否平稳,是否存在内存泄漏等问题。
7.2.3.负载测试
在可能发生的业务模型下,验证系统是否满足预期的性能指标。
需要说明的是,预期的性能指标不一定达到系统的最大负载。
针对业务模型中确定的系统主要功能点,在特定并发压力下(通常为需求规划值),验证系统是否满足性能指标。
此指标一般体现为响应时间、并发用户数、系统处理能力、资源使用率等。
主要关注性能指标在特定并发压力下是否均达到预期要求。
8.测试结果分析
8.1.基准测试
接口名称
并发数
90%响应时间(毫秒)
吞吐量
ReceivedKB/sec
SentKB/sec
接口调用成功率
(KB/sec)
登录接口
1
41
24.39
21.39
13.74
100%
拉取菜单接口
20
50.00
28.56
41.94
100%
客户管理列表接口
28
35.71
167.06
31.84
100%
手机注册
40
25.00
6.23
18.12
100%
OCR识别
3699
16.2/min
0.15
140.53
100%
身份认证
46
21.74
11.76
21.1
100%
客户基本信息确认
9174
6.5/min
0.06
0.14
100%
获取基本配置接口
29
34.48
63.01
24.75
100%
阅读确认
144
6.94
3.36
16.45
100%
电子签名接口
27352
2.2/min
0.01
0.43
100%
预览信息接口
74
13.51
14.57
9.51
100%
预览会员信息
28
35.71
9.87
26.05
100%
预览基本信息
49
20.41
5.6
14.85
100%
预览协议
25
40.00
10.98
29.1
100%
预览接口
176
5.6
10.57
16.05
100%
查询身份证号
2623
22.9/min
0.01
0
100%
退出登录接口
48
10.01
10.01
13.83
100%
总体
2422
24.9/min
0.37
12.58
100%
通过对会员系统整体场景接口进行基准测试验证,单用户并发除身份证认证、身份证信息确认、电子签名接口平均响应时间超过3秒,其余接口单用户响应时间均符合要求。
需开发同事对身份证认证、身份证信息确认、电子签名接口的响应时间进行分析,进行相关调优工作。
8.2.登录退出接口并发测试
如上图对用户登录、退出接口做并发测试,900、1000个用户并发平均响应时间分别为:
2.026s,2.451s,不足3秒,接口调用成功率100%,90%的用户响应时间为4S-5S左右,故系统可以满足1000左右用户并发使用,且状况良好。
为验证系统承受最大并发用户数,分别进行1500,2000用户并发,此时平均响应时间大于3s,90%的用户响应时间为9S左右,系统响应时间明显变慢,且调用接口成功率为97.9%,登录和退出接口出现性能瓶颈。
8.3.身份证OCR识别接口并发测试
从以上OCR识别用户40/70/100并发执行结果来看,OCR识别认证支持最大用户并发为40,此时平均响应时间为74s,90%接口平均响应时间为94s,接口成功率为100%;当并发用户数增至70,平均响应时间为144s,90%接口平均响应时间为192s,接口成功率为90%,当并发用户数增至100,平均响应时间为178s,90%接口平均响应时间为203s,接口成功率为70%,接口调用均出现不同程度的失败,故身份证OCR识别认证成功最大并发为40用户。
8.4.接口混合场景并发测试
如图,7用户并发客户基本信息确认和电子签名接口成功率为85.71%,客户基本信息确认平均响应时间21s,90%用户相应时间为32秒,电子签名平均响应时间72s,90%用户响应时间为116秒,此次存在性能瓶颈,需开发同事结合压测结果进行相关调优工作。
预览信息接口调用成功率为100%,平均响应时间30s,90%用户相应时间为51秒,此处性能瓶颈也比较明显,需要对预览信息的PDF文件大小进行优化,以满足客户快速预览需求。
8.5.负载测试
接口名称
并发数
90%响应时间(毫秒)
吞吐量
接口调用成功率
登录
1000
5162
43.3/sec
100%
2000
9094
63.2/sec
97.9%
OCR图片上传
40
94156
24.1/min
100%
100
203202
10.8/min
70%
签名接口
7
116668
2.1/min
85.71%
说明:
其中OCR身份证识别接口、身份信息提交接口、电子签名接口、预览接口进行混合场景压测超过50用户并发,接口调用成功率不足50%,无法持续进行稳定性测试,需要开发对以上并发出现的问题进行调优后方可进行后续的压测。
9.测试结论
9.1.测试总结
因测试周期较短,且系统功能不稳定,还有部分功能未提交压测,目前压测环境系统性能无法支撑用户要求的10000用户并发数,本次性能测试结果数据只是在保代同事提供现有软硬件环境下获取相应的性能测试指标。
针对会员项目系统在压测过程中存在的性能问题,在实际生产过程中需相关人员进行监控与跟踪。
负载测试
登录接口在1000用户并发下99%响应时间为9秒左右,接口调用成功率100%当接口并发2000时,响应时间延长至21秒,接口调用成功率降低为97.9%;如按照要求需要并发10000用户,需要进行性能调优。
OCR识别认证支持最大用户并发为40,此时平均响应时间为74s,90%接口平均响应时间为94s,接口成功率为100%;,若超过40并发,性能瓶颈更加明显,故需要大并发需要进行性能调优。
身份证信息确认在7用户并发下99%用户相应时间为48秒,接口成功率为85.71%,确认身份信息失败导致电子签名接口的性能瓶颈无法准确预估,需先对身份信息确认接口调优后再次验证签名接口负载。
预览信息接口调用成功率为100%,99%用户响应时间为112秒,系统响应时间耗时过长,需对此处做相应的性能调优。
本次由于负载测试结果不理想,无法做容量压测和稳定性测试,需对以上负载测试出现的问题进行相应的性能调优后方可进行后续的压测工作。
9.2.问题定位与建议
测试过程中发现性能问题以及优化如下:
1、问题:
OCR图片识别接口(identify.do)、预览信息接口(review-mem-info.do)响应时间很不稳定,最高达几百秒,甚至出现500报错;
建议优化:
图片、PDF大小进行调整,对代码优化,采用异步队列的方式插库;
2、问题:
身份信息确认接口(addMember.do)调用失败导致电子签名接口(memberSign.do)无法正常运行,故电子签名接口无法确定具体的最大并发用户数。
优化:
提升身份信息确认接口调用成功率,以便对电子签名接口做压测。
3、问题:
登录接口(login.do)、获取基本配置信息接口(queryOccupationList),接口耗时相对其他交易对压力较为敏感,随并发压力上升,接口耗时上升明显,2000用户并发下,耗时达21秒以上。
优化:
尚未提出优化方案;
4、问题:
signOut.do,login.do等接口在压力上来以后出现部分报错以及接口变慢的情况,相关日志:
9.3.风险规避
序号
风险描述
经验概率
严重程度
处理方
规避方法
1
被测试系统为压测环境,和生产环境存在很大差距,此结果只能作为生产环境性能指标的参考值。
低
高
压力测试人员
开发人员
压测环境最好是对真实环境的1:
1还原。
2
本次压测由于多方面原因未对应用服务器进行监控,没有获取到应用服务器的CPU,磁盘I/O的监控信息。
中
高
压力测试人员
开发人员
需要各方人员进行有效配合,对压测环境进行压测监控。
3
系统上线时间紧迫,功能测试与压测同步进行,系统功能不稳定,支付接口未交付做压测,导致测试场景设计不全面,无法详细对系统各功能做全面压力测试。
中
高
保证对主要功能进行压力测试,后续完善各功能的压力测试。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- XXXX 性能 测试报告 0704 V10