竞品分析测试方案.docx
- 文档编号:29774584
- 上传时间:2023-07-26
- 格式:DOCX
- 页数:21
- 大小:51.40KB
竞品分析测试方案.docx
《竞品分析测试方案.docx》由会员分享,可在线阅读,更多相关《竞品分析测试方案.docx(21页珍藏版)》请在冰豆网上搜索。
竞品分析测试方案
竞品分析测试方案
1测试哪些竞品?
将RCS的业务停止划分,各自选择1~2款以后最盛行的APP运用作为竞争产品停止剖析,其中:
●视频业务区分ios平台和android平台,区分选择FaceTime和微信作为剖析对象;
●音讯类业务区分国际外的盛行软件,国际主要是微信,海外主要是whatsapp业务,剖析进程中同时拿两款app作为剖析对象;
●出现类业务,目前做的最好的软件微信作为剖析对象;
●综合目的局部选择和RCS业务最相似的微信和skype作为剖析对象。
对比项
RCS
微信
Skype
FaceTime
音频业务
√
√
视频业务
√
√
√
音讯类业务
√
√
√
登录注销
√
√
出现类业务
√
√
功用目的
√
√
√
2测试哪些维度?
测试维度
功用完备性
Qos
客观评价
音频业务
静音、外放、DTMF、音量控制方式、业务触发入口、其它特征功用、编解码、拨号盘、历史记载
在不同网络质量下的通话质量、最优质量的网络要求
结合客观概念停止综合评价
视频业务
静音、外放、DTMF、音量控制方式、摄像头切换、音视频互换、窗口隐藏、业务触发入口、编解码、其它特征功用
在不同网络质量下的通话质量、最优质量的网络要求
结合客观概念停止综合评价
音讯类业务
回执、输入形状、表情、共享内容、群聊、业务触发入口
在不同网络质量下的业务成功率.时延等
结合客观概念停止综合评价
登录注销
自动登陆、静默登陆、网络形状提示、其它特殊业务
对网络形状的敏感水平、登陆耗时
结合客观概念停止综合评价
出现类业务
出现信息的内容、内容大小,图片质量
各种出现信息更新的成功率和时延
结合客观概念停止综合评价
功用目的
业务场景下的流量、电量、内存、CPU、装置包大小
不触及
结合客观概念停止综合评价
用例体验
评价RCS的用户体验以及对比剖析竞品之间的差异
Qos测试基于网络有一定网络话务模型下停止竞品测试。
依据«QoS&话务模型&功用规格»〔2021-7-22刷新〕中的定义,典型网络QoS模型如下:
注:
1、其中WIFI/宽带接入为必选场景,3G接入/2G接入为可选场景。
2、〝丢包率、时延、颤抖〞等数值均指一侧的数据,即指UE->SBC->IMS(AS)的数据。
需求留意的是,在测试局部场景时,需求在两个UE侧加扰,比如在测试音频的〝WIFI:
较差〞场景时,需求在UE1->SBC->IMS(AS)一侧依照"丢包:
11.5%,时延:
215ms,颤抖:
100ms"加扰,同时需求在UE2->SBC一侧也依照"丢包:
11.5%,时延:
215ms,颤抖:
100ms"加扰。
3测试哪些项?
3.1音频业务
3.1.1功用完备性
针对音频呼叫的功用完备性,停止如下维度的功用完备性测试
类型
功用点
测试点描画
音频呼叫
业务发起入口
来电铃声大小控制
来电铃声的大小控制,在各种手机情形形式下的来电铃声
接听方式
包括锁屏形状下的接听、正常下的接通
界面出现信息
在振铃态通话态各自可以出现多少信息?
静音功用
能否支持
外放功用
能否支持
DTMF
信息查询
在通话态可以并行操作多少业务
转CS呼叫
编解码
支持哪些编解码
切换视频呼叫
补充业务
与呼叫的抵触
包括PS业务的抵触和CS呼叫的抵触
通话记载
通话记载查询
通话记载删除功用
通话记载概略界面信息出现
拨号盘
拨号盘搜索
拨号盘删除功用
其它
其它特征功用
3.1.2Qos质量
在对比测试进程中,各个影响参数的设置如下:
设置项
RCS
Skype
组网
RCS的主流组网〔内置SVN〕
默许配置〔装置后默许配置〕
编解码
运用默许编解码opus
2198冗余
支持〔依照默许配置支持二级冗余〕
针对语音呼叫的Qos剖析,需求测试的关键目的如下〔包括统计方法〕:
关键目的
RCS
Skype
接通率
延续测试10次,计算接通率
延续测试10次,计算接通率
接续时长
从日志中获取接续时长
经过外部计时的方式完成〔秒表〕
语音时延
以DSLA的测试数据为准
以DSLA的测试数据为准
MOS
以DSLA的测试数据为准
以DSLA的测试数据为准
3.2视频业务
3.2.1功用完备性
针对视频频呼叫的功用完备性,停止如下维度的功用完备性测试
类型
功用点
测试点描画
视频呼叫
业务发起入口
来电铃声大小控制
来电铃声的大小控制,在各种手机情形形式下的来电铃声
接听方式
包括锁屏形状下的接听、正常下的接通
界面出现信息
在振铃态通话态各自可以出现多少信息?
静音功用
能否支持
外放功用
能否支持
DTMF
摄像头切换
窗口切换
窗口隐藏
信息查询
在通话态可以并行操作多少业务
编解码
支持哪些编解码
切换音频呼叫
补充业务
与呼叫的抵触
包括PS业务的抵触和CS呼叫的抵触
其它
其它特征功用
3.2.2Qos质量
在对比测试进程中,各个影响业务的参数设置如下:
设置项
RCS
FaceTime/微信
组网
RCS的主流组网〔内置SVN〕
默许配置〔装置后默许配置〕
编解码
音频编解码视频opus;视频编解码运用H.264
2198冗余
支持〔依照默许配置支持二级冗余〕
针对视频呼叫的Qos剖析,需求测试的关键目的如下〔包括统计方法〕
关键目的
RCS
Skype
接通率
延续测试10次,计算接通率
延续测试10次,计算接通率
接续时长
从日志中获取接续时长
经过外部计时的方式完成〔秒表〕
视频质量
ICT工具评测〔工具正在调试,假设不能完成测试,那么采用视频客观判别〕
视频客观判别〔只针对客观感受对比〕
音频质量
以DSLA的测试数据为准
以DSLA的测试数据为准
MOS
以DSLA的测试数据为准
以DSLA的测试数据为准
3.3音讯类业务
3.3.1功用完备性
类型
功用点
测试点描画
单聊
业务发起入口
草稿保管
形状显示
输入形状显示
表情
音讯分页加载
来电提示方式
界面出现信息
音讯置顶
单聊支持的内容
音讯同源
其它特征功用
群聊
群聊发起入口
群聊支持的内容
群聊人数限制
群聊的参数
其它特征功用
图片共享
图片共享入口
照片墙
点击下载
其它特征功用
位置
位置共享入口
其它特征功用
PTT
共享入口
PTT时长
PTT取消
PTT信息显示
PTT播放形式
其它特性功用
名片共享
共享入口
共享的信息项
其它特征功用
视频文件共享
共享入口
支持的格式
文件大小限制
点击下载
其它特征功用
3.3.2Qos质量
【IM业务】
在IM业务的对比测试进程中,各个影响业务的参数设置如下:
设置项
RCS
微信
音讯形式
Session形式〔RCS默许形式〕
默许配置〔装置后默许配置〕
组网
MSRPoverTCP
音讯内容
依据Qos测试要求设置
依据Qos测试要求设置
针对IM业务的Qos剖析,需求测试的关键目的如下〔包括统计方法〕
关键目的
RCS
微信
成功率
延续测试10次,计算接通率
延续测试10次,计算接通率
时延
从日志中获取接续时长
经过外部计时的方式完成〔秒表〕
【位置业务】
位置业务运用IM音讯发送,测试结果以IM业务的测试结果为准,不针对位置业务停止独立的Qos测试。
【图片共享】
在图片共享的对比测试进程中,各个影响业务的参数设置如下
设置项
RCS
微信
音讯形式
Session形式〔RCS默许形式〕
默许配置〔装置后默许配置〕
组网
MSRPoverTCP
共享内容
依据Qos测试要求设置
依据Qos测试要求设置
针对图片共享的Qos剖析,需求测试的关键目的如下〔包括统计方法〕
关键目的
RCS
微信
成功率
延续测试10次,计算接通率
延续测试10次,计算接通率
时延
从日志中获取接续时长〔时延从何时末尾?
何时完毕?
〕
经过外部计时的方式完成〔秒表〕
速率
文件大小/发送时长〔指端到端的?
还是单向?
双向?
〕
【名片共享】
名片共享业务运用IM音讯发送,测试结果以IM业务的测试结果为准,不针对名片共享停止独立的Qos测试。
【视频文件共享】
在视频文件共享的对比测试进程中,各个影响业务的参数设置如下
设置项
RCS
微信
音讯形式
Session形式〔RCS默许形式〕
默许配置〔装置后默许配置〕
组网
MSRPoverTCP
共享内容
依据Qos测试要求设置〔能否可以采用自身的录制时间为准,录制画面如何处置〕
依据Qos测试要求设置
针对视频文件共享的Qos剖析,需求测试的关键目的如下〔包括统计方法〕
关键目的
RCS
微信
成功率
延续测试10次,计算接通率
延续测试10次,计算接通率
时延
从日志中获取接续时长〔时延从何时末尾?
何时完毕?
〕
经过外部计时的方式完成〔秒表〕
速率
文件大小/发送时长〔指端到端的?
还是单向?
双向?
〕
【PTT共享】
在PTT共享的对比测试进程中,各个影响业务的参数设置如下
设置项
RCS
微信
音讯形式
Session形式〔RCS默许形式〕
默许配置〔装置后默许配置〕
组网
MSRPoverTCP
共享内容
依据Qos测试要求设置〔能否可以采用自身的录制时间为准,录制画面如何处置〕
依据Qos测试要求设置
针对PTT共享的Qos剖析,需求测试的关键目的如下〔包括统计方法〕
关键目的
RCS
微信
成功率
延续测试10次,计算接通率
延续测试10次,计算接通率
时延
从日志中获取接续时长〔时延从何时末尾?
何时完毕?
〕
经过外部计时的方式完成〔秒表〕
速率
文件大小/发送时长〔指端到端的?
还是单向?
双向?
〕
3.4登陆注销〔包括断网重连〕
3.4.1功用完备性
类型
功用点
测试点描画
登陆注销
开机自动登陆
后台运转
开支户
失败缘由提示
断网重连
终端形状的检测
IM下的断网重连
音视频下的断网重连
内容共享的断网重连
3.4.2Qos质量
测试RCS和竞争产品在现网WiFi网络上的注册时长和成功率,每种场景测试10次,取其平均值作为测试结果。
3.5出现类业务
3.5.1功用完备性
类型
功用点
测试点描画
出现类
出现的内容
内容刷新周期
Presence信息的显示
好友发现的方式
3.5.2Qos质量
RCS和微信在Presence业务上的完成存在一定的差异。
测试战略如下:
出现内容
RCS
微信
测试剖析
登录形状
有〝离线〞和〝在线形状〞实时呈如今联络人列表
没有登录形状的出现
不停止Qos测试
签名刷新
好友更新签名后,自动更新在联络人列表中
不自动更新,点击好友签名时更新
业务时延:
微信从手动刷新末尾,rcs已好友更新时间末尾
成功率:
正常统计
头像更新
好友更新头像后,自动更新在联络人列表中
不自动更新,点击好友头像时更新
业务时延:
微信从手动刷新末尾,rcs已好友更新时间末尾
成功率:
正常统计
好友发现
自动发现好友,周期可以配置
不自动发现,手动发起好友检测〔依据QQ联络人/手机联络人〕,检测到好友后,需求手动发起添加为好友的操作。
不停止Qos测试
3.6功用目的
功用测试目的是除业务完备度和用户体验外,最直接的竞争力表达。
本测试方案针对装置包大小CPU、内存、流量、电量、流利度停止对比测试。
3.6.1装置包大小
比拟软件的装置包大小。
3.6.2CPU
关于APP来讲,CPU测试和内存测试依据如下几点思索测试场景。
●在相对动摇的形状停止CPU的测试和对比;
说明:
对APP的动摇形状停止测试,由于用户普通不会感遭到CPU的飙高,CPU的对外出现是终端的发热量、app的运用流利度。
关于操作进程瞬时形状用户较难发觉,因此竞品测试进程中基于如下两个原那么设计场景:
●针对场景停止的通用性。
说明:
由于软件的业务和架构不同,无法做到很细节场景的对比,因此测试进程中关注业务场景,对应的配置以默许配置为准。
某些业务独有的特性在业务虚现完备性章节停止测试,不在功用目的中作为专项测试。
基于以上原那么,笼统出以下几种测试场景:
1、后台运转
场景结构:
空联络人,同一款终端,登陆10分钟后在后台运转。
测试方法:
观察CPU的占用继续5分钟。
2、前台运转
场景结构:
空联络人,同一款终端,登陆10分钟后在后台运转。
测试方法:
在被测系统运转在前台,依照正常运用速度且在〝1级〞页面切换,观察CPU的占用继续5分钟。
3、IM聊天进程中
场景结构:
每个终端1个联络人。
两个终端之间互发停止操作。
测试方法:
依照如下顺序循环发送,假定不支持那么跳过。
A发送音讯给B;B发送音讯给A;A发送表情给B;B发送表情给A;A发送照片给B;B发送照片给A;A发送名片给B;B发送名片给A;循环操作,继续5分钟观察cpu变化。
业务完毕后须持观察CPU5分钟。
4、音视频呼叫进程中
场景结构:
每个终端1个联络人。
测试方法:
从呼叫末尾前30s末尾到呼叫接触后继续观察5分钟。
呼叫继续5分钟。
3.6.3内存
同CPU测试场景,笼统出以下几种测试场景:
1、后台运转
场景结构:
空联络人,同一款终端,登陆10分钟后在后台运转。
测试方法:
观察CPU的占用继续5分钟。
2、前台运转
场景结构:
空联络人,同一款终端,登陆10分钟后在后台运转。
测试方法:
在被测系统运转在前台,依照正常运用速度且在〝1级〞页面切换,观察内存的占用继续5分钟。
3、IM聊天进程中
场景结构:
每个终端1个联络人。
两个终端之间互发停止操作。
测试方法:
依照如下顺序循环发送,假定不支持那么跳过。
A发送音讯给B;B发送音讯给A;A发送表情给B;B发送表情给A;A发送照片给B;B发送照片给A;A发送名片给B;B发送名片给A;循环操作,继续5分钟观察cpu变化。
业务完毕后须持观察CPU5分钟。
4、音视频呼叫进程中
场景结构:
每个终端1个联络人。
测试方法:
从呼叫末尾前30s末尾到呼叫接触后继续观察5分钟。
呼叫继续5分钟。
3.6.4流量
流量测试采用第三方软件停止统计。
采用«瓦力流量仪»作为测试工具
预置条件:
区分android和ios平台,Android运用防火墙屏蔽其他APP访问网络,ios在后台删除掉非被测软件和统计工具外的其它APP运用。
软件的设置项采用APP运用的默许设置。
测试场景:
1、空跑一轮
不装置被测软件,只装置统计工具,目的是将测试结果作为参考基线,增加测试进程中误差
2、登陆
被测软件均统计在装置软件后初次登陆消耗的流量。
由于以后RCS做成自动发现好友。
在和不同软件时间停止对比时,需求完成的流程如下:
被测对象
操作步骤
后台完成举措
RCS
1、运用老号码;
2、停止初次登陆;
3、启动CAB之后,停止一轮CAB好友发现
1、登陆流程
2、自动婚配联络人中好友
3、下载好友信息
微信
1、运用老号码;
2、停止初次登陆;
3、停止一轮号码本婚配
1、登陆流程
2、下载好友信息
3、自动婚配联络人中好友
说明:
失掉测试数据后,需求结合好友数量才干比对产品之间的测试数据。
3、后台运转1个小时
登陆成功后在后台运转1个小时。
4、前台运转1个小时
登陆成功后在前台运转1个小时。
被测软件停留在登陆后的默许页面,封锁系统锁屏功用。
5、IM发送文本50条〔测试3组数据〕
终端A和终端B登陆后,互发IM文本音讯,互发30分钟,文本内容固定为〝1〞->〝50〞依次添加1.
6、音频10分钟
以默许编解码停止测试
7、视频10分钟
以默许编解码停止测试
3.6.5电量
电量测试承袭运用版本测试的方法,运用如下几种测试场景停止和竞品的剖析。
1、后台运转12个小时;
2、视频呼叫1个小时;
3、音频呼叫1个小时;
说明:
iOS平台直接读取iPhone自身电量显示。
Android平台采用第3方电量测试工具〔金山电池医生〕显示电量。
测试时经过杀死后台顺序的方式仅保管被测软件和测量工具。
3.6.6发热量
本方案暂时不关注
3.6.7流利度
流利度的测试在本版本初次执行,作为一个独立的测试项,需求输入独自的文档,本文档不停止描画,详细测试方案请参考«RCSClientV100R005C00流利度测试方案»
3.7用户体验评价
3.7.1测试思绪
将RCS的业务笼统成各种义务,这些义务的集合可以掩盖RCS的主要功用场景〔超越90%〕。
测试人员在执行这些义务的进程中评价用户的体验效果。
3.7.2义务划分
测试义务划分如下,一切测试义务的其实页面均从登陆后的默许页面末尾。
义务编号
义务称号
义务描画
义务01
音频呼叫
从拨号盘发起音频呼叫
义务02
视频呼叫
从联络人概略中发起视频呼叫
义务03
删除呼叫记载
删除某个联络人的一切通话记载
义务04
发起IM
从联络人概略中发起1-1聊天业务
义务05
接纳IM
被测软件在后台运转,收到IM音讯后,检查IM音讯,且回复
义务06
发送图片
从联络人概略中发起图片共享业务〔即时拍〕
义务07
发送视频
从联络人概略中发起视频文件共享业务〔被测系统停止录制〕
义务08
发送名片
从联络人概略中发起名片共享业务〔从联络人中选择〕
义务09
发送PTT
从联络人概略中发起PTT文件共享业务
义务10
发送位置
从联络人概略中发起位置共享业务
义务11
接纳图片
在登陆后的默许页面,收到好友发送过去的图片,阅读后保管到本地
义务12
接纳视频
在登陆后的默许页面,收到好友发送过去的视频文件,阅读后保管到本地
义务13
接纳名片
在登陆后的默许页面,收到好友发送过去的名片,阅读后保管到本地联络人
义务14
接纳位置
在登陆后的默许页面,收到好友发送过去的位置并阅读
义务15
接纳PTT
在登陆后的默许页面,收到好友发送过去的PTT并收听
义务16
删除聊天记载
删除某个联络人的聊天记载
义务17
发起群聊
发起三团体的群聊,并在群外面发起内容
义务18
搜索联络人
从联络人界面动身,搜索联络人并检查详细信息
义务19
添加联络人
添加号码为新增联络人
义务20
删除联络人
从联络人界面动身,搜索联络人并删除联络人
义务21
修正头像和签名
修正头像和签名
义务23
NAB
发起联络人备份和恢复操作
3.7.3评价目的
分类
基本目的
描画
能够关键错误目的
流程性/页面性目的
可识别性
用户可以看见和发现相关的信息〔包括文案、图标、图形等〕,并将该信息和其它信息区分出来
视觉混杂、无法发现信息、依赖记忆
可了解性
用户了解该信息〔包括文案、图标、图形等〕的内容,用户了解的信息和真实世界坚持分歧,容易学习
概念混杂、概念错误
可操作性
用户可以停止正确操作
错误操作、有效操作、操作时间过长
灵敏/容错性
用户可以自在选择适宜的操作方式,允许用户出错
无可选择性、无法参与
反应
用户知道自己完成了相关的操作
无反应、反应无法了解和识别
视觉与体验
评价产品的外观、颜色、作风、质感等相关的视觉体验
---
协助信息
有协助信息,利于检索的协助信息,可以了解的协助信息
---
全体性目的
操作分歧性
相似的操作方式
错误操作
视觉分歧性
相似的外观、颜色、作风、质感等
了解和识别错误
文案分歧性
相似意义
了解错误
承袭性
和过去的版本具有共同分歧特征
--
习气
用户可以依据现有的习气或规范化形式停止操作
违犯普通习气,缺少出错提示信息
3.7.4附件
【体验评价表】
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 分析 测试 方案