数据分析
数据分析是对任务数据进行查看和分析,包括任务分析、步骤分析、错误分析、对比分析、网络分析五种分析功能。
任务分析
任务分析针对某一个任务进行数据汇总分析,您可以了解到当前任务的测试汇总数据。测试数据可按照不同维度展示,您可以自由选择需要的维度,分析测试数据。例如:故障发生的设备型号、地域、网络环境、开始和结束时间。
任务分析首先需要选择测试测试任务。之后可通过选择数据图表,可切换数据指标、维度、时间粒度改变数据图表的展示内容,发现测试数据中的异常,并分析问题的根源。也可以查看异常的单样本测试数据,分析测试中遇到的问题。
选择测试任务
用户可以从左上角的任务选择下拉菜单选择任务,所有测试任务按照任务状态“运行中”、“已完成”、“禁用”分为三组。
用户可在结果状态下拉菜单中选择任务的结果状态:“全部”、“成功”、“异常”、“崩溃”、“超时”,可只展示一种状态的任务数据。
用户可在过程状态下拉菜单中选择任务的过程状态:“全部”、“卡顿”、“网络错误”,可只展示一种状态的任务数据。
用户可以在右上角的时间组件修改任务数据的时间范围,以方便查看某一个时段的数据图表。
用户还可以单击高级过滤,展开高级过滤选项,按照地区、机型、连接方式、运营商、系统版本,筛选测试数据。
单击页面右上角的任务详情按钮,可查看当前任务的任务名称、应用名称、应用版本、脚本名称、创建时间、过期时间、节点组名称。
选择数据图表
选择任务数据之后,图表默认展示趋势图,数据指标默认展示耗时、数据维度默认展示汇总趋势、时间粒度默认展示自动。
单击上方趋势、维度、地图、散点按钮切换图表形式,可以分别展示趋势图、维度图、地图、散点图。
数据指标:可选择“可用性”、“耗时”、“启动时间”、“流量耗用”、“CPU”、“内存”、“FPS”、“请求响应时间”、“首包时间”、“DNS时间”、“SSL时间”、“建连时间”、“网络错误”、“网络请求数”、“网络错误率”。
数据维度:可选择“汇总趋势”、“地区”、“运营商”、“网络类型”、“系统版本”、“机型”。
时间粒度:可选择“自动”、“1分钟”、“5分钟”、“10分钟”、“15分钟”、“30分钟”、“1小时”、“2小时”。
当切换到维度图,数据指标保持不变,数据维度默认地区,可选维度:“地区”、“运营商”、“网络类型”、“系统版本”、“机型”。不支持时间粒度切换。
当选择地图来展示测试数据时,只有数据指标可以选择。地图默认展示中国地图,可以单击查看全省数据。
如需查看每一个样本的完整测试数据,可以查看散点图,查看时间范围内所有测试任务。散点图可以切换数据指标,可以单击散点图中的点,查看单样本详情页。散点图以颜色区分任务状态,红色点为崩溃、黄色点为超时、绿色点为成功。
数据列表
任务分析页面的最下方是任务数据列表。列表分为两部分,汇总数据列表和详细数据列表。用户可以在汇总数据列表右上角的数据项下拉菜单中选择数据项,增加需要展示的数据项。可选数据项包括:崩溃点数、卡顿次数、监测总点数、网络错误数、网络请求数、网络错误率、请求响应时间、DNS时间、建连时间、SSL时间、首包时间。
单样本分析
单样本分析:在散点图中,单击某个散点进入散点详情页面。您可以查看本次测试的设备条件以及在测试过程中设备的硬件性能变化,包括CPU、内存、Memory、流量耗用等数据。可直观看出本次测试的业务流程是否成功,每一步骤截屏和网络数据(DNS时间、建连时间、SSL 握手时间、请求响应时间),并提供网络瀑布图定位网络性能问题。一旦页面发生崩溃或卡顿,还可以分析崩溃堆栈信息、卡顿堆栈信息,定位到具体代码辅助排查崩溃或卡顿原因。
测试基本信息
测试结果:展示每一步骤的测试结果状态。
网络瀑布:此次测试所涉及的所有网络请求的瀑布图。
硬件性能变化:此次测试过程中,CPU、内存、Memory实时变化曲线图。
截屏:每一步骤的截屏。
崩溃/卡顿分析:当页面出现崩溃时,会记录此次崩溃的调用栈。
步骤分析
步骤分析用于分析测试任务的每一步执行情况,可以通过步骤分析工具分析测试任务的每一步的数据,从步骤的角度分析测试任务中错误发生的原因。步骤分析的任务筛选逻辑与任务分析相同,图表部分增加步骤的耗时统计,并以柱状图的形式展示步骤和每一步的耗时,以便分析每一步操作的数据。
步骤分析的基本分析逻辑和任务分析相同,可参见任务分析的描述。
错误分析
错误分析可从多个维度分析测试任务中的错误数据。错误分析基本分析逻辑和任务分析相同,可参见任务分析的描述。
不同点如下:
趋势图变为柱状图,数据指标仅支持展示“失败率”和“失败点数”。
增加饼图展示方式。
对比分析
对比分析包括任务对比和步骤对比两个页签,默认展示任务对比页签。对比分析可用于分析多个测试任务之间的差异,例如对比两个测试任务数据,也可以对比多个测试任务中某些步骤的性能差异。对比分析的图表只有趋势和维度两种,不支持地图和散点图方式展示。
任务对比
任务对比用于对比多个任务的测试数据。用户可以通过任务选择下拉菜单选择多个任务进行对比分析,还可以进一步选择结果状态和过程状态。选择完成后,单击对比按钮即可查看对比结果。
步骤对比
步骤对比主要用于对比业务步骤,可选择一个或多个操作步骤,横向对比业务步骤性能。
用户可以通过任务选择下拉菜单选择多个任务中的步骤进行对比分析,每个任务仅可选择一个步骤。任务选择框中可动态展示已选择的步骤数量。完成步骤选择后,还可以进一步选择结果状态和过程状态。选择完成后,单击对比按钮即可查看对比结果。
网络分析
网络分析的详细介绍,请参见网络分析。