华为云用户手册

  • 操作步骤 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”,单击待操作工程后的。 在“性能报告”页签下,选择需要对比报告的任务,单击任务名称。 在“报告列表”单击“报告对比”。 勾选需要对比的测试报告,单击“确定”。 最多可以选择3份离线报告进行对比,第一勾选的报告作为基线报告。 在“用例指标对比”框中选择用例,可以查看该用例在不同报告中的指标对比。 用例指标对比支持指标筛选。 单击“自定义对比指标”,在“表格设置”弹框中选择需要显示的指标项。 (可选)在弹框右侧拖动已选列,可以改变列表项的顺序。 单击“确认”。
  • 复制变量 前提条件:已创建变量。 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择已创建的测试用例,单击“全局变量”。 可以通过以下两种方式复制变量: 在待复制的变量操作列表中,单击。 在待复制的变量所在行右击,在弹出的列表中单击“复制”。 在操作列表中出现后,单击将变量复制到跟目录。如果变量目录中已创建变量文件夹,在变量文件夹操作列表中会同时出现,单击可将变量复制到该变量文件夹中。 单击“保存”。
  • 复制变量文件夹 前提条件:已创建变量夹。 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择已创建的测试用例,单击“全局变量”。 可以通过以下两种方式复制变量文件夹: 在待复制的变量文件夹操作列表中,单击。 在待复制的变量文件夹所在行右击,在弹出的列表中单击“复制”。 在操作列表中出现后,单击将变量文件夹复制到该文件夹中;单击将变量文件夹复制到跟目录中。 单击“保存”。
  • 变量值加密 当全局变量类型为Ciphertext(加密类型),需要对变量值进行加密。如果全局变量类型变更为加密类型,需手动更新引用该变量的测试用例后,该加密型变量才能生效。 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择已创建的测试用例,单击“全局变量”。 新建变量或选择已创建的变量,变量类型选择“Ciphertext”。 单击“加密”,在弹出的加密对话框中,输入需要加密的内容,单击“加密”生成密钥。 图2 变量加密 单击“复制”,出现“已成功复制到粘贴板”的提示后,单击变量值输入框,将生成的密钥粘贴到变量值。 单击“保存”。
  • 示例流程 图1 给用户授予性能测试服务权限流程 创建用户组并授权 在IAM控制台创建用户组,并授予性能测试服务管理员权限“CodeArts PerfTest Administrator”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限:在“服务列表”中选择“性能测试 CodeArts PerfTest”,进入性能测试服务主界面,左侧导航栏中选择“PerfTest测试工程”,在右侧页面单击“创建测试工程”,如果能创建测试工程,说明权限设置成功。
  • 创建用例步骤 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择待配置的测试用例。 选择页面右侧的“用例步骤”,选择前置步骤、测试步骤或后置步骤的配置。 前置步骤:每个执行线程中,仅执行一次。如无业务需求可以不添加。 测试步骤:测试用例的执行体,需要配置。 后置步骤:每个执行线程中,仅执行一次。如无业务需求可以不添加。 根据实际业务需求,选择添加步骤。具体添加步骤请参考添加测试步骤。 配置完成后,单击“确定”。
  • 调用关键字目录接口 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择待调用关键接口的测试用例。 将右侧“关键字库”中需要调用的接口卡片拖至用例步骤的测试步骤中。 图1 调用接口 根据业务需求,在调用的接口模板中配置测试步骤。 配置完成后,单击“保存”。
  • 操作步骤 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击编辑事务库。 在“事务库”页签中,选择待调试的事务,单击页面右上角的“调试”;也可以单击事务名称后的,选择“调试”。 选择对应的测试资源组作为执行器后单击“启动”。 单击“查看日志”查看事务调试的具体内容。 如果调试结果报错,可根据日志信息,修改相应的事务请求信息,重新进行调试。 在“调试记录”页签,查看调试的历史操作记录。
  • 操作步骤 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择待添加请求信息的用例。 在“用例步骤”页签中,选择待添加请求信息的用例,单击“添加请求”。 在“思考时间”页签,参照表1设置基本信息。 表1 思考时间参数 参数 参数说明 启用思考时间 启用思考时间后,当您接收到来自服务器的数据时,可能要等待几秒查看数据,然后再做出响应。 思考时间 思考时间是指用户在执行两个连续操作期间的等待时间。如用户在登录和搜索之间停留的时间。 例如,某用例每运行一次响应时间为 0.5 秒。 如果希望每秒执行两次用例请求,则不添加请求信息类型为“思考时间”的用例请求信息。 如果希望每秒只执行一次用例请求,思考时间调整为1秒。如果思考时间设置为1秒而响应时间大于1秒,则思考时间不会生效,按响应时间发送压测请求。 配置完成后,单击“保存”。
  • 操作步骤 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,单击“全局变量”。 通过手工输入方式添加全局变量。 单击“添加变量”。 参照表1设置参数。 表1 设置全局变量 参数 参数说明 名称 新增全局变量的名称。 类型 新增变量类型,支持整数、枚举和文本三种类型。 值 压测任务运行时会读取对应全局变量的参数值,针对每个虚拟用户,依次轮询变量值,即第一个虚拟用户取变量的第一个值,第二个虚拟用户取第二个值,依顺序取值,不够则循环。 说明: 变量的内容,在压测时将以明文传输,请谨慎输入,注意数据安全。 变量类型为整数时,输入变量值范围。 变量类型为枚举时,单击,输入变量值。 变量类型为文本时,输入文本值。 读取模式 顺序模式:顺序读取变量。 随机模式:随机读取变量。 共享模式 用例模式:每个并发共享一个变量。 并发模式:每个并发单独复制一个同名变量进行使用,不同并发按顺序读取变量值,互不影响。 敏感参数 勾选为敏感参数后,将对变量值加密存储。如果界面刷新后再次编辑,将清空变量值,请谨慎操作。 说明: 敏感参数仅适用于文本类型变量。 选择不同的变量读取模式和变量共享模式时变量读取规则可参考变量读取规则。 设置完成后,单击保存。 变量创建完成后您还可以执行如下操作: 单击“编辑”进行修改。如果该全局变量已被事务所引用,变量修改后,事务中的全局变量值会同步修改。 单击“删除”,删除添加的全局变量文件。 全局变量文件被引用时,不可删除。
  • 注释 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择待添加自定义代码的测试用例。 在“用例步骤”页签下,选择“测试步骤”。 单击“添加步骤”右侧的“注释”。 输入注释内容。添加注释是为了方便维护测试用例,不实际执行注释内容。 配置完成后,单击“保存”。
  • 不通过 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择待添加自定义代码的测试用例。 在“用例步骤”页签下,选择“测试步骤”。 单击“添加步骤”右侧的“不通过”。 在if语句中设置测试不通过的条件。当条件满足时,直接失败,后续接口也不会再执行。 配置完成后,单击“保存”。
  • 请求头 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择待添加请求头的测试用例。 在“用例步骤”页签下,选择“测试步骤”。 单击“添加步骤”右侧的“请求头”。 设置“名称”和“值”。 请根据压测服务器需要校验或者使用的头域来添加相关头域及内容。性能测试服务没有对必填头域作要求,仅透传用户定义的头域到压测服务器。“头域”的说明请参见头域说明。 配置完成后,单击“保存”。
  • 等待时间 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择待添加自定义代码的测试用例。 在“用例步骤”页签下,选择“测试步骤”。 单击“添加步骤”右侧的“等待时间”。 输入等待时间。添加等待时间可以实现后续接口调用的等待时间。 配置完成后,单击“保存”。
  • if判断 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择待添加自定义代码的测试用例。 在“用例步骤”页签下,选择“测试步骤”。 单击“添加步骤”右侧的“if判断”。 输入判断的条件。根据if条件语句的判定结果,执行对应分支。 配置完成后,单击“保存”。
  • 分组 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择待添加自定义代码的测试用例。 在“用例步骤”页签下,选择“测试步骤”。 单击“添加步骤”右侧的“分组”。 输入分组名称。当用例中接口过多时,可使用分组组件进行功能分类,方便后续维护,分组组件仅是为了分类维护。 配置完成后,单击“保存”。
  • 循环 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择待添加自定义代码的测试用例。 在“用例步骤”页签下,选择“测试步骤”。 单击“添加步骤”右侧的“循环”。 输入循环次数。 单击循环次数右边的,设置循环中断的条件。当测试满足中断条件时,跳出循环。 配置完成后,单击“保存”。
  • 支持审计的关键操作列表 云审计服务(Cloud Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 通过云审计服务,您可以记录与消息通知服务相关的操作事件,便于日后的查询、审计和回溯。 表1 支持审计的关键操作列表 service_type resource_type resource_id trace_name 中文描述 CPTS cptsProject 数据库主键 createCptsProject 创建工程 CPTS cptsProject 数据库主键 deleteCptsProject 删除工程 CPTS cptsProject 数据库主键 modifyCptsProject 修改工程 CPTS cptsTask 数据库主键 createCptsTask 创建任务 CPTS cptsTask 数据库主键 deleteCptsTask 删除任务 CPTS cptsTask 数据库主键 modifyCptsTask 修改任务 CPTS cptsTemp 数据库主键 createCptsTemp 创建事务 CPTS cptsTemp 数据库主键 deleteCptsTemp 删除事务 CPTS cptsTemp 数据库主键 modifyCptsTemp 修改事务 CPTS cptsCase 数据库主键 createCptsCase 创建用例 CPTS cptsCase 数据库主键 deleteCptsCase 删除用例 CPTS cptsCase 数据库主键 modifyCptsCase 修改用例 CPTS cptsVariable 数据库主键 setVaribale 创建变量 CPTS cptsVariable 数据库主键 updateVaribale 修改变量 CPTS cptsVariable 数据库主键 deleteVaribale 删除变量 CPTS cptsTask 数据库主键 tempDebug 任务用例debug CPTS cptsTaskStatus 数据库主键 updateTaskStatus 更新任务状态
  • 操作步骤 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待添加分析对象的PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 在“智能分析”页签中,单击“创建分析对象”。 在弹框中,系统自动键入分析对象名称,也可以手动修改分析对象名称。勾选需要添加的分析对象,分析对象可以是应用组,即应用监控(APM);也可以是节点,即主机监控(AOM)。应用组为应用安装APM探针时填写的监控组名称,节点为安装了AOM探针的虚拟机。 配置完成后,单击“确定”。 您还可以编辑和删除分析对象。 编辑分析对象:在“智能分析”页签中,单击待修改分析对象后的,根据系统提示执行编辑操作。 如果分析对象已被测试任务关联,编辑分析对象参数后,测试任务中关联分析对象的参数也会相应改变。 删除分析对象:在“智能分析”页签中,单击待删除分析对象后的,根据系统提示执行删除操作。 删除分析对象时,如果分析对象已被测试任务使用,则不可删除。
  • 添加自定义检查点 前提条件:已添加自定义检查点插件。 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择待编辑的测试用例。 在“用例步骤”页签下,选择待添加自定义检查点的请求,单击操作栏的。 在“检查点”页签,启用结果检查,设置响应码、头域或响应内容。 启动检查点时,响应码、头域和响应内容这三种结果校验参数至少需要设置一种。 单击“添加自定义检查”,在弹出空白框中单击,选择已导入的检查点。 图4 添加自定义检查点
  • 概要 插件功能为白名单特性,需要联系后台管理人员申请开通,审批同意后方可使用。 性能测试服务支持使用Go语言开发自定义请求、函数及检查点进行功能扩展。自定义请求可用于实现数据库协议、MQTT协议或自有协议等协议的扩展对接。自定义函数可用于辅助生成测试数据,如生成特定加解密数据、自定义算法生成数据等。自定义检查点用于对非text、JSON等数据序列化数据或性能测试服务不支持的场景进行检查点扩展。 为了实现自定义请求、函数及检查点,需按照以下签名约定进行开发,并按照以下Go插件编译约束编译成so文件,同时使用JSON文件描述自定义请求、函数及检查点。 父主题: 插件管理
  • 变量读取规则 无论是手工输入方式还是文件变量导入的方式添加变量,选择不同的变量读取模式和变量共享模式时变量读取规则如下表1。 表1 变量读取规则 变量读取模式 变量共享模式 概述 举例 顺序模式 用例模式 每个并发按顺序读取一个变量值。 例如,10并发压力模式下的任务,在执行过程中,不同并发按照顺序读取变量中的值。 顺序模式 并发模式 每个并发单独复制一个同名变量进行使用,不同并发按顺序读取变量值,相互不影响。 例如,10并发压力模式下的任务,在执行过程中,每个并发均从复制的变量中,按照顺序往下读取相应的变量值。 随机模式 用例模式 每个并发随机读取一个变量值。 例如,10并发压力模式下的任务,在执行过程中,不同的并发随机获取变量中的值。 随机模式 并发模式 每个并发单独复制一个同名变量进行使用,不同并发随机读取变量值,相互不影响。 例如,10并发压力模式下的任务,在执行过程中,每个并发均从复制的变量中,随机读取相应的变量值。 假设变量number有三个变量值分别为1、 2、 3, 存在两个并发A和B。 两个并发在顺序模式下: 用例模式:A并发读取变量number的1,B并发接着读取变量number的2,一直按顺序循环读取。 并发模式:A并发读取一个复制的变量number(副本),从头开始读起,读取1。B并发读取一个复制的变量number(副本),从头开始读起,也读取1。 两个并发在随机模式下: 读取变量值的方式与顺序模式一致,但因为是每次都是随机的,所以用例模式和并发模式的使用效果一样。 父主题: 设置全局变量(高性能测试工程)
  • 操作步骤 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择待配置的测试用例。 选择页面右侧的“压力配置”,参照表1设置阶段参数。 一个用例最多添加1000个阶段。 表1 添加阶段 参数 参数说明 阶段名称 自定义阶段名称,用于区分不同的阶段,比如首页测试。 压力模式 压力模式目前支持以下几种模式: 并发模式:用例按照固定或者梯度递增的并发用户数进行压测。 TPS模式:用例按照每秒指定的事务数进行压测。TPS模式中,一个虚拟用户执行一次测试用例为一个事务。实际压测时,能否达到指定的事务数取决于最大并发数和事务平均响应时延。 摸高模式:用例按照指定的爬坡时间由最小并发用户数线性递增到最大用户并发数后保持在峰值并发用户数进行压测。 浪涌模式:用例按照周期性变化的并发用户数进行压测,每个周期先按照最小并发用户数压测,再按照最大并发用户数压测。按最大并发用户数压测时长可自定义,周期数为设定的浪涌次数。 震荡模式:用例按照周期性波动的并发用户数进行压测,每个周期用户数在最小并发数和最大并发数之间波动。周期数为设定的震荡次数。 智能摸高:用例按照指定的单步执行时长由最小并发用户数按递增并发数逐步到最大用户并发数后保持在峰值并发用户数进行压测。 说明: 执行器按设定的梯度逐步增加并发数进行压测,压测时,后台会为每个并发梯度生成一个“阶段数据”,当某个阶段的数据相比前一个阶段有发生明显的性能拐点时,系统判定到达性能峰值。其中性能拐点通过以下场景定义:成功率小于阈值(默认100%)、RPS曲线下降、rt/tp90/tp99曲线出现较大的斜率变化。 执行策略 执行策略目前支持按时长和按次数。 按时长:按照设定的持续时间进行压测。 按次数:按照设定的发送总次数进行压测。 说明: 当前仅并发模式和TPS模式涉及该参数。 调压模式 在压测过程中调整压力,目前支持自动调压和手动调压。 自动调压:自动调压的并发上限为所有阶段中最高的并发用户数。 手动调压:手动调压的并发上限为最大并发数。手动调压后原有多阶段压力配置失效。 说明: 当前仅并发模式和TPS模式且执行策略为按时长时涉及该参数。 当“压力模式”为“并发模式”、“执行策略”为“按时长”,“调压模式”为“自动调压”且“梯度递增”关闭时,需要配置以下参数: 并发数 并发数指在同一时刻内,对系统进行业务操作的用户数量。 在性能测试服务中为用户在定义测试任务阶段设置的虚拟用户数。 压测时长(分钟) 本阶段压测执行的时间。 当“压力模式”为“并发模式”、“执行策略”为“按时长”,“调压模式”为“手动调压”时,需要配置以下参数: 最大并发数 执行测试用例的最大虚拟用户数。 起始并发数 执行测试用例的起始虚拟用户数。 压测时长(分钟) 本阶段压测执行的时间。 当“压力模式”为“并发模式”、“执行策略”为“按时长”,“调压模式”为“自动调压”且“梯度递增”打开时,需要配置以下参数: 说明: 一个用例只能设置一个“梯度递增”阶段。 起始并发数 梯度递增的起始并发用户数量。 递增总并发数 一共会增加的并发用户数。梯度递增中,第一个子阶段并发用户为起始并发用户数,其余每个子阶段的并发用户为上一阶段并发用户数+递增总并发用户*递增量级,最后一个子阶段并发用户为起始并发用户数+递增总并发用户数。 递增量级 每个子阶段增加的并发用户数=递增总并发用户*递增量级。 递增量级包含:5%、10%、20%、50%。 单量持续时间(分钟) 每个子阶段压测执行的时间。 当“压力模式”为“并发模式”、“执行策略”为“按次数”,需要配置以下参数: 说明: 只能添加单阶段。 并发数 并发用户数指在同一时刻内,对系统进行业务操作的用户数量。 在性能测试服务中为用户在定义测试任务阶段设置的虚拟用户数。 发送总次数 该用例在一次任务的运行中,将按照运行次数计算,到达设定数值,该任务下此用例的性能测试将终止。 说明: 发送总次数不小于并发用户数。 当“压力模式”为“TPS模式”、“执行策略”为“按时长”且“调压模式”为“自动调压”,需要配置以下参数: 最大并发数 执行测试用例的最大虚拟用户数。 TPS值 设定每秒执行事务的数量。 压测时长(分钟) 本阶段压测执行的时间。 当“压力模式”为“TPS模式”、“执行策略”为“按时长”且“调压模式”为“手动调压”,需要配置以下参数: 最大并发数 执行测试用例的最大虚拟用户数。 起始并发数 执行测试用例的起始虚拟用户数。 TPS值 设定每秒执行事务的数量。 压测时长(分钟) 本阶段压测执行的时间。 当“压力模式”为“TPS模式”、“执行策略”为“按次数”,需要配置以下参数: 说明: 只能添加单阶段。 最大并发数 执行测试用例的最大虚拟用户数。 TPS值 设定每秒执行事务的数量。 发送总次数(次) 该用例在一次任务的运行中,将按照运行次数计算,到达设定数值,该任务下此用例的性能测试将终止。 说明: 发送总次数不小于并发用户数。 当“压力模式”为“摸高模式”,需要配置以下参数: 起始并发数 执行测试用例的起始虚拟用户数。 最大并发数 执行测试用例的最大虚拟用户数。 爬坡时间(秒) 虚拟用户数从起始并发数线性递增到最大并发数的时长。 说明: 建议爬坡时间小于持续时间。爬坡时间与持续时间相同且并发量较大的情况下,采样到的最大并发可能会略小于设置的最大并发数。 压测时长(分钟) 压测执行的时间。 摸高期望指标 响应时间:最大值为60000ms。 成功率:最小值为0。 摸高模式下,期望被测系统的请求响应时间小于等于输入值,请求成功率大于等于输入值,摸高分析规则为其中一个指标首次出现连续6秒未达标的情况时(比如响应时间连续6s大于期望值),摸高分析完成后,取其中第一秒的数据为摸高结果。 说明: 当用例执行达到探底期望指标后,任务不会停止,会继续执行。 当“压力模式”为“浪涌模式”,需要配置以下参数: 压测时长(分钟) 压测执行的时间。 最大并发数 执行测试用例的最大虚拟用户数,也是虚拟用户数变化过程峰值。 最小并发数 执行测试用例的最小虚拟用户数,也是虚拟用户数变化过程的最小值。 浪涌次数 在持续时间内,虚拟用户数变化的周期数。 峰值持续时间(秒) 一个周期内,按最大并发虚拟用户数压测的持续时间。 当“压力模式”为“震荡模式”,需要配置以下参数: 压测时长(分钟) 压测执行的时间。 最大并发数 执行测试用例的最大虚拟用户数,也是虚拟用户数波动过程的波峰值。 最小并发数 执行测试用例的最小虚拟用户数,也是虚拟用户数波动过程的波谷值。 震荡次数 在持续时间内,虚拟用户数波动变化的周期数。 当“压力模式”为“智能摸高模式”,需要配置以下参数: 起始并发数 执行测试用例的起始虚拟用户数。 递增并发数 每步增加的虚拟用户数。 说明: 递增并发数非线性增长,执行时会指数增加。 单步执行时长(秒) 每步执行的时间,建议配置至少20秒以上。 压测时长(分钟) 压测执行的时间,建议配置30分钟以内。 说明: 当成功率小于阈值(默认100%)、RPS曲线下降、rt/tp90/tp99曲线出现较大的斜率变化,任务会停止压测。 成功率阈值 摸高时可容忍的成功率,默认值100。 配置完成后,单击“保存”
  • 操作步骤 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择待配置的测试用例。 选择页面右侧的“用例详情”进入用例详情页面,输入测试用例描述、前置条件、测试步骤,依照表1设置用例基本信息。 表1 用例基本信息 参数 参数说明 状态 描述测试用例当前处于哪种状态,如新建、设计中、测试中、完成。 用例ID 用例ID信息。 用例等级 Level 0:最基本的功能验证,用例不宜过多,各模块尽量保证在10-20个,占比5%左右。 1级:基本功能验证,可用于继承特性的基本功能验证、迭代验收前的基本功能验证等,占比20%左右。 2级:重要特性验证,可用于测试版本(非回归版本)中手工测试,占比60%左右。 3级:一般功能/非重要功能验证,包括对基本/重要功能的异常测试,占比10%~15%左右。 4级:非常特殊输入、场景、阈值条件的用例,该级别用例不宜过多,占比0%~5%左右。 标签 用例自定义标签,用于标识用例。 输入标签:单击标签输入框,输入标签后,用空格或回车键生成标签,每个用例限制10个标签。 删除标签:单击标签输入框,单击已生成标签后的删除该标签。 创建时间 测试用例的创建时间,用例保存后自动生成。 修改时间 测试用例的最新修改时间,用例保存后自动生成。 用例详情信息设置完成后,单击“保存”。
  • 删除事务 事务删除后将无法恢复,请谨慎操作。 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击编辑事务库。 在“事务库”页签中,单击事务名称后的,选择“删除”。根据系统提示执行删除事务的操作。 您也可以在事务列表下勾选事务名称,在页面下方显示的浮动框中,单击“删除”,根据系统提示执行删除事务的操作。 图1 删除事务 如果批量删除的事务中有部分事务已被测试任务引用,则批量删除操作仅删除没有被测试任务引用的事务。
  • 新建变量 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择已创建的测试用例,单击“全局变量”。 可以通过以下三种方式新建变量: 直接单击页面中的“新建变量”。 在页面中“序号”行下方的空白处右击,在弹出的列表中单击“新建变量”。 如果已有变量或变量文件夹,在变量或变量文件夹所在行的操作列表中单击新建变量图标。 参照表1设置参数。 表1 设置全局变量 参数 参数说明 名称 新增全局变量的名称。 类型 新增变量类型,支持String,Integer,Long,Double,Ciphertext,BigDecimal,Boolean。 值 压测任务运行时会读取对应全局变量的参数值。 如果变量值较长,可单击变量输入值框右侧的,在弹出的Value页面中输入值。按Enter键增加输入值的行数,输入完成后单击“回填”。如果输入的是Json格式内容, 单击“Json转换”, 可以更直观查看输入值。 描述 新增变量的描述说明。 设置完成后,单击“保存”。
  • 新建变量文件夹 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择已创建的测试用例,单击“全局变量”。 可以通过以下三种方式新建变量文件夹: 单击“新建变量”右侧的下拉按钮,在下拉框中单击“新建文件夹”。 图1 新建文件夹 在页面中“序号”行下方的空白处右击,在弹出的列表中单击“新建文件夹”。 如果已有变量或变量文件夹,在变量或变量文件夹所在行的操作列表中单击新建文件夹图标。 输入文件夹名称,单击“保存”。 文件夹创建成功后,支持在该文件夹下新建子文件夹、子变量。可以通过以下两种方式新建子文件夹、子变量: 单击文件夹操作列表中对应的新建子文件夹、新建子变量图标。 右击文件夹所在行,在弹出的列表中单击“新建子文件夹”、“新建子变量”。
  • 测试报告说明 JMeter测试报告提供实时、离线两种类型的测试报告,供用户随时查看和分析测试数据。 JMeter测试报告说明如表1所示。 测试报告展现了测试过程中被测系统在模拟高并发用户的响应性能,为了更好阅读测试报告,请参考以下信息: 统计维度:测试报告的RPS、响应时间、并发等统计维度均为单个线程组,如线程组中有请求多个报文,只有在多个请求报文均正常返回会认为成功,响应时间也是多个请求报文的求和值。 响应超时:出现该情况是在设置的响应超时时间内(Jmx自定义),对应的TCP连接中没有响应数据返回时,会将本次线程组请求统计为响应超时。出现原因一般是被测服务器繁忙、崩溃、网络带宽被占满等。 校验失败:从服务器返回的响应报文不符合预期(针对HTTP/HTTPS默认的预期响应码为200),比如服务器返回404、502等。出现原因一般为高并发情况下被测服务无法正常处理导致的,如分布式系统中数据库出现瓶颈、后端应用返回错误等。 解析失败:响应报文已全部接收完成,但是部分报文丢失导致整个用例响应不完整,这种情况一般需要考虑网络丢包。 带宽统计:本报告统计的是性能测试服务执行端的带宽,上行表示从性能测试服务发出的流量,下行表示接收到的流量。如果是外网压测场景,您需要关注执行机的EIP带宽是否可以满足上行带宽的要求。而下行带宽需要关注单台执行机是否超过1GB。 RPS:Requests Per Second,每秒请求数。平均RPS=统计周期内的请求总数/统计周期。 如何判断被测应用优劣:根据应用本身的服务质量定义,理想状态是没有任何响应失败、校验失败的情况,如果有,需要在服务质量定义范围之内,通常情况下不超过1%,同时响应时间越低越好(2s内体验较好,5s内可以接受,超过5s则需要考虑优化),TP90、TP99指标可以客观反映出90%、99%用户的体验响应时间。 表1 JMeter测试报告说明 参数 参数说明 各项指标总量 所有线程组各项指标总量的汇总。 最大并发:最大并发操作的虚拟用户数。 RPS:每秒请求数。 正常返回:如设置了检查点,检查点通过的事务响应数,如未设置默认为返回2XX的事务响应数。 响应时间:指从客户端发一个请求开始计时,到客户端接收到从服务器端返回的响应结果结束所经历的时间。 响应码:记录压测任务进行中响应码分布的情况。 带宽:记录压测任务运行所消耗的实时带宽变化。 异常返回:解析失败、校验失败、响应超时、3XX、4XX、5XX、连接被拒绝的事务响应数。 成功率:正常返回请求数/总请求数。 平均RPS 统计周期内的请求总数/统计周期。 平均RT 记录压测任务平均响应时间的变化。 并发数 记录压测任务运行时,当前并发操作的虚拟用户数的变化。 带宽(KB/S) 记录压测任务运行所消耗的实时带宽变化。 上行带宽:从JMeter测试执行机往外发送出去数据的速度。 下行带宽:JMeter测试执行机接收到数据的速度。 响应状态分布 正常返回、解析失败、校验失败、响应超时、连接被拒绝和其他错误的每秒处理事务数,该项指标与思考时间、并发用户、服务器响应能力均有关,比如思考时间为500ms,如果服务器对于当前用户的上个请求响应时间小于500ms,则该用户每秒请求2次。 正常返回:如设置了检查点,检查点通过的事务响应数,如未设置默认为返回2XX的事务响应数。 解析失败:HTTP响应无法被正常解析的数量。 校验失败:如设置了检查点,检查点未通过的事务响应数,如未设置,返回不是2XX的事务响应数。 响应超时:是在设置的响应超时时间内,对应的TCP连接中没有响应数据返回的用例请求数量。 连接被拒绝:发送报文建立连接时,服务器拒绝连接数。 其他错误:不属于以上几种错误的数量。 响应码分布 1XX/2XX/3XX/4XX/5XX。 响应时间区间比例 用例的响应时间区间比例。 TP最大响应时间 指在一个时间段内(如10s),统计该请求每次响应所消耗的时间,并将这些时间按从小到大的顺序进行排序,取对应的百分比的那个值作为TPXX的最大响应时间。 TP50:指在一个时间段内(如10s),统计该请求每次响应所消耗的时间,并将这些时间按从小到大的顺序进行排序,取第50%的那个值作为TP50的值。 TP75:指在一个时间段内(如10s),统计该请求每次响应所消耗的时间,并将这些时间按从小到大的顺序进行排序,取第75%的那个值作为TP75的值。 TP90:指在一个时间段内(如10s),统计该请求每次响应所消耗的时间,并将这些时间按从小到大的顺序进行排序,取第90%的那个值作为TP90的值。 TP95:指在一个时间段内(如10s),统计该请求每次响应所消耗的时间,并将这些时间按从小到大的顺序进行排序,取第95%的那个值作为TP95的值。 TP99:指在一个时间段内(如10s),统计该请求每次响应所消耗的时间,并将这些时间按从小到大的顺序进行排序,取第99%的那个值作为TP99的值。 TP99.9:指在一个时间段内(如10s),统计该请求每次响应所消耗的时间,并将这些时间按从小到大的顺序进行排序,取第99.9%的那个值作为TP99.9的值。 TP99.99:指在一个时间段内(如10s),统计该请求每次响应所消耗的时间,并将这些时间按从小到大的顺序进行排序,取第99.99%的那个值作为TP99.99的值。
  • 查看实时测试报告 压测过程中,可以通过实时报告查看压测过程中各项指标的监控数据。 前提条件 测试任务已启动,正在执行中。 操作步骤 登录性能测试服务控制台,在左侧导航栏中选择“JMeter测试工程”,单击待操作工程后的。 在“性能报告”页签下选择需要查看测试报告的测试计划,单击,查看实时报告结果。详细参数说明请参考表1。单击“停止任务”,可以停止当前运行的任务。 在“总览”页签下,您可以查看失败数/总请求数、平均RT、最大并发、成功率、带宽、动态趋势、响应码等。 在“明细”页签下,您可以查看测试计划的日志、通用测试指标、请求详情。 单击“查看日志”,在“查看日志”弹窗中可以查看请求日志、事件日志及Pod信息。其中请求日志根据请求名称、返回码、结果这三个条件,各展示10条日志。 请求日志支持对返回码/结果/请求名称进行过滤展示。 报告明细显示的采样模式有等距抽样值和等距平均值。 等距抽样值:根据用例执行时长,对大于45min的用例的趋势图以固定的时间间隔进行抽样点展示。 等距平均值:根据用例执行时长,对大于45min的用例的趋势图以固定的时间间隔进行平均值展示。 单击“数据显示”下拉框,输入关键字搜索,可以显示您需要的线程组或请求数据。也可以在“数据显示”下拉框的目录中直接单击您需要显示的线程组或请求数据。 在“明细”页签下,您也可以单击“列表”进入报告指标汇总页面。 单击“自定义列”,可以在“表格设置”弹框中选择需要显示的列表项;在弹框右侧拖动已选列,可以改变列表项的顺序。 图1 表格设置 单击操作栏中的查看日志。 单击操作栏中的编辑线程组。 如果测试计划已关联智能分析对象中的应用监控(APM),测试报告则体现“调用分析”页签。在“调用分析”页签,通过设置查询条件,可以查看符合查询条件的APM调用详细记录。 如果测试计划已关联智能分析对象中的主机监控(AOM),测试报告则体现“监控指标”页签。在“监控指标”页签可以查看CPU使用率、内存使用率、磁盘读取速度、磁盘写入速度信息。
  • 报告对比 对于不同时间,不同条件下执行测试计划产生的测试报告,可以通过报告对比直观的查看测试结果。 操作步骤 登录性能测试服务控制台,在左侧导航栏中选择“JMeter测试工程”,单击待操作工程后的。 在“性能报告”页签下,单击需要对比报告的测试计划名称,也可以单击操作栏的。 在“报告对比”页签,勾选需要对比的测试报告。 最多可以选择3份离线报告进行对比,第一勾选的报告作为基线报告。 在“线程组指标对比”框中选择线程组,可以查看该线程组在不同报告中的指标对比。 线程组指标对比支持指标筛选。 单击“自定义对比指标”,在“表格设置”弹框中选择需要显示的指标项。 (可选)在弹框右侧拖动已选列,可以改变列表项的顺序。 单击“确认”。
共100000条