华为云用户手册

  • API调用方使用流程 您作为API调用者,需要实现一个API的调用,那么您需要完成以下工作: 获取API 从服务目录获取需要调用API。仅在API发布后,才支持被调用。 (可选)创建应用并获取授权 对于使用APP认证的API,需要完成创建应用和将API授权给应用。在API调用过程中,使用所创建应用的密钥对(AppKey、AppSecret),数据服务根据密钥对进行身份核对,完成鉴权。关于使用APP认证的方法,具体请参考数据服务SDK参考。 调用API API调用者完成以上步骤后,可以参考数据服务SDK参考进行API调用。
  • 总览页面说明 在总览页用户可以看到丰富的监控数据视图。数据服务总览页面分别从API开放方和API调用方的视角,统计了API的相关度量数据。 图2 API总览 表1 API开放方数据统计 界面 说明 发布趋势 从每天、每周、每月、每年的维度统计了API开放方发布的API数量。 调用趋势 从半天、每天、每周、每月的维度统计了API开放方发布的API,被调用的次数。 调用比率TOP5 统计API开放方所开放的API,被调用的比率,包含成功率、失败率、合法率和非法率。 调用时间TOP5 统计API开放方所开放的API,被调用时长,支持统计的维度包含时长平均总值、成功时长平均总值,失败时长平均总值。 调用次数TOP5 统计API开放方所开放的API,被调用次数排名TOP5的,支持统计的维度包含调用总次数、成功次数、失败次数、合法次数和非法次数。 已发布 统计API开放方已成功发布的API数量。 开发中 统计API开放方开发中的API数量。 申请者 统计API开放方已成功发布的API,被申请调用的应用数量。 调用成功 统计API开放方已成功发布的API,被应用成功调用的次数。 调用失败 统计API开放方已成功发布的API,被应用调用失败的次数。 总调用次数 统计API开放方已成功发布的API,被应用调用的总次数。 图3 调用总览 表2 API调用方数据统计 界面 说明 调用趋势 从每天、每周、每月、每年的维度统计了API调用方调用的API数量。 调用比率 统计调用方最近7天内调用API的成功和失败比例。 已申请 统计API调用方,在数据服务平台申请调用的API数量。 调用成功 统计API调用方在数据服务平台成功调用API的次数。 总调用次数 统计API调用方在数据服务平台调用API的总次数。
  • API开放方使用流程 您作为API提供者,需要实现一个或一组API的开放,那么您需要先后完成以下工作: 准备工作 如果您需要使用数据服务专享版,需要先购买专享版集群。 另外,在创建API前,您还需要新建审核人。 创建API 创建API即生成API和注册API。其中,生成API支持两种方式(向导模式生成API和脚本模式生成API)。 调试API API创建后需要验证服务是否正常,管理控制台提供了调试功能。 发布API 只有将API发布后,API才支持被调用。 (可选)管理API 您可以根据您的需要,对已创建发布的API进行管理。 (可选)流量控制 为了保护后端服务的稳定的考虑,您可以对API进行流量控制。
  • 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 单击集群名称后,选择“标签”页签。 图2 修改集群配置 单击“添加/编辑标签”,通过添加、修改标签为CDM集群设置资源标识。 图3 添加标签 一个集群最多可添加10个标签。 标签键(key)的最大长度为36个字符,标签值(value)的最大长度为43个字符。 (可选)在标签列表中,单击标签操作列“删除”,删除CDM集群标签。 通过以下两种方式筛选出所配置标签的资源。 在标签管理服务中,选择资源搜索条件,单击“搜索”即可筛选出所配置标签的资源。 在集群列表中,单击标签搜索,筛选出所配置标签的资源。
  • 创建CDM集群并绑定EIP 如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MySQL。 图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。
  • 约束限制 如果在字段映射界面,CDM通过获取样值的方式无法获得所有列(例如从HBase/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。 当使用二进制格式进行文件到文件的迁移时,没有字段映射这一步。 自动创表场景下,需在目的端表中提前手动新增字段,再在字段映射里新增字段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 如CDM不支持源端迁移字段类型,请参见不支持数据类型转换规避指导将字段类型转换为CDM支持的类型。
  • 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确,例如:源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段,通常用于标记数据库来源,以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段: 常量 常量参数即参数值是固定的参数,不需要重新配置值。例如“lable”=“friends”用来标识常量值。 变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变量的语法:${variable},其中“variable”指的是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。 表达式 您可以使用表达式语言根据运行环境动态生成参数值。表达式的语法:#{expr},其中“expr”指的是表达式。例如“time”=“#{DateUtil.now()}”用来标识当前日期字符串。
  • 企业模式业务流程 当前DataArts Studio企业模式,主要涉及管理中心和数据开发组件,业务流程由管理员、开发者、部署者、运维者等角色共同完成。 图1 企业模式架构 管理员:管理员需要进行准备数据湖、配置数据连接和环境隔离、数据的导入导出、配置项目用户权限等操作。 开发者:开发者需要在数据开发的开发环境,进行脚本、作业开发等操作,开发完成后进行测试运行、提交版本,最终提交发布任务。 部署者:部署者需要在数据开发的开发环境,查看待审批任务,并进行发布审批操作。 运维者:部署者需要在数据开发的生产环境,基于开发者发布的资源,进行作业监控、通知管理、备份等操作。 自定义角色:用户可以对需要的操作权限进行自定义设置,来满足实际业务的需要。 访客:具备DataArts Studio只读权限,只允许对DataArts Studio进行数据读取,无法操作、更改工作项及配置,建议将只查看空间内容、不进行操作的用户设置为访客。 表1 企业模式内的权限 - 简单空间 企业空间 管理者 拥有生产环境管理中心的所有权限,包含连接配置、数据导入导出等。 增加了部署相关的新操作 进行管理中心的连接配置、环境隔离配置,数据导入导出等 进行数据开发配置,比如环境配置、调度身份配置、配置默认项等 开发者 拥有生产环境的作业及脚本开发的所有权限。 开发环境:所有操作 生产环境:只读操作 部署:增加了打包、查看发布项、查看发布项列表、查看发布包内容 环境信息配置:只读操作 部署者 无 查看发布包 查看发布项列表 发布包:只有部署者和管理者可以操作 撤销发布:只有部署者和管理者可以操作 运维者 拥有生产环境的作业及脚本实例的运行监控、运维调度等权限。 开发环境:只读操作 生产环境:所有操作 部署:查看发布包内容 环境信息配置:只读操作 访客 仅只读 仅只读 父主题: 企业模式
  • 操作场景 本章节介绍使用CDM整库迁移功能,将本地MySQL数据库迁移到云服务RDS中。 当前CDM支持将本地MySQL数据库,整库迁移到RDS上的MySQL、PostgreSQL或者Microsoft SQL Server任意一种数据库中。这里以整库迁移到RDS上的MySQL数据库(云数据库 MySQL)为例进行介绍,使用流程如下: 创建CDM集群并绑定EIP 创建MySQL连接 创建RDS连接 创建整库迁移作业
  • 创建CDM集群并绑定EIP 如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群的VPC,选择和RDS的MySQL数据库实例所在的VPC一致,且推荐子网、安全组也与RDS上的MySQL一致。 如果安全控制原因不能使用相同子网和安全组,则可以修改安全组规则,允许CDM访问RDS。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问本地MySQL数据库。 图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。
  • 配置步骤 在CCE中添加日志策略 在CCE中创建工作负载时,添加容器后,展开“容器日志”页签。 单击“添加日志策略”,设置自定义日志参数,配置日志策略,以nginx为例,不同工作负载根据实际情况配置。 图1 添加日志策略 存储类型有“主机路径”和“容器路径”两种类型可供选择: 主机路径:可将主机上的路径挂载到指定的容器路径。日志策略配置参数如下: 表1 添加日志策略-主机路径 参数 参数说明 存储类型 设置为“主机路径”。将主机上的路径挂载到指定的容器路径。 添加容器挂载 *主机路径 容器内日志文件所在路径挂载到主机上的位置,如:/var/paas/sys/log/nginx 挂载路径 输入数据逻辑卷挂载到容器上的路径,如:/tmp 须知: 请不要挂载在系统目录下,如“/”、“/var/run”等,会导致容器异常。建议挂载在空目录下,若目录不为空,请确保目录下无影响容器启动的文件,否则文件会被替换,导致容器启动异常,工作负载创建失败。 挂载高危目录的情况下 ,建议使用低权限账号启动,否则可能会造成宿主机高危文件被破坏。 AOM只采集最近修改过的前20个日志文件,且默认采集两级子目录。 AOM只采集挂载路径下的“.log”、“.trace”、“.out”文本日志文件。 主机扩展路径 会在原先的“卷目录/子目录”中增加一个三级目录。使用户更方便获取单个Pod输出的文件。 None:不配置拓展路径。 PodUID:Pod的ID。 PodName:Pod的名称。 PodUID/ContainerName:Pod的ID/容器名称。 PodName/ContainerName:Pod名称/容器名称。 采集路径 设置采集路径可以更精确的指定采集内容,当前支持以下设置方式: 不设置则默认采集当前路径下.log .trace .out文件。 设置**表示递归采集5层目录下的.log .trace .out文件。 设置*表示模糊匹配。 例子: 采集路径为/tmp/**/test*.log 表示采集/tmp目录及其1-5层子目录下的全部以test开头的.log文件。 注意: 使用采集路径功能请确认您的采集器ICAgent版本为5.12.22或以上版本。 日志转储 此处日志转储是指日志的本地绕接。 设置:AOM每分钟扫描一次日志文件,当某个日志文件超过50MB时,会立即对其转储(转储时会在该日志文件所在的目录下生成一个新的zip文件。对于一个日志文件,AOM只保留最近生成的20个zip文件,当zip文件超过20个时,时间较早的zip文件会被删除),转储完成后AOM会将该日志文件清空。 不设置:若您在下拉列表框中选择“不设置”,则AOM不会对日志文件进行转储。 说明: AOM的日志绕接能力是使用copytruncate方式实现的,如果选择了设置,请务必保证您写日志文件的方式是append(追加模式),否则可能出现文件空洞问题。 当前主流的日志组件例如Log4j、Logback等均已经具备日志文件的绕接能力,如果您的日志文件已经实现了绕接能力,则无需设置。否则可能出现冲突。 建议您的业务自己实现绕接,可以更灵活的控制绕接文件的大小和个数。 容器路径:日志仅输出到容器路径,无需挂载主机路径。日志策略配置参数如下: 此功能需要采集器ICAgent版本升级到5.10.79或以上版本。 表2 添加日志策略-容器路径 参数 参数说明 存储类型 设置为“容器路径”。 日志仅输出到容器路径,无需挂载主机路径。此功能需要采集器ICAgent版本升级到5.10.79或以上版本。 添加容器挂载 挂载路径 输入数据逻辑卷挂载到容器上的路径,如:/tmp 须知: 请不要挂载在系统目录下,如“/”、“/var/run”等,会导致容器异常。建议挂载在空目录下,若目录不为空,请确保目录下无影响容器启动的文件,否则文件会被替换,导致容器启动异常,工作负载创建失败。 挂载高危目录的情况下 ,建议使用低权限账号启动,否则可能会造成宿主机高危文件被破坏。 AOM只采集最近修改过的前20个日志文件,且默认采集两级子目录。 AOM只采集挂载路径下的“.log”、“.trace”、“.out”文本日志文件。 采集路径 设置采集路径可以更精确的指定采集内容,当前支持以下设置方式: 不设置则默认采集当前路径下.log .trace .out文件。 设置**表示递归采集5层目录下的.log .trace .out文件。 设置*表示模糊匹配。 例子: 采集路径为/tmp/**/test*.log 表示采集/tmp目录及其1-5层子目录下的全部以test开头的.log文件。 注意: 使用采集路径功能请确认您的采集器ICAgent版本为5.12.22或以上版本。 日志转储 此处日志转储是指日志的本地绕接。 设置:AOM每分钟扫描一次日志文件,当某个日志文件超过50MB时,会立即对其转储(转储时会在该日志文件所在的目录下生成一个新的zip文件。对于一个日志文件,AOM只保留最近生成的20个zip文件,当zip文件超过20个时,时间较早的zip文件会被删除),转储完成后AOM会将该日志文件清空。 不设置:若您在下拉列表框中选择“不设置”,则AOM不会对日志文件进行转储。 说明: AOM的日志绕接能力是使用copytruncate方式实现的,如果选择了设置,请务必保证您写日志文件的方式是append(追加模式),否则可能出现文件空洞问题。 当前主流的日志组件例如Log4j、Logback等均已经具备日志文件的绕接能力,如果您的日志文件已经实现了绕接能力,则无需设置。否则可能出现冲突。 建议您的业务自己实现绕接,可以更灵活的控制绕接文件的大小和个数。 在ServiceStage中添加日志策略 在CCI中添加日志策略 在创建负载时,选择镜像后,单击“高级设置”,展开“日志采集”页签。 添加日志策略。 单击“添加日志存储”,参考表3进行配置。 图2 在CCI中添加日志策略 表3 参数说明 参数 参数说明 容器内日志路径 日志存储挂载到容器内的挂载路径,需要保证服务的日志输出路径与该路径一致,这样日志才能写入到日志存储卷中。 须知: 日志存储卷挂载后,会覆盖掉日志路径下已有的内容。请保证日志路径为一个独立的路径,否则原来的内容不可见。 AOM只采集最近修改过的前20个日志文件,且不采集子目录。 AOM只采集日志路径下的“.log”、“.trace”、“.out”文本日志文件。 日志存储空间 日志的存储空间大小。 AOM对日志卷中的日志按50MB进行防爆处理,AOM只保留最近生成的20个zip文件,当zip文件超过20个时,时间较早的zip文件会被删除。
  • 使用流程 AOM使用流程如下图所示。 图1 AOM使用流程 开通AOM(必选) 创建子账号并设置权限(可选) 购买云主机(必选) 安装ICAgent(必选) ICAgent是AOM的采集器,用于实时采集指标、日志和应用性能数据。 如果是通过CCE购买的云主机,购买后自动安装ICAgent。 配置应用发现规则(可选) 满足内置发现规则的应用,安装ICAgent后该应用会自动被发现;对于不满足内置应用发现规则的,您则需配置应用发现规则。 配置日志采集路径(可选) 如果您需使用AOM监控主机的日志,则需配置日志采集路径。 运维(可选) 您可使用AOM的监控总览、告警管理、资源监控、日志管理等功能进行日常运维。
  • 控制台说明 表1 AOM控制台说明 类别 说明 总览 提供监控概览及仪表盘功能。 监控概览 “监控概览”界面提供了资源、应用、应用用户体验的全链路、多层次、一站式运维界面。 仪表盘 通过仪表盘可将不同图表展示到同一个屏幕上,通过不同的仪表形式来展示资源数据,例如,曲线图、数字图等,进而全面、深入地掌握监控数据。 告警 提供告警列表、事件列表、告警规则、告警通知等功能。 告警列表 告警是指AOM自身或外部服务在异常情况或在可能导致异常情况下上报的信息,并且您需采取相应措施清除故障,否则会由于AOM自身或外部服务的功能异常而引起业务的异常。 告警列表展示已设时间范围内产生的告警。 事件列表 事件告诉您AOM自身或外部服务发生了某种变化,但不一定会引起业务异常,事件一般用来表达一些重要信息。 事件列表展示已设时间范围内产生的事件。 告警规则 通过告警规则可对服务设置事件条件或者对资源的指标设置阈值条件。当服务的资源数据满足事件条件时产生事件类告警。当资源的指标数据满足阈值条件时产生阈值告警,当没有指标数据上报时产生数据不足事件,以便您在第一时间发现异常并进行处理。 告警通知 AOM提供了告警通知功能,您可通过创建通知规则、告警行动规则或告警降噪进行详细配置,当AOM自身或外部服务存在异常或可能存在异常而产生告警时,可利用此功能将告警信息通过邮件或短信发送给您指定的人员,以便提醒相关人员及时采取措施清除故障,避免造成业务损失。 监控 提供应用监控、组件监控、主机监控、容器监控、指标浏览等功能。 应用监控 应用是您根据业务需要,对相同或者相近业务的一组组件进行逻辑划分,AOM提供以应用维度整体进行监控。 组件监控 组件即您部署的服务,包括容器和普通进程。 组件列表展示了每个组件的类型、CPU占用、内存占用和告警状态等信息,AOM支持从组件下钻到实例,从实例下钻到容器。通过各层状态,您可完成对组件的立体监控。 主机监控 通过AOM您可监控主机的资源占用与健康状态,监控主机的磁盘、文件系统等常用系统设备,监控运行在主机上的业务进程或实例的资源占用与健康状态。 容器监控 容器监控的对象仅为通过CCE部署的工作负载、通过ServiceStage创建应用。 指标浏览 指标浏览展示了各资源的指标数据,您可实时监控指标值及趋势,还可将关注的指标添加到仪表盘,对其创建阈值规则和导出监控报告等操作,以便实时查看业务及分析数据。 云服务监控 云服务监控展示华为云各服务实例的历史性能数据曲线。最长可查阅近6个月内的数据,有助于用户了解实例运行状况。 日志 提供日志搜索、日志文件、日志转储、日志路径等功能。 日志搜索 当需要通过日志来分析和定位问题时,使用日志搜索功能可帮您快速在海量日志中查询到所需的日志,您还可结合日志的来源信息和上下文原始数据一起辅助定位问题。 日志文件 您可快速查看组件实例的日志文件,以便定位问题。 日志转储 AOM支持将日志转储到对象存储服务(Object Storage Service,简称OBS)的OBS桶中,以便进行长期存储。 日志路径 AOM支持容器服务日志和虚机(这里的虚机指操作系统为Linux的弹性云服务器或裸金属服务器)日志采集,即采集您自定义的日志文件并展现在AOM界面中,以供您检索。使用该功能前首先要配置日志采集路径。 日志桶 日志桶是对日志文件逻辑上的分组,可用于转储、创建统计规则、以日志桶为单位查看日志等。 统计规则 统计规则以日志桶为单位,您可在规则中配置关键词,AOM会统计该关键词在日志桶中每分钟出现的条数,并生成日志指标。 日志结构化 日志结构化支持对原始日志按照正则表达式或者特殊字符进行分隔,以便对结构化后的日志按照SQL语法进行查询与分析。 接入LTS 通过添加接入规则,可以将AOM中的CCE、CCI或自定义集群的日志映射至LTS,通过LTS查看和分析日志。映射不会产生额外的费用(除重复映射外)。 配置管理 提供ICAgent管理、应用发现、日志配置等功能。 ICAgent管理 ICAgent用于采集指标、日志和应用性能数据。对于在ECS、BMS控制台直接购买的主机,您需手动安装ICAgent。对于通过CCE间接购买的主机,ICAgent会自动安装,您不用安装ICAgent。 数据订阅 支持用户订阅指标或者告警信息,订阅后可以将数据转发到用户配置的kafka或DMS的Topic中,供消费者消费转发的订阅的信息。 应用发现 应用发现是指AOM通过配置的规则发现和收集您主机上部署的应用和关联的指标。 日志配置 提供日志配额和分词设置功能。 配额配置 当指标超过配额时,时间较早的指标将会被删除。 指标配额可通过切换基础版(受限免费)和按需版(按需计费)来修改。 指标配置 指标采集开关用来控制是否对指标数据进行采集(SLA指标、自定义指标除外)。
  • 使用流程 应用运维管理(Application Operations Management,以下简称AOM)是云上应用的一站式立体化运维管理平台,实时监控您的应用及相关云资源,分析应用健康状态,提供灵活的告警及丰富的数据可视化功能,帮助您及时发现故障,全面掌握应用、资源及业务的实时运行状况。 图1 AOM使用流程 开通AOM(必选) 创建子账号并设置权限(可选) 给企业中不同职能部门的员工创建IAM用户,还可以根据企业用户的职能设置不同的访问权限。 购买云主机(必选) 每一台主机对应云上的一台虚拟机(例如:弹性云服务器ECS)或物理机(例如:裸金属服务器BMS)。主机可以在ECS、BMS直接购买,也可以通过CCE间接购买。 安装ICAgent(必选) ICAgent是AOM的采集器,用于实时采集指标、日志和应用性能数据。对于在ECS、BMS控制台直接购买的主机,您需要手动安装ICAgent。对于通过CCE购买的主机,ICAgent会自动安装。 配置应用发现规则(可选) 将运行在主机上的应用接入AOM,以便能在AOM界面监控。满足内置应用发现规则的应用,安装ICAgent后该应用会自动被发现;对于不满足内置应用发现规则的应用,您则需配置应用发现规则。 配置日志采集路径(可选) 如果您需使用AOM监控主机的日志,则需配置日志采集路径。 运维(可选) 您可使用AOM的仪表盘、告警通知等功能进行日常运维。
  • API概览 表1 流水线接口说明 分类 接口 模板管理 包括查询模板列表、创建流水线模板、查询模板详情等接口。 流水线管理 包括启动流水线、批量获取流水线状态、获取流水线状态/获取流水线执行详情等接口。 分组管理 包括新建流水线分组、更新流水线分组、删除流水线分组等接口。 规则管理 包括获取单条规则详情、分页获取规则列表、更新规则等接口。 租户级策略管理 包括创建规则集、修改规则集、获取规则集详情等接口。 租户级开源治理策略管理 包括创建租户级开源治理策略、修改租户级开源治理策略、查询租户级开源治理策略详情等接口。 项目级策略管理 包括获取项目级策略列表和查询项目级策略列表两个接口。 项目级开源治理策略管理 包括查询项目级开源治理策略详情和查询项目级开源治理策略列表两个接口。 扩展插件管理 包括创建插件版本、创建插件草稿版本、创建发布商等接口。 模板管理(旧版,待下线) 包括查询模板列表和查询模板详情两个接口。 流水线管理(旧版,待下线) 包括基于模板快速创建流水线及流水线内任务、检查流水线创建状态、启动流水线等接口。
  • 操作步骤 查询流水线任务执行状态。 接口信息 URI:POST v3/pipelines/{pipeline_id}/status API文档详情请参见:获取流水线状态。 API Explorer在线调试请参见: 获取流水线状态。 请求示例 GET https://cloudpipeline-ext.cn-north-1.myhuaweicloud.com/v3/pipelines/{pipeline_id}/status 响应示例 { "executor": "xxx", "status": "completed", "outcome": "success", "parameters": [ { "name": "serviceName", "value": "test测试" }, { "name": "codeBranch", "value": "master" }, { "name": "releaseVersion", "value": "1.0.0" } ], "states": [ { "id": "state_3", "name": "源代码", "type": "stage", "status": "completed", "outcome": "success", "children": [], "start_time": "2020-09-01 17:13:18", "end_time": "2020-09-01 17:13:18", "elapsed_time": "0" }, { "id": "state_4", "name": "构建", "type": "stage", "status": "completed", "outcome": "success", "children": [ { "id": "Task_1", "name": "默认任务", "type": "task", "status": "completed", "outcome": "success", "start_time": "2020-09-01 17:13:18", "end_time": "2020-09-01 17:16:22", "elapsed_time": "183", "error_code": null, "error_msg": null, "detail_url": null } ], "start_time": "2020-09-01 17:13:18", "end_time": "2020-09-01 17:16:22", "elapsed_time": "183" }, { "id": "state_5", "name": "发布仓库", "type": "stage", "status": "completed", "outcome": "success", "children": [], "start_time": "2020-09-01 17:16:22", "end_time": "2020-09-01 17:16:22", "elapsed_time": "0" } ], "pipeline_id": "824e784b3f43492e99152a4....", "pipeline_name": "pipeline_测试", "build_id": "xxxx", "start_time": "2020-09-01 17:13:18", "end_time": "2020-09-01 17:16:22", "elapsed_time": "184", "detail_url": "https://xxxxxx/pipeline/detail/824e784b3f43492e99152a....." }
  • 操作步骤 使用主帐号登录统一身份认证服务 IAM控制台。 创建自定义权限策略。 在左侧导航栏中选择权限,单击“创建自定义策略”。 配置相关参数。 图1 配置自定义权限策略 表1 参数说明 参数名称 说明 示例 策略名称 自定义名称。 das-log-database 策略配置方式 支持可视化视图和JSON视图。 可视化视图 策略内容 选择数据管理服务,根据需要添加相应的只读权限。 此处以“das:connections:login”为例,添加了此权限的用户或用户组仅具有通过DAS服务登录数据库连接的功能。 das:connections:login 单击确定,返回权限页面,可以查看到刚创建好的自定义权限策略。 图2 查看自定义权限策略 创建用户组并授权2中的自定义权限策略。 在左侧导航栏选择用户组,单击创建用户组,填写用户组名称,完成用户组创建。 单击用户组操作列的“授权”,选择2中创建好的自定义策略。 图3 授权 单击“下一步”,授权范围默认“所有资源”,继续单击“确定”。 创建用户并添加到用户组。 在左侧导航栏选择用户,单击“创建用户”,配置用户基本信息。 图4 配置用户基本信息 单击下一步,将当前用户添加到3中创建的用户组中。 图5 添加用户到用户组 单击创建用户,即可创建新用户(即IAM子帐号)。此时该用户只有DAS登录数据库连接的权限。 创建数据库只读帐号。此处以RDS for MySQL为例。 登录云数据库RDS控制台。 在实例管理页面,单击目标实例名称,进入基本信息页面。 在左侧导航栏中选择“帐号管理”,单击“创建帐号”,创建一个只读权限的数据库帐号。 图6 创建数据库只读帐号 您也可以登录RDS for MySQL数据库通过命令行来创建只读帐号,具体可参考如下命令: CREATE USER 'db_read_only'@'%' IDENTIFIED BY '**********'; GRANT SELECT ON *.* TO 'db_read_only'@'%'; FLUSH PRIVILEGES; 主帐号通过DAS共享只读数据库功能给IAM子帐号。 使用主帐号登录数据管理服务控制台。 使用只读数据库帐号新增一条登录信息。 在左侧导航栏选择“开发工具”,在“由我创建的数据库实例登录”页面,单击“新增数据库实例登录”。 此处登录用户名使用5中创建好的数据库只读帐号。 共享只读帐号的数据库实例登录信息给IAM子帐号。 单击数据库实例登录信息列表中“共享用户数”列对应的数字。 图7 共享用户 选择共享截止时间,添加方式选择同步子账号,在待选用户中选择4中创建的IAM子帐号,单击“确定”。 图8 添加共享用户 至此,主帐号通过DAS共享只读数据库功能给IAM子帐号的步骤已完成。 使用4中创建好的IAM子帐号登录数据管理服务,验证只读权限。 图9 验证只读权限 使用IAM子帐号登录到DAS服务后,选择“开发工具”,可以在他人共享给我的数据库实例登录页面,查看到由主帐号共享给IAM子帐号的数据库登录信息。在操作列可以看到只有登录数据库连接的权限。
  • 请求示例 批量设置/取消设置标签。指定SIM卡ID“123456”和“234567”绑定标签“123”。 POST https://{endpoint}/v1/sim-tags/batch-set { "sim_card_ids" : [ 123456, 234567 ], "tag_ids" : [ 123 ] } 批量设置/取消标签。当参数sim_card_ids不传或长度为0时,指定SIM卡iccid“898606xxxxxxxxxxxx”和“898601xxxxxxxxxxxx”绑定标签“123”。 POST https://{endpoint}/v1/sim-tags/batch-set { "sim_card_ids" : [ ], "iccids" : [ "898606xxxxxxxxxxxx", "898601xxxxxxxxxxxx" ], "tag_ids" : [ 123 ] }
  • 响应示例 状态码: 400 Parameter Invalid 示例 1 { "error_code" : "GSL.00010001", "error_msg" : "请求携带的token无效。" } 示例 2 { "error_code" : "GSL.00012016", "error_msg" : "SIM卡文件不存在,请检查!" } 示例 3 { "error_code" : "GSL.000160051", "error_msg" : "SIM卡数量必须介于1和500之间,请重新输入!" } 示例 4 { "error_code" : "GSL.000160052", "error_msg" : "标签数量必须介于0-10之间,请重新输入!" } 示例 5 { "error_code" : "GSL.000160053", "error_msg" : "以下simCardId/tagId不存在或没有操作权限,请重新输入!simCardId/tagId : [-3333, 111, 656565465]" } 示例 6 { "error_code" : "GSL.000160054", "error_msg" : "以下simCardId/tagId重复,请重新输入!simCardId/tagId : [2, 3]" } 状态码: 500 Internal Server Error { "error_code" : "GSL.00010003", "error_msg" : "系统繁忙,请稍后重试。" }
  • 请求参数 表1 请求Body参数 参数 是否必选 参数类型 描述 file_temp_id 否 Long 临时文件ID sim_card_ids 否 Array of longs SIM卡id列表,最多500.sim_card_ids与iccids不能同时为空,sim_card_ids参数为空则根据iccids参数处理 最小值:0 数组长度:0 - 500 iccids 否 Array of strings iccid列表,最多支持传入500个iccid。sim_card_ids与iccids不能同时为空,sim_card_ids参数为空则根据iccids参数处理 最小长度:19 最大长度:20 数组长度:0 - 500 tag_ids 否 Array of longs 绑定的标签id列表,最多10 最小值:0 数组长度:0 - 10
  • Token认证 Token是服务端生成的一串字符串,作为客户端进行请求的一个令牌。第一次登录后,服务器生成一个Token并将此Token返回给客户端,以后客户端只需带上这个Token前来请求数据即可,无需再次带上用户名和密码。Token有效期是24小时,从客户端获取开始算起(24小时是相对时间),需要使用同一个Token鉴权时,建议缓存起来使用,避免频繁调用。在Token过期前,务必刷新Token或重新获取Token,否则Token过期后会在服务端鉴权失败。 如果您获取Token多次,以最新的为准,前面的Token会被覆盖并失效。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 调用获取IAM用户Token(使用密码)接口获取Token,调用样例如下: POST https://iam.cn-north-4.myhuaweicloud.com/v3/auth/tokens Content-Type: application/json { "auth": { "identity": { "methods": [ "password" ], "password": { "user": { "name": "username", "password": "********", "domain": { "name": "domainname" } } } }, "scope": { "project": { "name": "xxxxxxxx" } } } } 注:“username”即IAM用户名、“password”即登录华为云密码、“domainname”即账号名,“projectname”项目,您可以参考我的凭证页面获取。 接口返回的响应消息头中“X-Subject-Token”就是需要获取的用户Token。 获取Token后,再调用其他接口时,您需要在请求消息头中添加“X-Auth-Token”,其值为获取到的Token。例如Token值为“ABCDEFJ....”,则调用接口时将“X-Auth-Token: ABCDEFJ....”加到请求消息头即可,如下所示。 GET https://iotda.cn-north-4.myhuaweicloud.com/v5/iot/{project_id}/products/{product_id} Content-Type: application/json X-Auth-Token: ABCDEFJ....
  • 修订记录 发布日期 变更说明 2023-11-21 新增 批量查询实体卡流量接口,请求参数中新增“sim_card_ids”字段。 2022-11-15 新增 后向流量池管理。 2022-07-28 新增 月用量统计。 2022-06-10 新增 标签管理。 自定义属性。 2021-09-07 新增 查询套餐列表信息,响应参数中新增参数price。 2021-06-24 新增 sim卡套餐列表查询,请求参数中新增可选参数limit和offset。 2021-05-25 新增 实体卡限速。 2021-05-14 新增 激活实体卡。 SIM卡机卡重绑。 清除实名认证信息。 查询SIM卡列表,响应参数中的sim_cards里的每条数据新增响应参数cut_net_flag(是否单独断网 true:断网,false:未断网 (当前仅电信卡支持)),exceed_cut_net_flag(是否达量断网 true:达量断网,false:未达量断网 (当前仅电信卡支持)),exceed_cut_net_quota(达量断网阈值(单位MB 当前仅电信卡支持)),imei_bind_remain_times(本月机卡绑定剩余次数(当前仅电信卡支持))。 查询SIM卡详情,新增响应参数cut_net_flag(是否单独断网 true:断网,false:未断网 (当前仅电信卡支持)),exceed_cut_net_flag(是否达量断网 true:达量断网,false:未达量断网 (当前仅电信卡支持)),exceed_cut_net_quota(达量断网阈值(单位MB 当前仅电信卡支持)),imei_bind_remain_times(本月机卡绑定剩余次数(当前仅电信卡支持))。 2021-04-22 新增 SIM卡申请断网/恢复在用。 SIM卡达量断网/取消达量断网。 2021-04-22 新增 查询SIM卡实名认证信息。 2021-04-21 新增 查询SIM卡列表,新增查询参数real_named(是否已实名认证: true表示是,false表示否,系统SIM卡实名认证状态非实时),响应参数中的sim_cards里的每条数据新增响应参数real_named(是否已实名认证: true表示是,false表示否,系统SIM卡实名认证状态非实时)。 查询SIM卡详情,新增响应参数real_named(是否已实名认证: true表示是,false表示否,系统SIM卡实名认证状态非实时)。 2021-04-07 新增 查询流量池列表。 查询流量池成员列表。 2021-04-06 新增 SIM卡单卡停机。 SIM卡单卡复机。 2021-02-25 新增 批量查询实体卡流量。 2020-12-09 新增 查询SIM卡列表,新增查询参数msisdn,customer_attribute1(自定义属性一),customer_attribute2(自定义属性二),customer_attribute3(自定义属性三),customer_attribute4(自定义属性四),customer_attribute5(自定义属性五),customer_attribute6(自定义属性六),新增返回参数sim_pool_id(流量池ID,如果该SIM卡组池的话会返回),msisdn,imsi,customer_attribute1(自定义属性一),customer_attribute2(自定义属性二),customer_attribute3(自定义属性三),customer_attribute4(自定义属性四),customer_attribute5(自定义属性五),customer_attribute6(自定义属性六)。 查询SIM卡列表,新增返回参数sim_pool_id(流量池ID,如果该SIM卡组池的话会返回),msisdn,imsi,customer_attribute1(自定义属性一),customer_attribute2(自定义属性二),customer_attribute3(自定义属性三),customer_attribute4(自定义属性四),customer_attribute5(自定义属性五),customer_attribute6(自定义属性六)。 2020-09-09 新增 查询SIM卡列表,新增参数排序属性(sort)和排序方向(order)字段,提供默认排序方式(按创建时间倒序)以外的排序。 2020-05-20 第一次正式发布。
  • 请求示例 查询SIM卡的历史月用量,卡ID为“4710226018477568”,账期为“2022-07”。 POST https://{endpoint}/v1/sim-cards/month-usages { "sim_card_ids" : [ 4710226018477568 ], "billing_cycles" : [ "2022-07" ] } 查询SIM卡的历史月用量。当参数sim_card_ids不传或长度为0时,根据iccids,查询卡标识为“8695xxxxxxxx”的历史月用量,账期为“2022-07”。 POST https://{endpoint}/v1/sim-cards/month-usages { "iccids" : [ "8695xxxxxxxx" ], "billing_cycles" : [ "2022-07" ] }
  • 请求参数 表1 请求Body参数 参数 是否必选 参数类型 描述 sim_card_ids 否 Array of longs sim卡id列表,最多支持传入500个SIM卡id。sim_card_ids与iccids不能同时为空,sim_card_ids参数为空则根据iccids参数处理 最小值:0 数组长度:0 - 500 iccids 否 Array of strings iccid列表,最多支持传入500个iccid。sim_card_ids与iccids不能同时为空,sim_card_ids参数为空则根据iccids参数处理 最小长度:19 最大长度:20 数组长度:0 - 500 billing_cycles 是 Array of strings 账期,最多支持传入本月在内的6个月账期,例如[2022-07, 2022-06],不支持传入未来账期。 最小长度:0 最大长度:7 数组长度:0 - 6
  • 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 month_usages Array of MonthUsageVo objects 月用量列表 表3 MonthUsageVo 参数 参数类型 描述 sim_card_id Long SIM卡ID 最小值:0 iccid String iccid 最小长度:0 flow_usages Array of FlowUsageVo objects 月用量 表4 FlowUsageVo 参数 参数类型 描述 billing_cycle String 账期 flow_used Double 已用流量(MB) 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码: 500 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述
  • 响应示例 状态码: 200 OK { "month_usages" : [ { "sim_card_id" : 4710226018477568, "iccid" : "8695xxxxxxxx", "flow_usages" : [ { "billing_cycle" : "202207", "flow_used" : 85.27 } ] } ] } 状态码: 400 Parameter Invalid { "error_code" : "GSL.00010004", "error_msg" : "参数异常" } 状态码: 500 Internal Server Error { "error_code" : "GSL.00010003", "error_msg" : "系统繁忙,请稍后重试。" }
  • 响应示例 状态码: 200 OK [ { "id" : 100000000000, "account_id" : "04eexxxxxxxxxx", "sim_card_id" : 100000000000, "price_plan_id" : "10001", "price_plan_name" : "中国联通消费级每月30M联接服务(1年)", "iccid" : "898606xxxxxxxxxxxx", "flow_total" : 30, "flow_used" : 0, "flow_left" : 30 }, { "id" : 100000000001, "account_id" : "04eexxxxxxxxxx", "sim_card_id" : 100000000001, "price_plan_id" : "10001", "price_plan_name" : "中国联通消费级每月30M联接服务(1年)", "iccid" : "898607xxxxxxxxxxxx", "flow_total" : 30, "flow_used" : 0, "flow_left" : 30 } ] 状态码: 400 Parameter Invalid { "error_code" : "GSL.00010004", "error_msg" : "参数异常" } 状态码: 403 Forbidden { "error_code" : "GSL.00010001", "error_msg" : "请求携带的token无效。" } 状态码: 500 Internal Server Error { "error_code" : "GSL.00010003", "error_msg" : "系统繁忙,请稍后重试。" }
  • 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务 获取IAM用户Token接口获取,接口返回的响应消息头中“X-Subject-Token”就是需要获取的用户Token。简要的获取方法样例请参见 Token认证。 表2 请求Body参数 参数 是否必选 参数类型 描述 iccids 否 Array of strings iccid列表(三网卡不支持),最大支持50,且iccid和sim_card_id列表二选一 最大长度:64 数组长度:0 - 50 sim_card_ids 否 Array of longs sim_card_id列表,最大支持50,且iccid和sim_card_id列表二选一 最小值:0 数组长度:0 - 50
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 [数组元素] Array of SimCardsFlowVO objects OK 表4 SimCardsFlowVO 参数 参数类型 描述 id Long 套餐实例ID 最小值:0 account_id String 账户ID 最大长度:128 sim_card_id Long sim卡ID 最小值:0 price_plan_id String 套餐ID 最大长度:128 price_plan_name String 套餐名称 最大长度:128 iccid String ICCID,三网卡为在用ICCID 最大长度:64 flow_total Double 总流量(MB),两位小数 最小值:0 flow_used Double 已使用流量(MB),两位小数 最小值:0 flow_left Double 剩余流量(MB),两位小数 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码: 403 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述
  • 请求示例 批量查询SIM卡标识为“898606xxxxxxxxxxxx”和“898607xxxxxxxxxxxx”的流量详情。 POST https://{endpoint}/v1/sim-price-plans/usage/batch-query { "iccids" : [ "898606xxxxxxxxxxxx", "898607xxxxxxxxxxxx" ] } 批量查询SIM卡ID为“100000000000”和“100000000001”的流量详情。 POST https://{endpoint}/v1/sim-price-plans/usage/batch-query { "sim_card_ids" : [ 100000000000, 100000000001 ] }
共100000条