华为云用户手册

  • URI GET /v2/{project_id}/cursors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 stream-name 是 String 已创建的通道名称。 partition-id 是 String 通道的分区标识符。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000, shardId-0000000001, shardId-0000000002 cursor-type 否 String 游标类型。- AT_SEQUENCE_NUMBER:从特定序列号(即starting-sequence-number定义的序列号)所在的记录开始读取数据。此类型为默认游标类型。- AFTER_SEQUENCE_NUMBER:从特定序列号(即starting-sequence-number定义的序列号)后的记录开始读取数据。- TRIM_HORIZON:从最早被存储至分区的有效记录开始读取。例如,某租户使用DIS的通道,分别上传了三条数据A1,A2,A3。N天后(设定A1已过期,A2和A3仍在有效期范围内),该租户需要下载此三条数据,并选择了TRIM_HORIZON这种下载方式。那么用户可下载的数据将从A2开始读取。- LATEST:从分区中的最新记录开始读取,此设置可以保证你总是读到分区中最新记录。- AT_TIMESTAMP:从特定时间戳(即timestamp定义的时间戳)开始读取。 枚举值: AT_SEQUENCE_NUMBER AFTER_SEQUENCE_NUMBER TRIM_HORIZON LATEST AT_TIMESTAMP starting-sequence-number 否 String 序列号。序列号是每个记录的唯一标识符。序列号由DIS在数据生产者调用PutRecords操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区键的序列号通常会随时间变化增加。PutRecords请求之间的时间段越长,序列号越大。序列号与游标类型AT_SEQUENCE_NUMBER和AFTER_SEQUENCE_NUMBER强相关,二者共同确定读取数据的位置。取值范围:0~9223372036854775807。 timestamp 否 Long 开始读取数据记录的时间戳,与游标类型AT_TIMESTAMP强相关,二者共同确定读取数据的位置。 说明: 此时间戳精确到毫秒。
  • 响应示例 状态码: 200 正常返回 { "partition_cursor" : "eyJnZXRJdGVyYXRvclBhcmFtIjp7InN0cmVhbS1uYW1lIjoianpjIiwicGFydGl0aW9uLWlkIjoiMCIsImN1cnNvci10eXBlIjoiQVRfU0VRVUVOQ0VfTlVNQkVSIiwic3RhcnRpbmctc2VxdWVuY2UtbnVtYmVyIjoiMTAifSwiZ2VuZXJhdGVUaW1lc3RhbXAiOjE1MDYxNTk1NjM0MDV9" }
  • 请求示例 提交Checkpoint POST https://{Endpoint}/v2/{project_id}/checkpoints { "stream_name" : "newstream", "app_name" : "newapp", "partition_id" : "0", "sequence_number" : "2", "checkpoint_type" : "LAST_READ" }
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 app_name 是 String APP的名称,用户数据消费程序的唯一标识符,需要先通过创建App接口创建。 checkpoint_type 是 String Checkpoint类型。 LAST_READ:在数据库中只记录序列号。 枚举值: LAST_READ stream_name 是 String 已创建的通道名称。 partition_id 是 String 通道的分区标识符。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000, shardId-0000000001, shardId-0000000002 sequence_number 是 String 需要提交的序列号,用来记录该通道的消费检查点,需要保证该序列号处于有效范围内。 metadata 否 String 用户消费程序端的元数据信息。 元数据信息的最大长度为1000个字符。 最大长度:1000
  • 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 stream_name 是 String 待更新的通道名称。 最大长度:64 data_duration 否 Integer 数据保留时长。 取值范围:24~72。 单位:小时。 空表示使用缺省值。 缺省值:24 data_type 否 String 源数据类型。 BLOB:存储在数据库管理系统中的一组二进制数据。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。 CSV:纯文本形式存储的表格数据,分隔符默认采用逗号。 缺省值:BLOB。 枚举值: BLOB JSON CSV data_schema 否 String 用于描述用户JSON、CSV格式的源数据结构,采用Avro Schema的语法描述。 auto_scale_enabled 否 Boolean 是否开启自动扩缩容。 true:开启自动扩缩容。 false:关闭自动扩缩容。 默认不开启。 缺省值:false 枚举值: true false auto_scale_min_partition_count 否 Long 当自动扩缩容启用时,自动缩容的最小分片数。 最小值:1 auto_scale_max_partition_count 否 Long 当自动扩缩容启用时,自动扩容的最大分片数。
  • 请求示例 更新通道生命周期 PUT https://{Endpoint}/v3/{project_id}/streams/{stream_name} { "stream_name" : "stz_test", "data_duration" : 48 } 更新通道类型 PUT https://{Endpoint}/v3/{project_id}/streams/{stream_name} { "stream_name" : "stz_test", "data_type" : "JSON" }
  • Token认证 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Token可通过调用获取用户Token接口获取,调用本服务API需要project级别的Token,即调用获取用户Token接口时,请求body中auth.scope的取值需要选择project,如下所示。 { "auth": { "identity": { "methods": [ "password" ], "password": { "user": { "name": "username", "password": "********", "domain": { "name": "domainname" } } } }, "scope": { "project": { "id": "xxxxxxxxxxxxxxxxxx" } } } } 获取Token后,再调用其他接口时(以数据开发组件的“查询连接列表”接口为例),您需要在请求消息头中添加“X-Auth-Token”,其值即为Token。例如Token值为“ABCDEFJ....”,则调用接口时将“X-Auth-Token: ABCDEFJ....”加到请求消息头即可,如下所示。 GET https://iam.cn-north-4.myhuaweicloud.com/v1/{project_id}/connections Content-Type: application/json X-Auth-Token: ABCDEFJ....
  • 响应示例 状态码: 200 正常返回 { "stream_id" : "8QM3Nt9YTLOwtUVYJhO", "stream_name" : "newstream", "create_time" : 1593569685875, "last_modified_time" : "1599050091026,", "retention_period" : 24, "status" : "RUNNING", "stream_type" : "COMMON", "data_type" : "BLOB", "writable_partition_count" : 1, "readable_partition_count" : 1, "tags" : [ ], "auto_scale_enabled" : false, "auto_scale_min_partition_count" : 0, "auto_scale_max_partition_count" : 0, "partitions" : [ { "status" : "ACTIVE", "partition_id" : "shardId-0000000000", "hash_range" : "[0 : 9223372036854775807]", "sequence_number_range" : "[289911 : 289927]" } ], "has_more_partitions" : false }
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 stream_name String 通道名称。 create_time Long 通道创建的时间,13位时间戳。 last_modified_time Long 通道最近一次修改的时间,13位时间戳。 status String 通道的当前状态。 CREATING:创建中 RUNNING:运行中 TERMINATING:删除中 TERMINATED:已删除 枚举值: CREATING RUNNING TERMINATING FROZEN stream_type String 通道类型。 COMMON:普通通道,表示1MB带宽。 ADVANCED:高级通道,表示5MB带宽。 枚举值: COMMON ADVANCED partitions Array of PartitionResult objects 通道的分区列表。 has_more_partitions Boolean 是否还有更多满足请求条件的分区。 是:true。 否:false。 retention_period Integer 数据保留时长,单位是小时。 stream_id String 通道唯一标示符。 data_type String 源数据类型。 BLOB:存储在数据库管理系统中的一组二进制数据。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。 CSV:纯文本形式存储的表格数据,分隔符默认采用逗号。 缺省值:BLOB。 枚举值: BLOB JSON CSV data_schema String 用于描述用户JSON、CSV格式的源数据结构,采用Avro Schema的语法描述。Avro介绍您也可以点击这里查看。 compression_format String 数据的压缩类型,目前支持: snappy gzip zip 默认不压缩。 枚举值: snappy gzip zip csv_properties CSVProperties object CSV 格式数据的相关属性,比如分隔符 delimiter writable_partition_count Integer 可写分区总数量(只包含ACTIVE状态的分区)。 readable_partition_count Integer 可读分区总数量(包含ACTIVE与DELETED状态的分区)。 update_partition_counts Array of UpdatePartitionCount objects 扩缩容操作记录列表。 tags Array of Tag objects 通道的标签列表。 sys_tags Array of SysTag objects 通道的企业项目。 auto_scale_enabled Boolean 是否开启自动扩缩容。 true:开启自动扩缩容。 false:关闭自动扩缩容。 默认不开启。 auto_scale_min_partition_count Integer 当自动扩缩容启用时,自动缩容的最小分片数。 auto_scale_max_partition_count Integer 当自动扩缩容启用时,自动扩容的最大分片数。 表5 PartitionResult 参数 参数类型 描述 status String 分区的当前状态。 CREATING:创建中 ACTIVE:可用 DELETED:删除中 EXPIRED:已过期 枚举值: CREATING ACTIVE DELETED EXPIRED partition_id String 分区的唯一标识符。 hash_range String 分区的可能哈希键值范围。 sequence_number_range String 分区的序列号范围。 parent_partitions String 父分区。 表6 CSVProperties 参数 参数类型 描述 delimiter String 数据分隔符。 表7 UpdatePartitionCount 参数 参数类型 描述 create_timestamp Long 扩缩容操作执行时间戳,13位时间戳。 src_partition_count Integer 扩缩容操作前分区数量。 target_partition_count Integer 扩缩容操作后分区数量。 result_code Integer 扩缩容操作响应码。 result_msg Integer 扩缩容操作响应信息。 auto_scale Boolean 本次扩缩容操作是否为自动扩缩容。 true:自动扩缩容。 false:手动扩缩容。 表8 Tag 参数 参数类型 描述 key String 键。 不能为空。 对于同一资源键值唯一。 字符集:A-Z,a-z , 0-9,‘-’,‘_’,UNICODE字符(\u4E00-\u9FFF)。 最小长度:1 最大长度:36 value String 值。 长度不超过43个字符。 字符集:A-Z,a-z , 0-9,‘.’,‘-’,‘_’,UNICODE字符(\u4E00-\u9FFF)。 只能包含数字、字母、中划线“-”、下划线“_”。 最小长度:0 最大长度:43 表9 SysTag 参数 参数类型 描述 key String 键。 不能为空。 值必须为_sys_enterprise_project_id。 status String 枚举值: _sys_enterprise_project_id value String 值。 对应的是企业项目ID,需要在企业管理页面获取。 36位UUID。
  • URI GET /v2/{project_id}/streams/{stream_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 需要查询的通道名称。 最大长度:60 表2 Query参数 参数 是否必选 参数类型 描述 start_partitionId 否 String 从该分区值开始返回分区列表,返回的分区列表不包括此分区。 limit_partitions 否 Integer 单次请求返回的最大分区数。 最小值:1 最大值:1000 缺省值:100
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 metrics Metrics object 数据对象。 表5 Metrics 参数 参数类型 描述 dataPoints Array of DataPoint objects 监控数据。 label String 监控指标。 表6 DataPoint 参数 参数类型 描述 timestamp Long 时间戳。 value Long 时间戳对应的监控值。
  • URI GET /v2/{project_id}/streams/{stream_name}/partitions/{partition_id}/metrics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 通道名称。 最大长度:60 partition_id 是 String 分区编号。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000, shardId-0000000001, shardId-0000000002 表2 Query参数 参数 是否必选 参数类型 描述 label 否 String 分区监控指标。(label与label_list必须二选一,label_list与label同时存在时,以label_list为准) total_put_bytes_per_partition:分区总输入流量(Byte) total_get_bytes_per_partition:分区总输出流量(Byte) total_put_records_per_partition:分区总输入记录数(个) total_get_records_per_partition:分区总输出记录数(个) 枚举值: total_put_bytes_per_partition total_get_bytes_per_partition total_put_records_per_partition total_get_records_per_partition label_list 否 String 使用label用逗号拼接组成,用于批量查询多个label的指标。(label与label_list必须二选一,label_list与label同时存在时,以label_list为准) start_time 是 Long 监控开始时间点,10位时间戳。 end_time 是 Long 监控结束时间点,10位时间戳。
  • 响应示例 状态码: 200 正常返回 { "has_more" : false, "stream_name" : "disMonitorTest", "app_name" : "4aSiZ", "partition_consuming_states" : [ { "partition_id" : 0, "sequence_number" : -1, "latest_offset" : 1658297359, "earliest_offset" : 1653120573, "checkpoint_type" : "LAST_READ", "status" : "ACTIVE" } ] }
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 has_more Boolean 是否还有更多满足条件的App。 true:是。 false:否。 stream_name String 要查询的通道名称。 最大长度:64 app_name String 要查询的APP的名称,用户数据消费程序的唯一标识符。 partition_consuming_states Array of PartitionConsumingStates objects 当前分区消费状态. 表5 PartitionConsumingStates 参数 参数类型 描述 partition_id String 通道的分区标识符。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000, shardId-0000000001, shardId-0000000002 sequence_number String 需要提交的序列号,用来记录该通道的消费检查点,需要保证该序列号处于有效范围内。 latest_offset Long 索引位置, 最新的一条索引位置。 earliest_offset Long 索引位置, 最早的一条索引位置。 checkpoint_type String Checkpoint类型。 LAST_READ:在数据库中只记录序列号。 枚举值: LAST_READ status String 分区的当前状态。 CREATING:创建中 ACTIVE:可用 DELETED:删除中 EXPIRED:已过期 枚举值: CREATING ACTIVE DELETED EXPIRED
  • URI GET /v2/{project_id}/apps/{app_name}/streams/{stream_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 app_name 是 String 需要查询的App名称。 stream_name 是 String 需要查询的通道名称。 最大长度:60 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 单次请求返回的最大分区数。最小值是1,最大值是1000;默认值是100。 最小值:1 最大值:1000 缺省值:100 start_partition_id 否 String 从该分区值开始返回分区列表,返回的分区列表不包括此分区。 checkpoint_type 是 String Checkpoint类型。 LAST_READ:在数据库中只记录序列号。 枚举值: LAST_READ
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 stream_id String 通道唯一标识符。 rules Array of PrincipalRule objects 通道授权信息列表。 表4 PrincipalRule 参数 参数类型 描述 principal String 授权用户ID。 principal_name String 授权用户名。如果授权给租户下的所有子用户,格式为:domainName.*;如果授权给租户下的指定子用户,则格式为:domainName.userName action_type String 授权操作类型。 putRecords:上传数据。 getRecords:下载数据。 枚举值: putRecords getRecords effect String 授权影响类型。 accept:允许该授权操作。 枚举值: accept
  • 响应示例 状态码: 200 正常返回 { "streamId" : "CiFdELMr0401K9GGZlp", "rules" : [ { "action_type" : "putRecords", "principal" : "3b3f237122574xxxxb74482ae11005ba.*", "principal_name" : "anotherusername", "effect" : "accept" } ] }
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 tags Array of Tags objects 标签列表。 表4 Tags 参数 参数类型 描述 key String 键。 不能为空。 对于同一资源键值唯一。 字符集:A-Z,a-z , 0-9,‘-’,‘_’,UNICODE字符(\u4E00-\u9FFF)。 最大长度:36 values Array of strings 标签值列表。 如果values为空列表,则表示any_value。value之间为或的关系。
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 stream_name 是 String 通道名称。 通道名称由字母、数字、下划线和中划线组成,长度为1~64字符。 最大长度:64 partition_count 是 Integer 分区数量。 分区是DIS数据通道的基本吞吐量单位。 stream_type 否 String 通道类型。 COMMON:普通通道,表示1MB带宽。 ADVANCED:高级通道,表示5MB带宽。 枚举值: COMMON ADVANCED data_type 否 String 源数据类型。 BLOB:存储在数据库管理系统中的一组二进制数据。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。 CSV:纯文本形式存储的表格数据,分隔符默认采用逗号。 缺省值:BLOB。 枚举值: BLOB JSON CSV data_duration 否 Integer 数据保留时长。 取值范围:24~72。 单位:小时。 空表示使用缺省值。 缺省值:24 auto_scale_enabled 否 Boolean 是否开启自动扩缩容。 true:开启自动扩缩容。 false:关闭自动扩缩容。 默认不开启。 缺省值:false auto_scale_min_partition_count 否 Long 当自动扩缩容启用时,自动缩容的最小分片数。 最小值:1 auto_scale_max_partition_count 否 Integer 当自动扩缩容启用时,自动扩容的最大分片数。 data_schema 否 String 用于描述用户JSON、CSV格式的源数据结构,采用Avro Schema的语法描述。 csv_properties 否 CSVProperties object CSV 格式数据的相关属性,比如分隔符 delimiter compression_format 否 String 数据的压缩类型,目前支持: snappy gzip zip 默认不压缩。 枚举值: snappy gzip zip tags 否 Array of Tag objects 通道标签列表。 sys_tags 否 Array of SysTag objects 通道企业项目列表。 表4 CSVProperties 参数 是否必选 参数类型 描述 delimiter 否 String 数据分隔符。 表5 Tag 参数 是否必选 参数类型 描述 key 否 String 键。 不能为空。 对于同一资源键值唯一。 字符集:A-Z,a-z , 0-9,‘-’,‘_’,UNICODE字符(\u4E00-\u9FFF)。 最小长度:1 最大长度:36 value 否 String 值。 长度不超过43个字符。 字符集:A-Z,a-z , 0-9,‘.’,‘-’,‘_’,UNICODE字符(\u4E00-\u9FFF)。 只能包含数字、字母、中划线“-”、下划线“_”。 最小长度:0 最大长度:43 表6 SysTag 参数 是否必选 参数类型 描述 key 否 String 键。 不能为空。 值必须为_sys_enterprise_project_id。 status 否 String 枚举值: _sys_enterprise_project_id value 否 String 值。 对应的是企业项目ID,需要在企业管理页面获取。 36位UUID。
  • 请求示例 使用标签过滤资源(通道等),查询记录总数。 POST https://{Endpoint}/v2/{project_id}/stream/resource_instances/action { "action" : "count", "tags" : [ { "key" : "key1", "values" : [ "value1", "value2" ] }, { "key" : "key2", "values" : [ "value1", "value2" ] } ], "matches" : [ { "key" : "resource_name", "value" : "resource1" } ] } 使用标签过滤资源(通道等),分页查询。 POST https://{Endpoint}/v2/{project_id}/stream/resource_instances/action { "offset" : "0", "limit" : "100", "action" : "filter", "matches" : [ { "key" : "resource_name", "value" : "resource1" } ], "tags" : [ { "key" : "key1", "values" : [ "*value1", "value2" ] } ] }
  • 响应示例 状态码: 200 使用标签过滤资源(通道等)请求体。 { "resources" : [ { "resource_detail" : null, "resource_id" : "cdfs_cefs_wesas_12_dsad", "resource_name" : "resouece1", "tags" : [ { "key" : "key1", "value" : "value1" }, { "key" : "key2", "value" : "value1" } ] } ], "total_count" : 1000 }
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 action 是 String 操作标识(仅限于filter,count) filter:分页查询 count:查询总条数,只需按照条件将总条数返回即可 枚举值: filter count limit 否 String 查询记录数(action为count时无此参数)如果action为filter默认为1000,limit最多为1000,不能为负数,最小值为1 缺省值:1000 offset 否 String 索引位置, 从offset指定的下一条数据开始查询。 查询第一页数据时,不需要传入此参数,查询后续页码数据时,将查询前一页数据时响应体中的值带入此参数(action为count时无此参数)如果action为filter默认为0,必须为数字,不能为负数 tags 否 Array of Tags objects 返回结果包含该参数中所有标签对应的资源,该参数最多包含10个key,每个key下面的value最多10个,结构体不能缺失,key不能为空或者空字符串。 tags_any 否 Array of Tags objects 返回结果包含该参数中任意一个标签对应的资源,该参数最多包含10个key,每个key下面的value最多10个,结构体不能缺失,key不能为空或者空字符串。Key不能重复,同一个key中values不能重复。 not_tags 否 Array of Tags objects 返回结果不包含该参数中所有标签对应的资源,该参数最多包含10个key,每个key下面的value最多10个, 结构体不能缺失,key不能为空或者空字符串。Key不能重复,同一个key中values不能重复。 not_tags_any 否 Array of Tags objects 返回结果不包含该参数中任意一个标签对应的资源,该参数最多包含10个key,每个key下面的value最多10个,结构体不能缺失,key不能为空或者空字符串。Key不能重复,同一个key中values不能重复。 matches 否 String 搜索字段,key为要匹配的字段,当前仅支持resource_name。value为匹配的值。此字段为固定字典值 表4 Tags 参数 是否必选 参数类型 描述 key 否 String 键。 不能为空。 对于同一资源键值唯一。 字符集:A-Z,a-z , 0-9,‘-’,‘_’,UNICODE字符(\u4E00-\u9FFF)。 最大长度:36 values 否 Array of strings 标签值列表。 如果values为空列表,则表示any_value。value之间为或的关系。
  • 响应参数 状态码: 200 表5 响应Body参数 参数 参数类型 描述 action String 操作标识(仅限于filter,count) filter:分页查询 count:查询总条数,只需按照条件将总条数返回即可 枚举值: filter count limit String 查询记录数(action为count时无此参数)如果action为filter默认为1000,limit最多为1000,不能为负数,最小值为1 缺省值:1000 offset String 索引位置, 从offset指定的下一条数据开始查询。 查询第一页数据时,不需要传入此参数,查询后续页码数据时,将查询前一页数据时响应体中的值带入此参数(action为count时无此参数)如果action为filter默认为0,必须为数字,不能为负数 tags Array of Tags objects 返回结果包含该参数中所有标签对应的资源,该参数最多包含10个key,每个key下面的value最多10个,结构体不能缺失,key不能为空或者空字符串。 tags_any Array of Tags objects 返回结果包含该参数中任意一个标签对应的资源,该参数最多包含10个key,每个key下面的value最多10个,结构体不能缺失,key不能为空或者空字符串。Key不能重复,同一个key中values不能重复。 not_tags Array of Tags objects 返回结果不包含该参数中所有标签对应的资源,该参数最多包含10个key,每个key下面的value最多10个, 结构体不能缺失,key不能为空或者空字符串。Key不能重复,同一个key中values不能重复。 not_tags_any Array of Tags objects 返回结果不包含该参数中任意一个标签对应的资源,该参数最多包含10个key,每个key下面的value最多10个,结构体不能缺失,key不能为空或者空字符串。Key不能重复,同一个key中values不能重复。 matches String 搜索字段,key为要匹配的字段,当前仅支持resource_name。value为匹配的值。此字段为固定字典值 表6 Tags 参数 参数类型 描述 key String 键。 不能为空。 对于同一资源键值唯一。 字符集:A-Z,a-z , 0-9,‘-’,‘_’,UNICODE字符(\u4E00-\u9FFF)。 最大长度:36 values Array of strings 标签值列表。 如果values为空列表,则表示any_value。value之间为或的关系。
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 stream_name 是 String 需要变更分区数量的通道名称。 最大长度:64 target_partition_count 是 Integer 变更的目标分区数量。 取值为大于0的整数。 设置的值大于当前分区数量表示扩容,小于当前分区数量表示缩容。 注意: 每个通道在一小时内扩容和缩容总次数最多5次,且一小时内扩容或缩容操作有一次成功则最近一小时内不允许再次进行扩容或缩容操作。 最小值:0
  • 响应示例 状态码: 200 正常返回 { "records" : [ { "partition_key" : "0", "sequence_number" : "485", "data" : "MTExMTExMTExMTExMTExMTExMTExMTExMTExMTExMTEx", "timestamp" : 1527577402541, "timestamp_type" : "CreateTime" } ], "next_partition_cursor" : "eyJpdGVyR2VuVGltZSI6MTQ5MDk1MDE1Nzc0NywiU3RyZWFtTmFtZSI6IjY2MCIsIlNoYXJkSWQiOiIwIiwiU2hhcmRJdGVyYXRvclR5cGUiOiJBVF9TRVFVRU5DRV9OVU1CRVIiLCJTdGFydGluZ1NlcXVlbmNlTnVtYmVyIjoiMjIiLCJUaW1lU3RhbXAiOjB9" }
  • URI GET /v2/{project_id}/records 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 partition-cursor 是 String 数据游标,需要先通过获取数据游标的接口获取。 取值范围:1~512个字符。 说明: 数据游标有效期为5分钟。 max_fetch_bytes 否 Integer 每个请求获取记录的最大字节数。 注意: 该值如果小于分区中单条记录的大小,会导致一直无法获取到记录。
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 records Array of Record objects 下载的记录列表。 next_partition_cursor String 下一个迭代器。 说明: 数据游标有效期为5分钟。 表5 Record 参数 参数类型 描述 partition_key String 用户上传数据时设置的partition_key。说明:上传数据时,如果传了partition_key参数,则下载数据时可返回此参数。如果上传数据时,未传partition_key参数,而是传入partition_id,则不返回partition_key。 sequence_number String 该条数据的序列号。 data String 下载的数据。 下载的数据为序列化之后的二进制数据(Base64编码后的字符串)。 比如下载数据接口返回的数据是“ZGF0YQ==”,“ZGF0YQ==”经过Base64解码之后是“data”。 timestamp Long 记录写入DIS的时间戳。 timestamp_type String 时间戳类型。 CreateTime:创建时间。 缺省值:CreateTime
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 metrics Metrics object 数据对象。 metrics_list Array of Metrics objects 监控数据对象列表。 表5 Metrics 参数 参数类型 描述 dataPoints Array of DataPoint objects 监控数据。 label String 监控指标。 表6 DataPoint 参数 参数类型 描述 timestamp Long 时间戳。 value Long 时间戳对应的监控值。
  • URI GET /v2/{project_id}/streams/{stream_name}/metrics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 通道名称。 最大长度:60 表2 Query参数 参数 是否必选 参数类型 描述 label 否 String 通道监控指标。(label与label_list必须二选一,label_list与label同时存在时,以label_list为准) total_put_bytes_per_stream:总输入流量(Byte) total_get_bytes_per_stream:总输出流量(Byte) total_put_records_per_stream:总输入记录数(个) total_get_records_per_stream:总输出记录数(个) total_put_req_latency:上传请求平均处理时间(毫秒) total_get_req_latency:下载请求平均处理时间(毫秒) total_put_req_suc_per_stream:上传请求成功次数(个) total_get_req_suc_per_stream:下载请求成功次数(个) traffic_control_put:因流控拒绝的上传请求次数 (个) traffic_control_get:因流控拒绝的下载请求次数 (个) 枚举值: total_put_bytes_per_stream total_get_bytes_per_stream total_put_records_per_stream total_get_records_per_stream total_put_req_latency total_get_req_latency total_put_req_suc_per_stream total_get_req_suc_per_stream traffic_control_put traffic_control_get label_list 否 String 使用label用逗号拼接组成,用于批量查询多个label的指标。(label与label_list必须二选一,label_list与label同时存在时,以label_list为准) start_time 是 Long 监控开始时间点,10位时间戳。 end_time 是 Long 监控结束时间点,10位时间戳。
  • 响应示例 状态码: 200 正常返回 { "stream_id" : "RdMFID6edQdf8eDzc9e", "stream_name" : "newstream", "task_name" : "newtask", "task_id" : "As805BudhcH1lDs6gbn", "destination_type" : "OBS", "state" : "RUNNING", "create_time" : 1606554932552, "last_transfer_timestamp" : 1606984428612, "obs_destination_description" : { "agency_name" : "dis_admin_agency", "file_prefix\"" : "", "partition_format" : "yyyy/MM/dd", "obs_bucket_path" : "obsbucket", "deliver_time_interval" : 60, "consumer_strategy" : "LATEST", "retry_duration" : 0, "destination_file_type" : "text", "record_delimiter" : "\n\n" }, "partitions" : [ { "partitionId" : "shardId-0000000000", "discard" : 0, "state" : "RUNNING", "last_transfer_timestamp" : 1606984428612, "last_transfer_offset" : 289897 } ] }
共100000条