华为云用户手册

请求示例 { "id" : null, "data_source_type" : "DLI", "description" : "", "name" : "test采集110", "user_id" : "0833a573fe80d5401f6dc010a775569a", "dir_id" : "0", "task_config" : { "data_connection_name" : "dli_test", "data_connection_id" : "14bb947454e64de784eadaab759081e8", "databaseName" : [ "ygy1" ], "tableName" : [ "ygy1.ygy" ], "alive_object_policy" : "3", "deleted_object_policy" : "3", "enableDataProfile" : false, "enableDataClassification" : false, "enable_table_filter_by_regex" : false }, "schedule_config" : { "schedule_type" : "RUN_ONCE", "max_time_out" : 10 }}

响应参数 状态码： 400 表4 响应Body参数 参数 参数类型 描述 error_msg String 错误信息 最小长度：1 最大长度：1024 error_code String dayu异常码 最小长度：1 最大长度：1024 状态码： 500 表5 响应Body参数 参数 参数类型 描述 error_msg String 错误信息 最小长度：1 最大长度：1024 error_code String dayu异常码 最小长度：1 最大长度：1024

请求示例 { "dw_config" : { "cluster_id" : "353ff458-a560-413e-9b84-33f930cb8057", "cluster_name" : "mrs_3x_autotest_do_not_del", "ns_user_name" : "xinfeng", "ns_password" : "xxxx", "kms_id" : "a721616c-9a12-47b1-a805-3cfcd3e63cd7", "kms_name" : "KMS-1111" }, "dw_type" : "HBASE", "dw_name" : "test_hbase_01", "agent_id" : "91f81a12-75c5-43ce-aab8-7149ecef3b17", "agent_name" : "cdm-4autotest-nodelete"}

请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM Token 最小长度：0 最大长度：4096 workspace 是 String 工作空间id 最小长度：1 最大长度：128 表3 请求Body参数 参数 是否必选 参数类型 描述 dw_name 是 String 数据连接名称 最小长度：1 最大长度：128 dw_type 是 String 数据连接类型,如：DWS、DLI、HIVE、RDS、SparkSQL等，涉及类型较多，可在console界面查看所有数据连接类型 最小长度：1 最大长度：128 dw_config 是 Object 连接动态变化配置项，每种连接略有区别，建议在界面进行调试 agent_id 否 String 代理id（若使用代理连接则必填，可在console界面查看） agent_name 否 String 代理名称id（若使用代理连接则必填，可在console界面查看） 最小长度：1 最大长度：128 env_type 否 Integer 0：开发模式 1：生产模式。默认为0 最小值：0 最大值：1

响应示例 状态码： 200 Success,测试创建数据连接成功 { "message" : null, "is_success" : true} 状态码： 400 { "error_code" : "DAYU.4402", "error_msg" : "The operation failed, detail msg {0}."} 状态码： 500 { "error_code" : "DAYU.3531", "error_msg" : "Internal server error: {0}"}

响应参数 状态码： 400 表3 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码： 401 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码： 403 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码： 404 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码： 500 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述

请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM Token workspace 是 String DataArts Studio工作空间ID 表3 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 分类名称 description 否 String 分类描述 create_user 否 String 分类创建者 create_time 否 Number 分类创建时间 update_time 否 Number 分类更新时间 update_user 否 String 分类更新者 guid 否 String 分类的guid标志

响应参数 状态码： 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码： 401 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码： 403 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码： 404 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述

响应示例 状态码： 200 Success，数据连接删除成功 { "is_success" : true, "message" : null} 状态码： 400 { "error_code" : "DAYU.4402", "error_msg" : "The operation failed, detail msg {0}."} 状态码： 500 { "error_code" : "DAYU.3531", "error_msg" : "Internal server error: {0}"}

响应参数 状态码： 400 表3 响应Body参数 参数 参数类型 描述 error_msg String 错误信息 最小长度：1 最大长度：1024 error_code String dayu异常码 最小长度：1 最大长度：1024 状态码： 500 表4 响应Body参数 参数 参数类型 描述 error_msg String 错误信息 最小长度：1 最大长度：1024 error_code String dayu异常码 最小长度：1 最大长度：1024

响应参数 状态码： 400 表3 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码： 401 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码： 403 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码： 404 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述

响应参数 状态码： 400 表3 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码： 401 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码： 403 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码： 404 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述

响应参数 状态码： 400 表4 响应Body参数 参数 参数类型 描述 error_msg String 错误信息 最小长度：1 最大长度：1024 error_code String dayu异常码 最小长度：1 最大长度：1024 状态码： 500 表5 响应Body参数 参数 参数类型 描述 error_msg String 错误信息 最小长度：1 最大长度：1024 error_code String dayu异常码 最小长度：1 最大长度：1024

响应示例 状态码： 200 Success，工作空间用户信息删除成功 { "message" : null, "is_success" : true} 状态码： 400 { "error_code" : "DAYU.4402", "error_msg" : "The operation failed, detail msg {0}."} 状态码： 500 { "error_code" : "DAYU.3531", "error_msg" : "Internal server error: {0}"}

响应参数 状态码： 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码： 401 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码： 403 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码： 404 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述

响应参数 状态码： 200 表4 响应Body参数 参数 参数类型 描述 id Long id name String name category_id Long 目录ID dimension String Completeness:完整性,Uniqueness:唯一性,Timeliness:及时性,Validity:有效性,Accuracy:准确性,Consistency:一致性 type String 规则类型，Field:字段级规则,Table:表级规则,Database:库级规则,Cross-field:跨字段级规则,Customize:自定义规则 system_template Boolean 是否为系统模板 sql_info String 定义关系 abnormal_table_template String 异常表模板 result_description String 结果说明 create_time Long 创建时间,13位时间戳(精确到毫秒) creator String 创建者,System代表系统自带 状态码： 400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DQC.0000，请求处理成功 error_msg String 错误信息 状态码： 500 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DQC.0000，请求处理成功 error_msg String 错误信息

请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String workspace 信息 X-Auth-Token 是 String token 表3 请求Body参数 参数 是否必选 参数类型 描述 id 否 String template id name 否 String template name directory_id 否 Long 目录 dimension_id 否 Integer 维度ID, 1:完整性,2:唯一性,3:及时性,4:有效性,5:准确性,6:一致性 description 否 String 描述 sql_info 否 String 模板中的sql内容 最小长度：0 result_description 否 String 结果说明 publish 否 Boolean 是否是发布操作， true：发布新版本 false：普通的保存操作 缺省值：false origin_name 否 String 修改前的模板名 abnormal_table_template 否 String 异常表模板 最小长度：0 user_define_version_name 否 String 用户自定义版本名 缺省值：V1.0 version_num 否 Long 获取模板信息时候的版本号 status 否 Integer 规则模板状态,0表示下线1表示已发布

响应示例 状态码： 200 Success { "id" : "1045431715138617345", "name" : "test", "category_id" : 0, "dimension" : "Completeness", "type" : "Table", "system_template" : false, "sql_info" : "select count(*) from ${Schema_Table1}", "abnormal_table_template" : "select count(*) from ${Schema_Table1}", "result_description" : "总条数", "create_time" : 1640678720014, "creator" : "test"}

请求示例 创建一个规则模板名称为test的规则模板，模板id为0，目录id为0，纬度id为1，模板中的sql内容为select count(*) from ${Schema_Table1}，发布操作默认为false，结果说明为总条数，描述为test。 POST /v2/0833a5737480d53b2f25c010dc1a7b88/quality/rule-templates{ "id" : "0", "name" : "test", "directory_id" : "0", "dimension_id" : 1, "description" : "test", "sql_info" : "select count(*) from ${Schema_Table1}", "result_description" : "总条数", "publish" : false, "origin_name" : null, "abnormal_table_template" : "select count(*) from ${Schema_Table1}", "user_define_version_name" : null, "version_num" : null, "status" : null}

JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig.useSql", "value": "false" }, { "name": "fromJobConfig.schemaName", "value": "rf_database" }, { "name": "fromJobConfig.tableName", "value": "rf_from" }, { "name": "fromJobConfig.columnList", "value": "AA&BB" }, { "name": "fromJobConfig.incrMigration", "value": "false" } ], "name": "fromJobConfig" } ] }

连接样例 { "links": [ { "link-config-values": { "configs": [ { "inputs": [ { "name": "linkConfig.kafkaType", "value": "Platinum" }, { "name": "linkConfig.brokerList", "value": "100.85.121.112:9094,100.85.220.134:9094,100.85.127.232:9094" }, { "name": "linkConfig.isPlatinumInstance", "value": "false" } ], "name": "linkConfig" } ], "extended-configs": { "name": "linkConfig.extendedFields", "value": "e30=" } }, "name": "dms_kafka", "connector-name": "dms-kafka-connector" } ]}

参数说明 参数 是否必选 类型 说明 fromJobConfig.hive 否 String 待抽取数据的数据源，作业源端为Hive时，这里为“hive”。 fromJobConfig.database 否 String 待抽取数据的数据库，例如“default”。 fromJobConfig.table 是 String 待抽取数据的表名，例如“cdm”。 fromJobConfig.columnList 否 String 需要抽取的列号，列号之间使用“&”分割，并由小到大排序，例如：“1&3&5”。

连接参数 参数 是否必选 类型 说明 linkConfig.kafkaType 是 枚举 选择DMS Kafka版本,目前只有专享版。 Basic：指DMS Kafka普通队列。 Platinum：指DMS Kafka专享版。 linkConfig.brokerList 是 String DMS Endpoint格式为“host1:port1,host2:port2”。 linkConfig.isPlatinumInstance 是 Boolean 选择是否打开客户端连接Kafka专享版实例时SSL认证的开关。 开启Kafka SASL_SSL，则数据加密传输，安全性更高，但性能会下降。 linkConfig.user 否 String 开启Kafka SASL_SSL时显示该参数，表示连接DMS Kafka的用户名。 linkConfig.password 否 String 开启Kafka SASL_SSL时显示该参数，表示连接DMS Kafka的密码。

JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig.hive", "value": "hive" }, { "name": "fromJobConfig.database", "value": "rf_database" }, { "name": "fromJobConfig.table", "value": "rf_from" }, { "name": "fromJobConfig.columnList", "value": "tiny&small&int&integer&bigint&float&double×tamp&char&varchar&text" } ], "name": "fromJobConfig" } ] }

连接参数 参数 是否必选 类型 说明 linkConfig.host 是 String 配置为Elasticsearch服务器的IP地址或域名，包括端口号，格式为“ip:port”，多个地址之间使用分号（；）分隔，例如：192.168.0.1:9200;192.168.0.2:9200。 linkConfig.safemode 否 Boolean 当选择安全模式认证时，需要输入用户名、密码和选择是否https访问。 linkConfig.user 否 String 对于支持用户名密码鉴权的Elasticsearch，需要在创建连接时配置用户名和密码。 linkConfig.password 否 String 登录Elasticsearch的密码。 linkConfig.linkType 是 String 连接类型，用于区分连接的是Elasticsearch或云搜索服务。

连接样例 { "links": [ { "link-config-values": { "configs": [ { "inputs": [ { "name": "linkConfig.host", "value": "192.168.0.50:9200;192.168.0.62:9200" }, { "name": "linkConfig.safemode", "value": "true" }, { "name": "linkConfig.user", "value": "admin" }, { "name": "linkConfig.password", "value": "Add password here." }, { "name": "linkConfig.linkType", "value": "CSS" } ], "name": "linkConfig" } ], "extended-configs": { "name": "linkConfig.extendedFields", "value": "eyLodHRwc0FjY2VzcyI6InRydWUifQ==" } }, "name": "css-cdm-autotest-nodel", "connector-name": "elasticsearch-connector" } ]}

连接样例 { "links": [ { "link-config-values": { "configs": [ { "inputs": [ { "name": "linkConfig.ak", "value": "GRC2WR0IDC6NGROYLWU2" }, { "name": "linkConfig.sk", "value": "Add password here" }, { "name": "linkConfig.region", "value": "cn-north-1" }, { "name": "linkConfig.projectId", "value": "c48475ce8e174a7a9f775706a3d5ebe2" } ], "name": "linkConfig" } ] }, "name": "dli", "connector-name": "dli-connector" } ]}

连接样例 { "links": [ { "link-config-values": { "configs": [ { "inputs": [ { "name": "linkConfig.region", "value": "Region" }, { "name": "linkConfig.endpoint", "value": "https://dis.cn-north-1.myhuaweiclouds.com" }, { "name": "linkConfig.ak", "value": "RSO6TTEZMJ6TTFBBAACE" }, { "name": "linkConfig.sk", "value": "Add password here" }, { "name": "linkConfig.projectId", "value": "11d4d5af17c84660bc90b6631327d7c7" } ], "name": "linkConfig" } ] }, "name": "dis_link", "connector-name": "dis-connector" } ]}

连接样例 { "links": [ { "link-config-values": { "configs": [ { "inputs": [ { "name": "linkConfig.hadoopType", "value": "MRS" }, { "name": "linkConfig.host", "value": "192.168.1.147" }, { "name": "linkConfig.user", "value": "liuhuan1" }, { "name": "linkConfig.password", "value": "Add password here." }, { "name": "linkConfig.authType", "value": "KERBEROS" } ], "name": "linkConfig" } ], "extended-configs": { "name": "linkConfig.extendedFields", "value": "e30=" } }, "name": "mrs_kafka_link", "connector-name": "kafka-connector" } ]}

连接参数 参数 是否必选 类型 说明 linkConfig.hadoopType 是 枚举 Hadoop类型： MRS：表示连接MRS的Kafka。 Apache Kafka：表示连接Apache Kafka的Kafka。 linkConfig.brokerList 是 String Apache Kafka 连接需配置此参数。Kafka broker列表，格式如：“host1:port1,host2:port2”。 llinkConfig.host 是 String MRS Manager的浮动IP地址，可以单击输入框后的“选择”来选定已创建的MRS集群，CDM会自动填充下面的鉴权参数。 linkConfig.user 是 String 登录MRS Manager平台的用户名。 linkConfig.password 是 String 登录MRS Manager平台的密码。 linkConfig.authType 是 枚举 认证类型，分为以下两种： Simple：非安全模式选择Simple鉴权。 Kerberos：安全模式选择Kerberos鉴权。 linkConfig.properties 否 Map 属性配置，可以添加客户端的配置属性，所添加的每个属性需配置属性名称和值