华为云用户手册

  • 连接样例 { "links": [ { "link-config-values": { "configs": [ { "inputs": [ { "name": "linkConfig.hadoopType", "value": "MRS" }, { "name": "linkConfig.host", "value": "192.168.1.147" }, { "name": "linkConfig.user", "value": "liuhuan1" }, { "name": "linkConfig.password", "value": "Add password here." }, { "name": "linkConfig.authType", "value": "KERBEROS" } ], "name": "linkConfig" } ], "extended-configs": { "name": "linkConfig.extendedFields", "value": "e30=" } }, "name": "mrs_kafka_link", "connector-name": "kafka-connector" } ]}
  • 连接参数 参数 是否必选 类型 说明 llinkConfig.host 是 String MRS Manager的IP地址。 linkConfig.authType 是 枚举 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 linkConfig.principal 否 String Kerveros认证所需的Principal,您也可以联系管理员获取此帐号。使用集群配置前需在集群配置管理中配置此参数。 linkConfig.keytab 否 FileContent Kerveros认证所需的keytab文件的本地绝对路径,您也可以联系管理员获取此文件。使用集群配置前需在集群配置管理中配置此参数。 linkConfig.hiveVersion 是 枚举 Hive版本: HIVE_1_X HIVE_3_X linkConfig.user 否 String 登录Manager平台的用户名,使用集群配置时不用配置 linkConfig.password 否 String 登录Manager平台的密码,使用集群配置时不用配置 linkConfig.uri 否 String 连接Apache Hadoop时的Namenode URI地址,格式为“ip:port” linkConfig.hiveMsUris 否 String 连接Apache Hadoop时的Hive元数据地址,参考 hive.metastore.uris配置项。例如:thrift://host-192-168-1-212:9083 linkConfig.obsSupport 是 Boolean 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 linkConfig.runMode 是 枚举 “HIVE_3_X”版本支持该参数。支持以下模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。 STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式或者配置不同的Agent。 说明:STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 linkConfig.accessKey 否 String 访问标识(AK)。obs支持选是时需配置此参数。 linkConfig.securityKey 否 String 密钥(SK)。obs支持选是时需配置此参数。 linkConfig.properties 否 Map 属性配置,可以添加客户端的配置属性,所添加的每个属性需配置属性名称和值
  • 连接样例 { "links": [ { "link-config-values": { "configs": [ { "inputs": [ { "name": "linkConfig.host", "value": "10.120.205.230" }, { "name": "linkConfig.authType", "value": "KERBEROS" }, { "name": "linkConfig.user", "value": "cdm" }, { "name": "linkConfig.password", "value": "Add password here" } ], "name": "linkConfig" } ] }, "name": "hive_link", "connector-name": "hive-connector" } ]}
  • 连接样例 { "links": [ { "link-config-values": { "configs": [ { "inputs": [ { "name": "linkConfig.deploymentMode", "value": "Cluster" }, { "name": "linkConfig.serverlist", "value": "10.120.84.149:7300" }, { "name": "linkConfig.password", "value": "Add password here" }, { "name": "linkConfig.dbIndex", "value": "0" } ], "name": "linkConfig" } ] }, "name": "redis_link", "connector-name": "redis-connector" } ]}
  • 连接参数 参数 是否必选 类型 说明 linkConfig.deploymentMode 是 枚举 Redis部署方式: Single:表示单机部署。 Cluster:表示集群部署。 linkConfig.serverlist 是 String 服务器地址列表,格式如:“host1:port1;host2:port2”。 linkConfig.password 是 String 连接Redis服务器的密码。 linkConfig.dbIndex 是 String Redis数据库索引。
  • 连接样例 { "links": [ { "link-config-values": { "configs": [ { "inputs": [ { "name": "linkConfig.serverList", "value": "10.120.84.149:27017" }, { "name": "linkConfig.database", "value": "DB_name" }, { "name": "linkConfig.userName", "value": "username" }, { "name": "linkConfig.password", "value": "Add password here" } ], "name": "linkConfig" } ] }, "name": "mongo_link", "connector-name": "mongodb-connector" } ]}
  • 连接参数 参数 是否必选 类型 说明 linkConfig.serverList 是 String 服务器地址列表,格式如:“host1:port1;host2:port2”。 linkConfig.database 是 String MongoDB的数据库名称。 linkConfig.userName 是 String 连接MongoDB服务器的用户名。 linkConfig.password 是 String 连接MongoDB服务器的密码。
  • 连接参数 FTP和SFTP的连接参数相同。 参数 是否必选 类型 说明 linkConfig.server 是 String FTP或SFTP服务器的地址。 linkConfig.port 是 String FTP或SFTP服务器端口号。 linkConfig.username 是 String 登录FTP或SFTP服务器的用户名。 linkConfig.password 是 String 登录用户的密码。
  • 连接参数 参数 是否必选 类型 说明 linkConfig.databaseType 是 枚举 数据库类型: ORACLE MYSQL SQLSERVER DB2 POSTGRESQL DWS DDM SAP HANA linkConfig.host 是 String 数据库服务器地址。 linkConfig.port 是 String 数据库服务器的端口号。 linkConfig.databaseconfig 否 枚举 创建Oracle连接时才有该参数,选择Oracle数据库连接类型: SERVICENAME:通过SERVICE_NAME连接Oracle数据库。 SID:通过SID连接Oracle数据库。 linkConfig.sidname 否 String 配置Oracle实例ID,用于实例区分各个数据库。创建Oracle连接,且linkConfig.databaseconfig(数据库连接类型)选择为“SID”时才有该参数。 linkConfig.database 否 String 数据库名称。 linkConfig.username 是 String 用户名。 linkConfig.password 是 String 用户密码。 linkConfig.useAgent 是 Boolean 选择是否通过agent从源端获取数据。 linkConfig.fetchSize 否 String 每次请求获取的数据行数。 linkConfig.commitSize 否 String 每次请求提交的数据行数。 linkConfig.usingNative 否 Boolean 是否使用数据库本地API加速。 创建MySQL连接时,使用本地API加速,可以使用MySQL的LOAD DATA功能加快数据导入,提高导入数据到MySQL数据库的性能。 说明: REPLACE 和 IGNORE 修饰符用于处理与现有行具有相同唯一键值(PRIMARY KEY或UNIQUE索引值)的新输入的行。 约束冲突处理配置为"replace into"或"local",使用REPLACE,与现有行中的唯一键值具有相同值的新行将替换现有行。 约束冲突处理配置为"insert into",默认使用IGNORE,与唯一键值上的现有行重复的新行将被丢弃,任务不会终止。因为Mysql服务机制无法在操作过程中停止文件传输,此情况下,CDM界面显示写入记录与实际更新行数会不一致。 Mysql Local模式详情请参见:https://dev.mysql.com/doc/refman/8.0/en/load-data.html linkConfig.isRds 否 Boolean 是否支持RDS服务,云数据库默认true,其余默认false linkConfig.useSSL 否 Boolean 是否使用加密传输,支持对RDS服务启用SSL加密传输,仅在创建dws连接时才有此参数。 linkConfig.jdbcProperties 否 Map 连接属性,指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 linkConfig.version 否 枚举 创建Oracle连接时才有该参数,根据您Oracle数据库的版本来选择。 HIGH_VERSION:当您的Oracle数据库版本高于12.1时,选择该值。 MED_VERSION:当您的Oracle数据库版本为12.1时,选择该值。 LOW_VERSION:当您的Oracle数据库版本低于12.1时,选择该值。 当出现“java.sql.SQLException: Protocol violation异常”时,可以尝试更换版本号。 dialect.identifierEnclose 否 String 引用符号,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。
  • 连接样例 { "links": [ { "link-config-values": { "configs": [ { "inputs": [ { "name": "linkConfig.server", "value": "10.120.85.167" }, { "name": "linkConfig.port", "value": "22" }, { "name": "linkConfig.username", "value": "username" }, { "name": "linkConfig.password", "value": "Add password here" } ], "name": "linkConfig" } ] }, "name": "sftp_link", "connector-name": "sftp-connector" } ]}
  • 连接样例 { "links": [ { "link-config-values": { "configs": [ { "inputs": [ { "name": "linkConfig.databaseType", "value": "MYSQL" }, { "name": "linkConfig.host", "value": "10.120.205.30" }, { "name": "linkConfig.port", "value": "3306" }, { "name": "linkConfig.database", "value": "DB_name" }, { "name": "linkConfig.username", "value": "username" }, { "name": "linkConfig.password", "value": "Add password here" }, { "name": "linkConfig.useAgent", "value": "false" }, { "name": "linkConfig.fetchSize", "value": "100000" }, { "name": "linkConfig.commitSize", "value": "10000" }, { "name": "linkConfig.usingNative", "value": "false" }, { "name": "linkConfig.useSSL", "value": "false" } ], "name": "linkConfig" } ] }, "name": "mysql_link", "connector-name": "generic-jdbc-connector" } ]}
  • 连接样例 { "links": [ { "link-config-values": { "configs": [ { "inputs": [ { "name": "linkConfig.hbaseType", "value": "MRS" }, { "name": "linkConfig.host", "value": "192.168.0.34" }, { "name": "linkConfig.user", "value": "zephyr" }, { "name": "linkConfig.password", "value": "Add password here." }, { "name": "linkConfig.authType", "value": "KERBEROS" }, { "name": "linkConfig.serviceType", "value": "HDFS" }, { "name": "linkConfig.hBaseVersion", "value": "HBASE_2_X" }, { "name": "linkConfig.runMode", "value": "EMBEDDED" } ], "name": "linkConfig" } ], "extended-configs": { "name": "linkConfig.extendedFields", "value": "eyL1c2VDbHVzdGVyQ29uZmlnIjoiZmFsc2UiJCLjbHVzdGVyQ29uZmlnUHLpbmNpcGFsIjoiemVwaHlyIn0=" } }, "name": "mrs_hbase_dlf", "connector-name": "hbase-connector" } ]}
  • 连接参数 参数 是否必选 类型 说明 linkConfig.hbaseType 是 枚举 HBase类型: CloudTable:表示连接CloudTable服务。 MRS:表示连接MRS的HBase。 FusionInsight HD:表示连接FusionInsight HD的HBase。 Apache Hadoop:表示连接开源Apache Hadoop的HBase。 linkConfig.uri 否 String 连接Apache Hadoop时的Namenode URI地址,格式为“ip:port”。 llinkConfig.host 否 String 连接MRS或FusionInsight HD时,需要配置Manager平台的IP地址。 linkConfig.port 否 String 连接FusionInsight HD时,需要配置Manager平台的端口。 linkConfig.casPort 否 String 连接FusionInsight HD时,需要配置与FusionInsight HD对接的CAS Server的端口。 linkConfig.hBaseVersion 是 枚举 HBase版本: HBASE_1_X HBASE_2_X linkConfig.user 否 String 登录Manager平台的用户名,使用集群配置时不用配置 linkConfig.password 否 String 登录Manager平台的密码,使用集群配置时不用配置 linkConfig.authType 否 枚举 认证类型,分为以下两种: Simple:非安全模式选择Simple鉴权。 Kerberos:安全模式选择Kerberos鉴权。 linkConfig.principal 否 String Kerveros认证所需的Principal,您也可以联系管理员获取此帐号。 linkConfig.keytab 否 FileContent Kerveros认证所需的keytab文件的本地绝对路径,您也可以联系管理员获取此文件。 linkConfig.serviceType 否 String 服务类型。目前支持HDFS和HBase。 linkConfig.runMode 否 枚举 “HBase_2_X”版本支持该参数。支持以下模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。 STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式。 选择STANDALONE模式时,CDM支持在多个MRS集群的HDFS之间迁移数据。 Agent:连接实例运行在Agent上。 若不使用AGENT运行模式,且在一个CDM中同时连接两个及以上开启Kerberos认证且realm相同的集群,只能使用EMBEDDED运行模式连接其中一个集群,其余需使用STANDALONE。 linkConfig.properties 否 Map 属性配置,可以添加客户端的配置属性,所添加的每个属性需配置属性名称和值
  • 连接样例 { "links": [ { "link-config-values": { "configs": [ { "inputs": [ { "name": "linkConfig.hadoopType", "value": "FusionInsight HD" }, { "name": "linkConfig.host", "value": "10.120.205.143" }, { "name": "linkConfig.casPort", "value": "20009" }, { "name": "linkConfig.port", "value": "28443" }, { "name": "linkConfig.authType", "value": "KERBEROS" }, { "name": "linkConfig.user", "value": "admin" }, { "name": "linkConfig.password", "value": "Add password here" }, { "name": "linkConfig.runMode", "value": "STANDALONE" } ], "name": "linkConfig" } ] }, "name": "hdfslink", "connector-name": "hdfs-connector" } ]}
  • 连接参数 参数 是否必选 类型 说明 linkConfig.hadoopType 是 枚举 Hadoop类型: MRS:表示连接MRS的HDFS。 FusionInsight HD:表示连接FusionInsight HD的HDFS。 Apache Hadoop:表示连接开源Apache Hadoop的HDFS。 linkConfig.uri 否 String 连接Apache Hadoop时的Namenode URI地址,格式为“ip:port”。 linkConfig.host 否 String 连接MRS或FusionInsight HD时,需要配置Manager平台的IP地址。 linkConfig.port 否 String 连接FusionInsight HD时,需要配置Manager平台的端口。 linkConfig.casPort 否 String 连接FusionInsight HD时,需要配置与FusionInsight HD对接的CAS Server的端口。 linkConfig.user 否 String 登录Manager平台的用户名,使用集群配置时不用配置 linkConfig.password 否 String 登录Manager平台的密码,使用集群配置时不用配置 linkConfig.authType 否 枚举 认证类型,分为以下两种: Simple:非安全模式选择Simple鉴权。 Kerberos:安全模式选择Kerberos鉴权。 linkConfig.principal 否 String Kerveros认证所需的Principal,您也可以联系管理员获取此帐号。使用集群配置前需在集群配置管理中配置此参数。 linkConfig.keytab 否 FileContent Kerveros认证所需的keytab文件的本地绝对路径,您也可以联系管理员获取此文件。使用集群配置前需在集群配置管理中配置此参数。 linkConfig.runMode 否 枚举 选择HDFS连接的运行模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。 STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式。 选择STANDALONE模式时,CDM支持在多个MRS集群的HDFS之间迁移数据。 Agent:连接实例运行在Agent上。 若不使用AGENT运行模式,且在一个CDM中同时连接两个及以上开启Kerberos认证且realm相同的集群,只能使用EMBEDDED运行模式连接其中一个集群,其余需使用STANDALONE。 linkConfig.properties 否 Map 属性配置,可以添加客户端的配置属性,所添加的每个属性需配置属性名称和值
  • 连接参数 参数 是否必选 类型 说明 linkConfig.storageType 是 String 对象存储的类型。 linkConfig.server 是 String OBS服务器的终端节点(Endpoint)。 linkConfig.port 是 String 数据传输协议端口,https是443,http是80。 linkConfig.accessKey 是 String 访问标识(AK)。 linkConfig.securityKey 是 String 密钥(SK)。
  • 连接样例 { "links": [ { "link-config-values": { "configs": [ { "inputs": [ { "name": "linkConfig.hbaseType", "value": "CloudTable" }, { "name": "linkConfig.zookeeperQuorum", "value": "cloudtable-pass-zk2-bae54VGN.cloudtable.com:2181,cloudtable-pass-zk1-Fu828so2.cloudtable.com:2181" }, { "name": "linkConfig.iamAuth", "value": "true" }, { "name": "linkConfig.cloudtableUser", "value": "zane" }, { "name": "linkConfig.accessKey", "value": "GRC2WR0IxxxxxxxYLWU2" }, { "name": "linkConfig.securityKey", "value": "Add password here" }, { "name": "linkConfig.runMode", "value": "EMBEDDED" } ], "name": "linkConfig" } ] }, "name": "cloudtablelink", "connector-name": "hbase-connector" } ]}
  • 连接参数 参数 是否必选 类型 说明 linkConfig.hbaseType 是 枚举 HBase类型: CloudTable:表示连接CloudTable服务。 MRS:表示连接MRS。 FusionInsight HD:表示连接FusionInsight HD。 Apache Hadoop:表示连接开源Apache Hadoop。 linkConfig.zookeeperQuorum 是 String 连接“CloudTable”时必选,表示CloudTable的ZooKeeper链接地址。 linkConfig.iamAuth 是 Boolean 当选择IAM统一身份认证时,需要输入用户名、AK和SK。 linkConfig.runMode 是 枚举 选择HBase连接的运行模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。 STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式。 linkConfig.cloudtableUser 是 String 登录CloudTable集群的用户名。 linkConfig.accessKey 是 String 登录CloudTable集群的访问标识。 linkConfig.securityKey 是 String 登录CloudTable集群的密钥。
  • 连接样例 { "links": [ { "link-config-values": { "configs": [ { "inputs": [ { "name": "linkConfig.storageType", "value": "OBS" }, { "name": "linkConfig.server", "value": "10.121.16.183" }, { "name": "linkConfig.port", "value": "443" }, { "name":"linkConfig.accessKey", "value": "RSO6TTEZMJ6TTFBBAACE" }, { "name":"linkConfig.securityKey", "value":"Add password here" } ], "name": "linkConfig" } ] }, "name": "obs_link", "connector-name": "obs-connector" } ]}
  • 响应示例 成功响应 HTTP状态码 200 { "total":1, "resources":[ { "id":"b384b9e9ab9b4ee8994c8633aabc9505", "name":"test", "type":"jar", "location":"obs://00000000dlf-test/hadoop-mapreduce-examples-2.4.1.jar", "dependFiles":[ "obs://00000000dlf-test/depend1.jar", "obs://00000000dlf-test/depend2.jar" ], "desc":"test", "directory":"/resource" } ]} 失败响应 HTTP状态码 400 { "error_code":"DLF.3051", "error_msg":"The request parameter is invalid."}
  • 请求示例 POST /v1/b384b9e9ab9b4ee8994c8633aabc9505/connections/import{ "path":"obs://00zyx/2019-07-02/DLF_All_DataConnections.zip", "sameNamePolicy":"OVERWRITE", "params":[ { "name":"DWS", "type":"DWS", "params":{ "clusterName":"cluster1" } }, { "name":"hive", "type":"HIVE", "params":{ "clusterName":"mrs_ymcc", "connectionMethod":"agent", "userName":"admin", "agentName":"cdm-donotdelete", "kmsKey":"KMS-42ab" } } ]}
  • 响应示例 成功响应 {"name": "test","type": "jar","location": "obs://dlf-test/hadoop-mapreduce-examples-2.4.1.jar","dependFiles": ["obs://dlf-test/depend1.jar","obs://dlf-test/depend2.jar"],"desc": "test","directory":"/resource"} 失败响应 HTTP状态码 400 { "error_code":"DLF.6241", "error_msg":"The resource information does not exist."}
  • 请求示例 修改资源名称为test的资源内容,资源类型为jar,资源文件所在OBS路径为obs://dlf-test/hadoop-mapreduce-examples-2.4.1.jar,资源主Jar包所依赖的JAR包、properties文件为obs://dlf-test/depend1.jar","obs://dlf-test/depend2.jar,描述描述为test,资源所在目录为/resource。 PUT /v1/b384b9e9ab9b4ee8994c8633aabc9505/resources/3624d1c3-5df5-4f20-9af9-98eadad6c5f9{"name": "test","type": "jar","location": "obs://dlf-test/hadoop-mapreduce-examples-2.4.1.jar","dependFiles": ["obs://dlf-test/depend1.jar","obs://dlf-test/depend2.jar"],"desc": "test","directory":"/resource"}
  • 请求示例 创建资源名称为test的资源,资源类型为jar,资源文件所在OBS路径为obs://dlf-test/hadoop-mapreduce-examples-2.4.1.jar,资源主Jar包所依赖的JAR包、properties文件为obs://dlf-test/depend1.jar","obs://dlf-test/depend2.jar,描述描述为test,资源所在目录为/resource。 POST /v1/b384b9e9ab9b4ee8994c8633aabc9505/resources{"name": "test","type": "jar","location": "obs://dlf-test/hadoop-mapreduce-examples-2.4.1.jar","dependFiles": ["obs://dlf-test/depend1.jar","obs://dlf-test/depend2.jar"],"desc": "test","directory":"/resource"}
  • 响应示例 成功响应 HTTP状态码 200 {"results": [{"message": "", "duration":0.5,"rowCount": 1,"rows": [[913460.0,765.0,"8/31/2015 23:26","Harry Bridges Plaza (Ferry Building)",50.0,"8/31/2015 23:39","San Francisco Caltrain (Townsend at 4th)",70.0,"288","Subscriber","2139"]],"schema": [{"TripID": "int"},{"Duration": "int"},{"StartDate": "string"},{"StartStation": "string"},{"StartTerminal": "int"},{"EndDate": "string"},{"EndStation": "string"},{"EndTerminal": "int"},{"Bike": "string"},{"SubscriberType": "string"},{"ZipCode": "string"}]}],"status": "FINISHED"} 失败响应 HTTP状态码 400 { "error_code":"DLF.6201", "error_msg":"The script does not exist."}
  • 响应示例 成功响应 { "endTime": 1544777083000, "id": "008aae2e67abe2ff0167abe3a28f0000", "lastUpdate": 1544777083000, "name": "从路径[obs://aaaaa/job_batch.zip]导入作业。", "startTime": 1544777081000, "status": "SUCCESSFUL", "subtasks": [ { "id": "008aae2e67abe2ff0167abe3a7e70002", "lastUpdate": 1544777083000, "name": "导入作业[job_batch]。", "status": "SUCCESSFUL" } ]} 失败响应 HTTP状态码 400 { "error_code":"DLF.0810", "error_msg":"Task does not exist"}
  • 响应示例 成功响应 {"total": 2,"instances": [{"endTime": 1551671598000,"executeTime": 0.3,"instanceId": 34765, "jobName": "job_batch", "jobInstanceName": "job_batch","planTime": 1551671580000,"startTime": 1551671580000,"status": "success","submitTime": 1550910278706},{"endTime": 1551671538000,"executeTime": 0.3,"instanceId": 34764, "jobName": "job_batch", "jobInstanceName": "job_batch","planTime": 1551671520000,"startTime": 1551671521000,"status": "success","submitTime": 1550910278706}]}
  • URI URI格式 GET /v1/{project_id}/jobs/instances/detail?jobName={jobName}&minPlanTime={minPlanTime}&maxPlanTime={maxPlanTime}&limit={limit}&offset={offset}&status={status}&preciseQuery={preciseQuery} 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和帐号ID。 jobName 否 String 作业名称。 如果要查询指定批处理作业的实例列表,jobName就是批处理作业名称; 如果要查询实时作业下某个节点关联的子作业,jobName格式为[实时作业名称]_[节点名称]。 minPlanTime 否 Long 返回计划执行时间大于minPlanTime的作业实例,单位为毫秒ms。 maxPlanTime 否 Long 返回计划执行时间小于maxPlanTime的作业实例,单位为毫秒ms。 limit 否 int 分页返回结果,指定每页最大记录数。 范围[1,1000] 默认值:10 offset 否 int 分页的起始页,默认值为0。取值范围大于等于0。 status 否 String 实例运行状态: waiting: 等待运行 running:运行中 success: 运行成功 fail: 运行失败 running-exception: 运行异常 pause: 暂停 manual-stop: 取消 preciseQuery 否 boolean 支持通过作业名进行精确查询。
  • 响应示例 成功响应 { "lastUpdateTime": 1682582558000, "name": "job_sms", "nodes": [ { "logPath": "obs://dlf-test-log/job_sms/2023-04-27_16_03_31.000/MRS_Flink_Job_8635/MRS_Flink_Job_8635.job", "name": "MRS_Flink_Job_8635", "status": "NORMAL", "type": "MRS Flink Job" } ], "startTime": 1682582619000, "status": "NORMAL"} 失败响应 HTTP状态码 400 { "error_code":"DLF.0100", "error_msg":"The job does not exists."}
  • 响应参数 表3 参数说明 参数名 是否必选 参数类型 说明 name 是 String 解决方案名称 nodes 否 列表数据结构 节点状态列表 status 否 String 作业状态: STARTING : 启动中 NORMAL:正常 EXCEPTION :异常 STOPPING :停止中 STOPPED:停止 startTime 是 Date 启动时间 endTime 否 Date 停止时间 lastUpdateTime 否 Date 状态最后更新时间 表4 nodes字段数据结构说明 参数名 是否必选 参数类型 说明 name 是 String 节点名称 status 否 String 节点状态: STARTING :启动中 NORMAL:正常 EXCEPTION :异常 STOPPING : 停止中 STOPPED:停止 logPath 否 String 节点运行日志路径 type 是 String 节点类型: Hive SQL :执行Hive SQL脚本 Spark SQL :执行Spark SQL脚本 DWS SQL : 执行DWS SQL脚本 DLI SQL : 执行DLI SQL脚本 Shell:执行Shell SQL脚本 CDM Job:执行CDM作业 DISTransferTask :创建DIS转储任务 CS Job :创建CloudStream作业,并启动作业 CloudTableManager节点 :CloudTable表管理,参考创建和删除表。 OBSManager: OBS路径管理,包括创建和删除路径 RESTAPI : REST API请求 SMN : 发送短信或邮件 MRS Spark :执行MRS服务的Spark作业 MapReduce :执行MRS服务的MapReduce作业
共100000条