华为云用户手册

步骤3：创建数据库 在进行数据查询之前还需要创建一个数据库，例如db1。 “default”为内置数据库，不能创建名为“default”的数据库。 在DLI管理控制台，单击左侧导航栏中的“SQL编辑器”，可进入SQL作业“数据库”页面。 在“SQL编辑器”页面右侧的编辑窗口中，输入如下SQL语句，单击“执行”。阅读并同意隐私协议，单击“确定”。 create database db1; 数据库创建成功后，左侧单击“ ”刷新数据库页面，新建建的数据库db1会在“数据库”列表中出现。 在DLI管理控制台第一次单击“执行”操作时，需要阅读隐私协议，确认同意后才能执行作业，且后续“执行”操作将不会再提示阅读隐私协议。

步骤1：上传数据至OBS 使用DLI查询数据前，需要将数据文件上传至OBS中。 登录管理控制台。 在服务列表中，单击“存储”中的“对象存储服务OBS”，进入OBS管理控制台页面。 创建桶，本例桶名以“obs1”为例。 单击页面右上角“创建桶”。 进入“创建桶”页面，选择“区域”，输入“桶名称”。其他参数保持默认值或根据需要选择。 创建OBS桶时，需要选择与DLI管理控制台相同的区域，不可跨区域执行操作。 单击“立即创建”。 单击所建桶“obs1”，进入“对象”页面。 勾选左侧列表中的“对象”，选择“上传对象”，将需要上传的文件“sampledata.csv”上传到指定目录，单击“上传”。 “sampledata.csv”样例文件可以通过新建“sampledata.txt”，复制如下英文逗号分隔的文本内容，再另存为“sampledata.csv”。 12,test 文件上传成功后，待分析的文件路径为“obs://obs1/sampledata.csv”。 关于OBS管理控制台更多操作请参考《对象存储服务控制台指南》。 OBS上传文件指导，请参见《OBS工具指南》。 针对大文件场景，由于OBS管理控制台对文件大小和数量限制较多，所以推荐使用OBS工具上传大文件，如OBS Browser+或obsutil工具上传。 OBS Browser+是一个比较常用的图形化工具，支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。 obsutil是一款用于访问管理OBS的命令行工具，对于熟悉命令行程序的用户，obsutil是执行批量处理、自动化任务的好的选择。 您可以通过以下多种方式将文件上传至桶，OBS最终将这些文件以对象的形式存储在桶中。 表1 OBS上传对象的不同访问方式 访问方式 上传对象方法 控制台 通过控制台上传对象 OBS Browser+ 通过OBS Browser+上传对象 obsutil 通过obsutil上传对象 SDK 使用SDK上传对象 ，具体参考各语言开发指南的上传对象章节 API PUT上传 、POST上传

步骤3：创建OBS桶保存输出数据 在本样例中，需要为作业“JobSample”开通对象存储服务（OBS），为DLI Flink作业提供Checkpoint、保存作业日志和调试测试数据的存储功能。 具体操作请参见《对象存储服务控制台指南》中的“创建桶”章节。 在OBS管理控制台左侧导航栏选择“对象存储”。 在页面右上角单击“创建桶”，配置桶参数。 区域：选择与DLI服务相同的区域 桶名称：具体根据实际情况选择桶名，例如当前选择：obstest 默认存储类别：标准存储 桶策略：私有 默认加密：关闭 归档数据直读：关闭 企业项目：default 标签：不填写 单击“立即创建”。

后续指引 完成Flink OpenSource SQL作业快速入门操作后，如果您想了解更多关于Flink OpenSource SQL作业相关操作，建议您参考以下指引阅读。 分类 文档 说明 界面操作 Flink作业管理 提供Flink作业管理界面功能介绍。 Flink模板管理 提供Flink作业样例模板和自定义模板功能介绍。您可以根据习惯和业务需要自定义作业模板，方便后续创建提交作业。 开发指南 Flink SQL语法参考 提供Flink OpenSource SQL创建源表、结果表和维表的语法说明和样例指导。 Flink作业样例 提供Flink作业程序开发的样例指导。 使用Flink Jar写入数据到OBS 提供Flink如果将数据处理后写入到OBS的样例代码。 Flink作业相关API 提供Flink相关API的使用说明。

步骤4：创建队列 创建DLI Flink OpenSource SQL作业，不能使用系统已有的default队列，需要您创建队列，例如创建名为“Flinktest”的队列。创建队列详细介绍请参考创建队列。 登录DLI管理控制台总览页，单击右上角“购买队列”进入购买队列页面。 第一次进入数据湖探索管理控制台需要进行授权，以获取访问OBS的权限。 配置参数。 计费模式：按需计费 区域：默认区域 项目：默认或按需选择 名称：Flinktest 类型：通用队列。勾选“专属资源模式”。 AZ策略：单AZ 规格：16CUs 企业项目：default 描述：不填 高级选项：自定义 网段：配置的网段不能与Kafka的子网网段冲突 标签：不填 单击“立即购买”，确认配置。 配置确认无误，提交请求。 由于队列绑定集群需要时间，创建后需等待10~15分钟后，队列才可正常使用。

操作流程 样例场景需要创建一个Flink OpenSource SQL作业，且该作业包含一个输入流和一个输出流。输入流用于从Kafka读取数据，输出流用于将数据写入到RDS中。操作流程如下： 步骤1：准备数据源通道 步骤2：准备数据输出通道 步骤3：创建OBS桶保存输出数据 步骤4：创建队列 步骤5：创建DLI连接Kafka的增强型跨源连接 步骤6：创建DLI连接RDS的增强型跨源连接 步骤7：创建Flink OpenSource SQL作业

步骤2：准备数据输出通道 采用RDS作为数据输出通道，创建RDS MySQL实例，具体操作请参见《云数据库MySQL快速入门》中的“MySQL快速入门”章节。 登录RDS管理控制台。 在管理控制台左上角选择区域。 单击“购买数据库实例”配置相关参数。主要参数的填下说明如下，其他参数保持默认值即可。 计费模式：按需付费 区域：选择与DLI服务相同的区域 实例名称：rds-dliflink 数据库引擎：MySQL 数据库版本：8.0 实例类型：主备 存储类型：SSD云盘 主可用区：自定义 备可用区：自定义 时区：默认 性能规格：2 vCPUs | 8 GB 存储空间：40GB 虚拟私有云、子网：选择1中创建的虚拟私有云和子网。 数据库端口：3306 安全组：选择1中创建的安全组。 管理员密码：****（请妥善管理密码，系统无法获取您设置的密码内容） 确认密码：**** 参数模板：Default-MySQL-8.0 只读实例：暂不购买 单击“立即购买”，确认规格信息。 单击“提交”，完成RDS实例的创建。 登录MySQL，并使用下述命令在flink库下创建orders表。 登录MySQL，单击“SQL窗口”，在SQL查询页面输入以下创建表语句，创建RDS MySQL表。 CREATE TABLE `flink`.`orders` ( `order_id` VARCHAR(32) NOT NULL, `order_channel` VARCHAR(32) NULL, `order_time` VARCHAR(32) NULL, `pay_amount` DOUBLE UNSIGNED NOT NULL, `real_pay` DOUBLE UNSIGNED NULL, `pay_time` VARCHAR(32) NULL, `user_id` VARCHAR(32) NULL, `user_name` VARCHAR(32) NULL, `area_id` VARCHAR(32) NULL, PRIMARY KEY (`order_id`) ) ENGINE = InnoDB DEFAULT CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci;

如果您是开发工程师 如果您拥有一定的开发经验，想要基于DLI现有能力进行更复杂的数据分析和开发，建议您学习和掌握以下功能模块。 模块 说明 开发指南 提供样例代码参考，您可以基于Flink、Spark的API进行二次开发，构建自己的应用Jar包，提交到DLI队列运行。 SDK参考 SDK是对DLI提供的REST API进行封装，便于您可以直接调用DLI SDK提供的接口函数实现使用DLI业务能力的目的。 API参考 您可以调用DLI提供的API接口完成数据分析等业务操作。

如果您是数据分析师 如果您是数据分析师，建议您先熟悉以下模块，掌握DLI支持的Spark、Flink等常用SQL语法，帮助你查询分析业务数据。 组件 模块 说明 Spark相关 数据库相关 在Spark场景下的创建数据库、删除数据库以及查看数据库等数据库操作语法。 表相关 在Spark场景下的创建表、修改表，删除表等语法。 跨源连接相关 跨源连接访问HBase、OpenTSDB、DWS、RDS、CSS、DCS及DDS场景的下的语法。 自定义函数 Spark支持通过创建自定义函数来满足更多的计算需求。 内置函数 支持数学函数、日期函数、字符串函数、聚合函数、分析窗口函数等内置函数进行数据分析。 Flink OpenSource SQL相关 数据定义语句DDL 创建Kafka、DIS、JDBC、DWS、Redis、HBase、userDefined等source流获取数据，作为作业的输入数据。 创建ClickHouse、Kafka、DIS、DWS、Redis、SMN、HBase、Elasticsearch及userDefined结果表，用于将Flink作业输出数据写入到该表中。 创建JDBC、DWS、HBase的维表用于与Flink的输入流进行连接。 数据操作语句DML 支持查询、集合操作、窗口函数、JOIN等相关语法操作进行数据分析。 自定义函数 DLI支持的UDF自定义函数、UDTF自定义表值函数、UDAF自定义聚合函数的语法介绍和操作说明。 内置函数 DLI支持的数学运算函数、字符串函数、时间函数、条件函数、类型转换函数、集合函数、值构建函数、属性访问函数、Hash函数、聚合函数、表值函数语法介绍和使用示例。 Flink SQL相关 创建输入流 创建source流从CloudTable、DIS、DMS、EdgeHub、Kafka、OBS中获取数据，作为作业的输入数据。 创建输出流 DLI提供将作业的输出数据写入到CloudTable、OpenTSDB、Elasticsearch、DCS、DDS、DIS、DMS、DWS、HBase、RDS、Kafka中的语法操作。 创建中间流 中间流用来简化SQL逻辑，若SQL逻辑比较复杂，可以写多个SQL语句，用中间流进行串接。 创建维表 创建Redis、RDS的维表和Flink的输入流进行连接。

如果您是初学者 如果您是大数据初学者，建议您先熟悉以下模块，了解DLI的基本功能和常用操作。 模块 说明 产品介绍 DLI服务的介绍文档，从服务的常用概念、产品优势、应用场景、计费说明、权限管理等多个方面进行介绍，让您初步了解数据湖探索DLI。 快速入门 DLI服务的快速使用指导，通过一些示例指导您快速完成如何准备账号、准备环境、创建数据库及表、导入数据、运行SQL等操作。 SQL编辑器 您需要在提交作业分析数据前掌握SQL编辑器的使用。

步骤1：创建RDS MySQL实例 本样例中，假设作业名称为“JobSample”，采用RDS服务作为数据源，创建RDS MySQL实例，具体操作请参见《云数据库MySQL快速入门》中的“MySQL快速入门”章节。 登录RDS管理控制台。 在管理控制台左上角选择区域和项目。 在“实例管理”页面，单击“购买数据库实例”。 在“服务选型”页面，选择计费模式，填写并选择实例相关信息后，单击“立即购买”。 相关信息如下： 计费模式：按需计费 区域：租户当前所在区域，也可在页面左上角切换 实例名称：默认 数据库引擎：MySQL 数据库版本：8.0 实例类型：单机 存储类型：SSD云盘 可用区：默认 时区：默认 性能规格：默认 存储空间：默认 磁盘加密：不加密 虚拟私有云：创建VPC和子网的操作指导请参考创建虚拟私有云和子网，如果需要在已有VPC上创建和使用新的子网，请参考为虚拟私有云创建新的子网。 创建的VPC与使用的RDS服务应在相同的区域。 创建VPC和子网时，如无特殊需求，配置参数使用默认配置即可。 数据库端口：创建主实例加只读实例时，只读实例和主实例数据端口保持一致。 安全组：创建安全组的操作指导请参考创建安全组，为安全组添加规则的操作指导请参考添加安全组规则。 设置密码：现在设置 管理员账号：root 管理员密码： 密码应为8~32个字符。密码中需要包含大写字母、小写字母、数字或特殊字符中的三种，特殊字符包括“~ ！@ # $ * % ^ - _ = + ( ) ? , & ”。 确认密码：输入同样的密码 参数模板：默认 表名大小写： 不区分大小写 企业项目：default 标签：不设置 购买时长：按需购买 购买数量：1 只读实例：暂不购买 单击“立即购买”，进入规格确认页面。 单击“提交”，完成购买RDS MySQL实例。 实例创建成功后，用户可以在“实例管理”页面对其进行查看和管理。 创建实例过程中，状态显示为“创建中”，创建完成的实例状态显示为“正常”。您可以通过“任务中心”查看详细进度和结果。

步骤3：创建队列 运行DLI SQL跨源作业，不能使用系统已有的default队列，需要您创建SQL队列，例如创建名为“test”的队列。创建队列详细介绍请参考创建队列。 登录DLI 管理控制台。 在DLI管理控制台总览页，单击右上角“购买队列”进入购买队列页面。 配置参数。 计费模式：按需计费 当前区域：默认区域 项目：默认或按需选择 队列：test 队列类型：SQL队列。勾选“专属资源模式”。 AZ策略：单AZ CPU架构：X86 规格：16CUs 企业项目：default 描述：不填 高级配置：自定义 网段：配置的网段不能与RDS的子网网段冲突 队列特性：基础型 标签：不填 单击“立即购买”，确认配置。 配置确认无误，提交请求。

后续指引 完成增强型跨源连接访问RDS快速入门操作后，如果您想了解更多关于跨源连接的相关操作，建议您参考以下指引阅读。 分类 文档 说明 界面操作 跨源连接和跨源分析 提供跨源连接、分析相关的功能介绍和操作指导。 开发指南 跨源访问其他数据源 提供跨源访问CSS、DWS、HBase、OpenTSDB、RDS、Redis、Mongo等样例代码和开发指导。 增强型跨源API参考 提供增强型跨源相关API接口指导。 经典型跨源连接API参考 提供经典型跨源相关API接口指导。

前提条件 已创建DLI队列。创建队列详见创建DLI队列操作指导。 队列的计费类型必须为：“包年/包月”，“按需计费”（按需计费需勾选“专属资源模式”。） 仅“包年/包月”资源、“专属资源模式”的“按需计费”资源才能创建增强型跨源链接。 已创建对应的外部数据源集群。具体对接的外部数据源根据业务自行选择。 表1 创建各外部数据源参考 服务名 参考文档链接 RDS RDS MySQL快速入门。 DWS 创建DWS集群 DMS Kafka 创建Kafka实例 注意： 创建DMS Kafka实例时，不能开启Kafka SASL_SSL。 CSS 创建CSS集群 MRS 创建MRS集群 绑定跨源的DLI队列网段和其他数据源子网网段不能重合。 系统default队列不支持创建跨源连接。

步骤1：创建资源 如表2所示，完成VPC、DMS、RDS、DLI、DLV资源的创建。 表2 创建资源 资源类型 说明 操作指导 VPC VPC为资源提供云上的网络管理服务。 资源网络规划说明： Kafka与MySQL实例指定的VPC需为同一VPC。 Kafka与MySQL实例所属VPC网段不得与创建的DLI队列网段冲突。 创建VPC和子网 DMS Kafka 本例中以DMS Kafka实例作为数据源。 DMS Kafka入门指引 RDS MySQL 本例中以使用RDS提供在线云数据库服务。 RDS MySQL快速入门 DLI DLI提供实时业务数据分析。 创建DLI队列时请创建“包年包月”或者“按需-专属资源”模式的通用队列，否则无法创建增强型网络连接。 DLI 创建队列 DLV DLV实时展现DLI队列处理后的结果数据。 DLV 创建大屏

数据说明 数据源表：电商业务订单详情宽表 字段名 字段类型 说明 order_id string 订单ID order_channel string 订单生成的渠道(即web方式、app方式等) order_time string 订单时间 pay_amount double 订单金额 real_pay double 实际支付金额 pay_time string 支付时间 user_id string 用户ID user_name string 用户姓名 area_id string 订单地区ID 结果表：各渠道的销售总额实时统计表。 字段名 字段类型 说明 begin_time varchar(32) 开始统计指标的时间 channel_code varchar(32) 渠道编号 channel_name varchar(32) 渠道名 cur_gmv double 当天GMV cur_order_user_count bigint 当天付款人数 cur_order_count bigint 当天付款订单数 last_pay_time varchar(32) 最近结算时间 flink_current_time varchar(32) Flink数据处理时间

步骤2：获取DMS连接地址并创建Topic 在控制台单击“服务列表”，选择“分布式消息服务DMS”，单击进入DMS服务控制台页面。在“Kafka专享版”页面找到您所创建的Kafka实例。 图2 Kafka实例 进入实例详情页面。单击“基本信息”，获取“连接地址”。 图3 获取连接地址 单击“Topic管理”，创建一个Topic：trade_order_detail_info。 图4 创建Topic Topic配置如下： 分区数：1 副本数：1 老化时间：72h 同步落盘：否

资源和成本规划 表1 资源和成本规划 资源 资源说明 成本说明 OBS 需要创建一个OBS桶将数据上传到对象存储服务OBS，为后面使用DLI完成数据分析做准备。 OBS的使用涉及以下几项费用： 存储费用：静态网站文件存储在OBS中产生的存储费用。 请求费用：用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用：用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的文件大小、用户访问所产生的请求次数和流量大小有关，请根据自己的业务进行预估。 DLI 在创建SQL作业前需购买队列，使用DLI的队列资源时，按照队列CU时进行计费。 如购买按需计费的队列，在使用队列资源时，按照队列CU时进行计费。 以小时为单位进行结算。不足一小时按一小时计费，小时数按整点计算。队列CU时按需计费的计算费用=单价*CU数*小时数。 VPC VPC丰富的功能帮助您灵活管理云上网络，包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。 VPC本身不收取费用。 但如有互联网访问需求，您需要购买弹性公网IP。弹性公网IP提供“包年/包月”和“按需计费”两种计费模式。 了解VPC计费说明。 DMS Kafka Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 Kafka版支持按需和包周期两种付费模式。Kafka计费项包括Kafka实例和Kafka的磁盘存储空间。 了解Kafka计费说明。 RDS MySQL 数据库 RDS for MySQL提供在线云数据库服务。 RDS对您选择的数据库实例、数据库存储和备份存储（可选）收费。 了解RDS计费说明。 DLV DLV适配云上云下多种数据源，提供丰富多样的可视化组件，快速定制数据大屏。 使用DLV服务的费用主要是DLV包年包月套餐的费用，您可以根据实际使用情况，选择合适的版本规格。 了解DLI产品价格详情。

流程指导 使用DLI Flink进行电商实时业务数据分析的操作过程主要包括以下步骤： 步骤1：创建资源。在您的账户下创建作业需要的相关资源，涉及VPC、DMS、DLI、RDS。 步骤2：获取DMS连接地址并创建Topic。获取DMS Kafka实例连接地址并创建DMS Topic。 步骤3：创建RDS数据库表。获取RDS实例内网地址，登录RDS实例创建RDS数据库及MySQL表。 步骤4：创建DLI增强型跨源。创建DLI增强型跨源，并测试队列与RDS、DMS实例连通性。 步骤5：创建并提交Flink作业。创建DLI Flink OpenSource SQL作业并运行。 步骤6：查询结果。查询Flink作业结果，使用DLV进行大屏展示。

应用场景 当前线上购物无疑是最火热的购物方式，而电商平台则又可以以多种方式接入，例如通过web方式访问、通过app的方式访问、通过微信小程序的方式访问等等。而电商平台则需要每天统计各平台的实时访问数据量、订单数、访问人数等等指标，从而能在显示大屏上实时展示相关数据，方便及时了解数据变化，有针对性地调整营销策略。而如何高效快捷地统计这些指标呢？ 假设平台已经将每个商品的订单信息实时写入Kafka中，这些信息包括订单ID、订单生成的渠道(即web方式、app方式等)、订单时间、订单金额、折扣后实际支付金额、支付时间、用户ID、用户姓名、订单地区ID等信息。而我们需要做的，就是根据当前可以获取到的业务数据，实时统计每种渠道的相关指标，输出存储到数据库中，并进行大屏展示。

排查思路 以下排查思路根据原因的出现概率进行排序，建议您从高频率原因往低频率原因排查，从而帮助您快速找到问题的原因。 如果解决完某个可能原因仍未解决问题，请继续排查其他可能原因。 检查是否在域名或者IP后添加了端口 检查是否连接的是对端VPC和子网 检查队列的网段是否与数据源网段是否重合 检查是否为DLI授权了DLI Datasource Connections Agency Access权限 检查对端安全组是否放通队列的网段 检查增强型跨源连接对应的对等连接的路由信息 检查VPC网络是否设置了ACL规则限制了网络访问

检查队列的网段是否与数据源网段是否重合 绑定跨源的DLI队列网段和数据源网段不能重合。 您可以从连接日志判断是否是队列与数据源网段冲突。 如图3所示，即当前队列A网段与其他队列B网段冲突，且队列B已经建立了与数据源C的增强型跨源连接。因此提示队列A与数据源C的网段冲突，无法建立新的增强型跨源连接。 解决措施：修改队列网段或重建队列。 建议创建队列时就规划好网段划分，否则冲突后只能修改队列网段或重建队列。 图3 查看连接日志-1

检查是否为DLI授权了DLI Datasource Connections Agency Access权限 您可以从连接日志判断是否是由于权限不足导致的连接失败。 如图4、图5所示，无法获取对端的子网ID、路由ID，因此跨源连接失败。 解决措施：请在服务授权添加DLI Datasource Connections Agency Access授权。 了解DLI更新委托权限。 图4 查看连接日志-2 图5 查看连接日志-3 图6 DLI服务授权

操作前准备 工具包 DLI的JDBC驱动：dli-jdbc-2.1.1.jar DBeaver客户端安装包： DBeaver官网提供了针对不同操作系统的客户端安装包，单击下载DBeaver访问DBeaver官网下载系统对应的DBeaver客户端安装包并完成安装 。推荐使用24.0.3版本的DBeaver。 连接信息： 类别 说明 获取方式 DLI AKSK AK/SK认证就是使用AK/SK对请求进行签名，从而通过身份认证。 获取AK/SK DLI Endpoint地址 地区与终端节点，即云服务在不同Region有不同的访问域名。 获取EndPoint DLI所在的项目ID 项目编号，用于资源隔离。 获取项目ID DLI区域信息 DLI所属区域信息 地区和终端节点

云审计服务支持的DLI操作列表说明 通过云审计服务，您可以记录与DLI服务相关的操作事件，便于日后的查询、审计和回溯。 表1 云审计服务支持的DLI操作列表 操作名称 资源类型 事件名称 创建数据库 database createDatabase 删除数据库 database deleteDatabase 修改数据库所有者 database alterDatabaseOwner 创建表 table createTable 删除表 table deleteTable 导出表数据 table exportData 导入表数据 table importData 修改表的所有者 table alterTableOwner 创建队列 queue createQueue 删除队列 queue dropQueue 队列授权 queue shareQueue 修改队列网段 queue replaceQueue 重启队列 queue queueActions 扩容/缩容队列 queue queueActions 提交作业（SQL） queue submitJob 取消作业（SQL） queue cancelJob 授权obs桶给DLI服务 obs obsAuthorize 检查SQL语法 job checkSQL 新建作业 job createJob 更新作业 job updateJob 删除作业 job deleteJob 创建Flink opensource sql作业 jobs createStreamSqlJob 更新Flink opensource sql作业 jobs updateStreamSqlJob 删除Flink作业 jobs deleteStreamJobs 购买包年包月队列 order orderQueue 购买cu时套餐包 order orderPackage 冻结资源 resource freezeResource 解冻资源 resource unfreezeResource 终止资源 resource deleteResource 资源清理 resource cleanResource 数据授权 data dataAuthorize 跨项目数据授权 data authorizeProjectData 导出查询结果 data storeJobResult 保存SQL模板 sqlTemplate saveSQLTemplate 更新SQL模板 sqlTemplate updateSQLTemplate 删除SQL模板 sqlTemplate deleteSQLTemplate 新建Flink模板 flinkTemplate createStreamTemplate 更新Flink模板 flinkTemplate createStreamTemplate 删除Flink模板 flinkTemplate deleteStreamTemplate 创建数据上传任务 uploader createUploadJob 获取数据上传任务鉴权 uploader getUploadAuthInfo 提交上传任务数据 uploader commitUploadJob 创建认证信息并上传证书 authInfo uploadAuthInfo 更新认证信息 authInfo updateAuthInfop 删除认证信息 authInfo deleteAuthInfo 更新配额 quota updateQuota 上传资源包 pkgResource uploadResources 删除资源包 pkgResource deleteResource 创建（经典型）跨源连接 datasource createDatasourceConn 删除（经典型）跨源连接 datasource deleteDatasourceConn 重新激活经典型跨源连接 datasource reactivateDSConnection 创建增强型跨源连接 datasource createConnection 删除增强型跨源连接 datasource getConnection 绑定队列 datasource associateQueueToDatasourceConn 解绑队列 datasource disassociateQueueToDatasourceConn 修改主机信息 datasource updateHostInfo 添加路由 datasource addRoute 删除路由 datasource deleteRoute 创建主题 smn createTopic 创建授权DLI agency createAgencyV2 创建批处理作业 batch createBatch 取消批处理作业 batch cancelBatch 创建会话 session createSession 删除会话 session deleteSession 创建语句 statement createStatement 取消语句执行 statement cancelStatement 创建全局变量 globalVar createGlobalVariable 删除全局变量 globalVar deleteGlobalVariable 修改全局变量 globalVar updateGlobalVariable 关于如何开通云审计服务以及如何查看追踪事件，请参考《云审计服务快速入门》中的相关章节。 关于云审计服务事件结构的关键字段详解，请参见《云审计服务用户指南》中的事件结构和事件样例。 父主题： 其他常用操作

库表管理页面 库表管理页面显示用户创建所有的数据库，您可以查看所有者，表数量等信息。 表1 库表管理参数 参数 参数说明 数据库名称 数据库名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 数据库名称大小写不敏感且不能为空。 输入长度不能超过128个字符。 用户名 数据库所有者。 表数量 对应数据库中表的数量。 描述 创建数据库时，对数据库的描述。如果没有描述，则显示“--”。 企业项目 显示所属的企业项目。企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。 关于如何设置企业项目请参考《企业管理用户指南》。 操作 权限管理：可查看“权限信息”，进行“授权”、“权限设置”和“回收用户权限”。 表管理：可查看对应数据库下的表。具体描述请参见表管理页面。 创建表：在对应数据库中创建表。 修改数据库：修改数据库的所有者。必须是相同账户下已存在的用户名。 删除数据库：删除所选数据库。 分配至项目：添加所属的企业项目。 标签：添加/编辑标签。

表管理页面 在“数据管理”页面中，单击对应数据库名称或“操作”列中的“表管理”，可进入其表管理页面。 表管理页面显示用户在当前数据库中创建所有的表，您可以查看表类型，数据存储位置等信息。表列表默认按创建时间排列，创建时间最近的表显示在最前端。 表2 表管理参数 参数 参数说明 表名称 表名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 表名称大小写不敏感且不能为空。 表名称支持包含“$”符号。例如：$test。 输入长度不能超过128个字符。 表类型 表的类型。包括以下三种类型： Managed：数据存储位置为DLI的表。 External：数据存储位置为OBS的表。 View：视图。视图只能通过SQL语句创建。 说明： 视图中包含的表或视图信息不可被更改，如有更改可能会造成查询失败。 所有者 创建表的用户。 存储位置 包括DLI、OBS、View、CloudTable、CSS等数据存储位置。 表大小 表中数据的大小。只有Managed类型表会显示具体数值，其他类型表显示“--”。 数据源路径 数据存储位置为OBS时，显示对应的OBS路径。 数据存储位置为DLI和View时，显示“--”。 数据存储位置为CloudTable、CSS等跨源服务时，显示其对应的URL。 创建时间 创建表的时间。 最后访问时间 最后对表进行操作的时间。 表的最后访问时间仅指对表进行更新操作的最后时间，而不是读取（SELECT）操作的时间。 操作 权限管理：可查看“权限信息”，进行“授权”、“权限设置”和“回收用户权限”。 更多： 删除：在对应数据库中删除表。 修改所有者：修改表的所有者。必须是相同账户下已存在的用户名。 导入：将存储在OBS桶中的数据导入至DLI表或OBS表。 导出：仅支持将DLI表的数据导出至OBS桶中。 表属性：可查看“元数据”和“预览”表中的数据。

约束与限制 数据库 “default”为内置数据库，不能创建名为“default”的数据库。 DLI支持创建的数据库的最大数量为50个。 数据表 DLI支持创建的表的最大数量为5000个。 DLI支持创建表类型： Managed：数据存储位置为DLI的表。 External：数据存储位置为OBS的表。 View：视图，视图只能通过SQL语句创建。 跨源表：表类型同样为External。 创建DLI表时不支持指定存储路径。 数据导入 仅支持将OBS上的数据导入DLI或OBS中。 支持将OBS中CSV，Parquet，ORC，JSON和Avro格式的数据导入到在DLI中创建的表。 将CSV格式数据导入分区表，需在数据源中将分区列放在最后一列。 导入数据的编码格式仅支持UTF-8。 数据导出 只支持将DLI表（表类型为“Managed”）中的数据导出到OBS桶中，且导出的路径必须指定到文件夹级别。 导出文件格式为json格式，且文本格式仅支持UTF-8。 支持跨账号导出数据，即B账户对A账户授权后，A账户拥有B账户OBS桶的元数据信息和权限信息的读取权限，以及路径的读写权限，则A账户可将数据导出至B账户的OBS路径中。

响应示例 状态码： 200 OK { "meta_info" : { "current_time" : "2023-12-13T09:55:45Z" }, "payload" : { "list" : [ { "id" : "ef4fd3d6-fa4e-49ea-989a-3216c36164d7", "cluster_id" : "3c151f54-e5df-4b6c-8690-b955df98a97f", "match_nodes" : 1, "usage" : "TRAINING_TRAIN", "cpu" : 5, "memory" : 20, "build_in" : false, "project_id" : "54d37c8f25af4277a1ff4ee9772687bf" }, { "id" : "38aa2057-4217-41d0-b5ba-94f8832e909e", "cluster_id" : "3c151f54-e5df-4b6c-8690-b955df98a97f", "match_nodes" : 1, "usage" : "TRAINING_TRAIN", "gpu_type" : "Pnt1", "gpu" : 1, "cpu" : 5, "memory" : 20, "build_in" : false, "project_id" : "54d37c8f25af4277a1ff4ee9772687bf" }, { "id" : "2ac937fa-d17a-4991-8e56-f1951b878af8", "cluster_id" : "3c151f54-e5df-4b6c-8690-b955df98a97f", "match_nodes" : 1, "usage" : "TRAINING_TRAIN", "gpu_type" : "Pnt1", "gpu" : 1, "cpu" : 4, "memory" : 20, "build_in" : false, "project_id" : "54d37c8f25af4277a1ff4ee9772687bf" }, { "id" : "7676f33e-cf22-4227-aac1-ac3865ceddb2", "cluster_id" : "3c151f54-e5df-4b6c-8690-b955df98a97f", "match_nodes" : 1, "usage" : "TRAINING_TRAIN", "gpu_type" : "Pnt1", "gpu" : 1, "cpu" : 4, "memory" : 32, "build_in" : false, "project_id" : "54d37c8f25af4277a1ff4ee9772687bf" } ], "page_info" : { "offset" : 0, "limit" : 4, "total" : 4 } } }

响应参数 状态码： 200 表4 响应Body参数 参数 参数类型 描述 payload ResourceSpecs object 实际返回的资源规格信息 meta_info RespMetaInfo object 元数据 表5 ResourceSpecs 参数 参数类型 描述 list Array of ResourceSpecsVo objects 资源规格列表 page_info PageInfo object 返回列表分页信息 表6 ResourceSpecsVo 参数 参数类型 描述 id String id cluster_id String 集群ID usage String 资源规格用途 枚举值： SIM_COMPILE(仿真编译) SIM_DOCKER(仿真异步镜像) DATA_PROCESS(数据处理) DATA_CONVERSION(数据转换) DATA_RESIM(回放仿真) DATA_DESENSITIZATION(数据脱敏) TRAINING_TRAIN(训练任务) TRAINING_EVALUATE(模型评测) TRAINING_COMPILE(模型编译) ANNOTATION_MANUAL(人工标注) ANNOTATION_AI(预标注) ANNOTATION_SEGMENTATION(交互式分割) COMMON_DATASET(数据集) gpu_type String GPU类型(资源规格不包含GPU，此字段不会返回); 枚举值： Tnt004 Vnt1 Mnt06 Pnt1 Pnt004 gpu Integer GPU数量,整数(资源规格不包含GPU，此字段不会返回)； cpu Double CPU数量，单位Core,支持一位小数； memory Double 内存大小，单位GiB,支持一位小数； build_in Boolean 是否内置资源规格，true代表内置资源规格，false代表用户自定义资源规格。 project_id String 项目id match_nodes Integer 资源规格可用节点的数量 表7 PageInfo 参数 参数类型 描述 offset Integer 查询偏移量 limit Integer 返回个数上限 total Integer 资源总数 表8 RespMetaInfo 参数 参数类型 描述 current_time String 请求时间，UTC时间格式，时间为UTC标准时间。