华为云用户手册

  • 云服务器备份 支持备份服务器中的共享云硬盘,且支持备份最多挂载10个共享盘的云服务器。 只有“可用”或“锁定”状态的存储库中的云服务器备份才能创建镜像和复制。 处于“保留期”且为冻结状态的云服务器不支持备份。 支持服务器下多个云硬盘数据的崩溃一致性备份和数据库备份。 支持选择服务器中的部分云硬盘进行备份,但必须将备份的云硬盘作为整体进行恢复,且不支持文件或者目录级别的恢复。 如果云服务器备份存储库绑定的资源已经超过配额限制,则无法进行备份创建镜像操作。 仅支持使用弹性云服务器的备份创建镜像,不支持使用裸金属服务器的备份创建镜像。 使用SDRS部署容灾的云服务器,在开启容灾保护后,容灾站点的云服务器/云硬盘不支持恢复;停止容灾保护后,才能执行恢复操作。 不建议对容量超过4TB的云服务器进行备份。 支持将已生成的备份数据复制到具备复制能力的其他区域。复制功能需要满足以下约束限制: 同时满足以下条件的备份才能执行创建复制操作: 备份由弹性云服务器产生。 备份数据包含系统盘。 备份状态为“可用”。 仅支持对本区域生成的备份执行复制操作,不支持对复制而来的备份执行复制操作,从其他区域复制而来的备份仅可用于创建镜像。 一个源备份可以分别复制到不同的目标区域,一个目标区域只能同时存在该源备份的一个目标备份。向一个目标区域复制的次数在不同的复制方式下有所不同: 对单个备份手动创建复制:在目标区域将目标备份删除后可再次复制。 通过策略复制:每个目标区域仅能复制一次,即使将目标备份删除后也不允许再次复制。 仅支持向具备复制能力的目标区域复制备份数据。
  • 混合云VMware备份 支持恢复至云上服务器的VMware版本包括VMware vSphere 5.1、VMware vSphere 5.5、VMware vSphere 6.0、VMware vSphere 6.5。如果仅作为云下备份,则无VMware版本限制。 为了获得的更优性能和操作体验,建议选用表1所列经过兼容性测试的操作系统。 VMware 6.5版本虚拟机的VDDK需要使用6.0.3版本。 同步至云端的备份无法创建新的服务器。 同步至云端的备份只能恢复至已创建的云服务器,可以恢复系统盘和数据盘。 执行恢复操作前,请务必按照操作步骤完成安全组的配置,否则可能会导致恢复失败。 表1 恢复至云上服务器支持的操作系统 操作系统类型 版本范围 Windows Windows 7 Windows Server 2008 R2 Windows Server 2012 Windows Server 2012 R2 Windows Server 2016 Windows Server 2019 CentOS CentOS 6.4 CentOS 6.5 CentOS 7.2 CentOS 7.3 CentOS 7.4 CentOS 7.5 CentOS 7.6 CentOS 7.7 RedHat RedHat 6.4 RedHat 6.5 RedHat 7.2
  • 文件备份 如果备份文件时,该文件正在被其他应用更改,且备份客户端对其有读权限时,会导致备份数据不完整,建议应用层停止更改后再进行备份操作,保证数据的完整性。 如果备份文件时,该文件被其他进程使用或者备份客户端没有读权限,会导致备份数据不完整。 不建议对正在运行的应用程序的文件进行恢复,建议停止应用程序运行后再执行恢复操作。 单个安装客户端的资源最多支持添加8个备份文件目录。 每个资源仅允许安装一个客户端。 支持在无限制个资源上安装客户端。 单个目录下文件数不超过50万个,建议执行文件备份的主机配备4GB以上可用内存。 备份路径的长度不超过200个字符。 文件备份数据传输带宽上限是16Gbit/s。如果带宽达到该阈值,请求会触发流控。 文件备份不支持对云服务器挂载的SFS文件系统中的文件数据进行备份。 操作系统为Windows的主机/服务器中文件写入频繁的目录,可能会出现备份失败的情况。 跨云或跨区域场景下,网络带宽不低于50Mbits。
  • SFS Turbo备份 文件系统处于“可用”状态才可进行备份。 暂不支持使用SFS Turbo备份恢复至原文件系统。 支持将已生成的备份数据复制到具备复制能力的其他区域。复制功能需要满足以下约束限制: 同时满足以下条件的备份才能执行创建复制操作: 备份由SFS Turbo文件系统产生。 备份状态为“可用”。 仅支持对本区域生成的备份执行复制操作,不支持对复制而来的备份执行复制操作,从其他区域复制而来的备份仅可用于创建SFS Turbo文件系统。 一个源备份可以分别复制到不同的目标区域,一个目标区域只能同时存在该源备份的一个目标备份。向一个目标区域复制的次数在不同的复制方式下有所不同: 对单个备份手动创建复制:在目标区域将目标备份删除后可再次复制。 通过策略复制:每个目标区域仅能复制一次,即使将目标备份删除后也不允许再次复制。 仅支持向具备复制能力的目标区域复制备份数据。
  • 数据库服务备份 表2 支持安装客户端的操作系统列表 数据库名称 操作系统类型 版本范围 SQLServer 2008/2012/2019 Windows Windows Server 2008, 2008 R2, 2012, 2012 R2, 2019 for x86_64 SQLServer 2014/2016/EE Windows Windows Server 2014, 2014 R2, 2016 Datacenter for x86_64 MySQL 5.5/5.6/5.7 Red Hat Red Hat Enterprise Linux 6, 7 for x86_64 SUSE SUSE Linux Enterprise Server 11, 12, 15 SP1, 15 SP2 for x86_64 CentOS CentOS 6, 7 for x86_64 Euler Euler OS 2.2, 2.3 for x86_64 HANA 1.0/2.0 SUSE SUSE Linux Enterprise Server 12 for x86_64
  • 计费示例 【案例一】 备份普通云服务器按需计费实例: 例如某用户有100GB的云服务器,在华北-北京四购置400GB的云服务器备份存储库A,并将该云服务器绑定至存储库A中。则收取400GB的云服务器备份存储库费用。 【案例二】 部署数据库等应用云服务器按需计费实例: 例如某用户有100GB的部署数据库的云服务器,在华北-北京四购置800GB的数据库服务器备份存储库A,并将该云服务器备份绑定至存储库A中。则收取800GB的数据库服务器备份存储库费用。 【案例三】 将备份跨区域复制至其他区域按需计费实例: 某用户在华北-北京四购买容量为100GB的云服务器备份存储库A,其中备份数据占用40GB存储库空间。该用户在华南-广州区域购买了容量为200GB的复制存储库B,并将存储库A复制至华南-广州区域复制存储库B中,不使用加速。则收取100GB云服务器备份存储库、200GB复制存储库的存储库容量费和40GB的跨区域复制流量费。
  • 欠费 产生欠费的可能情况: 购买按需计费模式的存储库后账户余额不足。 复制备份产生的流量费大于账户余额。 欠费后的服务状态和操作受限说明: 如果账号欠费,进入保留期后您的存储库和备份数据仍会保留,您也可以继续查看备份数据,但不可以进行创建备份、添加标签等操作。如超出保留期仍未缴清欠款,您的数据将自动被系统释放且无法恢复。关于欠费还款说明请参考欠费还款。 关于保留期时长等更多详细介绍,请参见保留期。
  • 计费模式 云备份存储库的计费模式包括按需计费和包年包月套餐。用户可以根据实际需求选择存储库的计费模式。 按需计费 按实际使用的时长收费,以小时为单位,每小时整点结算,不设最低消费标准。 包年包月 您也可以通过包年包月的方式,提前购买使用额度和时长,获取更多的优惠。 除存储库外,CBR的跨区域复制流量可以通过购买复制流量套餐包,获取更多优惠。如未购买套餐包,则使用按需计费。 详细的服务资费费率标准请参见产品价格详情中“云备份”的内容。 同时,推荐您使用云备份的价格计算器,帮助您快速完成资源包选择及价格预估。
  • 计费项 云备份计费项包括存储费和流量费,存储费根据存储库的不同进行收取。详细的计费项目如下所示: 表1 云备份计费项 资费项 计费项 计费项说明 适用的计费模式 计费公式 存储费 云硬盘备份存储库 备份云硬盘时,需要购买云硬盘备份存储库用于存放云硬盘产生的备份。 计费因子:存储库容量。 按需计费 包年包月 按需计费:存储库每GB单价 *存储库容量* 购买时长 包年/包月:详细的资费项费率标准请参见产品价格详情中“云备份”的内容。 云服务器备份存储库 备份普通云服务器(不包含数据库等应用)时,需要购买云服务器备份存储库用于存放云服务器产生的备份。 计费因子:存储库容量。 按需计费 包年包月 SFS Turbo备份存储库 备份SFS Turbo文件系统时,需要购买SFS Turbo备份存储库用于存放SFS Turbo文件系统产生的备份。 计费因子:存储库容量。 按需计费 包年包月 数据库服务器备份存储库 备份部署了数据库等应用的云服务器时,需要购买数据库服务器备份存储库用于存放数据库服务器备份产生的备份。 购买方式:在创建云服务器备份存储库时,勾选“启用数据库备份”。更多关于数据库服务器备份的介绍,请参见数据库服务器备份概述。 计费因子:存储库容量。 按需计费 包年包月 混合云备份存储库 备份用户云下数据中心的VMware虚拟机、本地文件目录时,需要购买混合云备份存储库用于存放云下IDC产生的备份。 计费因子:存储库容量。 按需计费 包年包月 云桌面备份存储库 备份云桌面时,需要购买云桌面备份存储库用于存放云桌面产生的备份。 计费因子:存储库容量。 按需计费 包年包月 复制存储库 使用跨区域复制备份功能时,在复制的目标区域购买。 计费因子:存储库容量。 按需计费 包年包月 专属云备份存储库 专属云客户可选择将数据备份到专属云备份存储库中。 计费因子:存储库容量 按需计费 包年包月 流量费 公网流出流量 使用混合云备份的云上备份恢复云下IDC时,会产生公网流出流量。 限时免费 限时免费 跨区域复制流量 在进行跨区域复制备份/存储库时,会在源区域产生跨区域复制流量。 计费因子:存储库容量、流量大小。 按需计费 按需计费:跨区域复制流量 * 每GB单价 详细的资费项费率标准请参见产品价格详情中“云备份”的内容。
  • 备份机制 云备份的云内备份均为块级备份,支持文件级备份。首次备份为全量备份,备份资源已使用空间。如某磁盘大小为100GB,已使用空间为40GB,则备份的是40GB的已使用空间。后续备份均为增量备份,备份上次备份后变化的数据,缩短备份时长、节约备份空间。删除备份时,仅删除不被其他备份依赖的数据块,不影响使用其他备份进行恢复。无论是全量还是增量备份,都可以快速、方便地将数据恢复至备份所在时刻的状态。 云备份会在备份过程中自动创建快照并且为每个磁盘保留最新的快照。如果该磁盘已备份,再次备份后会自动将旧快照删除,保留最新的快照。 云备份通过与对象存储服务的结合,将数据备份到对象存储中,高度保障用户的备份数据安全。
  • 备份方式 云备份提供两种配置方式,一次性备份和周期性备份。一次性备份是指用户手动创建的一次性备份任务。周期性备份是指用户通过创建备份策略并绑定存储库的方式创建的周期性备份任务。 云备份的两种配置方式对比如表2,可根据实际情况选择适合的配置方式。 表2 两种配置方式对比 对比项 一次性备份 周期性备份 备份策略 不需要 需要 备份次数 手动执行一次性备份 根据备份策略进行周期性备份 备份名称 支持自定义,默认为“manualbk_xxxx” 系统自动生成,默认为“autobk_xxxx” 备份方式 默认首次全量备份,后续增量备份 默认首次全量备份,后续增量备份 建议使用场景 资源进行操作系统补丁安装、升级,应用升级等操作之前,以便安装或者升级失败之后,能够快速恢复到变更之前的状态。 资源的日常备份保护,以便发生不可预见的故障而造成数据丢失时,能够使用邻近的备份进行恢复。 另外,用户也可以根据业务情况将两种方式混合使用。例如,根据数据的重要程度不同,可以将所有的资源绑定至同一个存储库,并将该存储库绑定到一个备份策略中进行日常备份保护。其中个别保存有非常重要的数据的资源,根据需要不定期地执行一次性备份,保证数据的安全性。操作流程如下图2所示。 图2 两种配置方式混合使用
  • 云备份简介 云备份(Cloud Backup and Recovery, CBR)为云内的弹性云服务器(Elastic Cloud Server, ECS)、云耀云服务器(Hyper Elastic Cloud Server,HECS)、裸金属服务器(Bare Metal Server, BMS)(下文统称为服务器)、云硬盘(Elastic Volume Service, EVS)、SFS Turbo文件系统、云桌面(Workspace)、云下VMware虚拟化环境和本地文件目录,提供简单易用的备份服务,当发生病毒入侵、人为误删除、软硬件故障等事件时,可将数据恢复到任意备份点。
  • 产品架构 云备份由备份、存储库和策略组成。 备份 备份即一个备份对象执行一次备份任务产生的备份数据,包括备份对象恢复所需要的全部数据。云备份产生的备份可以分为几种类型: 云硬盘备份:云硬盘备份提供对云硬盘的基于快照技术的数据保护。 云服务器备份:云服务器备份提供对弹性云服务器和裸金属服务器的基于多云硬盘一致性快照技术的数据保护。同时,未部署数据库等应用的服务器产生的备份为服务器备份,部署数据库等应用的服务器产生的备份为数据库服务器备份。 SFS Turbo备份:SFS Turbo备份提供对SFS Turbo文件系统的数据保护。 混合云备份:混合云备份提供对线下VMware服务器备份的数据保护。 文件备份:文件备份提供对云上服务器或用户数据中心虚拟机中的单个或多个文件的数据保护,无需再以整机或整盘的形式进行备份。 云桌面备份:云桌面备份提供对云桌面的数据保护。 存储库 云备份使用存储库来存放备份。创建备份前,需要先创建至少一个存储库,并将服务器或磁盘绑定至存储库。服务器或磁盘产生的备份则会存放至绑定的存储库中。 不同类型的备份对象产生的备份需要存放在不同类型的存储库中。 其中云服务器备份、SFS Turbo备份和混合云备份支持备份数据冗余策略,支持备份数据在多个AZ进行存放,保证备份数据的可靠性。 策略 策略分为备份策略和复制策略。 备份策略:需要对备份对象执行自动备份操作时,可以设置备份策略。通过在策略中设置备份任务执行的时间、周期以及备份数据的保留规则,将备份存储库绑定到备份策略,可以为存储库执行自动备份。 复制策略:需要对备份或存储库执行自动复制操作时,可以设置复制策略。通过在策略中设置复制任务执行的时间、周期以及备份数据的保留规则,将备份存储库绑定到复制策略,可以为存储库执行自动复制。复制产生的备份需要存放在复制存储库中。 图1 云备份产品架构
  • 几种备份的差异 表1 几种备份差异 对比维度 云服务器备份 云硬盘备份 SFS Turbo备份 云桌面备份 混合云备份 文件备份 备份/恢复对象 服务器中的所有云硬盘(系统盘和数据盘) 指定的单个或多个磁盘(系统盘或数据盘) 弹性文件服务中的SFS Turbo文件系统 云桌面整个系统,包括所有的磁盘 可以同步云下服务器备份数据,可以将云下数据恢复至云端服务器 云上服务器或用户数据中心虚拟机中的单个或多个文件 推荐场景 需要对整个云服务器进行保护 系统盘没有个人数据,因而只需要对部分的数据盘进行备份 需要对文件系统的数据进行保护 需要对云桌面进行保护 需要在云上对云下服务器的备份数据进行管理,在云上使用云下数据恢复服务器等 需要将单个或多个文件备份上云,并且可以使用备份快速恢复数据 优势 备份的同一个服务器下的所有磁盘数据具有一致性,即同时对所有云硬盘进行备份,不存在因备份创建时间差带来的数据不一致问题 保证数据安全的同时降低备份成本 备份数据与文件系统分开存放,可以使用备份创建新的文件系统 备份数据与云桌面分开存放,可以使用备份恢复云桌面的数据 云下数据可以用于在云上搭建新的业务,将数据在云上备份 无需再以整机或整盘的形式进行备份,降低备份成本
  • 查看作业详情 在“SQL作业”页面,选中一条作业,单击该作业对应的,可查看该条作业的详细信息。 不同类型的作业,显示的作业详情不同。作业详情根据作业类型、状态和配置选项不同显示可能存在差异,具体以实际界面显示为准。以导入数据作业,建表作业和查询作业为例说明。其他作业类型支持查看的详细信息请以控制台信息为准。 导入数据(load data)作业(作业类型:IMPORT),包括以下信息:队列,作业ID,用户名,类型,状态,执行语句,运行时长,创建时间,结束时间,参数设置,标签,结果条数,已扫描数据,扫描数据条数,错误记录条数,存储路径,数据格式,数据库,表,表头,分隔符,引用字符,转义字符,日期格式,时间戳格式,CPU累计使用量,输出字节。 建表(create table)作业(作业类型:DDL),包括以下信息:队列,作业ID,用户名,类型,状态,执行语句,运行时长,创建时间,结束时间,参数设置,标签,结果条数,已扫描数据,数据库。 查询(select)作业(作业类型:QUERY),包括以下信息:队列,作业ID,用户名,类型,状态,执行语句,运行时长,创建时间,结束时间,参数设置,标签,结果条数(运行成功,可导出结果),已扫描数据,执行用户,结果状态(运行成功,可查看结果;运行失败,显示失败原因),数据库,CPU累计使用量,输出字节。 CPU累计使用量:作业执行过程的CPU消耗总和,单位:Core*ms 输出字节:作业执行完成后输出的字节数。
  • 跨AZ队列 可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。更多内容请参考《区域和可用区》。 DLI跨AZ队列能够为用户提供跨区域容灾的能力,提高计算的可靠性,用户可以在单AZ不可用的情况下,持续使用DLI服务。适用于用户对队列可靠性要求较高的场景。 DLI跨AZ队列是指在两个不同AZ下建立相同的计算资源,例如,用户1需要1400CUs的计算资源,那么用户1可以在创建队列的时候选择1400CUs的计算资源并且勾选跨AZ选项,DLI将为用户1创建两个不同AZ下的专属1400CUs计算资源,在一个AZ不可用的情况下,另外一个AZ可以正常的处理用户1的计算任务。 目前仅支持包年包月队列和按需专属队列进行跨AZ双活,不支持普通按需队列和default队列。 在购买队列时勾选跨AZ选项后,计费将为单AZ模式下的2倍。
  • 队列弹性扩缩容定时任务 DLI提供了队列弹性扩缩容定时任务的功能。用户在创建队列后,可根据需要进行弹性扩缩容定时任务。 根据业务情况,设置队列自动扩缩容的时间,由系统定时触发队列扩缩容。具体操作请参考弹性扩缩容定时任务。 按需队列扩容/缩容后仍然按需计费,即根据CU时计费。目前只支持64CU以上队列进行定时弹性扩缩容任务,即队列最小值为64CU。 包年包月队列只支持弹性扩容定时任务,扩容根据“预付费 + 按需CU时”计费,即包年包月规格之外的资源按需计费。目前只支持64CUs以上包年包月队列进行定时弹性扩容任务。 新创建的队列需要运行作业后才可进行扩缩容。
  • 队列管理页面 队列管理主要包括如下功能: 队列权限管理 创建队列 删除队列 修改队列网段 规格变更 弹性扩缩容 弹性扩缩容定时任务 测试地址连通性 创建消息通知主题 队列标签管理 DLI作业执行失败需要通过SMN发送通知消息,因此需要获得访问和使用SMN(消息通知服务)的SMN Administrator权限。 队列管理页面显示用户创建所有的队列和服务预置的default队列,您可以查看队列容量、计费方式等信息。队列列表默认按创建时间排列,创建时间最近的队列显示在最前端。 表2 队列管理参数 参数 参数说明 名称 队列的名称。 类型 队列的类型。 SQL队列 通用队列 Spark队列(兼容老版本) 规格 队列大小,单位:CUs。 按需队列:购买按需队列时的队列大小。 包年包月队列:购买包年包月队列时的队列大小。 CUs是队列的计价单位。 1CUs=1Core 4GMem 。不同规格的队列对应的计算能力不一样,规格越高计算能力越好。 实际CUs 当前队列实际大小值。 弹性扩缩容 定时扩缩容的目标CU值,或当前规格CU值的最大值和最小值。 计费模式 SQL作业有两种计费方式。 按需计费 按需计费有三种方式,三种方式是互斥的,可根据需要选择其中一种。 按需/CU时:按照CU时收取计算费用。建议选择CU时套餐包。 按需/SQL计算量:按照用户每个作业的数据扫描量收取计算费用。建议选择扫描量套餐包。 说明: 只有default队列按照数据扫描量收取计算费用,用户自定义队列均按照CU时收取计算费用。 按需/专属资源模式:自创建起按照自然小时收取计算费用。该模式下可创建增强型跨源连接。 包年包月: 包年 包月 用户名 队列所有者。 企业项目 显示所建队列所属的企业项目。如果不属于企业项目,则显示“--”。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。关于如何设置企业项目请参考《企业管理用户指南》。 说明: 只有开通了企业管理服务的用户才显示该参数。 描述 创建队列时,对队列的描述。如果无描述,则显示“--”。 操作 删除:删除所选队列。如果队列中有正在提交或者正在运行的作业,将不支持删除操作。 说明: 只有按需计费可以删除队列。 权限管理:查看队列对应的用户权限信息以及对其他用户授权。 更多 重启:强制重启队列。 说明: 只有SQL队列有“重启”操作。 分配至项目:修改所选队列所属的企业项目。 说明: 只有开通了企业管理服务的用户才显示该参数。关于如何设置企业项目请参考《企业管理用户指南》。 弹性扩缩容:可以根据需要选择“扩容”或“缩容”,目标值大小必须为16CU的整数倍。 说明: 只有“按需/CU时”和“按需/专属资源模式”计费队列可以进行弹性扩缩容。 规格变更:可以根据需要选择“扩容”或“缩容”,目标值大小必须为16CU的整数倍。 说明: 只有“包年包月”计费队列可以进行规格变更。 弹性扩缩容定时任务:可以根据业务周期或使用情况,在不同的时间或周期内设置不同的队列大小,系统将定时自动进行“扩容”或“缩容”。目标值大小必须为16CU的整数倍。 续费/退订:根据需要选择续费或者退订。 说明: 只有包年包月计费有“续费/退订”操作。 修改网段:使用DLI增强型跨源时,DLI队列网段与数据源网段不能重合,可根据需要进行修改。 建议使用网段: 10.0.0.0~10.255.0.0/8~24 172.16.0.0~172.31.0.0/12~24 192.168.0.0~192.168.0.0/16~24 说明: 只有包年包月队列可以修改网段。 测试地址连通性:测试队列到指定地址是否可达,支持域名和ip,可指定端口。 标签:添加、编辑或删除标签。
  • 约束限制 DLI服务预置了名为“default”的队列供用户体验,资源的大小按需分配。运行作业时按照用户每个作业的数据扫描量(单位为“GB”)收取计算费用。 队列类型: SQL类型队列:SQL队列支持提交Spark SQL作业。 通用队列:支持Spark程序、Flink SQL、Flink Jar作业。 不支持队列类型切换,如需使用其他队列类型,请重新购买新的队列。 不支持切换队列的计费模式。 队列不支持切换区域。 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 创建队列时,仅支持包年包月队列和按需专属队列选择跨AZ双活,且跨AZ的队列价格为单AZ模式下的2倍。 新创建的队列需要运行作业后才可进行扩缩容。 DLI队列不支持访问公网。 如有访问公网诉求请您参考配置DLI 队列与公网网络联通。
  • 计算资源和存储资源的区别 表1 计算资源和存储资源的区别 资源名称 获取方式 计费方式 主要作用 计算资源 在DLI管理控制台创建队列。 按扫描数据量或按CU时计费。 执行查询。 存储资源 DLI服务自带5G配额。 按存储数据量计费。 存储数据库和DLI表。 存储资源是DLI服务内部的存储资源,用于存储数据库和DLI表,体现用户存储在DLI中的数据量。 存储资源无需创建,DLI默认提供5G配额,如果需要更大配额可提交工单申请。 DLI服务预置了名为“default”的队列,资源的大小是按需分配的。用户在不确定所需队列容量或没有可创建队列空间的情况下,可以使用该队列执行作业。 “default”队列只用于用户体验,所有人共用,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。建议使用自建队列执行作业。
  • 为已有权限的用户或项目修改权限 某用户或项目已具备此数据库的一些权限时,可为此用户或项目赋予或取消权限。 当“权限设置”中的选项为灰色时,表示对应账号不具备修改此数据库的权限。可以向管理员用户、数据库所有者等具有赋权权限的用户申请数据库的“赋权”和数据库权限的“回收”权限。 在“用户权限信息”列表中找到需要设置权限的用户: 如果用户为子用户,可进行“权限设置”。 如果用户为管理员用户,只能查看“权限信息”。 在“项目权限信息”列表中找到需要设置权限的项目,进行“权限设置”。 在子用户或项目的“操作”栏中单击“权限设置”,可弹出数据库“权限设置”对话框。 数据库用户或项目详细的权限描述请参考表1。 单击“确定”,完成权限设置。
  • 回收某用户或项目具备的所有权限 回收某用户具备的所有权限,或回收某项目具备的所有权限。 在“用户权限信息”区域的用户列表中,选择需要回收权限的子用户,在“操作”栏中单击“回收”,在“回收用户权限”对话框中单击“确定”后,此用户将不具备数据库的任意权限。 用户为管理员用户时,“回收”为灰色,表示不可回收该用户的权限。 在“项目权限信息”区域的项目列表中,选择需要回收权限的项目,在“操作”栏中单击“回收”,在“回收项目权限”对话框中单击“确定”后,此项目将不具备数据库的任意权限。
  • 为新用户或项目赋予权限 为新用户或新项目赋予权限,新用户或新项目指之前不具备此数据库权限的用户或项目。 在数据库权限管理页面右上角单击“授权”。 在“授权”弹出框中,选择“用户授权”或“项目授权”,填写需要授权的用户名或选择需要授权的项目,选择相应的权限。具体权限说明请参考表1。 图1 数据库用户授权 图2 数据库项目授权 表1 参数说明 参数 描述 授权对象 选择“用户授权”或“项目授权”。 用户名或项目名 选择“用户授权”时,输入数据库新增用户对应的IAM用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 选择“项目授权”时,选择当前区域下需要授权的项目。 说明: 选择“项目授权”时: 如果赋权选择不可继承权限,则在该项目中无法查看对应数据库中表的信息。 如果赋权选择可继承权限,则在该项目中可查看该数据库内所有表的信息。 非继承权限 选中权限即对用户或项目进行赋权,取消勾选即对用户权限或项目权限进行回收。 非继承权限只作用于当前数据库。 同时适用于“用户授权”和“项目授权”的权限包括: 删除数据库:删除当前数据库。 创建表:在当前数据库创建表。 创建视图:在当前数据库创建视图。 将SQL语句解释为执行计划:执行explain语句。 创建角色:在当前数据库创建角色。 删除角色:删除当前数据库中的角色。 显示角色:显示当前用户的角色。 绑定角色:在当前数据库绑定角色。 解除角色绑定:在当前数据库解除角色绑定。 显示所有角色和用户的绑定关系:显示所有角色和用户的绑定关系。 创建函数:在当前数据库创建函数。 删除函数:删除当前数据库中的函数。 显示所有函数:显示当前数据库中的所有函数。 显示函数详情:显示当前函数详情。 只适用于“用户授权”的权限包括: 显示所有表:显示当前数据库下的所有表。 说明: 没有授权“显示所有表”权限,则该数据库在库表管理中不显示该数据库下的所有表。 显示数据库:显示当前数据库的信息。 说明: 没有授权“显示数据库”权限,则该数据库在库表管理中不显示。 继承权限 选中权限即对用户进行赋权,取消勾选即对用户权限进行回收。 继承权限可作用到当前数据库及其所有的表上,但是表中的列只能继承其中的查询权限。 以下权限同时适用于“用户授权”和“项目授权”。 删除表:删除数据库下的表。 查询表:在当前表内查询。 显示表信息:显示当前表的信息。 插入:在当前表内插入数据。 添加列:在当前表中增加列。 重写:在当前表内插入覆盖数据。 赋权:用户可将数据库的权限赋予其他用户或项目。 回收:用户可回收其他用户或项目具备的此数据库的权限,但是不能回收数据库所有者的权限。 添加分区:在分区表中添加新的分区。 删除分区:删除分区表中已有的分区。 设置分区的路径:将分区表中的某个分区路径设置为用户指定的OBS路径。 重命名表分区:对分区表中的分区重新命名。 重命名表:对表重新命名。 恢复表分区:从文件系统中导出分区信息保存到元数据中。 显示所有分区:显示分区表中的所有分区。 查看其他用户具备的权限:查看其他用户或项目具备的当前数据库的权限。 单击“确定”,完成授权。
  • 使用须知 在Flink作业进行动态扩缩时如果队列资源被强占,剩余资源不满足作业启动所需资源则可能存在作业无法正常恢复的情况。 在Flink作业进行动态扩缩时后台作业需要停止继而从savepoint恢复,因此未恢复成功前,作业无法处理数据。 因扩缩容过程中需要触发savepoint,因此必须配置obs桶,并保存日志,同时请注意开启checkpoint。 扩缩容检测周期不要设置过小,避免频繁启停作业。 扩缩容作业恢复过程中的时间长短受savepoint的大小影响,如果保存点较大,可能恢复时间较慢。 如果需要调整动态扩缩容的配置项,则需要停止作业进行编辑,并提交运行才能生效。
  • 回收某用户或项目具备的所有权限 回收某用户具备的所有权限,或回收某项目具备的所有权限。 在“用户权限信息”区域的用户列表中,选择需要回收权限的子用户,在“操作”栏中单击“回收”,确定后,此用户将不具备表的任意权限。 以下情况中,“回收”为灰色,表示不可回收该用户的权限。 用户为管理员用户 子用户是表的所有者 子用户只有可继承权限 在“项目权限信息”区域的项目列表中,选择需要回收权限的项目,在“操作”栏中单击“回收”,确定后,此项目将不具备表的任意权限。 当项目只有可继承权限时,“回收”为灰色,表示不可回收该项目的权限。
  • 为新用户或项目赋予权限 为新用户或项目赋予权限,新用户或项目指之前不具备此表任何权限的用户或项目。 单击表权限管理页面右上角的“授权”按钮。 在弹出的“授权”对话框中选择相应的权限。 DLI表具体权限说明请参考表1。 图2 DLI表用户授权 图3 DLI表项目授权 表1 参数配置 参数 描述 授权对象 选择“用户授权”或“项目授权”。 用户名/项目 选择“用户授权”时,输入表新增用户对应IAM用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 选择“项目授权”时,选择当前区域下需要授权的项目。 说明: 选择“项目授权”时,只能查看被授权的表及其所在数据库的信息。 非继承权限 选中权限即对用户或项目进行赋权,取消勾选即对用户权限或项目权限进行收回。 同时适用于“用户授权”和“项目授权”的权限包括: 查询表:在当前表内查询数据。 显示表信息:显示当前表的信息。 显示创建表语句:显示当前表的创建语句。 删除表:删除当前表。 重命名表:对当前表重新命名。 插入:在当前表内插入数据。 重写:在当前表内插入覆盖数据。 添加列:在当前表中增加列。 赋权:当前用户可将表的权限赋予其他用户。 回收:当前用户可回收其他用户具备的此表的权限,并且不能回收表所有者的权限。 查看其他用户具备的权限:查看其他用户具备的当前表的权限。 分区表还具有以下权限: 删除分区:删除分区表中的分区。 显示所有分区:显示分区表中的所有分区。 只适用于“用户授权”的权限包括: 显示表:显示当前表。 OBS表具体权限说明请参考表2。 图4 OBS表用户授权 图5 OBS表项目授权 表2 参数配置 参数 描述 授权对象 选择“用户授权”或“项目授权”。 用户名/项目 选择“用户授权”时,输入表新增用户对应IAM用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 选择“项目授权”时,选择当前区域下需要授权的项目。 说明: 选择“项目授权”时,只能查看被授权的表及其所在数据库的信息。 非继承权限 选中权限即对用户或项目进行赋权,取消勾选即对用户权限或项目权限进行收回。 同时适用于“用户授权”和“项目授权”的权限包括: 显示创建表语句:显示当前表的创建语句。 显示表信息:显示当前表的信息。 查询表:在当前表内查询数据。 删除表:删除当前表。 重命名表:对当前表重新命名。 插入:在当前表内插入数据。 重写:在当前表内插入覆盖数据。 添加列:在当前表中增加列。 赋权:当前用户可将表的权限赋予其他用户或项目。 回收:当前用户或项目可回收其他用户或项目具备的此表的权限,并且不能回收表所有者的权限。 查看其他用户具备的权限:查看其他用户具备的当前表的权限。 分区表还具有以下权限: 添加分区:在分区表中添加新的分区。 删除分区:删除分区表中的任意分区。 设置分区的路径:将分区表中的某个分区路径设置为用户指定的OBS路径。 重命名表分区:对分区表中的分区重新命名。 恢复表分区:从文件系统中导出分区信息保存到元数据中。 显示所有分区:显示分区表中的所有分区。 只适用于“用户授权”的权限包括: 显示表:显示当前表。 View具体权限说明请参考表3。 View只能通过SQL语句进行创建,不能通过“创建表”页面进行创建。 图6 View用户授权 图7 View项目授权 表3 参数配置 参数 描述 授权选择 选择“用户授权”或“项目授权”。 用户名/项目 选择“用户授权”时,输入表新增用户对应IAM用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 选择“项目授权”时,选择当前区域下需要授权的项目。 说明: 选择“项目授权”时,只能查看被授权的表及其所在数据库的信息。 非继承权限 选中权限即对用户或项目进行赋权,取消勾选即对用户权限或项目权限进行收回。 同时适用于“用户授权”和“项目授权”的权限包括: 显示表信息:显示当前表的信息。 显示创建表语句:显示当前表的创建语句。 删除表:删除当前表。 查询表:在当前表内查询数据。 重命名表:对当前表重新进行命名。 赋权:当前用户或项目可将表的权限赋予其他用户或项目。 回收:当前用户或项目可回收其他用户或项目具备的此表的权限,并且不能回收表所有者的权限。 查看其他用户具备的权限:查看其他用户具备的当前表的权限。 只适用于 显示表:显示当前表。 单击“确定”,完成表权限设置。
  • 为已有权限的用户或项目修改权限 某用户或项目已具备此表的一些权限时,可为此用户或项目赋予或回收权限。 当“权限设置”中的选项为灰色时,表示您不具备修改此表的权限。可以向管理员用户、表所有者等具有赋权权限的用户申请表的“赋权”和表权限的“回收”权限。 在“用户权限信息”列表中找到需要设置权限的用户: 如果用户为子用户且不是表的所有者,可进行“权限设置”。 若用户为管理员用户或表的所有者,只能查看“权限信息”。 在“项目权限信息”列表中找到需要设置权限的项目,进行“权限设置”。 在子用户或项目的“操作”栏中单击“权限设置”,可弹出表“权限设置”对话框。 DLI表用户或项目权限说明请参考表1。 OBS表用户或项目权限说明请参考表2。 View用户或项目权限说明请参考表3。 单击“确定”,完成表权限设置。
  • 注意事项 如果需要查看主账号下数据库中的表,需要对当前子账号用户授权(显示权限),具体请参考常用操作与系统权限关系。 如果表被删除后,再重新创建同名的表,表权限不会继承,需要对操作该表的用户和项目重新进行权限赋予。 例如,testTable表给用户A赋予了删除表的权限,后续执行了删除testTable表,并重新创建了testTable表。如果希望A用户继续保留删除testTable表的权限,则需要重新对A用户赋予该权限。
  • 使用须知 首次进入SQL编辑器,页面会提示设置DLI作业桶。该桶用于存储使用DLI服务产生的临时数据,例如:作业日志等。 如果不创建该桶,将无法查看作业日志。桶名称为系统默认。 在OBS管理控制台页面通过配置桶的生命周期规则,可以实现定时删除OBS桶中的对象或者定时转换对象的存储类别。 具体操作请参考通过配置生命周期规则。 SQL编辑器页面可以批量执行SQL语句。 作业编辑窗口常用语法采用不同颜色突出显示。 支持单行注释和多行注释。以“--”开头,后续内容即为注释。
  • “执行历史(最近一天)”和“查看结果” SQL作业执行完成后可以在编辑区域下方查看执行历史和执行结果。 执行历史(最近一天) 可以通过以下方式筛选执行历史: 在右上角选择队列名称或输入执行语句 在列表中选择创建时间顺序/倒序排列 在列表中选择作业状态 图3 SQL作业执行历史 表4 SQL作业执行历史说明 区域 描述 执行历史(最近一天) 执行历史显示最近一天提交的作业的信息。包括: 队列:队列名称 用户名:执行SQL的用户 类型:SQL作业的类型 状态:SQL作业的执行状态 执行语句 创建时间 操作: 编辑:重新编辑SQL语句 SparkUI:跳转至SparkUI查看SQL语句执行进程 说明: 新建队列,运行作业时会重新拉集群,大概需要10分钟左右才能拉好集群,在集群创建好之前单击SparkUI会导致缓存空的projectID,从而导致无法查看SparkUI。建议使用专属队列,集群不会被释放,就不会有该问题,或者提交作业后等一段时间再查看SparkUI,确保集群已经拉好了,不要立即单击SparkUI。 目前DLI配置SparkUI只展示最新的100条作业信息。 default队列下运行的作业或者该作业为同步作业时不支持该操作。 更多:以下操作根据SQL类型和运行状态的不同显示会有差异,请以实际界面为准。 终止:正在运行或提交中的SQL支持终止操作。 重新执行:重新执行该SQL语句。 查看结果:QUERY作业支持查看作业执行结果。 导出结果:QUERY作业这次导出作业运行结果到指定OBS路径下。 归档日志:SQL语句运行日志存储的OBS路径。 异步DDL和QUERY语句支持将结果下载到本地 说明: default队列下运行的作业或者该作业为同步作业时不支持归档日志操作。 异步DDL和QUERY语句支持将结果下载到本地。操作如下: 单击执行成功的异步DDL或QUERY语句“操作”列中的“下载到本地”,在提示窗口单击“确认”。此时,“操作”列中的“下载到本地”将变为“立即下载”。 单击“立即下载”,将对应结果下载到本地。
共100000条