华为云用户手册

  • 测试连接 用户通过该功能试验数据连接器与数据源之间连接状态。 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“数据源管理”,进入“数据源管理”界面。 在数据源列表,选择待测试的数据源,单击右侧“操作”列的“测试连接”,进行连接验证。
  • 编辑数据源 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“数据源管理”,进入“数据源管理”界面。 选择待编辑的数据源,单击右侧“操作”列的“编辑”,进入编辑界面,根据界面提示修改基本信息和连接配置信息。 参数修改完成后,单击“测试连接”,测试数据源是否可以和EDS进行正常的连通。 若测试结果为“测试连接成功”,则继续下一步。 若测试结果为“测试连接失败”,则检查数据源状态和数据源连接参数配置,然后单击“测试连接”,直到连接成功为止。 测试成功后,单击“保存”,返回数据源列表界面。
  • 操作步骤 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“数据源管理”,单击数据源列表上方“接入数据源”,进入“接入数据源”界面,设置MRS_HIVE数据源的基本信息,具体参数如表1所示。 表1 参数说明 参数 说明 数据源类型 MRS_HIVE:MRS_HIVE是一个基于HDFS和MapReduce架构的数据仓库,用户可以读取存放在MRS_HIVE的业务数据,将数据上传到EDS上。 数据源名称 自定义数据源名称,建议按照一定的命名规则填写任务名称,方便快速识别和查找。要求如下: 长度范围为1位~50位。 名称由中文、英文、数字、下划线(_)和中划线(-)组成。 只能以中文或者英文开头。 数据源描述 用户可以根据需要在文本框中输入对该数据源的描述信息。 设置完成后,配置数据源连接参数,具体参数如表2所示。 表2 参数说明 参数 说明 连接地址 MRS_HIVE数据库的IP地址。 端口 MRS_HIVE数据库的端口号。 域名 MRS_HIVE数据库的域名。 数据库名称 MRS_HIVE数据库服务的名称。 用户名 MRS_HIVE的机机类型用户名。 keytab MRS_HIVE配置文件。配置文件获取请参考下方获取MRS Hive配置文件。 krb5 MRS_HIVE配置文件。配置文件获取请参考下方获取MRS Hive配置文件。 获取MRS Hive配置文件: 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件,在MRS Manager下载用户认证文件,解压后得到“krb5.conf”和“user.keytab”文件。 若是客户端网络连接不通,可以将hosts文件中的私网IP替换成EDS公网IP,具体请参见:配置Windows通过EIP访问普通模式集群Hive。 连接参数配置完成后,单击“测试连接”,测试数据源是否可以和EDS进行正常的连通。 若测试结果为“测试连接成功”,则继续下一步。 若测试结果为“测试连接失败”,则检查数据源状态和数据源连接参数配置,然后单击“测试连接”,直到连接成功为止。 测试成功后,单击“保存”,返回数据源列表界面。
  • 下架offer 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“数据offer”,选择待下架的数据offer,单击“操作”列的“下架”。 在弹出的确认框中,单击“确定”。 该offer状态变为“已下架”,从数据市场中下架,不再显示。 当用户订阅offer且审批流程未结束时,该offer无法下架。
  • 查看offer详情 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“数据offer”,在offer列表中,单击“操作”列的“详情”,查看offer的详细信息。 在数据offer详情中,单击“操作”列的“查看”,查看数据资源文件的详细信息,目前只支持查看Excel和PDF格式的文件。
  • 删除offer 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“数据offer”,然后删除offer。 删除单个offer。 选择上架失败的数据offer,单击“操作”列的“删除”。 在弹出的确认框中,单击“确定”。 批量删除多个offer。 勾选上架失败的数据offer,单击页面左上角“删除”。 在弹出的确认框中,单击“确定”,多个数据offer删除。 当前仅支持对“上架失败”的offer进行删除操作。
  • 更多操作 连接器购买完成后,实例管理员还可以执行如表1所示的操作。 表1 更多操作 操作 说明 禁用连接器 根据业务需求,对于当前不再使用的连接器,用户可以在交换数据空间实例控制台的“连接器管理”对连接器进行禁用。 在“连接器管理”界面,选择待禁用的连接器,单击右侧“操作”列的“禁用”,可以将连接器禁用。 恢复连接器 禁用的连接器后续可以恢复,连接器中数据不受影响。 在“连接器管理”界面,选择待恢复的连接器,单击右侧“操作”列的“恢复”,可以将连接器恢复。 删除连接器 将连接器进行删除,释放占用的资源,删除连接器之后,连接器中的数据将会被删除且无法找回,实例管理员只可以删除自己开通的实例。 在“连接器管理”界面,选择“赠送版”的连接器,单击右侧“操作”列的“删除”,可以将连接器删除。 退订连接器 退订连接器,停止计费,连接器中的数据在退订后无法找回,实例管理员只可以退订自己购买的实例。 在“连接器管理”界面,选择“基础版”的连接器,单击右侧“操作”列的“退订”,连接器停止计费。 转让连接器 支持将已经创建好的连接器转让给其他用户使用。 在“连接器管理”界面,选择待转让的连接器,单击右侧“操作”列的“转让”,在弹框中选择接收者,接收者进入交换数据空间,签署“数据主权保护倡议”后,即可使用。 扩容连接器 若数据存储容量已用完,可通过“扩容”扩大容量,存放和交换更多的数据。 在“连接器管理”界面,选择“基础版”的连接器,单击右侧“操作”列的“扩容”,进入“扩容连接器”界面,可通过拖动来选择结构化存储容量和非结构化存储容量,或在右侧输入扩容后的数值来完成扩容操作。
  • 查看本连接器操作日志 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“连接器日志”,进入“连接器日志”界面。 单击“连接器日志”界面上方“本连接器操作日志”,在“最热数据”下方按照时间顺序展示被操作的数据名称、数据编码、操作人、操作人连接器、操作时间和操作动作。 本连接器操作日志记录了本连接器内对数据合约的创建、终止和审批的操作记录,以及对归档数据的下载、查看、加工和加工另存的操作记录。
  • 查看本连接器全部用户排名 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“连接器日志”,进入“连接器日志”界面。 单击“连接器日志”界面上方“本连接器操作日志”,单击“最热用户”右侧“全部用户排名”,进入“全部用户排名界面”,用户可查看排名、用户名称和操作次数。
  • 查看本连接器全部数据排名 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“连接器日志”,进入“连接器日志”界面。 单击“连接器日志”界面上方“本连接器操作日志”,单击“最热数据”右侧“全部数据排名”,进入“全部数据排名界面”,用户可查看排名、名称和操作次数。
  • 相关操作 创建连接器分组后,可对连接器分组进行如表2的操作。 表2 更多操作 操作 说明 查看连接器分组详情 选择对应连接器分组,单击“操作”列的“详情”,弹出“连接器分组详情”页面,可查看连接器分组的基本信息以及分组内连接器信息。 编辑连接器分组 选择对应连接器分组,单击“操作”列的“编辑”,在“编辑连接器”对话框中,对如表1参数进行修改,还可对分组中的连接器进行增加和删除,修改完成后,单击“保存”,编辑连接器分组成功。 删除连接器分组 选择对应连接器分组,单击“操作”列的“删除”,弹出“确认删除”对话框,单击“确定”,删除连接器分组成功。
  • 删除资源 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“数据目录”,在“数据目录”界面,选择“我的数据”一栏。 单击待删除的资源文件或文件夹右侧“操作”列的“删除”。 在弹出的提示窗口,单击“确定”,完成删除。
  • 查看任务记录 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“数据目录”,单击界面右上角的“任务记录”,查看任务名称、任务描述、任务状态、驱动类型、创建人和创建时间等详细信息。只可查看从数据源导入数据,驱动类型是CDM的任务。
  • 操作步骤 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“应用实例”,进入“应用实例”界面。 单击实例上方“注册应用实例”,在“注册应用实例”窗口中填写以上应用的相关参数信息,如表1所示。 表1 注册无连接应用参数说明 参数 说明 应用 选择“PDF查看”或“LUCKY_EXCEL”,注册不同应用。 名称 填写应用实例的名称,请按照一定的命名规则填写文件名称,方便后续在应用实例中进行区分。 描述 用户可以根据需要在文本框中输入对该应用实例的描述信息。 图标 用户可以根据需要选择合适的应用图标,目前仅支持PNG、JPEG格式,最大不超过2.5MB,或者使用默认图标。 确认参数信息无误,单击“确定”。
  • 使用流程 图1 通过数据市场交换资源流程 数据提供方添加数据资源到EDS数据目录下,请参见步骤1:新增资源。 将数据资源上架到数据市场,请参见步骤2:上架offer。 数据提供方的审批人确认该申请无误,审批上架,请参见步骤3:审批offer上架请求。 数据消费方在数据市场搜索所需offer,进行订阅获取数据资源,请参见步骤4:订阅offer。 数据提供方审批人审批数据消费方订阅offer的申请,请参见(可选)步骤5:审批订阅请求。 数据消费方管理接收到的数据资源,请参见步骤6:使用资源。
  • (可选)步骤5:审批订阅请求 如下步骤由数据提供方进行操作。 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面,选择界面左侧导航栏中的“工作台”。 在界面下方选择“我的待办”页签,选择需要审批的“订阅请求”任务,单击“操作”列的“审批”。 在“订阅请求详情”界面中,确认任务的基本信息,确认无误后单击“通过”。 在弹出的“生成合约”对话框中,设置合约基本信息,相关参数说明如表8所示。 表8 参数说明 参数 说明 合约名称 填写合约的名称,根据规划自定义。建议用户按照一定的命名规则填写合约名称,便于在数据合约进行区分。要求如下: 长度范围为1位~100位。 名称由中文、英文、数字、下划线(_)和中划线(-)组成。 只能以中文或者英文开头。 合约描述 填写合约的简单描述信息,非必填项。 设置完成后,单击“提交”,完成订阅请求审批。
  • 步骤4:订阅offer 如下步骤由数据消费方进行操作。 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“数据市场”,在搜索框中输入要搜索的offer。 在数据offer列表界面,搜索框输入要搜索的内容后,筛选条件有“创建人”和“数据提供方”,选择筛选条件可以进一步筛选。 单击想要订阅的offer卡片名称,进入“offer详情”界面,可查看数据的基本信息、使用控制策略和数据列表信息,单击右上角“订阅”。 在“订阅详情”界面,编辑使用控制策略,相关参数说明如表7所示。输入订阅原因后单击右下角“提交”。公开offer直接订阅成功,受控offer等待资源提供方审批。用户可在“连接器”中选择“我的申请”页签查看申请任务的状态。 表7 参数说明 参数 说明 可用操作 数据提供方对数据消费方操作数据的限制方法,通过“约束条件”对查看、加工和下载进一步限制。 查看:用户可以查看资源文件详细信息。 加工:用户可以在预览的时候处理数据资源文件。 下载:用户可以下载数据资源文件到本地。 消费方无法更改操作数据的限制方法。 约束条件 通过When和How many两个方面限制数据消费方对数据的使用。 When:控制使用的时间,包括有效期、截止日期、指定区间、指定区间内之间的间隔时间。当前支持指定时间区间。若不设置,以系统当前时间为初始时间,默认一个月后为截止时间。 How many:首先限制可用操作的次数,默认不输入,则不限制次数。其次限制不同的操作方法使用的应用。 消费方无法更换可用应用。 可见列名(数据集限定控制策略) 不支持消费方更改对列字段的限制。 可见行(数据集限定控制策略) 不支持消费方更改对行字段的限制。 订阅offer时,数据消费方可以在数据上架offer时提供的使用控制策略上申请新的策略,覆盖提供方的策略。目前仅支持申请“可用次数”和“可用期限”。
  • 步骤6:使用资源 如下步骤由数据消费方进行操作。 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“数据目录”,在连接器的“数据目录”界面中,单击左侧导航栏“收到的数据”,进入“收到的数据”界面。 选择“未读”页签,根据合约名称进行搜索,搜索到未接收的数据。 单击资源文件“操作”列的“归档”。 选择指定路径,单击“确认”。 对订阅的数据使用,请参见管理资源。
  • 步骤4:接收交换资源 如下步骤由数据消费方进行操作。 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“数据目录”,选择“收到的数据”,进入“收到的数据”界面。 选择“未读”页签,根据合约名称进行搜索,搜索到未接收的数据。 单击资源文件“操作”列的“归档”。 选择指定路径,单击“确认”。 “收到的数据”尾部显示的数字表示已经收到但未查看的数据数量。
  • 前提条件 已创建GDS-kafka集群。 GDS-kafka集群与目标数据源可以正常通信。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保GDS-kafka集群已绑定EIP、云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 如果目标数据源为云上服务,则网络互通需满足如下条件: GDS-kafka集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保GDS-kafka集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 GDS-kafka集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 必须确保该云服务的实例与集群所属的企业项目必须一致,如果不同,需要修改工作空间的企业项目。 已获取待连接数据源的地址、用户名和密码,且该用户拥有数据导入、导出的操作权限。
  • 创建逻辑集群关联用户并跨逻辑集群查询数据 以系统管理员dbadmin连接数据库,执行以下SQL语句查看逻辑集群创建成功。 1 SELECT group_name FROM PGXC_GROUP; 创建两个用户u1和u2,分别关联逻辑集群lc1和逻辑集群lc2。 1 2 CREATE USER u1 NODE GROUP "lc1" password '{password}'; CREATE USER u2 NODE GROUP "lc2" password '{password}'; 切换到用户u1,创建表t1,并插入数据。 1 2 3 SET ROLE u1 PASSWORD '{password}'; CREATE TABLE u1.t1 (id int); INSERT INTO u1.t1 VALUES (1),(2); 切换到用户u2,创建表t2,并插入数据。 1 2 3 SET ROLE u2 PASSWORD '{password}'; CREATE TABLE u2.t2 (id int); INSERT INTO u2.t2 VALUES (1),(2); 同时使用u2查询u1.t1表。返回结果提示没有权限。 1 SELECT * FROM u1.t1; 切换回系统管理员dbadmin,查询表u1.t1和u2.t2分别创建到了集群lc1和lc2中,分别对应企业的两块业务,实现了基于逻辑集群的数据隔离。 1 2 3 SET ROLE dbadmin PASSWORD '{password}'; SELECT p.oid,relname,pgroup,nodeoids FROM pg_class p LEFT JOIN pgxc_class pg ON p.oid = pg.pcrelid WHERE p.relname = 't1'; SELECT p.oid,relname,pgroup,nodeoids FROM pg_class p LEFT JOIN pgxc_class pg ON p.oid = pg.pcrelid WHERE p.relname = 't2'; 将逻辑集群lc1的访问权限授予用户u2,同时将SCHEMA u1访问权限、表u1.t1访问权限授予用户u2。 1 2 3 GRANT usage ON NODE GROUP lc1 TO u2; GRANT usage ON SCHEMA u1 TO u2; GRANT select ON TABLE u1.t1 TO u2; 划分逻辑集群后,相当于在原来物理集群的基础上,再增加一层逻辑集群(NODE GROUP)的权限隔离。所以跨逻辑集群访问数据,首先要授权用户有逻辑集群(NODE GROUP层)权限,其次是SCHEMA权限,最后是单张表TABLE权限。如果没有授予逻辑集群的权限,会提示类似permission denied for node group xx的错误信息。 再次切换到u2用户,查询u1.t1表,查询成功,逻辑集群既实现了数据隔离,又可以在用户授权后进行跨逻辑集群访问。 1 2 SET ROLE u2 PASSWORD '{password}'; SELECT * FROM u1.t1;
  • CPU管理 目前支持“共享配额”和“专属限额”两种CPU管理方式: CPU共享配额:在CPU系统繁忙的情况下,不同资源池按照共享配额配置分配CPU资源;在CPU系统空闲的情况下,该配置不生效。 CPU专属限额:限制资源池使用的CPU核数上限,无论CPU系统繁忙或者空闲,该资源池上的作业都无法突破该限额配置。 在资源池页面“资源配置”一栏,您可以修改当前资源池的CPU共享配额和专属限额。 共享配额和专属限额的管理方式各有优劣,共享配额的管理方式可以实现CPU资源的充分利用,但是资源池之间隔离不彻底,可能影响查询性能;专属限额的管理方式可以实现CPU资源的绝对隔离,但是在资源池CPU资源空闲时,会造成资源的浪费。 CPU专属限额仅8.1.3及以上集群版本支持。
  • 并发管理 并发,即资源池中的最大查询并发数。并发管理作为运行前管理,用于限制查询并发运行的数量,通过限制查询并发数降低资源争抢,保证资源的有序高效利用。 在资源池页面“短查询配置”一栏,您可以通过开关键决定是否开启短查询加速功能。如果需要对简单语句并发数(默认值为-1,0 或-1表示不控制)进行修改,可选择打开短查询加速。 并发管理规则如下: 短查询加速开启,复杂查询受资源池并发控制,简单查询受短查询并发控制。 短查询加速关闭,复杂查询和简单查询均受资源池并发控制,短查询并发控制无效。
  • 异常规则 异常规则用于异常查询的识别和快速处理,防止“低质量SQL”长时间占用大量资源,导致其他查询阻塞或性能下降。 在资源池页面“关联异常规则”一栏,可浏览当前资源池中已绑定的异常规则,绑定新异常规则,解绑已有异常规则。目前支持的异常处理规则如表1 异常规则参数所示。 8.2.1及以上集群版本支持降级异常规则,所有异常规则都支持降级行为,降级后仅网络资源抢占降至低优先级,即在正常查询无网络请求时,才会调度降级查询的网络请求。 关联、解绑异常规则仅8.2.0及以上集群版本支持,DWS 3.0版本不支持。8.2.0以下集群版本请参考7.c。 表1 异常规则参数 参数项 描述 取值范围(0表示不约束) 操作 阻塞时间 作业的阻塞时间,包括全局并发排队以及局部并发排队的总时间,单位秒。 例如,如果配置“阻塞时间”为300秒,那么当该资源池中的用户执行的某个作业在阻塞300秒后将被终止。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 执行所消耗时间 已经执行的作业从开始执行到当前所消耗的时间,单位为秒。 例如,如果配置“执行所消耗时间”为100秒,那么当该资源池中的用户执行的某个作业在执行超过100秒后将被终止。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 所有DN上CPU总时间 作业在所有DN上执行时所耗费的CPU总时间,单位为秒。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 检查倾斜率的时间间隔 检查作业执行的CPU倾斜率的间隔时间,单位为秒,需同“所有DN上CPU时间的倾斜率”一起设置。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 所有DN上CPU总时间倾斜率 作业在DN上执行时的CPU时间的倾斜率,依赖于“检查倾斜率的时间间隔”的设置。 1~100的整数。0表示不约束。 终止、降级或不约束 单DN算子下盘大小 作业在单个DN上最大下盘的数据量,单位MB。 说明: 该异常规则仅8.2.0及以上集群版本支持。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 DN平均消耗CPU占比 作业在所有DN上执行时的平均CPU使用率,检测周期不强依赖“检查倾斜率的时间间隔”,若配置将使用该检查间隔,否则系统默认30秒间隔。 说明: 该异常规则仅8.2.0及以上集群版本支持。 1~100的整数。0表示不约束 终止、降级或不约束 单个DN上最大带宽 作业在单个DN上最大可占用的网络带宽,单位MB。 说明: 该异常规则仅8.2.1及以上集群版本支持。 1~2147483647的整数。0表示不约束。 终止、降级或不约束
  • 内存管理 内存资源,即资源池所占用的内存百分比。 内存管理的目的:防止数据库系统占用内存过高导致内存溢出(OOM)和实现资源池之间的内存隔离和限制。为满足这两个目的,资源管理从以下两方面进行内存管理: 全局内存管理 为防止数据库系统使用内存过大导致OOM,设置数据库系统全局内存上限(max_process_memory),对数据库全局内存进行管理。全局内存管理包含运行前管理和运行中管理,运行中管理防止实际使用内存超限,运行前管理防止查询执行过程中报错,具体如下: 运行前管理: 一方面慢车道运行的所有查询估算内存都会进行统计,另一方面数据库系统实际使用内存会进行反馈,当实际使用内存大于统计内存时,对统计内存进行调整。查询运行前,判断全局剩余内存能否满足查询运行,满足情况下查询可以直接运行,否则查询需要排队,等待其他查询释放资源后运行。 运行中管理: 查询执行过程中实际使用的内存也会进行统计,查询在申请内存时判断内存使用是否超限,内存超限查询报错,已用内存释放。 资源池内存管理 资源池内存管理属于专属限额的管理方式,即资源池分配多少内存就只能使用多少内存,空闲出来的内存其他资源池不能使用。 资源池内存分配采用百分比方式,取值范围0~100。0表示资源池不进行内存管理,100表示资源池进行内存管理且可使用全局所有内存。 所有资源池分配的内存百分比之和不能超过100。资源池内存管理仅管控慢车道查询,且只包含运行前管理,处理逻辑与全局内存运行前管理类似。资源池慢车道查询运行前,进行估算内存统计,当统计内存大于资源池内存时,查询需要排队,等待资源池内其他查询运行结束释放资源后才能运行。
  • 查看运维任务 登录GaussDB(DWS)管理控制台。 在集群列表中单击指定集群名称。 进入“集群详情”页面,切换至“智能运维”页签。 在运维详情部分切换至运维状态模块。 单击指定运维任务名称,将显示运维任务运行的详细信息。 运维任务:Vacuum 状态:等待中、运行中、已完成、失败。 完成度 时间窗剩余 执行时间窗(本地时间) 正在Vacuum的表 准备Vacuum的表 完成Vacuum的表 失败Vacuum的表 其中正在Vacuum的表,准备Vacuum的表,已完成Vacuum的表和Vacuum失败的表最多显示100张。 如果集群只读,智能运维任务则无法执行INSERT语句,可能会遇到任务状态一直为运行中,此时运行中为历史状态,代表在设置时间内未完成。如果手动暂停该任务并且未调度,任务状态可能一直处于等待中,请尽快解除只读并联系技术支持人员更新任务状态。 父主题: 智能运维
  • 告警参数 参数名称 参数含义 告警源 产生告警的系统名称。例如:DWS。 集群名称 产生告警的集群名称。 定位信息 产生告警的集群ID、集群名称、实例ID、实例名称。例如,cluster_id: xxxx-xxxx-xxxx-xxxx,cluster_name: test_dws,instance_id: xxxx-xxxx-xxxx-xxxx,instance_name: test_dws-dws-cn-cn-1-1。 详细信息 产生告警的详细信息,包括集群、实例、磁盘、阈值信息。例如:CloudService=DWS, resourceId: xxxx-xxxx-xxxx-xxxx, resourceIdName: test_dws, instance_id: xxxx-xxxx-xxxx-xxxx,instance_name: test_dws-dws-cn-cn-2-1,host_name: host-192-168-1-122,disk_name: /dev/vdb,first_alarm_time: 2022-11-26 11:14:58; 节点10分钟内的平均数据磁盘使用率为84%,超过阈值80%。 产生日期 产生告警的时间。 状态 当前告警的处理状态。
  • 告警解释 GaussDB(DWS)每30秒采集集群各节点所有磁盘的使用情况。 如果存在磁盘最近10分钟(可配置)内的最大使用率超过80%(可配置),则上报节点数据盘使用率超阈值的重要告警;如果平均使用率低于75%(即上报阈值减去5%),则消除该重要告警。 如果存在磁盘最近10分钟(可配置)内的最大使用率超过85%(可配置),则上报节点数据盘使用率超阈值的紧急告警;如果平均使用率低于80%(即上报阈值减去5%),则消除该紧急告警。 如果存在磁盘的最大使用率一直大于上报阈值,那么在24小时(可配置)后将再次发起告警。
  • 自动快照概述 自动快照采用差异增量备份,第一次创建自动快照为全量备份,以后每间隔一段时间做一次全量备份,全量备份作为基础版本。两次全量备份之间都是做增量备份,增量备份基于前一次备份所发生的更改进行记录。 在恢复快照时,GaussDB(DWS)会将最近一次的全量备份到本次备份之间的所有备份一起用于恢复集群,因此不会产生数据丢失。 为了保证每个增量快照都能够正常进行数据恢复,如果增量快照的保存时间超过了保留天数,GaussDB(DWS)不会立即删除过期的增量快照,而是仍然保留这部分快照,以便提供给后续其他增量快照恢复集群时使用,直到完成下一次全量快照,GaussDB(DWS)才会一并删除已过期的上一次的全量自动快照和相关的增量快照。 图1 快照备份过程 集群创建成功后,自动快照默认处于启用状态。当集群启用了自动快照时,GaussDB(DWS)将按照设定的时间和周期以及快照类型自动创建快照,默认为每8小时做一次增量备份,每周做一次全量备份。用户也可以对集群设置自动快照策略,并根据自身需求,对集群设置一个或多个自动快照策略。GaussDB(DWS)管理控制台设置集群的自动快照策略,具体操作请参见设置自动快照策略。 自动快照有保留期,可设置为1~31天,默认为3天,系统会在保留期结束时删除到期快照。如果需要将自动快照保留更长时间,可以创建一份副本作为手动快照。自动快照会保留至保留期结束,而手动快照在手动删除前将会一直保留。如何复制自动快照,详情见复制自动快照。 父主题: 自动快照
  • 修改告警规则 登录GaussDB(DWS) 管理控制台。 在左侧导航栏,单击“告警管理”,切换至“告警”页签。 单击左上角的“告警规则管理”按钮,进入告警规则页面。 在指定告警规则名称所在行操作列,单击“修改”按钮进入修改告警规则页面。 用户只能修改部分默认规则的选项(规则绑定集群、告警策略的触发阈值、数据抓取区间和告警抑制条件),可修改自定义规则的全部选项。 表1 告警规则参数 名称 说明 样例值 告警规则名称 规则名称长度为6到64个字符,且只能是首位非数字的中文、英文、数字、斜线组合。 - 规则描述 自定义描述,不超过490个字符。 - 规则绑定集群 可在该下拉框中选择当前租户下的集群作为告警模块的监控集群。 所有集群 策略触发关系 策略触发关系包括: 相互独立:各个告警策略之间互相独立触发。 按优先级:各个告警策略之间按照排列的先后顺序触发,当高优先级策略触发后低优先级策略就不会再做判断。 相互独立 告警策略 告警策略包括: 指标名称:GaussDB(DWS) 数据仓库的监控指标,告警引擎用来做阈值判断的数据源。 告警对象(自定义告警规则参数):选择的当前集群中包含的数据库,及其已选择的数据库中所包含的SCHEMA。 触发条件:定义对监控指标做阈值判断的计算规则。目前主要使用一段时间内的平均值来降低告警震荡的几率。 抑制条件:在指定的时间段内,抑制同类型告警的反复触发和消除。 告警级别:告警的严重程度,包含紧急、重要、次要和提示。 - 确认无误后,单击“确认”。
共100000条