华为云用户手册

  • 操作步骤 登录COC。 在左侧菜单栏中选择“资源运维”,在“批量ECS操作”模块中单击“批量关机”,进入“批量关机”页面。 在“批量关机”页面,选择“添加实例”。 图1 选择实例 选择“分批策略”。 自动分批:用户选择的待执行机器,会根据默认规则,自动分成多批次。 手动分批:用户可以根据自身需要,手动创建若干批次,然后手动将机器分配到各批次中。 不分批:用户所有待执行的机器会全部在同一批次。 输入“熔断策略”。 用户可以设置执行的成功率,当执行失败的机器数量到达根据成功率计算出的失败数量,工单状态会变为异常,并停止执行。 成功率取值范围0~100,可以精确到小数点后一位。 单击“提交”。 图2 关机展示操作页 在“确认执行”弹框中,单击“确定”。 图3 确认执行 查看执行结果。 图4 查看结果
  • 事件流程 事件被创建后状态为“未受理”状态,未受理状态下可进行“转发”、“驳回”、“受理”等操作。 事件单被驳回后为“被驳回”状态,创建人可关闭事件或更新事件信息后重新提交。 事件单被受理后为“已受理”状态,已受理状态下可进行“事件处理”、“升降级”、“添加备注”、“启动warroom”等操作。 事件单被处理后,进入“已解决待验证”状态,已解决待验证状态下可进行“验证”操作,验证通过后事件单进入“已完成”状态,验证不通过后,重新进入“已受理”状态。 图1 事件流程图 父主题: 事件管理
  • 操作步骤 登录COC。 在左侧菜单栏中选择“资源运维”,在“批量ECS操作”模块中单击“批量重启”,进入“批量重启”页面。 在“批量重启”页面,选择“添加实例”。 图1 选择实例 选择“分批策略”。 自动分批:用户选择的待执行机器,会根据默认规则,自动分成多批次。 手动分批:用户可以根据自身需要,手动创建若干批次,然后手动将机器分配到各批次中。 不分批:用户所有待执行的机器会全部在同一批次。 输入“熔断策略”。 用户可以设置执行的成功率,当执行失败的机器数量到达根据成功率计算出的失败数量,工单状态会变为异常,并停止执行。 成功率取值范围0~100,可以精确到小数点后一位。 选择是否强制重启。 强制重启会导致云服务器中未保存的数据丢失,请谨慎操作。 单击“提交”。 图2 重启展示操作页 在“确认执行”弹框中,单击“确定”。 图3 确认执行 查看执行结果。 图4 查看结果
  • 操作步骤 登录COC。 在左侧菜单栏中选择“资源运维”,在“批量ECS操作”模块中单击“切换操作系统”,进入“切换操作系统”页面。 在“切换操作系统”页面,选择“添加实例”。 图1 切换展示操作页 选择“分批策略”。 自动分批:用户选择的待执行机器,会根据默认规则,自动分成多批次。 手动分批:用户可以根据自身需要,手动创建若干批次,然后手动将机器分配到各批次中。 不分批:用户所有待执行的机器会全部在同一批次。 输入“熔断策略”。 用户可以设置执行的成功率,当执行失败的机器数量到达根据成功率计算出的失败数量,工单状态会变为异常,并停止执行。 成功率取值范围0~100,可以精确到小数点后一位。 输入“选择镜像ID”。 输入登录凭证。 登录凭证: 密码:用户可使用云服务器原密码或重新设置密码,请输入并牢记密码。 密钥对:用户可以选择 密钥对管理 中对应的密钥对。 创建后设置:用户在登录云服务器前,需要先通过重置密码的方式设置密码。 单击“提交”。 图2 切换展示操作页 在“确认执行”弹框中,单击“确定”。 图3 确定执行 查看执行结果。 图4 执行结果
  • 操作步骤 登录COC。 在左侧菜单栏选择“自动化运维”,在“日常运维”模块单击“作业管理”,进入“作业管理”页面。 图1 作业管理页面 在“作业管理”页面,选择“自定义作业”页签,选中需要执行的作业,单击“执行”。 图2 选择需要执行的作业 选择作业版本号,并检查作业步骤是否符合预期。 图3 检查作业步骤 填写执行基本信息,包含执行描述和标签。可按照标签管理中的步骤创建标签。 图4 填写执行基本信息 选择作业在目标实例的执行模式,分为“所有步骤一致”和“每个步骤独立”两种。 表1 目标实例模式说明 目标 说明 所有步骤一致 本作业涉及的所有步骤将按顺序在目标实例执行 每个步骤独立 自定义配置,配置时可选择指定步骤仅在指定目标实例执行 图5 选择所有步骤一致 图6 选择每个步骤独立 单击“+添加实例”,选择待执行实例的区域,根据实例名称、UniAgent状态等条件筛选并选中目标实例,单击“确定”。 图7 选择目标实例 选择作业执行的“分批策略”。 自动分批:用户选择的待执行机器,会根据默认规则,分成多批。 手动分批:用户可以根据自身需要,将待执行的机器,分成若干批,控制机器所在的批次。 不分批:用户所有待执行的机器会全部在同一批次。 图8 选择分批策略 单击“提交”,执行自定义作业,将跳转到作业工单详情页面。在工单详情页面查看作业和各批次的执行情况。 单击“强制结束”,将结束本次作业的所有执行任务。 单击“结束所有批次”,将结束当前步骤所有批次的执行任务。 图9 作业工单详情
  • 操作步骤 登录COC。 在左侧菜单栏中选择“资源运维”,在“批量RDS操作”模块中单击“批量开启”,进入“批量开机”页面。 在“批量开机”页面,选择“添加实例”。 图1 选择实例 选择“分批策略”。 自动分批:用户选择的待执行机器,会根据默认规则,自动分成多批次。 手动分批:用户可以根据自身需要,手动创建若干批次,然后手动将机器分配到各批次中。 不分批:用户所有待执行的机器会全部在同一批次。 输入“熔断策略”。 用户可以设置执行的成功率,当执行失败的机器数量到达根据成功率计算出的失败数量,工单状态会变为异常,并停止执行。 成功率取值范围0~100,可以精确到小数点后一位。 单击“提交”。 图2 开启展示操作页 查看执行结果。 图3 执行结果
  • 操作步骤 登录COC。 在左侧菜单栏中选择“资源运维”,在“批量RDS操作”模块中单击“批量停止”,进入“批量关机”页面。 在“批量关机”页面,选择“添加实例”。 图1 选择实例 选择“分批策略”。 自动分批:用户选择的待执行机器,会根据默认规则,自动分成多批次。 手动分批:用户可以根据自身需要,手动创建若干批次,然后手动将机器分配到各批次中。 不分批:用户所有待执行的机器会全部在同一批次。 输入“熔断策略”。 用户可以设置执行的成功率,当执行失败的机器数量到达根据成功率计算出的失败数量,工单状态会变为异常,并停止执行。 成功率取值范围0~100,可以精确到小数点后一位。 单击“提交”。 图2 停止展示操作页 查看执行结果。 图3 执行结果
  • 示例流程 图1 给用户授权COC权限流程 创建用户组并授权 在IAM控制台创建用户组,并授予云运维中心只读的系统权限“COC ReadOnlyAccess”,云运维中心服务管理员的系统权限“COC FullAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 登录云运维中心COC后,进入“概览”页面,单击右上角“创建待办”,尝试创建待办任务,如果无法创建待办任务(假设当前权限仅包含COC ReadOnlyAccess),表示“COC ReadOnlyAccess”已生效。 登录云运维中心COC后,进入“概览”页面,单击右上角“创建待办”,尝试创建待办任务,如果创建待办任务成功(假设当前权限仅包含COC FullAccess),表示“COC FullAccess”已生效。 如果系统预置的COC权限,不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项(Action)请参考策略和授权项说明。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可以在选择策略模板后,根据具体需求编辑策略内容;也可以直接在编辑框内编写JSON格式的策略内容。 具体创建步骤请参见:创建自定义策略。下面为您介绍常用的COC自定义策略样例。
  • COC自定义策略样例 示例1:授权用户创建运维事务 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "coc:task:create" ] } ] } 示例2:拒绝用户删除文档 拒绝策略需要同时配合其他策略使用,否则没有实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先。 如果您给用户授予COC FullAccess的系统策略,但不希望用户拥有COC FullAccess中定义的删除文档的权限,您可以创建一条拒绝删除文档的自定义策略,然后同时将COC FullAccess和拒绝策略授予用户,根据Deny优先原则,则用户可以对COC执行除了删除文档外的所有操作。拒绝策略示例如下: { "Version": "1.1", "Statement": [ { "Effect": "Deny", "Action": [ "coc:document:delete" ] } ] } 示例3:多个授权项策略 一个自定义策略中可以包含多个授权项,且除了可以包含本服务的授权项外,还可以包含其他服务的授权项,可以包含的其他服务必须跟本服务同属性,即都是项目级服务。多个授权语句策略描述如下: { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "coc:document:create", "scm:cert:complete" ] } ] }
  • 操作步骤 登录COC。 在左侧菜单栏中选择“资源运维”,在“批量RDS操作”模块中单击“批量重启”,进入“批量重启”页面。 在“批量重启”页面,选择“添加实例”。 图1 选择实例 选择“分批策略”。 自动分批:用户选择的待执行机器,会根据默认规则,自动分成多批次。 手动分批:用户可以根据自身需要,手动创建若干批次,然后手动将机器分配到各批次中。 不分批:用户所有待执行的机器会全部在同一批次。 输入“熔断策略”。 用户可以设置执行的成功率,当执行失败的机器数量到达根据成功率计算出的失败数量,工单状态会变为异常,并停止执行。 成功率取值范围0~100,可以精确到小数点后一位。 单击“提交”。 图2 重启展示操作页 查看执行结果。 图3 执行结果
  • 操作步骤 登录COC。 在左侧菜单栏中选择“资源运维”,单击“补丁管理”,进入“补丁管理”页面,单击页面上方“点击此处”配置自动化任务。 图1 点击此处 填入自动化执行参数,单击“确认配置”。 选择区域后,补丁自动化操作将定时执行该区域中所有Agent正常运行且操作系统为Linux的ECS实例,请自行判断影响范围。 图2 定时任务参数 创建定时任务成功后,可单击页面上方“补丁自动扫描“或“补丁自动修复“进入定时运维页面查看或编辑。 图3 配置完成 图4 定时运维查看
  • 创建IAM用户 IAM用户由帐号创建并管理,可以确保帐号及资源的安全性,有关IAM的详细介绍请参见IAM用户。此处介绍如何创建一个具有COC使用权限的IAM用户。若您不需要使用IAM用户,可以略过此部分内容。 访问华为云,使用帐号和密码登录管理控制台。 在“控制台”页面,鼠标悬浮至右上方登录的用户名,在下拉列表中选择“统一身份认证”。 创建用户组并授权。 在左侧导航栏中选择“用户组”,在“用户组”页面,单击“创建用户组”,在弹出的“创建用户组”页面填写用户组名称和描述信息,完成用户组创建。 图1 创建用户组 用户组创建成功后,单击用户组“操作”列的“授权”,进入用户组选择策略页面,在右上角搜索框中按关键字“COC”搜索策略,勾选需要授予用户组的权限。COC权限说明参见权限管理。 图2 选择策略 策略配置完成后,在设置最小授权范围页面中,选择授权范围方案,单击右下角的“确定”完成授权。 图3 设置最小授权范围 创建用户并加入用户组 创建用户时选择步骤3创建的具有COC权限的用户组。
  • 数据安全 权限点 管理员 开发者 运维者 访客 新建数据溯源任务 Y Y N N 删除数据溯源任务 Y Y N N 操作数据溯源任务 Y Y N N 查询数据溯源任务 Y Y Y Y 编辑数据溯源任务 Y Y N N 新建数据分类权限 Y Y Y N 删除数据分类权限 Y Y Y N 查询数据分类权限 Y Y Y Y 编辑数据分类权限 Y Y Y N 新建访问权限管理 Y Y N N 删除访问权限管理 Y Y N N 查询访问权限管理 Y Y Y Y 编辑访问权限管理 Y Y N N 新建动态策略 Y N N N 删除动态策略 Y N N N 查询动态策略 Y Y Y Y 编辑动态策略 Y N N N 新建密级 Y Y N N 删除密级 Y Y N N 查询密级 Y Y Y Y 编辑密级 Y Y N N 新建动态脱敏策略 Y N N N 删除动态脱敏策略 Y N N N 查询动态脱敏策略 Y Y Y Y 编辑动态脱敏策略 Y N N N 新建动态脱敏订阅策略 Y N N N 删除动态脱敏订阅策略 Y N N N 查询动态脱敏订阅策略 Y Y Y Y 新建资源权限策略 Y N N N 删除资源权限策略 Y N N N 查询资源权限策略 Y Y Y Y 编辑资源权限策略 Y N N N 操作安全任务调度 Y Y Y N 新建权限申请审批 Y Y Y N 查询权限申请审批 Y Y Y Y 编辑权限申请审批 Y Y Y N 新建用户同步任务 Y Y Y N 删除用户同步任务 Y Y Y N 查询用户同步任务 Y Y Y Y 编辑用户同步任务 Y Y Y N 新建数据脱敏任务 Y Y N N 删除数据脱敏任务 Y Y N N 操作数据脱敏任务 Y Y N N 查询数据脱敏任务 Y Y Y Y 编辑数据脱敏任务 Y Y N N 操作数据安全细粒度权限控制 Y N N N 查询数据安全细粒度权限控制 Y Y Y Y 编辑数据安全细粒度权限控制 Y N N N 新建权限集权限 Y Y Y N 删除权限集权限 Y Y Y N 查询权限集权限 Y Y Y Y 编辑权限集权限 Y Y Y N 查询总览 Y Y Y Y 新建权限跨源同步策略 Y N N N 删除权限跨源同步策略 Y N N N 查询权限跨源同步策略 Y Y Y Y 编辑权限跨源同步策略 Y N N N 查询成员管理 Y Y Y Y 编辑成员管理 Y Y Y N 新建权限集成员 Y Y Y N 删除权限集成员 Y Y Y N 查询权限集成员 Y Y Y Y 查询获取委托 Y Y Y Y 新建脱敏策略 Y Y N N 删除脱敏策略 Y Y N N 操作脱敏策略 Y Y Y Y 查询脱敏策略 Y Y Y Y 编辑脱敏策略 Y Y N N 查询数据访问审计 Y N N N 新建规则分组 Y Y Y N 删除规则分组 Y Y N N 操作规则分组 Y Y Y N 查询规则分组 Y Y Y Y 编辑规则分组 Y Y Y N 查询权限同步失败日志 Y Y Y Y 新建敏感发现任务 Y Y Y N 删除敏感发现任务 Y Y N N 操作敏感发现任务 Y Y Y N 查询敏感发现任务 Y Y Y Y 编辑敏感发现任务 Y Y N N 新建权限集 Y Y Y N 删除权限集 Y Y Y N 查询权限集 Y Y Y Y 编辑权限集 Y Y Y N 查询数据源 Y Y Y Y 查询目录权限策略 Y Y Y Y 新建行级访问策略 Y N N N 删除行级访问策略 Y N N N 查询行级访问策略 Y Y Y Y 编辑行级访问策略 Y N N N 新建队列策略 Y N N N 删除队列策略 Y N N N 查询队列策略 Y Y Y Y 编辑队列策略 Y N N N 新建安全诊断 Y N N N 查询安全诊断 Y Y Y Y 查询资源权限配置 Y Y N N 新建数据水印嵌入 Y Y N N 删除数据水印嵌入 Y Y N N 操作数据水印嵌入 Y Y N N 查询数据水印嵌入 Y Y Y Y 编辑数据水印嵌入 Y Y N N
  • 数据服务 权限点 管理员 开发者 运维者 访客 新建流控策略 Y Y N N 删除流控策略 Y Y N N 操作流控策略 Y Y Y N 查询流控策略 Y Y Y Y 编辑流控策略 Y Y N N 新建应用 Y Y N N 删除应用 Y Y N N 操作应用 Y Y Y N 查询应用 Y Y Y Y 编辑应用 Y Y N N 操作审核 Y Y Y N 查询审核 Y Y Y Y 新建API目录 Y Y Y N 删除API目录 Y Y Y N 查询API目录 Y Y Y Y 编辑API目录 Y Y Y N 操作集群 Y Y N N 查询集群 Y Y Y Y 新建审核人 Y N N N 删除审核人 Y N N N 操作审核人 Y Y Y N 查询审核人 Y Y Y N 新建API Y Y N N 删除API Y Y N N 操作API Y Y Y N 查询API Y Y Y Y 编辑API Y Y N N 查询数据源 Y Y N N 查询总览 Y Y Y Y
  • 数据目录 权限点 管理员 开发者 运维者 访客 查询数据源数据 Y Y Y N 操作任务实例 Y Y Y N 查询任务实例 Y Y Y Y 新建采集任务 Y Y N N 删除采集任务 Y Y N N 操作采集任务 Y Y Y N 查询采集任务 Y Y Y Y 编辑采集任务 Y Y N N 编辑审批单 Y Y N N 编辑资产报告 Y Y N N 新建标签 Y Y N N 删除标签 Y Y N N 查询标签 Y Y Y Y 编辑标签 Y Y N N 新建资产 Y Y N N 删除资产 Y Y N N 操作资产 Y Y Y N 查询资产 Y Y Y Y 编辑资产 Y Y N N 新建目录 Y Y N N 删除目录 Y Y N N 查询目录 Y Y Y Y 编辑目录 Y Y N N 新建分类 Y Y N N 删除分类 Y Y N N 查询分类 Y Y Y Y 编辑分类 Y Y N N 新建数据权限规则 Y N N N 删除数据权限规则 Y N N N 查询数据权限规则 Y Y Y Y 编辑数据权限规则 Y N N N
  • 数据质量 权限点 管理员 开发者 运维者 访客 数据质量监控 查询总览 Y Y Y Y 操作实例 Y Y Y N 查询实例 Y Y Y Y 新建规则模板 Y N N N 删除规则模板 Y N N N 操作规则模板 Y N N N 查询规则模板 Y Y Y Y 编辑规则模板 Y N N N 查询运行结果 Y Y N N 新建规则 Y Y N N 删除规则 Y Y N N 操作规则 Y Y Y N 查询规则 Y Y Y Y 编辑规则 Y Y N N 编辑质量评分 Y N N N 新建目录 Y Y N N 删除目录 Y Y N N 查询目录 Y Y Y Y 编辑目录 Y Y N N 业务指标监控 查询总览 Y Y Y Y 操作实例 Y Y Y N 查询实例 Y Y Y Y 新建业务场景 Y Y N N 删除业务场景 Y Y N N 操作业务场景 Y Y Y N 查询业务场景 Y Y Y Y 编辑业务场景 Y Y N N 新建指标 Y Y N N 删除指标 Y Y N N 查询指标 Y Y Y Y 编辑指标 Y Y N N 新建规则 Y Y N N 删除规则 Y Y N N 查询规则 Y Y Y Y 编辑规则 Y Y N N 新建目录 Y Y N N 删除目录 Y Y N N 查询目录 Y Y Y Y 编辑目录 Y Y N N
  • 数据开发 权限点 管理员 开发者 部署者 运维者 访客 新建Schema Y Y N N N 删除Schema Y Y N N N 查询Schema Y Y N Y Y 编辑Schema Y Y N N N 操作备份 Y Y N Y N 查询备份 Y Y N Y Y 新建补数据 Y Y N N N 操作补数据 Y Y N Y N 查询补数据 Y Y N Y Y 操作脏数据 Y Y N Y N 操作恢复备份 Y N N Y N 查询恢复备份 Y Y N Y Y 新建目录 Y Y N N N 删除目录 Y Y N N N 查询目录 Y Y N Y Y 编辑目录 Y Y N N N 新建通知 Y Y N N N 删除通知 Y Y N N N 查询通知 Y Y N Y Y 编辑通知 Y Y N N N 新建数据库 Y Y N N N 删除数据库 Y Y N N N 查询数据库 Y Y N Y Y 编辑数据库 Y Y N N N 新建解决方案 Y Y N N N 删除解决方案 Y Y N N N 操作解决方案 Y Y N Y N 查询解决方案 Y Y N Y Y 编辑解决方案 Y Y N N N 查询IAM代理 Y Y Y Y Y 更新IAM代理 Y N N N N 操作环境变量 Y Y N N N 查询环境变量 Y Y N Y Y 编辑环境变量 Y Y N N N 操作作业节点 Y Y N Y N 查看发布包 Y Y Y Y Y 操作发布包 Y N Y Y N 新建数据连接 Y Y N N N 删除数据连接 Y Y N N N 操作数据连接 Y Y N Y N 查询数据连接 Y Y N Y Y 编辑数据连接 Y Y N N N 撤销发布 Y Y Y Y N 新建数据表 Y Y N N N 删除数据表 Y Y N N N 查询数据表 Y Y N Y Y 编辑数据表 Y Y N N N 操作作业实例 Y Y N Y N 查询作业实例 Y Y N Y Y 新建资源 Y Y N N N 删除资源 Y Y N N N 操作资源 Y Y N Y N 查询资源 Y Y N Y Y 编辑资源 Y Y N N N 编辑环境变量映射 N N N N N 操作脚本编辑锁 Y Y N Y N 新建脚本 Y Y N N N 删除脚本 Y Y N N N 操作脚本 Y Y N Y N 查询脚本 Y Y N Y Y 编辑脚本 Y Y N N N 新建作业标签 Y Y N Y N 删除作业标签 Y Y N Y N 查询作业标签 Y Y N Y Y 新建作业 Y Y N N N 删除作业 Y Y N N N 操作作业 Y Y N Y N 查询作业 Y Y N Y Y 编辑作业 Y Y N Y N 查询作业编辑锁详情 Y Y N Y Y 操作作业编辑锁 Y Y N Y N
  • 数据架构 权限点 管理员 开发者 运维者 访客 新建原子指标 Y Y N N 删除原子指标 Y Y N N 查询原子指标 Y Y Y Y 编辑原子指标 Y Y N N 新建逻辑实体/物理表 Y Y N N 删除逻辑实体/物理表 Y Y N N 查询逻辑实体/物理表 Y Y Y Y 编辑逻辑实体/物理表 Y Y N N 新建配置中心 Y N N N 删除配置中心 Y N N N 查询配置中心 Y Y Y Y 编辑配置中心 Y N N N 新建主题设计 Y Y N N 删除主题设计 Y Y N N 查询主题设计 Y Y Y Y 编辑主题设计 Y Y N N 新建业务指标 Y Y N N 删除业务指标 Y Y N N 查询业务指标 Y Y Y Y 编辑业务指标 Y Y N N 新建汇总表 Y Y N N 删除汇总表 Y Y N N 查询汇总表 Y Y Y Y 编辑汇总表 Y Y N N 新建通用配置 Y Y N N 删除通用配置 (指已发布状态的逻辑实体或表,对其在编辑并保存后产生的草稿的删除操作) Y Y N N 操作通用配置 (指逻辑实体或表的导入、导出、发布、下线、同步、逆向等操作) Y Y Y N 查询通用配置 (指已发布状态的逻辑实体或表,对其在编辑并保存后产生的草稿的查询操作) Y Y Y Y 编辑通用配置 (指已发布状态的逻辑实体或表,对其在编辑并保存后产生的草稿的编辑操作) Y Y N N 删除维度表 Y Y N N 查询维度表 Y Y Y Y 新建流程设计 Y Y N N 删除流程设计 Y Y N N 查询流程设计 Y Y Y Y 编辑流程设计 Y Y N N 新建码表管理 Y Y N N 删除码表管理 Y Y N N 查询码表管理 Y Y Y Y 编辑码表管理 Y Y N N 新建模型 Y Y N N 删除模型 Y Y N N 查询模型 Y Y Y Y 编辑模型 Y Y N N 新建衍生/复合指标 Y Y N N 删除衍生/复合指标 Y Y N N 操作衍生/复合指标 Y Y N N 查询衍生/复合指标 Y Y Y Y 编辑衍生/复合指标 Y Y N N 新建关联质量规则 Y Y N N 删除关联质量规则 Y Y N N 查询关联质量规则 Y Y Y Y 编辑关联质量规则 Y Y N N 新建事实表 Y Y N N 删除事实表 Y Y N N 查询事实表 Y Y Y Y 编辑事实表 Y Y N N 新建目录 Y Y N N 删除目录 Y Y N N 查询目录 Y Y Y Y 编辑目录 Y Y N N 新建维度 Y Y N N 删除维度 Y Y N N 查询维度 Y Y Y Y 编辑维度 Y Y N N 新建时间限定 Y Y N N 删除时间限定 Y Y N N 查询时间限定 Y Y Y Y 编辑时间限定 Y Y N N 新建数据标准 Y Y N N 删除数据标准 Y Y N N 查询数据标准 Y Y Y Y 编辑数据标准 Y Y N N
  • 管理中心 权限点 管理员 开发者 运维者 访客 查询集群列表(MRS&DWS&CDM) Y Y Y Y 新建数据库 Y Y N N 删除数据库 Y Y N N 查询数据库 Y Y Y Y 编辑数据库 Y Y N N 新建数据表 Y Y N N 删除数据表 Y Y N N 查询数据表 Y Y Y Y 编辑数据表 Y Y N N 新建资源迁移 Y Y N N 操作资源迁移 Y Y Y N 查询资源迁移 Y Y Y Y 新建数据连接 Y Y N N 删除数据连接 Y Y N N 操作数据连接 Y Y Y N 查询数据连接 Y Y Y Y 编辑数据连接 Y Y N N 删除RDS驱动包 Y N N N 操作RDS驱动包 Y N N N 查询RDS驱动包 Y Y Y Y 新建DLI资源映射配置 N N N N 删除DLI资源映射配置 N N N N 查询DLI资源映射配置 N N N N
  • DataArts Studio版本规格说明 DataArts Studio新版本模式下包含免费版、初级版、专家版和企业版,各版本支持的组件组件功能和规格不同,如表3和表4所示。 表3 DataArts Studio版本支持的组件 DataArts Studio组件 免费版 初级版 专家版 企业版 数据集成 √ √ √ √ 管理中心 √ √ √ √ 数据架构 x x x √ 数据开发 √ √ √ √ 数据质量 x x 支持,但不支持业务指标监控、对账作业和质量报告。 √ 数据目录 x x 支持,但不支持通过管理中心资源迁移进行数据目录(分类、标签、采集任务)导出。 √ 数据服务 x x √ √ 数据安全(公测) x x 支持,但不支持数据水印嵌入和溯源。 √ 表4 DataArts Studio版本规格说明(单实例规格) DataArts Studio规格 免费版[5] 初级版 专家版 企业版 DataArts Studio数据集成集群[1] 赠送36小时cdm.large规格的CDM集群折扣套餐,需通过“云数据迁移 CDM”服务使用,详见CDM用户指南。 集群数量:1个 规格名称:cdm.medium vCPUs/内存:4核 8GB 集群数量:1个 规格名称:cdm.medium vCPUs/内存:4核 8GB 集群数量:1个 规格名称:cdm.medium vCPUs/内存:4核 8GB 作业节点调度次数/天[2] 500次/天 5,000次/天 5,000次/天 5,000次/天 技术资产数量[3] 不支持 不支持 500 5000 数据模型数量[4] 不支持 不支持 不支持 100 注释: [1] DataArts Studio数据集成集群:DataArts Studio实例赠送的数据集成集群,推荐作为管理中心数据连接的Agent代理使用,不建议同时作为Agent代理和运行数据迁移作业使用。用于运行数据迁移作业的其他规格数据集成集群推荐通过“批量数据迁移增量包”进行购买(免费版需通过“云数据迁移 CDM”服务购买CDM集群),如何购买请参考购买功能增量包。 [2] 作业节点调度次数/天:该规格是以每天执行的数据开发作业、质量作业、对账作业、业务场景和元数据采集作业的调度次数之和计算的,可以通过“作业节点调度次数/天增量包”进行扩容,如何购买请参考购买规格增量包。其中数据开发作业的每天调度次数,是以节点(包含Dummy节点)为粒度进行度量的,另外补数据任务也会计入度量次数,但测试运行、失败重试不会计入。例如某作业包含2个DWS SQL节点和1个Dummy节点,每天00:00开始执行,隔10小时调度一次,当天额外进行了过去10天的补数据,则该作业当天调度次数为2*3+2*3*10=66,后续每天调度次数为2*3=6。 另外,当作业节点调度的已使用次数+运行中次数+本日将运行次数之和大于此版本规格,执行调度批处理作业或者启动实时作业时就会提示作业节点调度次数/天超过配额。 [3] 技术资产数量:该规格指的是数据目录中表和OBS文件的数量,可以通过“技术资产数量增量包”进行扩容,如何购买请参考购买规格增量包。 [4] 数据模型数量:该规格指的是数据架构中逻辑模型、物理模型、维度表、事实表和汇总表的数量,可以通过“数据模型数量增量包”进行扩容,如何购买请参考购买规格增量包。 [5] 免费版:免费版定位于试用场景,每个账号在每个区域下仅能有一个免费版实例。使用免费版前,请您了解如下约定: 免费版不自带数据集成集群,而是首次购买时赠送36小时cdm.large规格的CDM集群折扣套餐,1年内有效。使用折扣套餐包时,您需要在“云数据迁移 CDM”服务创建一个与DataArts Studio实例区域一致的cdm.large规格集群,集群运行时会自动扣除折扣套餐包时长,折扣套餐包时长到期后需要删除此集群,否则会产生相关费用。关于CDM服务的计费详情可参见CDM用户指南。 免费版不支持购买增量包,例如无法购买批量数据迁移增量包或作业节点调度次数/天增量包。 免费版数据开发组件的脚本数和作业数的配额限制分别为20。 免费版仅用于试用场景,在业务负荷大的场景下,无法保证免费版实例上业务的正常运行。 免费版不支持通过API调用的方式使用,仅支持控制台方式使用。 免费版受成本、资源等因素限制,提供的总数量有限。当全网免费版数量超过限额时,将无法继续创建免费版实例。 免费版支持升级到其他付费版本。升级到其他版本或删除当前免费版实例后,您可以再次购买免费版,但不能再勾选“CDM套餐包”,折扣套餐仅在首次购买免费版时赠送。
  • DataArts Studio版本模式升级 对于已开通的旧版本模式实例,需要您手动将旧模式升级到新模式。模式升级的处理原则如下: 旧版本模式的初级版直接切换到新版本模式的初级版,功能体验、版本规格和计费标准均保持不变。 旧版本模式除初级版外的其他版本升级到新版本模式,为保证数据治理功能体验一致,会转换为新版本模式下的非标准企业版(与标准企业版的支持组件一致,但规格不同);同时版本规格相比旧模式有所提升,且计费标准不变或下降(如果计费标准下降,DataArts Studio会自动将后期使用时长的差价原路返回到您的付款账户中)。 因此,我们强力推荐您将已有DataArts Studio实例从旧模式升级为新模式。各版本切换前后的情况对比如图1所示。 图1 模式切换前后对比 版本模式升级操作不可回退,升级过程及升级后对功能、业务操作和运行均无任何影响。值得注意的是,切换到新商业模式后,不再支持免费试用基础版。建议您通过体验活动进行功能试用。 如果您需要将旧版本模式升级为新版本模式,可以参考如下步骤进行操作: 以华为账号、拥有DAYU Administrator或Tenant Administrator权限的用户登录华为云控制台。在控制台左上方,单击“服务列表”按钮,选择“数据治理中心”,进入DataArts Studio控制台。 在DataArts Studio控制台,单击实例名右侧的,进入实例管理页面。 在需要升级版本模式的实例卡片上,找到“模式切换”按钮并单击进入模式切换界面。 图2 模式切换按钮 在模式切换界面,您可以看到当前旧版本模式切换前后的对比和询价情况。如果您确认切换,单击右下方“切换”按钮,随系统提示进行升级即可。 图3 模式切换 版本模式升级完成需要约5分钟,升级过程及升级后对功能、业务操作和运行均无任何影响。在切换成功后,如果计费标准有所下降,DataArts Studio会自动将后期使用时长的差价原路返回到您的付款账户中。升级完成后,则您可以基于新的版本模式继续使用DataArts Studio。
  • 如何选择DataArts Studio版本 DataArts Studio新版本模式下包含免费版、初级版、专家版和企业版,各版本的建议使用场景如表2所示。 表2 DataArts Studio各版本建议使用场景 版本 建议使用场景 免费版 需要体验DataArts Studio初级版功能,对规格和SLA无要求,适用于开发者试用、小规模验证等场景。 初级版 建设初期数据湖项目,主要为大数据开发场景的数据ETL任务管理,不涉及数据治理。 专家版 中小企业规模,具备全职数据开发治理人员,需要轻量数据治理能力,如数据质量、数据目录和数据服务等,性价比首选。 企业版 有完善的数据管理团队和体系,中大型企业规模,需要进行企业信息架构、数据标准、数据模型、数据指标的落地,匹配完整的DAYU数据治理方法论。
  • 新版本模式说明 为了提供轻量化的数据治理能力、满足资源按需灵活配置的需求,DataArts Studio提供了全新的版本模式供您选择。新版本模式相对于旧版本模式,价格门槛更低、资源拓展更加灵活,强力推荐您将已开通的旧版本模式升级至新版本模式。 对于已开通的旧版本模式实例,需要您手动将旧模式升级到新模式,详见DataArts Studio版本模式升级。版本模式升级过程及升级后,对功能、业务操作和运行均无任何影响。我们承诺在相同资源下,新版本模式价格更低。 对于新开通的DataArts Studio实例,默认使用新版本模式,不支持回退到旧版本模式。 新版本模式提供了初级版、专家版和企业版三大版本供您选择。关于新版本模式与旧版本模式相比的变化,详见表1。 表1 新旧版本模式对比 差异项 旧版本模式 新版本模式 提供的版本 初级版:数据集成+数据开发 基础版:数据集成+数据开发+数据治理 高级版:数据集成+数据开发+数据治理 专业版:数据集成+数据开发+数据治理 企业版:数据集成+数据开发+数据治理 免费版:数据集成+数据开发 初级版:数据集成+数据开发 专家版:数据集成+数据开发+轻量数据治理 企业版:数据集成+数据开发+数据治理 免费版本 不支持。 支持。提供免费版本,以供试用。 轻量数据治理能力 不支持。除初级版外,均提供全功能数据治理能力,使用成本高。 支持。专家版提供轻量数据治理能力,满足中小企业数据治理需求。 支持的增量包 仅提供功能增量包: 批量数据迁移增量包 数据服务专享集群增量包 提供功能增量包和规格增量包(免费版不支持): 功能增量包(如何购买请参考购买功能增量包): 批量数据迁移增量包 数据服务专享集群增量包 规格增量包(如何购买请参考购买规格增量包): 作业节点调度次数/天增量包 技术资产数量增量包 数据模型数量增量包 版本模式变更 支持升级到新版本模式。 不支持回退到旧版本模式。
  • 使用限制 使用DataArts Studio前,您需要认真阅读并了解以下使用限制。 表2 DataArts Studio使用限制一览表 组件 约束限制 公共 DataArts Studio必须基于华为云底座部署。资源隔离场景下,支持以全栈专属云模式部署,另外也支持以华为云Stack和HCS Online混合云模式部署。 关于全栈专属云、华为云Stack和HCS Online的适用场景和差异等更多信息,欢迎通过咨询了解。 DataArts Studio基于数据湖底座提供数据一站式集成、开发、治理等能力,本身不具备存储和计算的能力,需要配合数据湖底座使用。 每个企业项目下最多绑定一个DataArts Studio实例。当企业项目下已绑定实例时,再次购买实例会失败。 DataArts Studio各组件对不同数据源的支持程度不一,您需要按照您的业务需求来选择数据湖底座。DataArts Studio平台当前支持的数据湖产品请参见DataArts Studio支持的数据源。 管理中心 由于管理中心的限制,数据治理各组件(如数据架构、数据质量、数据目录等)暂不支持包含中文和“.”字符的库表名。 DataArts Studio实例赠送的CDM集群,由于本身规格有限,推荐仅作为DataArts Studio管理中心数据连接的Agent代理使用。 建议为管理中心数据连接的Agent和CDM迁移作业规划相互独立的CDM集群,避免双方使用同一集群,导致业务高峰期时资源抢占引起业务不可用。 CDM集群作为管理中心数据连接Agent时,单集群无法连接多个MRS安全集群。建议您按照业务情况规划多个Agent与MRS安全集群一一映射。 CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 单工作空间允许创建的数据连接个数最多200个。 管理中心相关开放API并发限制为100qps。 数据集成 CDM作业支持自动备份和恢复,将备份数据存储到OBS中,该功能需要您手动开启。详情请参见CDM作业自动备份/恢复章节。 CDM作业本身无配额限制,但建议作业数不超过CDM集群的vCPU核数*2,否则作业运行性能可能会受到一定影响。 数据集成CDM集群为单集群部署,集群故障可能会导致业务、数据损失。建议您使用数据开发作业CDM Job节点调用CDM作业,并选择两个CDM集群以提升可靠性。详情请参见CDM Job节点章节。 关于数据集成中的更多约束限制,请参考CDM约束与限制。 数据开发 数据开发脚本、作业等资产支持备份管理,将备份数据存储到OBS中,该功能需要您手动开启。详情请参见备份管理章节。 单工作空间允许创建的脚本个数最多1万个,脚本目录最多5000个,目录层级最多为10层。 单工作空间允许创建的作业个数最多1万个,作业目录最多5000个,目录层级最多为10层。 RDS SQL、DWS SQL、HIVE SQL、SPARK SQL、DLI SQL脚本执行结果页面展示最多1千条,且数据量少于3MB。超过1千条数据可以使用转储功能,转储最多支持1万条。 数据架构 数据架构当前支持关系建模和维度建模(仅支持星形模型)这两种建模方式。 数据架构支持最大导入文件大小为4Mb;支持最大导入指标个数为3000个;支持一次最大导出500张表。 单工作空间中创建各类对象的配额如下: 主题5000个。 数据标准目录500条,个数20000个。 原子指标、衍生指标、复合指标各5000条。 配置中心中各类对象的自定义项配额如下: 主题自定义项10条。 表自定义项30条。 属性自定义项10条。 业务指标自定义项50条。 数据质量 数据质量作业执行时长依赖数据引擎,如果底层数据引擎资源不足,可能会导致运行速度变慢。 单个数据质量作业最多可以配置50条规则,如有需要可拆分为多个质量作业。 单个数据连接上的质量作业关联SQL的并发数默认为1000,如果超出则等待排队执行。可配置范围10-1000。 单Region内的质量作业关联SQL的并发数为10000,如果超出则等待排队执行。 数据目录 单工作空间中元数据采集任务最多创建100个。 元数据采集任务通过执行引擎相关的DDL SQL获取,不建议单个任务采集超过1000张表。如有需要可拆分为多个采集任务,另外调度时间和频次也需要根据业务需要进行合理设置,避免对引擎造成较大的访问和连接压力,设置建议如下: 若业务对元数据时效性要求为1天,则设置调度周期=max(1天,单次采集周期时间),其他情况同理。 若业务压力集中在白天,则设置调度时间在夜间,其他情况同理,选择数据源压力最小的时间段。 数据血缘的产生依赖于数据开发中调度运行的作业,测试运行的作业不会产生血缘。 数据服务 数据服务共享版仅供开发测试使用,专享版性能优于共享版,推荐使用数据服务专享版。 DataArts Studio实例下最多支持创建5个数据服务专享版集群,且集群需要与某个工作空间绑定,不能多空间共用同一集群。 数据服务专享版集群创建后暂不支持修改规格或升级版本。 DataArts Studio实例下支持创建的专享版API最大数量由数据服务专享版API总分配配额(默认为5000)和当前实例下集群的API规格总和共同决定,取较小的作为限制。例如,某DataArts Studio实例下的数据服务专享版API总分配配额为5000,已分别创建了API规格为500和2000的两个集群,则当前实例下支持创建的专享版API最大数量为2500。 单工作空间下支持创建的专享版API最大数量由数据服务专享版API已分配配额(通过编辑工作空间信息分配)和当前空间下集群的API规格总和共同决定,取较小的作为限制。例如,某工作空间下的数据服务专享版API已分配配额为800,当前工作空间下已创建了API规格为500的两个集群,则当前工作空间下支持创建的专享版API最大数量为800。 单工作空间下支持创建的应用数量为1000。 单工作空间下支持创建的流控策略数量为500。 单集群下支持查询的访问日志数量为100。 数据安全 数据安全中配置的安全管理员,当且仅当在数据安全组件生效,对于周边组件和其他服务,此身份无效。 数据安全中功能级别的约束限制,请参考用户指南中对应功能的“约束与限制”章节。
  • DataArts Studio控制台功能依赖的角色或策略 DataArts Studio服务各组件功能所需依赖服务的权限如表2所示。在实际授权场景中,推荐为开发者用户配置DataArts Studio服务级别的依赖服务最小权限(可参考如何最小化授权IAM用户使用DataArts Studio,为用户配置最小权限),开发者用户的最小依赖服务权限如表3所示。 在实际授权场景中,DAYU Administrator和DAYU User系统角色已经预置了依赖服务的管理员权限。为了避免普通用户/用户组被授予DAYU User系统角色导致其拥有的依赖服务权限过大的风险,您可以在为用户组授权DAYU User系统角色后,手动删除用户组的周边依赖权限,再为用户组授予所需依赖服务的最小权限合集。 表2 DataArts Studio控制台依赖服务的角色或策略 控制台功能 依赖服务 需配置角色/策略 具体功能 管理中心 BSS bss:coupon:view bss:renewal:update bss:discount:view bss:order:view bss:order:pay bss:order:update 创建增量包或DataArts Studio实例 KMS kms:cmk:get kms:cmk:list kms:cmk:create kms:cmk:decrypt kms:cmk:encrypt kms:dek:create kms:dek:encrypt kms:dek:decrypt 创建数据连接时,使用KMS加解密 DWS dws:cluster:list dws:cluster:getDetail dws:openAPICluster:getDetail 创建DWS数据连接 MRS mrs:cluster:get mrs:cluster:list 创建MRS数据连接 VPC vpc:publicIps:get vpc:publicIps:list vpc:vpcs:get vpc:subnets:get 创建MRS数据连接 RDS rds:*:get rds:*:list 创建RDS数据连接 数据集成 VPC vpc:publicIps:get vpc:publicIps:list vpc:vpcs:get vpc:vpcs:list vpc:subnets:get vpc:securityGroups:get vpc:firewalls:list vpc:routeTables:list vpc:subNetworkInterfaces:list 创建CDM集群或DataArts Studio实例 ECS ecs:flavors:get ecs:cloudServerFlavors:get ecs:availabilityZones:list 创建CDM集群或DataArts Studio实例 CDM cdm:cluster:create 创建CDM集群 KMS kms:cmk:get kms:cmk:list kms:cmk:create kms:cmk:decrypt kms:cmk:encrypt kms:dek:create kms:dek:encrypt kms:dek:decrypt 创建数据连接时,使用KMS加解密 MRS mrs:cluster:get mrs:cluster:list mrs:job:get mrs:job:list 创建MRS数据连接 DWS dws:cluster:list dws:cluster:getDetail dws:openAPICluster:getDetail 创建DWS数据连接 CDM cdm:cluster:get cdm:cluster:list cdm:link:operate cdm:job:operate 通过CDM控制台操作时,需要CDM服务权限 CES ces:*:get ces:*:list 查看CES监控 CSS css:*:get css:*:list 创建CSS连接 CloudTable cloudtable:*:get cloudtable:*:list 创建CloudTable连接 RDS rds:*:get rds:*:list 创建RDS连接 RMS rms:resources:list 创建CDM集群 数据开发 OBS obs:object:GetObject obs:object:PutObject obs:bucket:GetBucketLocation obs:bucket:ListAllMyBuckets obs:bucket:ListBucket obs:bucket:CreateBucket 运行脚本、运行作业以及备份作业 SMN smn:topic:publish smn:topic:list 作业通知 KMS kms:cmk:get kms:cmk:list kms:cmk:create kms:cmk:decrypt kms:cmk:encrypt kms:dek:create kms:dek:encrypt kms:dek:decrypt 创建数据连接时,使用KMS加解密 MRS mrs:cluster:get mrs:cluster:list mrs:job:submit mrs:job:delete mrs:job:stop mrs:sql:execute mrs:sql:cancel mrs:job:get mrs:job:list MRS类型作业节点运行: MRS Presto SQL、MRS Spark、MRS Spark Python、MRS Flink Job、 MRS MapReduce MRS Spark SQL、MRS Hive SQL DLI dli:queue:submitJob dli:jobs:create dli:jobs:update dli:jobs:get dli:jobs:list dli:jobs:listAll DLI类型作业节点运行: DLI SQL、DLI Spark OBS obs:object:GetObject obs:object:PutObject obs:object:DeleteObject obs:bucket:GetBucketLocation obs:bucket:ListAllMyBuckets obs:bucket:ListBucket obs:bucket:ListBucketVersions obs:bucket:CreateBucket obs:bucket:DeleteBucket OBS类型作业节点运行: Create OBS、Delete OBS、OBS Manager DWS dws:cluster:list dws:cluster:getDetail dws:openAPICluster:getDetail 创建DWS数据连接 CDM cdm:cluster:get cdm:cluster:list cdm:job:operate 数据连接需要Agent的相关脚本、作业,以及CDM作业运行: RDS SQL、DWS SQL、Hive SQL、SPARK SQL、Shell、Python CES ces:metricData:list 运维概览,查询DLI队列CPU GES ges:graph:access ges:graph:operate ges:graph:list ges:graph:getDetail ges:metadata:create ges:metadata:operate ges:metadata:delete ges:metadata:list ges:metadata:getDetail ges:jobs:list ges:jobs:getDetail Import GES作业节点运行 ECS ecs:servers:list ecs:servers:get ecs:servers:stop ecs:servers:start ecs:cloudServers:list Open/Close Resource作业节点运行,创建主机连接 DLI dli:queue:submitJob dli:queue:cancelJob dli:group:useGroup dli:group:getGroup dli:group:updateGroup dli:group:deleteGroup dli:group:listAllGroup dli:database:createDatabase dli:database:dropDatabase dli:database:displayDatabase dli:database:displayAllDatabases dli:database:explain dli:database:createView dli:database:createTable dli:database:displayAllTables dli:database:createFunction dli:database:describeFunction dli:database:showFunctions dli:database:dropFunction dli:table:select dli:table:update dli:table:delete dli:table:dropTable dli:table:describeTable dli:table:showCreateTable dli:table:showPartitions dli:table:showSegments dli:table:showTableProperties dli:table:insertOverwriteTable dli:table:insertIntoTable dli:table:compaction dli:table:truncateTable dli:table:alterView dli:table:alterTableRename dli:table:alterTableAddColumns dli:table:alterTableDropColumns dli:table:alterTableChangeColumn dli:table:alterTableSetLocation dli:table:alterTableAddPartition dli:table:alterTableRenamePartition dli:table:alterTableSetProperties dli:table:alterTableRecoverPartition dli:table:alterTableDropPartition dli:column:select dli:jobs:create dli:jobs:delete dli:jobs:start dli:jobs:stop dli:jobs:update dli:jobs:export dli:jobs:get dli:jobs:list dli:jobs:listAll dli:resource:useResource dli:resource:updateResource dli:resource:deleteResource dli:resource:getResource dli:resource:listAllResource dli:variable:update dli:variable:delete DLI类型作业/脚本运行 IAM iam:agencies:listAgencies 获取作业委托 DIS DIS Operator DIS User DIS类型作业节点运行: DIS Stream、DIS Dump、DIS Client SWR SWR Admin 仅当在数据开发组件作业中使用DLI Spark节点选择自定义镜像时,需要容器镜像服务中的镜像读取权限。 推荐通过镜像授权管理,添加所需镜像的读取权限。不推荐直接为用户授予SWR Admin系统角色, 可能存在权限过大的风险。 数据目录 OBS obs:object:GetObject obs:bucket:GetBucketStorage obs:bucket:GetBucketLocation obs:bucket:ListAllMyBuckets obs:bucket:ListBucket OBS元数据采集 DIS dis:streams:list dis:transferTasks:list DIS元数据采集 CSS css:cluster:list CSS元数据采集 GES ges:graph:list ges:graph:getDetail ges:metadata:list ges:metadata:getDetail GES元数据采集 DLI dli:database:displayDatabase dli:database:displayAllDatabases dli:table:select dli:table:describeTable dli:table:showPartitions dli:table:showTableProperties dli:jobs:create dli:jobs:get DLI元数据采集&数据概要分析 CDM cdm:cluster:list CSS元数据采集 数据质量 SMN smn:topic:publish smn:topic:list 配置作业通知 OBS obs:object:GetObject obs:object:PutObject obs:bucket:GetBucketLocation obs:bucket:ListAllMyBuckets obs:bucket:ListBucket obs:bucket:CreateBucket 导出质量报告 MRS mrs:job:submit mrs:sql:execute mrs:sql:cancel mrs:job:get MRS质量作业运行 DLI dli:queue:submitJob dli:jobs:get dli:jobs:listAll DLI质量作业运行 数据安全 DLI dli:queue:submitJob dli:queue:cancelJob dli:database:displayDatabase dli:database:displayAllDatabases dli:database:displayAllTables dli:table:describeTable dli:jobs:create dli:jobs:stop dli:jobs:get dli:resource:deleteResource dli:resource:getResource dli:resource:listAllResource DLI权限管控 DWS dws:cluster:list dws:cluster:getDetail dws:openAPICluster:getDetail DWS权限管控 MRS mrs:cluster:list mrs:job:submit mrs:job:stop MRS权限管控 KMS kms:cmk:list kms:cmk:encrypt kms:cmk:decrypt 使用KMS加解密 CDM 任意cdm权限,例如cdm:cluster:get DWS和MRS权限管控 表3 开发者用户的依赖服务最小权限合集 权限类型 角色与策略权限-系统角色 角色与策略权限-自定义策略 角色与策略权限-自定义策略 是否必配 必配 必配 必配 权限 DIS Operator DIS User (可选,不推荐)SWR Admin 说明: 仅当在数据开发组件作业中使用DLI Spark节点选择自定义镜像时,需要容器镜像服务中的镜像读取权限。 推荐通过镜像授权管理,添加所需镜像的读取权限。不推荐直接为用户授予SWR Admin系统角色, 可能存在权限过大的风险。 依赖的全局级(global级)云服务的自定义策略DataArtsStudio_PermissionsOfDependentServices_global: { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "obs:object:GetObject", "obs:object:PutObject", "obs:object:DeleteObject", "obs:bucket:GetBucketStorage", "obs:bucket:GetBucketLocation", "obs:bucket:ListAllMyBuckets", "obs:bucket:ListBucket", "obs:bucket:ListBucketVersions", "obs:bucket:CreateBucket", "obs:bucket:DeleteBucket", "rms:resources:list", "iam:agencies:listAgencies" ] } ] } 依赖的项目级(region级)云服务的自定义策略DataArtsStudio_PermissionsOfDependentServices_region: { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "cdm:cluster:get", "cdm:cluster:list", "cdm:cluster:create", "cdm:link:operate", "cdm:job:operate", "ces:*:get", "ces:*:list", "cloudtable:*:get", "cloudtable:*:list", "css:*:get", "css:*:list", "dis:streams:list", "dis:transferTasks:list", "dli:queue:submitJob", "dli:queue:cancelJob", "dli:table:insertOverwriteTable", "dli:table:insertIntoTable", "dli:table:alterView", "dli:table:alterTableRename", "dli:table:compaction", "dli:table:truncateTable", "dli:table:alterTableDropColumns", "dli:table:alterTableSetProperties", "dli:table:alterTableChangeColumn", "dli:table:showSegments", "dli:table:alterTableRecoverPartition", "dli:table:dropTable", "dli:table:update", "dli:table:alterTableDropPartition", "dli:table:alterTableAddPartition", "dli:table:alterTableAddColumns", "dli:table:alterTableRenamePartition", "dli:table:delete", "dli:table:alterTableSetLocation", "dli:table:describeTable", "dli:table:showPartitions", "dli:table:showCreateTable", "dli:table:showTableProperties", "dli:table:select", "dli:resource:updateResource", "dli:resource:useResource", "dli:resource:getResource", "dli:resource:listAllResource", "dli:resource:deleteResource", "dli:database:explain", "dli:database:createDatabase", "dli:database:dropFunction", "dli:database:createFunction", "dli:database:displayAllDatabases", "dli:database:displayAllTables", "dli:database:displayDatabase", "dli:database:describeFunction", "dli:database:createView", "dli:database:createTable", "dli:database:showFunctions", "dli:database:dropDatabase", "dli:group:useGroup", "dli:group:updateGroup", "dli:group:listAllGroup", "dli:group:getGroup", "dli:group:deleteGroup", "dli:column:select", "dli:jobs:start", "dli:jobs:export", "dli:jobs:update", "dli:jobs:list", "dli:jobs:listAll", "dli:jobs:get", "dli:jobs:delete", "dli:jobs:create", "dli:jobs:stop", "dli:variable:update", "dli:variable:delete", "dws:cluster:list", "dws:cluster:getDetail", "dws:openAPICluster:getDetail", "ecs:servers:get", "ecs:servers:list", "ecs:servers:stop", "ecs:servers:start", "ecs:flavors:get", "ecs:cloudServerFlavors:get", "ecs:cloudServers:list", "ecs:availabilityZones:list", "ges:graph:access", "ges:metadata:create", "ges:jobs:list", "ges:graph:operate", "ges:jobs:getDetail", "ges:graph:getDetail", "ges:graph:list", "ges:metadata:list", "ges:metadata:getDetail", "ges:metadata:delete", "ges:metadata:operate", "kms:cmk:get", "kms:cmk:list", "kms:cmk:create", "kms:cmk:decrypt", "kms:cmk:encrypt", "kms:dek:create", "kms:dek:encrypt", "kms:dek:decrypt", "mrs:cluster:get", "mrs:cluster:list", "mrs:job:get", "mrs:job:list", "mrs:job:submit", "mrs:job:stop", "mrs:job:delete", "mrs:sql:execute", "mrs:sql:cancel", "rds:*:get", "rds:*:list", "smn:topic:publish", "smn:topic:list", "vpc:publicIps:list", "vpc:publicIps:get", "vpc:vpcs:get", "vpc:vpcs:list", "vpc:subnets:get", "vpc:securityGroups:get", "vpc:firewalls:list", "vpc:routeTables:list", "vpc:subNetworkInterfaces:list" ] } ] }
  • DataArts Studio权限 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 DataArts Studio部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域对应的项目中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问DataArts Studio时,需要先切换至授权区域。 DataArts Studio仅支持基于系统角色的授权,不支持策略授权。为了实现精细的权限管控,DataArts Studio提供了系统角色+工作空间角色授权的能力,由工作空间角色授权具体的操作权限,并支持自定义不同权限点的工作空间角色。 IAM提供了以下两种授权机制。注意,DataArts Studio仅支持其中的IAM角色方式,不支持IAM策略。 IAM角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。传统的IAM角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 IAM策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。 如图1和表1所示,DataArts Studio的IAM系统角色包括DAYU Administrator和DAYU User;工作空间角色是基于IAM角色DAYU User进一步授予的,权限列表列出了DataArts Studio常用操作与工作空间角色的授权关系,您可以参照这些权限列表选择合适的角色。 图1 权限体系 表1 DataArts Studio系统角色 系统角色名称 描述 类别 DAYU Administrator 实例管理员,拥有对DataArts Studio实例及工作空间的所有管理权限、依赖服务权限,以及所有工作空间内的所有业务操作权限。 说明: Tenant Administrator具有除统一身份认证服务外,其他所有服务的所有执行权限。即Tenant Administrator权限的用户也拥有对DataArts Studio的所有执行权限。 系统角色 DAYU User 普通用户,具备DataArts Studio实例及工作空间的查看权限,以及依赖服务权限。普通用户需要被授予任一工作空间角色后,才能拥有对应角色的业务操作权限。 工作空间有管理员、开发者、部署者、运维者和访客五种预置角色和自定义角色,每种角色的介绍如下,具体操作权限请参见权限列表。 管理员:工作空间管理员,拥有工作空间内所有的业务操作权限。建议将项目负责人、开发责任人、运维管理员设置为管理员角色。 开发者:开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。 运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业模式独有,具备工作空间内任务包发布的相关操作权限。在企业模式中,开发者提交脚本或作业版本后,系统会对应产生发布任务。开发者确认发包后,需要部署者审批通过,才能将修改后的作业同步到生产环境。 自定义角色:如果预置角色不能满足您的需求,您也可以创建自定义角色。自定义角色的权限可自由配置,实现业务操作权限最小化。 系统角色
  • GUC参数 表7 GUC参数 变更类型 序号 名称 变更描述 新增 1 sql_use_spacelimit 设置单SQL语句在单个DN上最大存储空间限额。 2 remote_read_mode 设置远程读模式。 3 enable_incremental_catchup 设置是否打开增量catchup。 4 wait_dummy_time 增量catchup中等待从备启动或者从备发回扫描列表的最长时间。 5 enable_xlog_group_insert 用于指定在ARM平台下,xlog是否启动group的插入方式。 6 topsql_retention_time 该参数表示gs_wlm_session_info和gs_wlm_operator_info表中的数据能够保存的天数。 7 user_metric_retention_time 该参数表示用户历史资源监控数据能够保存的天数。 8 instance_metric_retention_time 该参数表示实例历史资源监控数据能够保存的天数。 9 enable_user_metric_persistent 该参数表示是否开启用户历史资源监控转存功能。 10 enable_instance_metric_persistent 该参数表示是否开启实例历史资源监控转存功能。 11 COMM_IPC 通信性能问题定位开关,该参数设置是否打印通信各个节点的报文收发情况。 12 COMM_PARAM 通信性能问题定位开关,该参数设置是否打印节点通信过程中session参数设置情况。 13 plan_cache_mode 控制cached plan的行为,可以强制走custom plan/generic plan/auto(和当前默认保持一致),默认值为auto。 修改 14 audit_system_object 扩展第18位表示是否审计SYNONYM对象,最大值修改为524287。 15 comm_max_stream 在一体机环境上,该参数集群安装之后,默认值修改为10000。 16 enable_dynamic_workload 默认值由off修改为on。 17 behavior_compat_options 增加成员convert_interval_to_text来控制,是否支持interval到text的隐式类型转换,默认不设置,不支持。
  • 系统视图 表5 系统视图 变更类型 序号 名称 变更描述 新增 1 ALL_SYNONYMS DBA_SYNONYMS USER_SYNONYMS ALL_SYNONYMS视图存储了当前用户可访问的所有同义词信息。 DBA_SYNONYMS视图存储关于数据库下的所有同义词信息。需要有系统管理员权限才可以访问。 USER_SYNONYMS视图存储当前用户可访问的同义词信息。 2 REDACTION_POLICIES REDACTION_COLUMNS 分别对应两张系统表,将oid转为name直观显示策略信息。 3 GS_WORKLOAD_SQL_COUNT 显示当前节点上Workload控制组内的SQL语句执行次数的统计信息,包括SELECT、UPDATE、INSERT、DELETE语句的执行次数统计,以及DDL、DML、DCL类型语句的执行次数统计。 4 PGXC_WORKLOAD_SQL_COUNT 显示集群中所有CN节点上的Workload控制组内的SQL语句执行次数的统计信息,包括SELECT、UPDATE、INSERT、DELETE语句的执行次数统计,以及DDL、DML、DCL类型语句的执行次数统计。 5 GLOBAL_WORKLOAD_SQL_COUNT 显示集群中所有Workload控制组内SQL语句执行次数的统计信息,包括SELECT、UPDATE、INSERT、DELETE语句的执行次数统计,以及DDL、DML、DCL类型语句的执行次数统计。 6 GS_WORKLOAD_SQL_ELAPSE_TIME 显示当前节点上Workload控制组内SQL语句执行的响应时间的统计信息,包括SELECT、UPDATE、INSERT、DELETE语句的最大、最小、平均、以及总响应时间,单位为微秒。 7 PGXC_WORKLOAD_SQL_ELAPSE_TIME 显示集群中所有CN节点上Workload控制组内SQL语句执行的响应时间的统计信息,包括SELECT、UPDATE、INSERT、DELETE语句的最大、最小、平均、以及总响应时间,单位为微秒。 8 GLOBAL_WORKLOAD_SQL_ELAPSE_TIME 显示集群中所有Workload控制组内SQL语句执行的响应时间的统计信息,包括SELECT、UPDATE、INSERT、DELETE语句的最大、最小、平均、以及总响应时间,单位为微秒。 9 PGXC_INSTR_UNIQUE_SQL 展示集群中所有CN节点的Unique SQL的完整统计信息。 10 GS_INSTR_UNIQUE_SQL 显示当前节点收集的Unique SQL的执行信息。 修改 11 ALL_OBJECTS DBA_OBJECTS USER_OBJECTS 修改视图定义,扩展SYNONYM对象。 12 PGXC_THREAD_WAIT_STATUS 修改视图定义。 13 GS_SQL_COUNT 新增提供当前节点中所有用户执行的SELECT/UPDATE/INSERT/DELETE/MERGE INTO语句的响应时间的统计结果以及DDL、DML、DCL语句的计数结果。 14 PGXC_SQL_COUNT 新增提供集群中所有用户执行的SELECT/UPDATE/INSERT/DELETE/MERGE INTO语句的响应时间的统计结果以及DDL、DML、DCL语句的计数结果。 15 ALL_OBJECTS DBA_OBJECTS USER_OBJECTS 修改视图定义,增加对象的创建时间和最后修改时间。 16 PG_TABLES 修改视图定义,增加表的创建用户、创建时间和最后修改时间。
  • 系统函数 表4 系统函数 变更类型 序号 名称 变更描述 新增 1 dbms_redact.add_policy dbms_redact.alter_policy dbms_redact.enable_policy dbms_redact.disable_policy dbms_redact.drop_policy 新增脱敏策略。 更改脱敏策略信息,包括对一个表对象增加脱敏列、修改脱敏列脱敏方式等。 开启、关闭脱敏策略。 删除脱敏策略。 2 pgxc_get_workload_sql_count 提供当前集群所有CN上所有Workload控制组内执行的SELECT/UPDATE/INSERT/DELETE语句的计数统计结果以及DDL、DML、DCL类型语句的计数统计结果。 3 pgxc_get_workload_sql_elapse_time 提供当前集群所有CN上所有Workload控制组内执行的SELECT/UPDATE/INSERT/DELETE语句的响应时间统计结果。 4 get_instr_unique_sql 提供当前节点中收集的Unique SQL的信息。 5 reset_instr_unique_sql(cstring, cstring, INT8) 清理已收集的Unique SQL信息。 6 pgxc_get_instr_unique_sql 提供集群中所有CN上收集的Unique SQL的完整信息。 7 pg_check_authid 根据用户oid检查用户是否存在。 修改 8 pg_stat_get_sql_count 新增提供当前节点中所有用户执行的SELECT/UPDATE/INSERT/DELETE/MERGE INTO语句的响应时间的统计结果以及DDL、DML、DCL语句的计数结果。 9 pgxc_get_sql_count 新增提供所有节点中所有用户执行的SELECT/UPDATE/INSERT/DELETE/MERGE INTO语句的响应时间的统计结果以及DDL、DML、DCL语句的计数结果。
  • SQL语法 表1 SQL语法 变更类型 序号 名称 变更描述 新增 1 设置临时表空间限额 新增语法CREATE USER/ROLE user1 …TEMP SPACE ‘5GB',进行临时空间配额设置。 2 修改临时表空间限额 新增语法ALTER USER user1 TEMP SPACE ‘5GB’;,进行临时空间配额修改。 3 设置中间计算结果集落盘空间限额 新增语法CREATE USER/ROLE user1 … SPILL SPACE ‘unlimited;,进行中间结果集临时空间配额设置。 4 修改中间计算结果集落盘空间限额 新增语法ALTER USER user1 SPILL SPACE ‘5GB’;,进行中间结果集临时空间配额设置。 5 ALTER TABLE 新增语法:alter table modify not null [enable] / alter table modify null。 6 CREATE INDEX 新增语法:创建索引时支持索引名带schema。 7 ALTER SEQUENCE 新增语法:ALTER SEQUENCE。 8 CREATE SYNONYM 新增语法:CREATE [OR REPLACE] SYNONYM syn_name FOR obj_name。 9 DROP SYNONYM 新增语法:DROP SYNONYM IF EXISTS syn_name。 10 ALTER SYNONYM 新增语法:ALTER SYNONYM syn_name OWNER TO newowner。 11 CREATE USER/ROLE with ldap password disable 支持AD认证,创建用户时指定用户认证类型是ldap。 12 ALTER USER/ROLEwith ldap password disable 支持AD认证,修改用户认证类型为ldap。 13 copy 容错表参数选项增加 添加log errors data 选项以支持用户自定义选择是否。 填充rawrecord字段。 修改 14 GIN索引 300场景下禁止GIN索引。 删除 15 ALTER TABLE 分区表 exchange with unlogg表 禁止分区表与unlogged表做exchange交换。
共100000条