华为云用户手册

  • 权重抢占调度(policy=4) 权重抢占调度表示按照每个容器的算力比例为容器分配时间片。XGPU服务会从算力单元1开始调度,但如果某个算力单元没有分配给某个容器,则跳过调度切换到下一个时间片。例如为容器1、2、3分别分配5%、5%、10%的算力,则容器1、2、3分别占用1、1、2个算力单元。图中灰色部分的算力单元表示被跳过不参与调度。 本例中容器1、2、3占用的实际算力百分比为25%、25%、50%。
  • 混合调度(policy=5) 混合调度表示单张GPU卡支持单显存隔离和算力显存隔离类型。其中算力显存隔离的容器其隔离效果同固定算力(policy=1)完全一致,单显存隔离的容器共享算力显存隔离的容器分配后剩余的GPU算力。以max_inst=20为例,容器1、2为算力显存隔离容器,其分配的算力分别为5%、10%,容器3、4为单显存隔离的容器,则容器1、2分别占用1、2个算力单元,容器3、4共享剩余17个算力单元。此外,当容器2中没有进程打开GPU设备时,则容器1、2分别占用1、0个算力单元,容器3、4共享剩余19个算力单元。 在混合调度下,根据GPU_CONTAINER_QUOTA_PERCENT是否为0来区分容器是否开启算力隔离,GPU_CONTAINER_QUOTA_PERCENT为0的所有容器共享GPU的空闲算力。 混合调度策略不支持高优先级容器。
  • 权重弱调度(policy=6) 权重弱调度表示按照每个容器的算力比例为容器分配时间片,隔离性弱于权重抢占调度。XGPU服务会从算力单元1开始调度,但如果某个算力单元没有分配给某个容器,或者容器内没有进程打开GPU设备,则跳过调度切换到下一个时间片。例如为容器1、2、3分别分配5%、5%、10%的算力,则容器1、2、3分别占用1、1、2个算力单元。图中白色部分的算力单元表示容器3的空闲算力,图中白色部分和灰色部分的算力单元表示被跳过不参与调度。 本例中容器1、2、3占用的实际算力百分比为50%、50%、0%。 权重弱调度涉及空闲算力的抢占和抢回,因此容器在空闲和忙碌之间切换时会影响其他容器的算力,该算力波动属于正常情况。当某个容器从空闲切换到忙碌时,其抢回算力的时延不超过100ms。
  • 校验流程 工具通过MD5、SHA等算法将被检测文件计算出一个唯一的散列值,对不同时段的散列值进行比对,来判断系统是否被恶意篡改。 校验流程包括初始化数据库、扫描检测、更新数据库、保存文件副本三个流程: 初始化数据库:工具将读取包含待检测文件路径的配置文件,同时扫描被检测文件,并将结果存储在数据库中。 扫描检测:工具将扫描待检测文件,并将扫描结果与初始化时的数据库进行比较,并输出检测结果。 更新数据库:更新数据库后,将以更新数据库后时间点的文件作为原文件和当前文件进行对比校验。 保存文件副本:工具识别到待检测文件被篡改后,将分别保存缓存中和磁盘中的文件至固定目录作为副本留存。
  • 安装工具 确认repo源配置正常。 请检查默认的/etc/yum.repos.d/hce.repo配置文件中参数是否正确,正确的配置如下。 [base] name=HCE $releasever base baseurl=https://repo.huaweicloud.com/hce/$releasever/os/$basearch/ enabled=1 gpgcheck=1 gpgkey=https://repo.huaweicloud.com/hce/$releasever/os/RPM-GPG-KEY-HCE-2 [updates] name=HCE $releasever updates baseurl=https://repo.huaweicloud.com/hce/$releasever/updates/$basearch/ ...... 执行yum install file-drop-cache-tool命令安装fileDropCache软件包。 执行fileDropCache -h命令验证软件包是否正确安装。
  • 相关命令 命令 命令说明 fileDropCache -q file_path [offset] 查看某个文件的缓存信息。 【参数说明】 file_path:文件路径 offset:可选参数,不指定offset时,查看该文件的缓存信息;指定offset时,查看文件某一页的缓存信息。 必须为一个unsignedlong类型的正整数,最小值是0。 offset值为0时,查询第1页的缓存信息。 如果指定的offset超出文件页面最大的页数,则提示告警信息。 【输出结果】 [root@hce2 ~]# fileDropCache -q /etc/test/test1 Show pages Resident Pages/Total Pages: 2/2 8K/8K 100% Resident Pages/Total Pages按三个维度显示结果: 当前占用缓存的页数/总页数 当前占用缓存/总缓存 比值 说明: 显示结果中页数取值向上取整。如一个文件大小是9.1K,页大小为4K,总页数则为9.1K/4K,向上取整为3;显示内存大小为3*4K,即12K。示例如下: [root@hce2 ~]# fileDropCache -q /etc/test/test2 Show pages Resident Pages/Total Pages: 3/3 12K/12K 100% fileDropCache -e file_path [offset] 清除某个文件指定页的缓存。 【参数说明】 file_path:文件路径 offset:可选参数,不指定offset时,清除该文件的缓存信息;指定offset时,清除文件某一页的缓存信息。 必须为一个unsignedlong类型的正整数,最小值是0。 offset值为0时,清楚第1页的缓存信息。 如果指定的offset超出文件页面最大页数,则提示告警信息。 如果一个文件大小是11K,如果清除第3页缓存,即清除最后3K缓存。 fileDropCache -h 帮助信息。
  • (可选)升级Atlas 500固件 在本案例中,使用的是ModelArts预置算法训练模型,其模型匹配的固件版本为C32,而Atlas 500设备默认固件为C30。如需要将此类模型部署至Atlas 500,则需要升级Atlas 500设置。如果您的模型与设备的固件版本匹配,则无需执行此操作。 判断Atlas 500固件版本。 当部署边缘服务时,在选择Atlas 500节点后,如果出现如下图所示提示,表示您的设备与模型不匹配,需升级C32固件。 图16 部署为边缘服务(Atlas 500) 升级Atlas 500固件。 在节点列表下方单击“升级C32固件”,在弹出的对话框中,仔细阅读升级说明,勾选“我已阅读并同意以上内容”,然后单击“下载”,将固件版本及升级指导下载至本地。文件名称为“atlas500_C32_Firmware.zip”。 解压“atlas500_C32_Firmware.zip”文件,打开Atlas500产品C32固件升级操作指导.doc文件,根据指导完成Atlas 500的固件升级操作。
  • 步骤四:查看推理结果 通过postman发送http请求,查看推理结果。 下载Postman软件并安装,您可以直接在Chrome浏览器添加Postman扩展程序(也可使用其它支持发送post请求的软件)。 打开Postman。 图12 Postman软件界面 在Postman界面填写参数,以图像分类举例说明。 选择POST任务,将边缘节点的调用地址(即步骤三:将AI应用部署为边缘服务步骤完成后获得的URL)复制到POST后面的方框。 图13 POST参数填写 在Body页签,根据模型的输入参数不同,可分为2种类型:文件输入、文本输入。本示例的图像分类模型为文件输入。 选择“form-data”。在“KEY”值填写模型的入参,比如本例中预测图片的参数为“images”。然后在“VALUE”值,选择文件,上传一张待预测图片(当前仅支持单张图片预测)。 图14 填写Body配置 参数填写完成,单击“Send”发送请求,结果会在Response下的对话框里显示。 文件输入形式的预测结果如下图所示,返回结果的字段值根据不同模型可能有所不同。 图15 边缘服务文件输入预测结果 为避免资源浪费,在试用完成后,建议停止边缘服务,同时可前往ModelArts和OBS清理不必要的数据。例如创建的AI应用、模型转换任务、训练作业、数据集、存储在OBS的数据集及模型文件等。
  • 准备工作 已注册华为帐号并开通华为云,且在使用华为HiLens前检查帐号状态,帐号不能处于欠费或冻结状态。 已购买HiLens Kit设备,并准备好网线,电脑,路由器,HDMI线,显示屏。 成功注册设备HiLens Kit设备至华为HiLens控制台,详情请参见注册HiLens Kit。 登录OBS服务,创建桶和文件夹,用于存放样例的训练数据。创建名称为“hilens-gesture”OBS桶,区域选择“华北-北京四”,创建如下文件夹: “gesture-data”:用于存放训练模型的数据。 “gesture-data-output”:用于存放模型输出数据。 “gesture-data-record”:用于存放日志。 “gesture-convert-output”:用于存放转换模型后的输出文件。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。为保证模型数据能正常访问,请务必保证创建的OBS桶与华为HiLens在同一区域。 占用OBS资源的操作均会收取一定费用,收费规则请参见对象存储服务 OBS。
  • 准备训练数据 华为HiLens在公共OBS桶中提供了手势识别技能的用于模型训练的示例数据,命名为“gesture_recognition_data”,因此本文的操作示例使用此示例模型进行技能开发。您需要执行如下操作,将模型文件上传至您的OBS目录下,即准备工作中您创建的OBS目录“hilens-gesture/gesture-recognition”。 单击示例数据下载链接,将手势识别案例示例数据“gesture_recognition_data”下载至本地。 在本地,将“gesture_recognition_data”压缩包解压。例如解压至本地“gesture_recognition_data”文件夹下,包括1个子文件夹“gesture-data”和1个“.py”文件。 参考上传文件,利用OBS Browser+工具将“gesture_recognition_data/gesture-data”文件夹下的所有数据上传至“hilens-gesture/gesture-data”OBS路径下,OBS Browser+使用方法请参见OBS Browser+工具指南。
  • Ascend应用样例列表(高阶教程) 针对支持使用Ascend应用的算法,本文档提供了如下几个操作样例,您可以参考如下典型样例,使用ModelArts提供的预置算法(训练管理或AI Gallery),支撑您的业务应用。 表9 Ascend样例列表 样例 镜像 对应功能 场景 说明 开源大模型基于ModelArts的一键推理部署 MindSpore Ascend推理 开源大模型推理部署 此案例介绍如何从AI Gallery中订阅LLaMA系列和ChatGLM系列开源大模型,并在ModelArts上使用昇腾算力进行推理部署。 LLaMA系列模型基于ModelArts的全参数微调训练 MindSpore 订阅算法(AI Gallery)、Ascend训练、Ascend推理 LLaMA系列开源大模型全参微调训练 此案例介绍如何从AI Gallery中订阅LLaMA系列开源大模型算法,并在ModelArts上使用昇腾算力进行微调训练,最终将模型部署为在线服务。 ChatGLM系列模型基于ModelArts的全参微调训练 MindSpore MindSpore 订阅算法(AI Gallery)、Ascend训练、Ascend推理 ChatGLM系列开源大模型全参微调训练 此案例介绍如何从AI Gallery中订阅ChatGLM系列开源大模型算法,并在ModelArts上使用昇腾算力进行微调训练,最终将模型部署为在线服务。 推理业务昇腾迁移通用指导 MindSpore 模型迁移、Ascend推理部署 推理业务迁移 此案例介绍如何将客户已有的推理业务迁移到ModelArts上,使用昇腾算力进行推理部署。
  • 购买弹性云服务器ECS 如果您需要在服务器上部署相关业务,较之物理服务器,弹性云服务器的创建成本较低,并且可以在几分钟之内快速获得基于云服务平台的弹性云服务器设施,并且这些基础设施是弹性的,可以根据需求伸缩。下面介绍如何在管理控制台购买弹性云服务器。 购买流程: 步骤一:基础配置 步骤二:网络配置 步骤三:高级配置 步骤四:确认订单 购买时需注意,ECS需要和SFS买到同一个VPC才能挂载SFS存储。 父主题: 资源购买
  • 修订记录 发布日期 修订记录 2023-12-29 新增支持根据资源ID进行筛选资源池:查看资源池详情 新增设置续费策略:设置续费策略 新增调整到期策略:调整到期策略 新增支持逻辑资源池驱动升级:资源池驱动升级 新增支持支持1个VPC下多个子网的打通:ModelArts网络 2023-10-01 创建专属资源池新增网段参数:创建资源池。 创建专属资源池新增控制节点分布参数:创建资源池。 专属资源池支持IPv6:创建资源池。 专属资源池新增替换节点功能:查看资源池详情。 新增节点故障隔离码列表:资源池异常处理。 新增资源管理支持审计的关键操作列表:资源管理支持审计的关键操作列表
  • 查看策略及详情 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图1 选择数据安全 单击左侧导航树中的“成员管理”,进入成员管理页面。 图2 进入成员管理 单击操作栏中的“编辑”,在弹窗中可以为成员添加或删除所在的角色/权限集,管理其权限。 图3 编辑角色/权限集 单击操作栏中的“查看权限”,可以查看当前成员的基本信息,以及拥有的权限以及权限来源。
  • 创建密级 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图1 选择数据安全 单击数据安全左侧导航树中的“数据密级”,进入数据密级页面。 单击“新建”,参考表1输入数据密级信息。 表1 参数设置 参数名 参数设置 *密级名称 密级名称只能包含中文、英文字母、数字和下划线,创建完成后不支持“编辑”操作。 密级描述 密级描述支持所有字符输入,创建完成后支持通过“编辑”操作修改。 新建密级时,系统默认按照安全程度由低到高的顺序依次创建。您可以在密级建立好后,按照安全程度高低,通过“上移”、“下移”操作来调整密级顺序。
  • 新建空间资源权限策略 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图1 选择数据安全 单击左侧导航树中的“空间资源权限”,进入空间资源权限页面。 图2 进入空间资源权限页面 单击空间资源权限页面的“新建” ,在弹出的策略配置页参考表1配置相关参数,配置完成单击“确定”,策略配置完成。 表1 配置空间资源权限策略参数说明 参数名 参数描述 *策略名称 标识空间资源权限策略,为便于策略管理,建议名称中包含资源对象和授权对象。 资源对象 数据连接 选择需要授权的管理中心组件数据连接。如需新建数据连接,请参考新建数据连接。 说明: 对于未选择的数据连接,则默认该连接权限放开,不做权限管控。 对于选择的数据连接,则非授权对象的普通用户(指非管理员用户,即非DAYU Administrator、Tenant Administrator或预置的工作空间管理员角色的用户)将无权再查看并使用该连接。 委托 选择需要授权的IAM委托,仅限于委托对象为“数据湖治理中心 DGC”的云服务类型委托。如需新建委托,请参考参考:创建委托。 说明: 对于未选择的委托,则默认该委托权限放开,不做权限管控。 对于选择的委托,则非授权对象的普通用户(指非管理员用户,即非DAYU Administrator、Tenant Administrator或预置的工作空间管理员角色的用户)将无权再查看并使用该委托。 授权对象 用户 选择需要授权的用户。用户列表来自于工作空间用户。 用户组 选择需要授权的用户组。用户组列表来自于工作空间用户组。 角色 选择需要授权的角色。角色列表来自于系统预置角色和自定义角色。 图3 新建空间资源权限策略
  • 约束与限制 当前仅支持简单模式的工作空间资源管控,不支持企业模式。 如果未对某资源进行赋权,则默认该资源权限放开,不做权限管控。 当前仅数据开发组件支持空间资源权限策略,其他组件不受空间资源权限策略限制。在数据开发组件如下场景中,会根据空间资源权限策略进行鉴权。 脚本开发或者作业开发中,选择连接或作业委托、公共委托。 提交脚本或者作业。 对于历史版本中直接在数据开发组件创建的数据连接,暂不支持进行资源权限管理。 对于已有的空间资源权限策略,当已删除对应资源后,策略不会随之自动删除。
  • 创建Kafka权限策略 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图19 选择数据安全 单击左侧导航树中的“资源权限配置”,进入资源权限配置页面。 单击待创建权限策略Kafka组件的“配置” ,进入配置界面单击“创建”,新建权限策略。 图20 新建kafka权限策略 在弹出的策略配置页配置相关参数,配置完成单击“确定”,策略配置完成。 图21 配置Kafka权限策略 表8 Kafka权限策略参数表 参数名 参数描述 策略类型 根据用户所选服务组件自动生成。包括访问、脱敏、行过滤器,其中脱敏和行过滤器类型是Hive特有的。 策略状态 开启表示权限策略生效,关闭表示权限策略创建成功后不生效。默认开启。 可覆盖 开启可覆盖时,新创建的策略将覆盖当前策略(新策略生效而旧策略不生效)。默认开启。 当用户需要创建一个临时访问策略时,“可覆盖”可以配合“有效时间”一起使用,那么即使临时访问策略超过有效期失效后,也不影响原有的权限策略继续生效。 审计日志 开启表示记录日志,日志内容包括客户端访问时间、客户端IP、客户端用户、操作资源结果等信息。 策略名称 名称为必填项,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符,且输入不能为空。 描述 对策略的描述信息,长度限制在256个字符以内。 策略条件 指定可访问Kafka主题的IP地址范围。 Topic Kafka集群的消息主题。 有效时间 用户通过设置开始时间和结束时间来控制策略的生效时间段,可配置多条。 允许访问 定义允许访问的用户和用户组。 用户:MRS服务的用户。 角色:MRS服务的角色。 用户组:MRS服务的用户组。 权限:定义允许访问的用户拥有的权限。权限和用户允许同时为空值,或者同时不为空值。服务相关权限详情请参考表1。 策略条件:指定可访问Kafka主题的IP地址范围。 委托用户:当勾选此项时,管理权限将分配给适用的用户和组。受委托的管理员可以更新和删除策略,还可以基于原始策略创建子策略。 添加排除项 允许访问勾选“添加排除项”意思是在允许访问的用户组里添加禁止访问的用户。 禁止访问勾选“添加排除项”意思是在禁止访问的用户组里添加允许访问的用户。 禁止访问 不勾选“拒绝所有其他访问”时显示此配置,该配置定义禁止访问的用户和用户组。 用户:MRS服务的用户。 角色:MRS服务的角色。 用户组:MRS服务的用户组。 权限:定义用户禁止的权限类型。权限和用户允许同时为空值,或者同时不为空值。服务相关权限详情请参考表1。 策略条件:指定可访问Kafka主题的IP地址范围。 委托用户:当勾选此项时,管理权限将分配给适用的用户和组。受委托的管理员可以更新和删除策略,还可以基于原始策略创建子策略。
  • 创建Storm权限策略 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图22 选择数据安全 单击左侧导航树中的“资源权限配置”,进入资源权限配置页面。 单击待创建权限策略Storm组件的“配置” ,进入配置界面单击“创建”,新建权限策略。 图23 新建Storm权限策略 在弹出的策略配置页配置相关参数,配置完成单击“确定”,策略配置完成。 图24 配置Storm权限策略 表9 Storm权限策略参数表 参数名 参数描述 策略类型 根据用户所选服务组件自动生成。包括访问、脱敏、行过滤器,其中脱敏和行过滤器类型是Hive特有的。 策略状态 开启表示权限策略生效,关闭表示权限策略创建成功后不生效。默认开启。 可覆盖 开启可覆盖时,新创建的策略将覆盖当前策略(新策略生效而旧策略不生效)。默认开启。 当用户需要创建一个临时访问策略时,“可覆盖”可以配合“有效时间”一起使用,那么即使临时访问策略超过有效期失效后,也不影响原有的权限策略继续生效。 审计日志 开启表示记录日志,日志内容包括客户端访问时间、客户端IP、客户端用户、操作资源结果等信息。 策略名称 名称为必填项,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符,且输入不能为空。 描述 对策略的描述信息,长度限制在256个字符以内。 Topology 该参数表示Storm集群中的任务。 有效时间 用户通过设置开始时间和结束时间来控制策略的生效时间段,可配置多条。 允许访问 定义允许访问的用户和用户组。 用户:MRS服务的用户。 角色:MRS服务的角色。 用户组:MRS服务的用户组。 权限:定义允许访问的用户拥有的权限。权限和用户允许同时为空值,或者同时不为空值。服务相关权限详情请参考表1。 委托用户:当勾选此项时,管理权限将分配给适用的用户和组。受委托的管理员可以更新和删除策略,还可以基于原始策略创建子策略。 添加排除项 允许访问勾选“添加排除项”意思是在允许访问的用户组里添加禁止访问的用户。 禁止访问勾选“添加排除项”意思是在禁止访问的用户组里添加允许访问的用户。 拒绝所有其他访问 勾选此项表示只有策略中“允许访问”指定的用户或用户组可以访问,其他用户均禁止访问。 禁止访问 不勾选“拒绝所有其他访问”时显示此配置,该配置定义禁止访问的用户和用户组。 用户:MRS服务的用户。 角色:MRS服务的角色。 用户组:MRS服务的用户组。 权限:定义用户禁止的权限类型。权限和用户允许同时为空值,或者同时不为空值。服务相关权限详情请参考表1。 委托用户:当勾选此项时,管理权限将分配给适用的用户和组。受委托的管理员可以更新和删除策略,还可以基于原始策略创建子策略。
  • 创建HBase权限策略 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图13 选择数据安全 单击左侧导航树中的“资源权限配置”,进入资源权限配置页面。 单击待创建权限策略HBase组件的“配置” ,进入配置界面单击“创建”,新建权限策略。 图14 创建HBase权限策略 在弹出的策略配置页配置相关参数,配置完成单击“确定”,策略配置完成。 图15 配置HBase权限策略 表6 HBase权限策略参数表 参数名 参数描述 策略类型 根据用户所选服务组件自动生成。包括访问、脱敏、行过滤器,其中脱敏和行过滤器类型是Hive特有的。 策略状态 开启表示权限策略生效,关闭表示权限策略创建成功后不生效。默认开启。 可覆盖 开启可覆盖时,新创建的策略将覆盖当前策略(新策略生效而旧策略不生效)。默认开启。 当用户需要创建一个临时访问策略时,“可覆盖”可以配合“有效时间”一起使用,那么即使临时访问策略超过有效期失效后,也不影响原有的权限策略继续生效。 审计日志 开启表示记录日志,日志内容包括客户端访问时间、客户端IP、客户端用户、操作资源结果等信息。 策略名称 名称为必填项,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符,且输入不能为空。 描述 对策略的描述信息,长度限制在256个字符以内。 数据表 必填项,此项表示需要进行权限控制的数据表,支持模糊搜索。 列 必填项,此项表示需要进行权限控制的列,支持模糊搜索。 列族 必填项,此项表示HBase中Column Family,多列的集合。 有效时间 用户通过设置开始时间和结束时间来控制策略的生效时间段,可配置多条。 允许访问 定义允许访问的用户和用户组。 用户:MRS服务的用户。 角色:MRS服务的角色。 用户组:MRS服务的用户组。 权限:定义允许访问的用户拥有的权限。权限和用户允许同时为空值,或者同时不为空值。服务相关权限详情请参考表1。 委托用户:当勾选此项时,管理权限将分配给适用的用户和组。受委托的管理员可以更新和删除策略,还可以基于原始策略创建子策略。 添加排除项 允许访问勾选“添加排除项”意思是在允许访问的用户组里添加禁止访问的用户。 禁止访问勾选“添加排除项”意思是在禁止访问的用户组里添加允许访问的用户。 拒绝所有其他访问 勾选此项表示只有策略中“允许访问”指定的用户或用户组可以访问,其他用户均禁止访问。 禁止访问 不勾选“拒绝所有其他访问”时显示此配置,该配置定义禁止访问的用户和用户组。 用户:MRS服务的用户。 角色:MRS服务的角色。 用户组:MRS服务的用户组。 权限:定义用户禁止的权限类型。权限和用户允许同时为空值,或者同时不为空值。服务相关权限详情请参考表1。 委托用户:当勾选此项时,管理权限将分配给适用的用户和组。受委托的管理员可以更新和删除策略,还可以基于原始策略创建子策略。
  • 创建Yarn权限策略 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图16 选择数据安全 单击左侧导航树中的“资源权限配置”,进入资源权限配置页面。 单击待创建权限策略Yarn组件的“配置” ,进入配置界面单击“创建”,新建权限策略。 图17 新建Yarn权限策略 在弹出的策略配置页配置相关参数,配置完成单击“确定”,完成策略配置。 图18 配置Yarn权限策略 表7 Yarn权限策略参数表 参数名 参数描述 策略类型 根据用户所选服务组件自动生成。包括访问、脱敏、行过滤器,其中脱敏和行过滤器类型是Hive特有的。 策略状态 开启表示权限策略生效,关闭表示权限策略创建成功后不生效。默认开启。 可覆盖 开启可覆盖时,新创建的策略将覆盖当前策略(新策略生效而旧策略不生效)。默认开启。 当用户需要创建一个临时访问策略时,“可覆盖”可以配合“有效时间”一起使用,那么即使临时访问策略超过有效期失效后,也不影响原有的权限策略继续生效。 审计日志 开启表示记录日志,日志内容包括客户端访问时间、客户端IP、客户端用户、操作资源结果等信息。 策略名称 名称为必填项,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符,且输入不能为空。 描述 对策略的描述信息,长度限制在256个字符以内。 队列 Yarn服务中的资源调度队列。 有效时间 用户通过设置开始时间和结束时间来控制策略的生效时间段,可配置多条。 允许访问 定义允许访问的用户和用户组。 用户:MRS服务的用户。 角色:MRS服务的角色。 用户组:MRS服务的用户组。 权限:定义允许访问的用户拥有的权限。权限和用户允许同时为空值,或者同时不为空值。服务相关权限详情请参考表1。 委托用户:当勾选此项时,管理权限将分配给适用的用户和组。受委托的管理员可以更新和删除策略,还可以基于原始策略创建子策略。 添加排除项 允许访问勾选“添加排除项”意思是在允许访问的用户组里添加禁止访问的用户。 禁止访问勾选“添加排除项”意思是在禁止访问的用户组里添加允许访问的用户。 拒绝所有其他访问 勾选此项表示只有策略中“允许访问”指定的用户或用户组可以访问,其他用户均禁止访问。 禁止访问 不勾选“拒绝所有其他访问”时显示此配置,该配置定义禁止访问的用户和用户组。 用户:MRS服务的用户。 角色:MRS服务的角色。 用户组:MRS服务的用户组。 权限:定义用户禁止的权限类型。权限和用户允许同时为空值,或者同时不为空值。服务相关权限详情请参考表1。 委托用户:当勾选此项时,管理权限将分配给适用的用户和组。受委托的管理员可以更新和删除策略,还可以基于原始策略创建子策略。
  • 创建Hive访问权限策略 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图4 选择数据安全 单击左侧导航树中的“资源权限配置”,进入资源权限配置页面。 单击待创建权限策略Hive组件的“配置” ,进入配置界面选择“访问”页签,单击“创建”,新建权限策略。 图5 新建权限策略入口 在弹出的策略配置页配置相关参数,配置完成单击“确定”,策略配置完成。 图6 配置Hive权限策略 权限策略参数说明表: 表3 Hive权限策略参数说明表 参数名 参数描述 策略类型 根据用户所选服务组件自动生成。包括访问、脱敏、行过滤器,其中脱敏和行过滤器类型是Hive特有的。 策略状态 开启表示权限策略生效,关闭表示权限策略创建成功后不生效。默认开启。 可覆盖 开启可覆盖时,新创建的策略将覆盖当前策略(新策略生效而旧策略不生效)。默认开启。 当用户需要创建一个临时访问策略时,“可覆盖”可以配合“有效时间”一起使用,那么即使临时访问策略超过有效期失效后,也不影响原有的权限策略继续生效。 审计日志 开启表示记录日志,日志内容包括客户端访问时间、客户端IP、客户端用户、操作资源结果等信息。 策略名称 名称为必填项,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符,且输入不能为空。 描述 对策略的描述信息,长度限制在256个字符以内。 数据库 必填项,此项表示需要进行权限控制的数据库,支持模糊搜索。 数据表 必填项,此项表示需要进行权限控制的数据表,支持模糊搜索。 列 必填项,此项表示需要进行权限控制的列,支持模糊搜索。 有效时间 用户通过设置开始时间和结束时间来控制策略的生效时间段,可配置多条。 允许访问 定义允许访问的用户和用户组。 用户:MRS服务的用户。 角色:MRS服务的角色。 用户组:MRS服务的用户组。 权限:定义允许访问的用户拥有的权限。权限和用户允许同时为空值,或者同时不为空值。服务相关权限详情请参考表1。 委托用户:当勾选此项时,管理权限将分配给适用的用户和组。受委托的管理员可以更新和删除策略,还可以基于原始策略创建子策略。 添加排除项 允许访问勾选“添加排除项”意思是在允许访问的用户组里添加禁止访问的用户。 禁止访问勾选“添加排除项”意思是在禁止访问的用户组里添加允许访问的用户。 拒绝所有其他访问 勾选此项表示只有策略中“允许访问”指定的用户或用户组可以访问,其他用户均禁止访问。 禁止访问 不勾选“拒绝所有其他访问”时显示此配置,该配置定义禁止访问的用户和用户组。 用户:MRS服务的用户。 角色:MRS服务的角色。 用户组:MRS服务的用户组。 权限:定义用户禁止的权限类型。权限和用户允许同时为空值,或者同时不为空值。服务相关权限详情请参考表1。 委托用户:当勾选此项时,管理权限将分配给适用的用户和组。受委托的管理员可以更新和删除策略,还可以基于原始策略创建子策略。
  • 创建Hive脱敏权限策略 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图7 选择数据安全 单击左侧导航树中的“资源权限配置”,进入资源权限配置页面。 单击待创建权限策略Hive组件的“配置” ,进入配置界面选择“脱敏”页签,单击“创建”,新建权限策略。 图8 新建权限策略界面 在弹出的策略配置页配置相关参数,配置完成单击“确定”,策略配置完成。 图9 配置Hive权限策略界面 表4 Hive权限策略参数说明表 参数名 参数描述 策略类型 根据用户所选服务组件自动生成。包括访问、脱敏、行过滤器,其中脱敏和行过滤器类型是Hive特有的。 策略状态 开启表示权限策略生效,关闭表示权限策略创建成功后不生效。默认开启。 可覆盖 开启可覆盖时,新创建的策略将覆盖当前策略(新策略生效而旧策略不生效)。默认开启。 当用户需要创建一个临时访问策略时,“可覆盖”可以配合“有效时间”一起使用,那么即使临时访问策略超过有效期失效后,也不影响原有的权限策略继续生效。 审计日志 开启表示记录日志,日志内容包括客户端访问时间、客户端IP、客户端用户、操作资源结果等信息。 策略名称 名称为必填项,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符,且输入不能为空。 描述 对策略的描述信息,长度限制在256个字符以内。 数据库 必填项,此项表示需要进行权限控制的数据库,支持模糊搜索。 数据表 必填项,此项表示需要进行权限控制的数据表,支持模糊搜索。 列 必填项,此项表示需要进行权限控制的列,支持模糊搜索。 有效时间 用户通过设置开始时间和结束时间来控制策略的生效时间段,可配置多条。 脱敏 定义用户或用户组访问数据的脱敏方式。 用户:MRS服务的用户。 角色:MRS服务的角色。 用户组:MRS服务的用户组。 权限:定义允许访问的用户拥有的权限。权限和用户允许同时为空值,或者同时不为空值。服务相关权限详情请参考表1。 脱敏方式:按照该参数选定的指对Hive表中需要进行权限控制的列进行脱敏。
  • 创建Hive行级过滤器权限策略 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图10 选择数据安全 单击左侧导航树中的“资源权限配置”,进入资源权限配置页面。 单击待创建权限策略Hive组件的“配置” ,进入配置界面选择“行级过滤器”页签,单击“创建”,新建权限策略。 图11 创建Hive行级过滤器权限策略 在弹出的策略配置页配置相关参数,配置完成单击“确定”,策略配置完成。 图12 配置Hive权限策略参数 表5 Hive权限策略参数说明表 参数名 参数描述 策略类型 根据用户所选服务组件自动生成。包括访问、脱敏、行过滤器,其中脱敏和行过滤器类型是Hive特有的。 策略状态 开启表示权限策略生效,关闭表示权限策略创建成功后不生效。默认开启。 可覆盖 开启可覆盖时,新创建的策略将覆盖当前策略(新策略生效而旧策略不生效)。默认开启。 当用户需要创建一个临时访问策略时,“可覆盖”可以配合“有效时间”一起使用,那么即使临时访问策略超过有效期失效后,也不影响原有的权限策略继续生效。 审计日志 开启表示记录日志,日志内容包括客户端访问时间、客户端IP、客户端用户、操作资源结果等信息。 策略名称 名称为必填项,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符,且输入不能为空。 描述 对策略的描述信息,长度限制在256个字符以内。 数据库 必填项,此项表示需要进行权限控制的数据库,支持模糊搜索。 数据表 必填项,此项表示需要进行权限控制的数据表,支持模糊搜索。 列 必填项,此项表示需要进行权限控制的列,支持模糊搜索。 有效时间 用户通过设置开始时间和结束时间来控制策略的生效时间段,可配置多条。 行级过滤器 定义允许访问的用户和用户组。 用户:MRS服务的用户。 角色:MRS服务的角色。 用户组:MRS服务的用户组。 权限:定义允许访问的用户拥有的权限。权限和用户允许同时为空值,或者同时不为空值。服务相关权限详情请参考表1。 行级过滤器:根据字段内容进行过滤,格式一般为:属性=属性值。例如:state=1。
  • 创建HDFS权限策略 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图1 选择数据安全 单击左侧导航树中的“资源权限配置”,进入资源权限配置页面。 单击待创建权限策略HDFS组件下“hacluster”的“配置” ,进入配置界面单击“创建”,新建权限策略。 图2 新建权限策略 在弹出的策略配置页配置相关参数,配置完成单击“确定”,策略配置完成。 图3 配置权限策略 表2 配置HDFS权限策略参数说明 参数名 参数描述 策略类型 根据用户所选服务组件自动生成。包括访问、脱敏、行过滤器,其中脱敏和行过滤器类型是Hive特有的。 策略状态 开启表示权限策略生效,关闭表示权限策略创建成功后不生效。默认开启。 可覆盖 开启可覆盖时,新创建的策略将覆盖当前策略(新策略生效而旧策略不生效)。默认开启。 当用户需要创建一个临时访问策略时,“可覆盖”可以配合“有效时间”一起使用,那么即使临时访问策略超过有效期失效后,也不影响原有的权限策略继续生效。 审计日志 开启表示记录日志,日志内容包括客户端访问时间、客户端IP、客户端用户、操作资源结果等信息。 策略名称 名称为必填项,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符,且输入不能为空。 描述 对策略的描述信息,长度限制在256个字符以内。 资源路径 访问权限控制的HDFS路径。 递归 开启表示资源路径为递归方式。关闭表示资源路径为非递归方式。默认开启。 有效时间 用户通过设置开始时间和结束时间来控制策略的生效时间段,可配置多条。 允许访问 定义允许访问的用户和用户组。 用户:MRS服务的用户。 角色:MRS服务的角色。 用户组:MRS服务的用户组。 权限:定义允许访问的用户拥有的权限。权限和用户允许同时为空值,或者同时不为空值。服务相关权限详情请参考表1。 委托用户:当勾选此项时,管理权限将分配给适用的用户和组。受委托的管理员可以更新和删除策略,还可以基于原始策略创建子策略。 添加排除项 允许访问勾选“添加排除项”意思是在允许访问的用户组里添加禁止访问的用户。 禁止访问勾选“添加排除项”意思是在禁止访问的用户组里添加允许访问的用户。 拒绝所有其他访问 勾选此项表示只有策略中“允许访问”指定的用户或用户组可以访问,其他用户均禁止访问。 禁止访问 不勾选“拒绝所有其他访问”时显示此配置,该配置定义禁止访问的用户和用户组。 用户:MRS服务的用户。 角色:MRS服务的角色。 用户组:MRS服务的用户组。 权限:定义用户禁止的权限类型。权限和用户允许同时为空值,或者同时不为空值。服务相关权限详情请参考表1。 委托用户:当勾选此项时,管理权限将分配给适用的用户和组。受委托的管理员可以更新和删除策略,还可以基于原始策略创建子策略。
  • 支持访问控制的MRS组件及权限列表 Ranger通过插件的方式对MRS集群(MRS集群版本为3.0.0及以上)中的组件进行集成。通过Ranger可以对组件进行细粒度的访问权限控制。目前已经支持的组件及相关权限如表1所示。 表1 支持的组件及权限列表 组件名 权限说明 HDFS HDFS文件的权限: Read:读权限 Write:写权限 Excute:执行权限 Hive Hive数据库、数据表、列的权限: Select:查询权限 Update:更新权限 Create:创建权限 Drop:drop操作权限 Alter:alter操作权限 All:所有执行权限 Temporary UDF Admin:临时UDF管理权限 Yarn Yarn队列权限: submit-app:提交队列任务权限 admin-queue:管理队列任务权限 HBase HBase列、列族的权限: Read:读权限 Write:写权限 Create:创建权限 Admin:管理员权限 Kafka Kafka的Topic权限: Publish:生产权限 Consume:消费权限 Configure:topic扩容权限 Describe:查询权限 Create:创建主题权限 Delete:删除主题权限 Describe Configs:查询配置权限 Alter Configs:修改配置权限 Storm Storm的Topology权限: Submit Topology:提交拓扑 File Upload:上传文件 File DownLoad:下载文件 Kill Topology:删除拓扑 Rebalance:Rebalance权限 Activate:激活权限 Deactivate:去激活权限 Get Topology Conf:获取拓扑配置 Get Topology:获取拓扑 Get User Topology:获取用户拓扑 Get Topology Info:获取拓扑信息 Upload New Credential:上传新的凭证
  • 申请权限 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图4 选择数据安全 单击数据安全左侧导航树中的“权限审批”,进入权限审批页面。 在“权限审批”页面的权限申请页签,单击“创建权限申请”,创建权限申请工单。 图5 创建权限申请 在权限申请工单页面中,参考表1完成工单填写。 图6 填写工单 表1 权限申请工单参数说明 配置项 说明 基本信息 *工作空间 选择已配置空间权限集的工作空间。 *空间权限集 选择空间权限集,空间权限集权限范围应已包含所需资源权限。 *数据源类型 当前仅支持Hive。 *集群名称 选择要申请的资源所在的集群。 *数据连接 选择要申请的资源所在的数据连接。 资源选择 *待添加资源 在导航树上选择数据库后,勾选所需的数据表,单次申请时支持选择不同数据库下的表。 说明: 当前仅支持按照数据表粒度,申请数据表的查询数据(SELECT)权限。因此权限申请前,请确保空间权限集已配置所选数据表中所有列的SELECT权限。 另外,导航树上的快速模式开启后,库表列的元数据会从数据目录获取,否则会从数据源获取元数据。推荐开启快速模式。 *已选择资源 在已选择资源列表中可查看所选的表、权限和审批人信息。 说明: 审批人来自权限集/角色的管理员。例如,如果空间权限集、权限集A和角色B中均定义了所选数据表中所有列的SELECT权限,审批人可以选择为权限集A或角色B管理员;如果只有空间权限集定义了所选数据表中所有列的SELECT权限,审批人为空间权限集的管理员。 申请信息 为自己 勾选为自己后,可为自己申请所选择的资源权限。 空间账号 当在数据开发组件配置调度的公共IAM账号后,可为空间账号申请所选择的资源权限。 为他人 可选择工作空间内的成员,为其申请所选择的资源权限。 *申请原因 填写申请原因,便于审批人审视是否应当审批。 工单填写完成后,单击提交可生成一条待审批的工单记录。在工单列表处,可以查看工单ID、摘要、状态等信息,单击ID名查看工单详情,并支持撤回未审批的工单。 图7 工单列表
  • 审批权限 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图8 选择数据安全 单击数据安全左侧导航树中的“权限审批”,进入权限审批页面。 在“权限审批”页面,审批人单击“权限审批”进入权限审批页签。 图9 权限审批 在权限审批页签中,工单列表默认展示待审批的工单。您可以查看工单ID、摘要、状态等信息,单击ID名查看工单详情。请从业务合理性和数据安全角度审视,确认“通过”或“驳回”该工单,同时也可以勾选工单后单击列表上方的“批量审批”批量“通过”或“驳回”工单。 在权限审批页签中,单击“已审批”,可查看已经审批通过的工单。 图10 已通过工单列表
  • 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。 表2 整库迁移支持的数据源 数据源分类 数据源 读取 写入 说明 数据仓库 数据仓库服务(DWS) 支持 支持 - Hadoop (仅支持本地存储,不支持存算分离场景,不支持Ranger场景,不支持ZK开启SSL场景) MRS HBase 支持 支持 整库迁移仅支持导出到MRS HBase。 建议使用的版本: 2.1.X 1.3.X MRS Hive 支持 支持 整库迁移仅支持导出到关系型数据库。 暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X FusionInsight HBase 支持 不支持 建议使用的版本: 2.1.X 1.3.X FusionInsight Hive 支持 不支持 整库迁移仅支持导出到关系型数据库。 暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X Apache HBase 支持 不支持 建议使用的版本: 2.1.X 1.3.X Apache Hive 支持 不支持 整库迁移仅支持导出到关系型数据库。 暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X 关系数据库 云数据库 MySQL 支持 支持 不支持OLTP到OLTP迁移,此场景推荐通过数据复制服务DRS进行迁移。 云数据库 PostgreSQL 支持 支持 云数据库 SQL Server 支持 支持 MySQL 支持 不支持 PostgreSQL 支持 不支持 Microsoft SQL Server 支持 不支持 Oracle 支持 不支持 SAP HANA 支持 不支持 仅支持2.00.050.00.1592305219版本。 仅支持Generic Edition。 不支持BW/4 FOR HANA。 仅支持英文字母的数据库名、表名与列名,不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符(除SHORTTEXT) 类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 达梦数据库 DM 支持 不支持 仅支持导出到DWS、Hive NoSQL Redis 支持 支持 - 文档数据库服务(DDS) 支持 支持 仅支持DDS和MRS之间迁移。 表格存储服务(CloudTable) 支持 支持 -
  • 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务(DWS) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI),MRS ClickHouse Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 不支持DWS物理机纳管模式。 数据湖探索(DLI) - MRS ClickHouse 数据仓库:MRS ClickHouse,数据湖探索(DLI) MRS ClickHouse建议使用的版本:21.3.4.X。 Hadoop MRS HDFS 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 支持本地存储,仅MRS Hive、MRS Hudi支持存算分离场景。 仅MRS Hive支持Ranger场景。 不支持ZK开启SSL场景。 MRS HDFS建议使用的版本: 2.8.X 3.1.X MRS HBase建议使用的版本: 2.1.X 1.3.X MRS Hive、MRS Hudi暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X MRS HBase MRS Hive 数据仓库:数据仓库服务(DWS),数据湖探索(DLI),MRS Clickhouse Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) MRS Hudi 数据仓库:数据仓库服务(DWS) FusionInsight HDFS 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) FusionInsight数据源不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 FusionInsight HDFS建议使用的版本: 2.8.X 3.1.X FusionInsight HBase建议使用的版本: 2.1.X 1.3.X FusionInsight Hive建议使用的版本: 1.2.X 3.1.X FusionInsight HBase FusionInsight Hive Apache HBase 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) Apache数据源不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 Apache HBase建议使用的版本: 2.1.X 1.3.X Apache Hive暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X Apache HDFS建议使用的版本: 2.8.X 3.1.X Apache Hive Apache HDFS 对象存储 对象存储服务(OBS) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 对象存储服务之间的迁移,推荐使用对象存储迁移服务OMS。 不支持二进制文件导入到数据库或NoSQL。 文件系统 FTP 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 文件系统不支持作为目的端。 FTP/SFTP到搜索的迁移仅支持如CSV等文本文件,不支持二进制文件。 文件系统到OBS的迁移推荐使用obsutil工具,请参见obsutil简介。 SFTP HTTP Hadoop:MRS HDFS 关系型数据库 云数据库 MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive,MRS Hudi 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) OLTP数据库之间的迁移推荐通过数据复制服务DRS进行迁移。 云数据库 MySQL不支持SSL模式。 Microsoft SQL Server建议使用的版本:2005以上。 金仓和GaussDB数据源可通过PostgreSQL连接器进行连接,支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 云数据库 SQL Server 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) 云数据库 PostgreSQL MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive,MRS Hudi 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) PostgreSQL Oracle Microsoft SQL Server 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) SAP HANA 数据仓库:数据湖探索(DLI) Hadoop:MRS Hive SAP HANA数据源存在如下约束: SAP HANA不支持作为目的端。 仅支持2.00.050.00.1592305219版本。 仅支持Generic Edition。 不支持BW/4 FOR HANA。 仅支持英文字母的数据库名、表名与列名,不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符(除SHORTTEXT) 类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 分库 数据仓库:数据湖探索(DLI) Hadoop:MRS HBase,MRS Hive 搜索:Elasticsearch,云搜索服务(CSS) 对象存储:对象存储服务(OBS) 分库数据源不支持作为目的端。 分库指的是同时连接多个后端数据源,该连接可作为作业源端,将多个数据源的数据合一迁移到其他数据源上。 NoSQL Redis Hadoop:MRS HDFS,MRS HBase,MRS Hive 除了表格存储服务(CloudTable)外,其他NoSQL数据源不支持作为目的端。 文档数据库服务(DDS) MongoDB 表格存储服务(CloudTable HBase) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) Cassandra 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 消息系统 数据接入服务(DIS) 搜索:云搜索服务(CSS) 消息系统不支持作为目的端。 Apache Kafka DMS Kafka MRS Kafka 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) MRS Kafka不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 搜索 Elasticsearch 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) Elasticsearch仅支持非安全模式。 云搜索服务(CSS) 导入数据到CSS推荐使用Logstash,请参见使用Logstash导入数据到Elasticsearch。 上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。
共100000条