华为云用户手册

不同机型的对应的软件配套版本 表1 裸金属服务器 类型 卡类型 RDMA 操作系统 适用范围、约束 依赖插件 NPU ascend-snt9b roce 操作系统：EulerOS 2.10 64bit 内核版本：4.19.90-vhulk2211.3.0.h1543.eulerosv2r10.aarch64 架构类型：aarch64 集群类型：CCE Standard 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 集群转发模式：iptables|ipvs huawei-npu npu-driver volcano 插件版本匹配关系请见表3。 ascend-snt9b roce 操作系统：Huawei Cloud EulerOS 2.0 64bit 内核版本：5.10.0-60.18.0.50.r865_35.hce2.aarch64 架构类型：aarch64 集群类型：CCE Turbo 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：ENI 集群转发模式：iptables|ipvs ascend-snt9 roce 操作系统：EulerOS 2.8 64bit 内核版本：4.19.36-vhulk1907.1.0.h619.eulerosv2r8.aarch64 架构类型：aarch64 集群类型：CCE Standard|Turbo 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC|ENI 集群转发模式：iptables|ipvs GPU gp-ant8 roce 操作系统：EulerOS 2.10 64bit 内核版本：4.18.0-147.5.2.15.h1109.eulerosv2r10.x86_64 架构类型：x86 集群类型：CCE Standard 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 分布式训练时仅支持容器隧道网络 集群转发模式：iptables|ipvs gpu-beta gpu-driver rdma-sriov-dev-plugin 插件版本匹配关系请见表3。 gp-ant1 roce 操作系统：EulerOS 2.10 64bit 4.18.0-147.5.2.15.h1109.eulerosv2r10.x86_64 架构类型：x86 集群类型：CCE Standard 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 分布式训练时仅支持容器隧道网络 集群转发模式：iptables|ipvs gp-vnt1 roce|IB 操作系统：EulerOS 2.9 64bit（仅上海一p6|p6s规格使用） 内核版本：147.5.1.6.h1099.eulerosv2r9.x86_64 架构类型：x86 集群类型：CCE Standard| 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 分布式训练时仅支持容器隧道网络 集群转发模式：iptables|ipvs 操作系统：EulerOS 2.9 64bit（推荐） 内核版本：4.18.0-147.5.1.6.h841.eulerosv2r9.x86_64 架构类型：x86 表2 弹性云服务器 类型 卡类型 操作系统 适用范围 依赖插件 NPU ascend-snt3p-300i 操作系统：EulerOS 2.9 架构类型：x86 集群类型：CCE Standard、CCE Turbo 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC|ENI 集群转发模式：iptables|ipvs huawei-npu npu-driver volcano 插件版本匹配关系请见表3。 ascend-snt3 操作系统：EulerOS 2.5 架构类型：x86 集群类型：CCE Standard 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 集群转发模式：iptables|ipvs 操作系统：EulerOS 2.8 架构类型：arm 集群类型：CCE Standard 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 集群转发模式：iptables|ipvs GPU gp-vnt1 操作系统：EulerOS 2.9 架构类型：x86 集群类型：CCE Standard 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 集群转发模式：iptables|ipvs gpu-beta gpu-driver rdma-sriov-dev-plugin 插件版本匹配关系请见表3。 gp-ant03 操作系统：EulerOS 2.9 架构类型：x86 集群类型：CCE Standard 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 集群转发模式：iptables|ipvs gp-ant1-pcie40 操作系统：EulerOS 2.9 架构类型：x86 集群类型：CCE Standard 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 集群转发模式：iptables|ipvs gp-tnt004 操作系统：EulerOS 2.9 架构类型：x86 集群类型：CCE Standard 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 集群转发模式：iptables|ipvs 表3 插件版本与CCE集群版本适配关系 类别 插件名称 插件版本 适配CCE集群版本 适用范围、约束 插件功能描述 ccePlugin gpu-beta 2.0.48（仅适用于北京四、贵阳一、广州一、上海一、乌兰察布一、北京二、乌兰查布汽车，其余region暂不支持。） v1.(23|25).* GPU 支持在容器中使用GPU显卡的设备管理插件。 1.2.15 v1.(23|25).* huawei-npu 1.2.5 v1.(23|25).* NPU 支持容器里使用huawei NPU设备的管理插件。 volcano 1.11.9 v1.(23|25).* NPU 基于Kubernetes的批处理平台。 1.7.1 v1.(23|25).* 1.4.2 v1.(23|25).* npuDriver npu-driver 7.1.0.5.220-23.0.3（推荐） 无约束 NPU 用于升级、回滚npu驱动。 helm rdma-sriov-dev-plugin 0.1.0 无约束 BMS、RDMA且非ascend-1980 用于支持容器里使用RDMA网卡。 memarts 3.23.6-r002 无约束 无约束 近计算侧分布式缓存插件，用于存储加速。 os-node-agent 6.2.0-20230925213538 无约束 无约束 OS插件，用于故障检测。 icAgent icagent default CCE默认安装当前适配版本 无约束 CCE基础组件，用于日志和监控。 gpuDriver gpu-driver gpu-driver与系统内核版本有关，请见表4。 用于升级、回滚gpu驱动，插件依赖gpu-beta版本。 表4 系统内核与gpu-driver配套关系 镜像版本 系统内核版本 适配CCE gpu-driver版本 EulerOS 2.10 4.18.0-147.5.2.15.h1109.eulerosv2r10.x86_64 v1.(23|25|27|28).* 容器隧道网络|VPC|ENI 470.57.02 4.18.0-147.5.2.5.h805.eulerosv2r10.x86_64 v1.(23|25|27).* 容器隧道网络|VPC|ENI 470.57.02 EulerOS 2.9 4.18.0-147.5.1.6.h841.eulerosv2r9.x86_64 v1.(23|25|27|28).* 容器隧道网络|VPC 470.57.02 EulerOS 2.3 3.10.0-514.44.5.10.h193.x86_64 v1.(23|25).* 容器隧道网络|VPC 470.57.02 3.10.0-514.44.5.10.h254.x86_64 v1.(23|25).* 容器隧道网络|VPC 470.57.02

操作步骤 Snt9B裸金属服务器执行如下命令进行查看，然后查看表1对应型号算力即可。 npu-smi info 结果如下图所示，name列为B1型号，根据表格可得B1的理论算力为400T。 图1 NPU信息 不同算力以及参数如下表所示： 表1 Snt9B NPU型号及算力 型号 AIcore核心数 主频 理论算力 B1 25 1850MHz 400T B2 24 1800MHz 376T B3 20 1650MHz 313T B4 20 1650MHz 280T 算力值=cube+vector，其中： cube算力=16*16*16*主频*AI核心*2 vector算力=16*16*主频*AI核心*2

NPU Snt9B裸金属服务器支持的镜像详情 镜像名称：EulerOS-2.10-Arm-rc3-64bit-for-Snt9B-BareMetal-with-CANN7.0.RC1 表1 镜像详情 软件类型 版本详情 操作系统 EulerOS 2.10 内核版本 Linux 4.19.90-vhulk2211.3.0.h1543.eulerosv2r10.aarch64 架构类型 aarch64 npu-driver 23.0.rc3 Ascend-cann-toolkit 7.0.RC1 cann-kernels 7.0.RC1 Ascend-mindx-toolbox 5.0.RC3 Docker 24.0.7 Ascend-docker-runtime 5.0.RC3.1 MindSpore Lite 2.1.0-cp37-cp37m Mpich 3.2.1 镜像名称：EulerOS 2.10 Arm Snt9B rc3 64bit for BareMetal 表2 镜像详情 软件类型 版本详情 操作系统 EulerOS 2.10 内核版本 Linux 4.19.90-vhulk2211.3.0.h1543.eulerosv2r10.aarch64 架构类型 aarch64 npu-driver 23.0.rc3 父主题： 镜像介绍

场景描述 本文主要介绍如何Ubuntu系统下查看物理CPU、CPU核心数、逻辑CPU。 物理CPU：插在裸金属服务器上的真实的CPU硬件，一般一台裸金属服务器都会配置2块及以上的物理CPU。 CPU核心数：随着CPU技术的发展，现在的每一块物理CPU都是多核的CPU处理器，多核处理器其中的核就是指的核心数，一般一块英特尔的CPU都会支持32核心或者更高。因此裸金属服务的核心数为：物理CPU数目*CPU核心数 逻辑CPU：逻辑CPU和超线程技术有关，超线程是英特尔开发出来的一项技术，可以使得CPU的每一个核心像两个核心一样工作，这样每一个核心都可以并行执行线程。因此当物理CPU不支持超线程的话，逻辑CPU的数量等同于CPU核心数。若物理CPU支持超线程，逻辑CPU的数量为：物理CPU数目*CPU核心数*2

操作步骤 查看物理CPU，使用如下命令： cat /proc/cpuinfo | grep 'physical id' | sort |uniq |wc -l 查看CPU核心数，使用如下命令： cat /proc/cpuinfo | grep 'cpu cores' | uniq 查看逻辑CPU，使用如下命令： cat /proc/cpuinfo | grep 'processor' | wc -l

场景描述 本文旨在指导如何在Snt9b裸金属服务器上，进行磁盘合并挂载、安装docker等环境配置。在配置前请注意如下事项： 首次装机时需要配置存储、固件、驱动、网络访问等基础内容，这部分配置尽量稳定减少变化。 裸机上的开发形式建议开发者启动独立的Docker容器作为个人开发环境。Snt9b的裸机包含8卡算力资源，一般来说多人可以共用这个裸机完成开发与调测工作。多人使用为了避免冲突，建议各自在自己的docker容器中进行独立开发，并提前规划好每个人使用的具体卡号，避免相互影响。 ModelArts提供了标准化基础容器镜像，在容器镜像中已经预置了基础MindSpore或PyTorch框架和开发调测工具链，推荐用户直接使用该镜像，用户也可以使用自己的业务镜像或昇腾AscendHub提供的镜像。如果镜像中预置的软件版本不是您期望的版本，可以自行安装替换。 开发形式推荐通过容器中暴露的SSH端口以远程开发的模式(VSCode SSH Remote、 Xshell)连接到容器中进行开发，可以在容器中挂载宿主机的个人存储目录，用于存放代码和数据。 当前指导中很多操作步骤在最新发放的Snt9b裸机环境中已经预置，无需用户再手动配置，用户在操作中如发现某个步骤已有预置配置可直接跳过该步骤。 父主题： NPU Snt9B裸金属服务器环境配置

GP Vnt1裸金属服务器支持的镜像详情 GP Vnt1规格在北京四、北京一和上海一虽然规格相同，但是产品的配置、发布时间都存在很大差异，因此镜像不能共用。 镜像1：Ubuntu18.04 纯净版（仅限于北京四） 镜像名称：Ubuntu-18.04-server-64bit-for-Vnt1-BareMetal 表1 镜像详情 软件类型 版本详情 操作系统 Ubuntu 18.04 server 64bit 内核版本 4.15.0-45-generic 架构类型 x86 mlnx-ofed-linux 5.7-1.0.2.0 镜像2：Euler 2.3纯净版（仅限于上海一） 镜像名称：ModelArts-Euler2.3_X86_GPU-ROCE-BMS-202211301010 表2 镜像详情 软件类型 版本详情 操作系统 EulerOS 2.0(SP3) 内核版本 3.10.0-514.44.5.10.h254 架构类型 x86 mlnx-ofed-linux 4.3-1.0.1.0 镜像3：Euler 2.9纯净版（仅限于北京四和上海一） 镜像名称：Euler2.9-X86-for-Vnt1-BareMetal 表3 镜像详情 软件类型 版本详情 操作系统 EulerOS 2.9 64bit 架构类型 x86 镜像4：Centos 7.3纯净版（仅限于北京一） 镜像名称：CentOS 7.3 64bit for BareMetal WithIBDriver 表4 镜像详情 软件类型 版本详情 操作系统 CentOS 7.3 64bit 架构类型 x86 镜像5：Ubuntu 16.04纯净版（仅限于北京一） 镜像名称：Ubuntu 16.04 server 64bit for BareMetal 表5 镜像详情 软件类型 版本详情 操作系统 Ubuntu 16.04 64bit 架构类型 x86 镜像6：CentOS 7.4 纯净版（仅限于华南广州） 镜像名称：CentOS 7.4 64bit for BareMetal 表6 镜像详情 软件类型 版本详情 操作系统 CentOS 7.4 64bit 架构类型 x86 父主题： 镜像介绍

处理方法 若未安装nvidia-fabricmanager，则需安装改组件，请参考GPU Ant8裸金属服务器Ubuntu 20.04安装NVIDIA 470+CUDA 11.3。 若已安装nvidia-fabricmanager，运行以下命令重启nvidia-fabricmanager.service。 systemctl restart nvidia-fabricmanager.service 建议您进一步定位出nvidia-fabricmanager不工作原因，避免该问题再次发生。

系统级约束限制 支持扩展名为avi、wmv、mpg、mpeg、mp4、mov、m4v、mkv的视频文件。 不支持OBS桶上经过KMS加密后的视频。 单个视频大小不能超过4GB。 支持常见的帧率（fps）：23.97、24、25、29.97、30、50、60。 支持H.264、H.265、MPEG2、MPEG4、VC1、VP8、VP9编码格式视频的GPU解码。 编码格式 最大分辨率 MPEG2 1920*1080 MPEG4 1920*1080 VC1 2048*1024 H.264 1920*1080 H.265 1920*1080 VP8 1920*1080 VP9 1920*1080

使用流程 通过管理控制台使用视频分析服务时，使用流程如下： 准备视频数据 开通服务 创建作业 获取作业结果 具体操作请参见《视频分析服务用户指南》。 使用第三方系统调用API使用视频分析服务时，流程如下： 开通服务 获取请求认证和项目ID 调用API 获取作业结果 具体操作请参见《视频分析服务API参考》。 在使用API调用服务之前，您需要先登录管理控制台开通服务，服务开通一次即可，后续使用时无需再开通。

子服务 目前视频分析服务提供如下子服务。 表1 VAS子服务列表 服务 说明 产品优势 视频内容分析 VCR 视频内容分析（Video Content Recognition）提供多维度的视频分析算法，支持对视频中的多目标检测、识别、分析等能力，在多种场景下准确高效地输出视频结构化信息，为用户构建强大、全面、便捷的视频内容分析能力。 高性价比 除云上视频文件和视频流外，还支持边缘节点的视频流接入与处理，大幅降低业务接入成本。 稳定可靠 支持大规模、高并发、低延时的实时视频分析能力，支持不同天气条件、不同的摄像头角度等复杂场景，稳定运行。 丰富高效 支持人物、才艺、服饰风格、质量等视频场景和内容的个性化定制与分类识别。 多维分析 从声音、动作、图像、文字等多维度分析视频，多方位深度理解视频内容，输入视频即可得到专业的分析结果。 视频审核VCM 视频审核（Video Content Moderation）用于过滤违规内容，提升视频审核效率。 审核准确 采用深度卷积神经网络算法与海量训练样本，生成的预测模型识别精度高。 简单易用 提供符合RESTful的API访问接口，使用方便，用户的审核系统可快速集成。 审核范围广 覆盖多种违规风险审核，保障视频合乎规范发布。 多维审核 支持从声音、图像、文本等多维度审核视频，过滤风险，有效提高审核效率。

SaaS类 SaaS类商品是指将商家提供的部署在华为云基础设施资源（华为云IAAS）上的在线应用软件作为商品。用户无需购买独立的云资源，只需购买SaaS应用即可登录到指定的网站使用商品。 目前SaaS类商品接入时，使用用户名+初始密码的方式开通商品。即用户在华为云云商店购买商品时，云商店通过调用商家提供的生产系统接口地址，通知商家实施购买操作，操作完成后，商家向云商店返回前台地址、管理地址、用户登录名以及初始密码等信息。

新建快捷调试 进入项目后，单击搜索框旁，可根据需要选择“新建快捷调试”或“导入Postman文件”进行快捷调试。 新建快捷调试 单击“新建快捷调试”，生成“快捷调试”页签。 输入接口完整URL，单击“发送”即可对已有接口进行快捷调试。 Params、Header、Cookies、Auth参数设计请参照API设计进行快速设计。 前置脚本、后置脚本操作请查看脚本能力章节。 导入Postman文件 单击“导入Postman文件”，弹出“导入Postman文件”对话框。 上传需要导入的Postman文件，选择导入范围，可选择“全部”或者“选择快捷调试”。 导入通过Postman导出的文件时，接口示例会被同时导入为快捷调试接口，名称和Postman中接口示例名称相同。 单击“导入”，导入成功后可直接单击“发送”进行调试，也可保存为接口。

DataArts Studio调度CDM任务时报错Given transaction id [xxxx] is invalid，如何处理？ 问题描述： DataArts Studio调度CDM任务时，报错Given transaction id [xxxx] is invalid。 问题原因： 存在多个DataArts Studio作业同时调度同一个CDM任务节点，导致两个作业的事务id冲突报错。 问题处理： 调整DataArts Studio作业调度时间，保证同一时间只保留一个调度任务。 父主题： 数据开发

使用python调用执行脚本的api报错：The request parameter invalid，如何处理？ 问题现象： 使用python调用执行脚本的api报错：The request parameter invalid。 调用执行脚本接口。 查看日志： 报错：Content type 'application/octet-stream' not supported 原因分析：目前系统支持Content-Type参数支持application/json。 Content-Type消息体的类型（格式），默认取值为“application/json”。 如果请求消息体中含有中文字符，则还需要通过charset=utf8指定中文字符集。 处理方法：修改参数 Content-Type的参数类型 修改参数Content-Type的参数类型后可以执行成功。 父主题： 数据开发

试用初级版 您可以进入“大数据福利专场 0元试用”或“免费试用专区”活动页面，找到DataArts Studio的试用活动，配置DataArts Studio的区域后（不同区域的资源之间内网不互通，请根据您的实际需要慎重选择区域），单击购买即可进入DataArts Studio实例创建界面。 图1 试用初级版 试用初级版注意事项： 云产品体验名额有限，领完即止。 符合“参与对象”的同一用户仅能对同一产品申请一次。 试用产品的升级：用户试用过程中，主动进行升配等操作，将按照官网标准价格收费；如果进行降配或切换计费方式等，将不进行退费。 试用产品的续费：用户需要在试用期满后继续使用DataArts Studio的，应当在期满前按标准费用进行续费。

使用免费版 您可以参考购买DataArts Studio基础包，直接购买DataArts Studio免费版。 图2 使用免费版 使用免费版注意事项： 免费版不自带数据集成集群，而是首次购买时赠送36小时cdm.large规格的CDM集群折扣套餐，1年内有效。使用折扣套餐包时，您需要在“云数据迁移 CDM”服务创建一个与DataArts Studio实例区域一致的cdm.large规格集群，集群运行时会自动扣除折扣套餐包时长，折扣套餐包时长到期后需要删除此集群，否则会产生相关费用。关于CDM服务的计费详情可参见CDM用户指南。 免费版不支持购买增量包，例如无法购买批量数据迁移增量包或作业节点调度次数/天增量包。 免费版数据开发组件的脚本数和作业数的配额限制分别为20。 免费版仅用于试用场景，在业务负荷大的场景下，无法保证免费版实例上业务的正常运行。 免费版不支持通过API调用的方式使用，仅支持控制台方式使用。 免费版受成本、资源等因素限制，提供的总数量有限。当全网免费版数量超过限额时，将无法继续创建免费版实例。 免费版支持升级到其他付费版本。升级到其他版本或删除当前免费版实例后，您可以再次购买免费版，但不能再勾选“CDM套餐包”，折扣套餐仅在首次购买免费版时赠送。

CDM迁移数据到DWS时如何选取分布列？ 在使用CDM迁移数据到数据仓库服务（DWS）或者FusionInsight LibrA，且CDM在DWS端自动创建一个新表时，在创建作业的字段映射界面，需要选择分布列，如图1所示。 图1 选取分布列 由于分布列的选取，对于DWS/FusionInsight LibrA的运行非常重要，在CDM数据迁移到DWS/FusionInsight LibrA过程中，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。 在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。 因此，在单表或整库导入到DWS/FusionInsight LibrA时，建议您在此处手动选择分布列，如果您没有选择，CDM会自动选择一个分布列。关于分布列的更多信息，请参见数据仓库服务。 DWS主键或表只有一个字段时，要求字段类型必须是如下常用的字符串、数值、日期类型。从其他数据库迁移到DWS时，如果选择自动建表，主键必须为以下类型，未设置主键的情况下至少要有一个字段是以下类型，否则会无法创建表导致CDM作业失败。 INTEGER TYPES：TINYINT，SMALLINT，INT，BIGINT，NUMERIC/DECIMAL CHARACTER TYPES：CHAR，BPCHAR，VARCHAR，VARCHAR2，NVARCHAR2，TEXT DATA/TIME TYPES：DATE，TIME，TIMETZ，TIMESTAMP，TIMESTAMPTZ，INTERVAL，SMALLDATETIME 父主题： 数据集成

创建Oracle关系型数据库迁移作业时，无法获取模式名怎么处理？ 这是由于可能上传了暂不支持的最新ORACLE_8驱动（如Oracle Database 21c (21.3) drivers），推荐使用Oracle Database 12c中的ojdbc8.jar驱动（下载地址：https://www.oracle.com/database/technologies/jdbc-ucp-122-downloads.html）。 父主题： 数据集成

Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？ 建议使用的组件版本既可以作为目的端使用，也可以作为源端使用。 表1 建议使用的组件版本 Hadoop类型 组件 说明 MRS/Apache/FusionInsight HD Hive 暂不支持2.x版本，建议使用的版本： 1.2.X 3.1.X HDFS 建议使用的版本： 2.8.X 3.1.X Hbase 建议使用的版本： 2.1.X 1.3.X 父主题： 数据集成

迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”怎么处理？ 这是由于数据库表名中含有特殊字符导致识别出语法错误，按数据库对象命名规则重新命名后恢复正常。 例如，DWS数据仓库中的数据表命名需要满足以下约束：长度不超过63个字符，以字母或下划线开头，中间字符可以是字母、数字、下划线、$、#。 父主题： 数据集成

CDM有哪些安全防护？ CDM是一个完全托管的服务，提供了以下安全防护能力保护用户数据安全。 实例隔离：CDM服务的用户只能使用自己创建的实例，实例和实例之间是相互隔离的，不可相互访问。 系统加固：CDM实例的操作系统进行了特别的安全加固，攻击者无法从Internet访问CDM实例的操作系统。 密钥加密：用户在CDM上创建连接输入的各种数据源的密钥，CDM均采用高强度加密算法保存在CDM数据库。 无中间存储：数据在迁移的过程中，CDM只处理数据映射和转换，而不会存储任何用户数据或片段。 父主题： 数据集成

如何在IAM中创建细粒度权限策略？ 当前DataArts Studio不支持在IAM中创建细粒度权限策略。推荐通过DAYU策略+工作空间角色的方式进行权限控制，您可以通过自定义角色进行更精细化的权限管理。 DataArts Studio基于DAYU系统角色+工作空间角色实现授权的能力。为使IAM用户权限正常，IAM用户所在的用户组需要在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色，另外也必须确保DAYU User角色的IAM用户已在对应的DataArts Studio工作空间中被设置为对应的工作空间角色。 工作空间角色决定了该用户在工作空间内的权限，当前有管理员、开发者、运维者和访客这四种预置角色可被分配，您也可以自定义角色进行更精细化的权限管理。各角色权限的详细说明请参见权限列表章节。 管理员：工作空间管理员，拥有工作空间内所有的业务操作权限。建议将项目负责人、开发责任人、运维管理员设置为管理员角色。 开发者：开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。 运维者：运维者具备工作空间内运维调度等业务的操作权限，但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客：访客可以查看工作空间内的数据，但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者：企业模式独有，具备工作空间内任务包发布的相关操作权限。在企业模式中，开发者提交脚本或作业版本后，系统会对应产生发布任务。开发者确认发包后，需要部署者审批通过，才能将修改后的作业同步到生产环境。 自定义角色：如果预置角色不能满足您的需求，您也可以创建自定义角色。自定义角色的权限可自由配置，实现业务操作权限最小化。 父主题： 咨询与计费

如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，如表1所示。 表1 集群最大抽取并发数配置建议 规格名称 vCPUs/内存 集群并发数上限参考 cdm.large 8核 16GB 16 cdm.xlarge 16核 32GB 32 cdm.4xlarge 64核 128GB 128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。 目的端为DLI数据源时，抽取并发数建议配置为1，否则可能会导致写入失败。 图2 作业抽取并发数配置

如何降低CDM使用成本？ 如果是迁移公网的数据上云，可以使用NAT网关服务，实现CDM服务与子网中的其他弹性云服务器共享弹性IP，可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下： 假设已经创建好了CDM集群（无需为CDM集群绑定专用弹性IP），记录下CDM集群所在的VPC和子网。 创建NAT网关，注意选择和CDM集群相同的VPC、子网。 创建完NAT网关后，回到NAT网关控制台列表，单击创建好的网关名称，然后选择“添加SNAT规则”。 图1 添加SNAT规则 选择子网和弹性IP，如果没有弹性IP，需要先申请一个。 完成之后，就可以到CDM控制台，通过Internet迁移公网的数据上云了。例如：迁移本地数据中心FTP服务器上的文件到OBS、迁移第三方云上关系型数据库到云服务RDS。 父主题： 数据集成

什么是数据血缘关系？ 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。 数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系，称之为数据的血缘关系。与人类社会中的血缘关系不同，数据的血缘关系还包含了一些特有的特征： 归属性：一般来说，特定的数据归属特定的组织或者个人，数据具有归属性。 多源性：同一个数据可以有多个来源（多个父亲）。一个数据可以是多个数据经过加工而生成的，而且这种加工过程可以是多个。 可追溯性：数据的血缘关系，体现了数据的生命周期，体现了数据从产生到消亡的整个过程，具备可追溯性。 层次性：数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据，不同程度的描述信息形成了数据的层次。 图1 数据血缘关系示例 父主题： 数据目录

免费试用即将到期，如何续费？ 当免费试用的DataArts Studio实例即将到期时，您可以购买DataArts Studio实例以继续使用。您可以登录DataArts Studio控制台，找到即将到期的免费试用的DataArts Studio实例，在试用的DataArts Studio实例上单击“购买DataArts Studio实例”进行购买。 购买DataArts Studio实例的具体操作，请参见购买DataArts Studio实例。在购买DataArts Studio实例时，如需保留原有DataArts Studio实例中的资源和数据，您需要注意以下几点： 购买DataArts Studio实例的区域需和免费试用的DataArts Studio实例的区域一致。 需购买同版本或更高版本的DataArts Studio实例。 试用实例的资源默认继承保留至第一个购买成功的实例中。 父主题： 咨询与计费

IAM用户操作时报错“无xx权限”怎么办？ DataArts Studio基于DAYU系统角色+工作空间角色实现授权的能力。为使IAM用户权限正常，IAM用户所在的用户组需要在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色，另外也必须确保DAYU User角色的IAM用户已在对应的DataArts Studio工作空间中被设置为对应的工作空间角色。 如果您只给用户配置了工作空间的角色，则会出现无权限的报错。您需要检查IAM用户所在的用户组是否已经在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色。IAM用户的创建和授权系统角色的具体操作如下： 创建用户组并授权系统角色。 使用华为账号登录统一身份认证服务IAM控制台，创建用户组，并授予DataArts Studio的系统角色，如“DAYU Administrator”或“DAYU User”。 创建用户组并授权的具体操作，请参见创建用户组并授权。 配置用户组的DataArts Studio权限时，直接在搜索框中输入权限名“DAYU”进行搜索，然后勾选需要授予用户组的权限，如“DAYU User”。 DataArts Studio部署时通过物理区域划分，为项目级服务。授权时，“授权范围方案”如果选择“所有资源”，则该权限在所有区域项目中都生效；如果选择“指定区域项目资源”，则该权限仅对此项目生效。IAM用户授权完成后，访问DataArts Studio时，需要先切换至授权区域。 创建用户并加入用户组。 在IAM控制台创建用户，并将其加入步骤1中创建的用户组。 创建用户并加入用户组的具体操作，请参见创建用户并加入用户组。 仅当创建IAM用户时的访问方式勾选“编程访问”后，此IAM用户才能通过认证鉴权，从而使用API、SDK等方式访问DataArts Studio。 为“DAYU User”系统角色用户自定义工作空间角色，并将其添加到工作空间成员、配置角色。 对于“DAYU User”权限的IAM用户而言，DataArts Studio工作空间角色决定了其在工作空间内的权限，当前有管理员、开发者、部署者、运维者和访客这五种预置角色可被分配。如果预置角色可以满足您的使用需求，则无需自定义工作空间角色，直接将用户添加到工作空间成员、配置预置角色即可；否则，请您创建自定义角色，再将用户添加到工作空间成员、配置自定义角色。自定义工作空间角色的具体操作请参见（可选）自定义工作空间角色，添加工作空间成员并配置角色的具体操作请参见添加工作空间成员和角色。 角色的权限说明请参见权限列表章节。 用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限，例如： 在“服务列表”中选择数据治理中心，进入DataArts Studio实例卡片。从实例卡片进入控制台首页后，确认能否正常查看工作空间列表情况。 进入已添加当前用户的工作空间业务模块（例如管理中心），查看能否根据所配置的工作空间角色，正常进行业务操作。 父主题： 咨询与计费

相互依赖的几个作业，调度过程中某个作业执行失败，是否会影响后续作业？这时该如何处理？ 这种情况会影响后续作业，后续作业可能会挂起，继续执行或取消执行。 图1 作业依赖关系 这时请勿停止作业，您可以将失败的作业实例进行重跑，或者将异常的实例停止再重跑。失败实例成功后，后续作业会继续正常运行。如果不通过数据开发，手动将作业实例中的业务场景处理后，可以强制成功作业实例，后续作业也会继续正常运行。 父主题： 数据开发

CDM有哪些优势？ 云数据迁移（Cloud Data Migration，简称CDM）服务基于分布式计算框架，利用并行化处理技术，使用CDM迁移数据的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。 程序在读写两端会根据数据源类型，使用不同的访问接口，一般是数据源提供的对外接口，例如JDBC、原生API等，因此在开发脚本时需要依赖大量的库、SDK等，开发管理成本较高。 CDM提供了Web化的管理控制台，通过Web页实时开通服务。 用户只需要通过可视化界面对数据源和迁移任务进行配置，服务会对数据源和任务进行全面的管理和维护，用户只需关注数据迁移的具体逻辑，而不用关心环境等问题，极大降低了开发维护成本。 CDM还提供了REST API，支持第三方系统调用和集成。 实时监控 需要自行选型开发。 您可以使用云监控服务监控您的CDM集群，执行自动实时监控、告警和通知操作，帮助您更好地了解CDM集群的各项性能指标。 免运维 需要自行开发完善运维功能，自行保证系统可用性，尤其是告警及通知功能，否则只能人工值守。 使用CDM服务，用户不需要维护服务器、虚拟机等资源。CDM的日志，监控和告警功能，有异常可以及时通知相关人员，避免7*24小时人工值守。 高效率 在迁移过程中，数据读写过程都是由一个单一任务完成的，受限于资源，整体性能较低，对于海量数据场景通常不能满足要求。 CDM任务基于分布式计算框架，自动将任务切分为独立的子任务并行执行，能够极大提高数据迁移的效率。针对Hive、HBase、MySQL、DWS（数据仓库服务）数据源，使用高效的数据导入接口导入数据。 多种数据源支持 数据源类型繁杂，针对不同数据源开发不同的任务，脚本数量成千上万。 支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源。 多种网络环境支持 随着云计算技术的发展，用户数据可能存在于各种环境中，例如公有云、自建/托管IDC、混合场景等。在异构环境中进行数据迁移需要考虑网络连通性等因素，给开发和维护都带来较大难度。 无论数据是在用户本地自建的IDC中（Internet Data Center，互联网数据中心）、云服务中、第三方云中，或者使用ECS自建的数据库或文件系统中，CDM均可帮助用户轻松应对各种数据迁移场景，包括数据上云，云上数据交换，以及云上数据回流本地业务系统。 父主题： 数据集成