华为云用户手册

定时备份/恢复 该功能依赖于OBS服务。 前提条件 已创建OBS连接，详情请参见配置OBS连接。 定时备份 在CDM作业管理界面，单击“配置管理”页签，配置定时备份的参数。 表2 定时备份参数 参数 说明 配置样例 定时备份 自动备份功能的开关，该功能只备份作业，不会备份连接。 开 备份策略 所有作业：不管作业处于什么状态，CDM会备份所有表/文件迁移作业、整库迁移的作业。不备份历史作业。 分组作业：选择备份某一个或多个分组下的作业。 所有作业 备份周期 选择备份周期： 日：每天零点执行一次。 周：每周一零点执行一次。 月：每月1号零点执行一次。 日 备份写入OBS连接 CDM通过该连接，将作业备份到OBS，需要用户提前在“连接管理”界面创建好OBS连接。 obslink OBS桶 存储备份文件的OBS桶。 cdm 备份数据目录 存储备份文件的目录。 /cdm-bk/ 恢复作业 如果之前执行过自动备份，“配置管理”页签下会显示备份列表：显示备份文件所在的OBS桶、路径、备份时间。 您可以单击备份列表操作列的“恢复备份”来恢复CDM作业。

作业参数的环境变量 CDM在创建迁移作业时，可以手动输入的参数（例如OBS桶名、文件路径等）、参数中的某个字段、或者字段中的某个字符，都支持配置为一个全局变量，方便您批量更改作业中的参数值，以及作业导出/导入后进行批量替换。 这里以批量替换作业中OBS桶名为例进行介绍。 在CDM作业管理界面，单击“配置管理”页签，配置环境变量。 bucket_1=A bucket_2=B 这里以变量“bucket_1”表示桶A，变量“bucket_2”表示桶B。 在创建CDM迁移作业的界面，迁移桶A的数据到桶B。 源端桶名配置为${bucket_1}，目的端桶名配置为${bucket_2}。 图1 桶名配置为环境变量 如果下次要迁移桶C数据到桶D，则无需更改作业参数，只需要在“配置管理”界面将环境变量改为如下即可： bucket_1=C bucket_2=D

最大抽取并发数 最大抽取并发数即集群最大抽取并发数。 此处的“最大抽取并发数”参数与集群配置处的“最大抽取并发数”参数同步，在任意一处修改即可生效。 CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。 不同源端数据源的作业分片维度有所不同，因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度，您可参考下文有效配置抽取并发数。 集群最大抽取并发数的上限建议为vCPU核数*2，如表1所示。 表1 集群最大抽取并发数配置建议 规格名称 vCPUs/内存 集群并发数上限参考 cdm.large 8核 16GB 16 cdm.xlarge 16核 32GB 32 cdm.4xlarge 64核 128GB 128 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。 目的端为DLI数据源时，抽取并发数建议配置为1，否则可能会导致写入失败。

配置HDFS目的端参数 作业中目的连接为HDFS连接时，目的端作业参数如表1所示。 表1 HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 /user/output 文件格式 写入后的文件格式，可选择以下文件格式： CSV格式：按CSV格式写入，适用于数据表到文件的迁移。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，CDM会原样写入文件，不改变原始文件格式，适用于文件到文件的迁移。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，此处的“文件格式”只能选择与源端的文件格式一致。 CSV格式 重复文件处理方式 当源端为文件类数据源（HTTP/FTP/SFTP/HDFS/OBS）时配置。 只有文件名和文件大小都相同才会判定为重复文件。写入时如果出现文件重复，可选择如下处理方式： 替换重复文件 跳过重复文件 停止任务 停止任务 压缩格式 写入文件后，选择对文件的压缩格式。支持以下压缩格式： NONE：不压缩。 DEFLATE：压缩为DEFLATE格式。 GZIP：压缩为GZIP格式。 BZIP2：压缩为BZIP2格式。 LZ4：压缩为LZ4格式。 SNAPPY：压缩为SNAPPY格式。 SNAPPY 换行符 文件中的换行符，默认自动识别“\n”、“\r”或“\r\n”。“文件格式”为“二进制格式”时该参数值无效。 \n 字段分隔符 文件中的字段分隔符。“文件格式”为“二进制格式”时该参数值无效。 , 使用包围符 “文件格式”为“CSV格式”，才有该参数，用于将数据库的表迁移到文件系统的场景。 选择“是”时，如果源端数据表中的某一个字段内容包含字段分隔符或换行符，写入目的端时CDM会使用双引号（"）作为包围符将该字段内容括起来，作为一个整体存储，避免其中的字段分隔符误将一个字段分隔成两个，或者换行符误将字段换行。例如：数据库中某字段为hello,world，使用包围符后，导出到CSV文件的时候数据为"hello,world"。 否 首行为标题行 在迁移表到CSV文件时，CDM默认是不迁移表的标题行，如果该参数选择“是”，CDM在才会将表的标题行数据写入文件。 否 写入到临时文件 将二进制文件先写入到临时文件（临时文件以“.tmp”作为后缀），迁移成功后，再进行rename或move操作，在目的端恢复文件。 否 作业成功标识文件 当作业执行成功时，会在写入目录下生成一个标识文件，文件名由用户指定。不指定时默认关闭该功能。 finish.txt 自定义目录层次 支持用户自定义文件的目录层次。例如：【表名】/【年】/【月】/【日】/【数据文件名】. csv - 目录层次 指定文件的目录层次，支持时间宏（时间格式为yyyy/MM/dd）。不填默认为不带层次目录。 说明： 源端为关系型数据库数据源时，目录层次为源端表名+自定义目录，其他场景下为自定义目录。 ${dateformat(yyyy/MM/dd, -1, DAY)} 加密方式 “文件格式”选择“二进制格式”时，该参数才显示。 选择是否对写入的数据进行加密： 无：不加密，直接写入数据。 AES-256-GCM：使用长度为256byte的AES对称加密算法，目前加密算法只支持AES-256-GCM（NoPadding）。该参数在目的端为加密，在源端为解密。 详细使用方法请参见迁移文件时加解密。 AES-256-GCM 数据加密密钥 “加密方式”选择“AES-256-GCM”时显示该参数，密钥由长度64的十六进制数组成。 请您牢记这里配置的“数据加密密钥”，解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 初始化向量 “加密方式”选择“AES-256-GCM”时显示该参数，初始化向量由长度32的十六进制数组成。 请您牢记这里配置的“初始化向量”，解密时的初始化向量与这里配置的必须一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F HDFS文件编码只能为“UTF-8”，故HDFS不支持设置文件编码类型。 父主题： 配置作业目的端参数

配置Oracle源端参数 作业中源连接为Oracle数据库连接，源端作业参数如表1所示。 表1 Oracle作为源端时的作业参数 参数名 说明 取值样例 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如 select * from table a; select * from table b。 不支持with语句。 不支持注释 ，比如 "--" ，“/*”。 不支持增删改操作，包括但不限于以下操作： load data delete from alter table create table drop table into outfile select id,name from sqoop.user; 模式或表空间 “使用SQL语句”选择“否”时，显示该参数，表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面，用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的账号是否有元数据查询的权限。 说明： 该参数支持配置通配符（*），实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如： SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *SCHEMA表示导出所有以“SCHEMA”结尾的数据库。 *SCHEMA*表示数据库名称中只要有“SCHEMA”字符串，就全部导出。 SCHEMA_E 表名 “使用SQL语句”选择“否”时，显示该参数，表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的账号是否有元数据查询的权限。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 说明： 表名支持配置通配符（*），实现导出以某一前缀开头或者以某一后缀结尾的所有表（要求表中的字段个数和类型都一样）。例如： table*表示导出所有以“table”开头的表。 *table表示导出所有以“table”结尾的表。 *table*表示表名中只要有“table”字符串，就全部导出。 table 抽取分区字段 “按表分区抽取”选择“否”时，显示该参数，表示抽取数据时使用该字段进行数据切分，CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段，例如以自然增长的序号字段作为分区字段。 单击输入框后面的按钮可进入字段选择界面，用户也可以直接输入抽取分区字段名。 说明： 抽取分区字段支持TINYINT、SMALLINT、INTEGER、BIGINT、REAL、FLOAT、DOUBLE、NUMERIC、DECIMAL、BIT、BOOLEAN、DATE、TIME、TIMESTAMP类型，建议该字段带有索引。 id Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 DS='${dateformat(yyyy-MM-dd,-1,DAY)}' 分区字段含有空值 “按表分区抽取”选择“否”时，显示该参数，表示是否允许分区字段包含空值。 是 按表分区抽取 从Oracle导出数据时，支持从分区表的各个分区并行抽取数据。启用该功能时，可以通过下面的“表分区”参数指定具体的Oracle表分区。 该功能不支持非分区表。 数据库用户需要具有系统视图dba_tab_partitions和dba_tab_subpartitions的SELECT权限。 否 表分区 输入需要迁移数据的Oracle表分区，多个分区以&分隔，不填则迁移所有分区。 如果有子分区，以“分区.子分区”的格式填写，例如“P2.SUBP1”。 P0&P1&P2.SUBP1&P2.SUBP3 拆分作业 选择“是”，会根据“作业拆分字段”值，将作业拆分为多个子作业并发执行。 说明： 仅支持目的端为DLI和Hive时配置该参数及作业拆分字段、拆分字段最小值、拆分字段最大值、子作业个数参数。 是 作业拆分字段 “拆分作业”选择“是”时，显示该参数，使用该字段将作业拆分为多个子作业并发执行。 - 拆分字段最小值 “拆分作业”选择“是”时，显示该参数，表示抽取数据时“作业拆分字段”的最小值。 - 拆分字段最大值 “拆分作业”选择“是”时，显示该参数，表示抽取数据时“作业拆分字段”的最大值。 - 子作业个数 “拆分作业”选择“是”时，显示该参数，根据“作业拆分字段”的最小值和最大值限定的数据范围，将作业拆分为多少个子作业执行。 - Oracle作为源端时，如果未配置“抽取分区字段”或者“按表分区抽取”这2个参数，CDM自动使用ROWID进行数据分区。 父主题： 配置作业源端参数

配置达梦数据库 DM连接 连接达梦数据库 DM时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 达梦数据库 DM连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户名密码。 - 驱动版本 不同类型的关系数据库，需要适配不同的驱动。 - 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 连接属性 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 sslmode=require 引用符号 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 ' 父主题： 管理连接

配置MySQL源端参数 作业中源连接为云数据库MySQL/MySQL数据库连接时，源端作业参数如表1所示。 表1 MySQL作为源端时的作业参数 参数名 说明 取值样例 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如 select * from table a; select * from table b。 不支持with语句。 不支持注释 ，比如 "--" ，“/*”。 不支持增删改操作，包括但不限于以下操作： load data delete from alter table create table drop table into outfile select id,name from sqoop.user; 模式或表空间 “使用SQL语句”选择“否”时，显示该参数，表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面，用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式，实现导出满足规则的所有数据库。 SCHEMA_E 表名 “使用SQL语句”选择“否”时，显示该参数，表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的账号是否有元数据查询的权限。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 该参数支持配置正则表达式，实现导出满足规则的所有数据库。例如：表名配置为user_[0-9]{1,2}，会匹配 user_0 到 user_9，user_00 到 user_99 的表。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 table 抽取分区字段 “使用SQL语句”选择“否”时，显示该参数，表示抽取数据时使用该字段进行数据切分，CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段，例如以自然增长的序号字段作为分区字段。 单击输入框后面的按钮可进入字段选择界面，用户也可以直接输入抽取分区字段名。 说明： 抽取分区字段支持TINYINT、SMALLINT、INTEGER、BIGINT、REAL、FLOAT、DOUBLE、NUMERIC、DECIMAL、BIT、BOOLEAN、DATE、TIME、TIMESTAMP类型，建议该字段带有索引。 id Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 DS='${dateformat(yyyy-MM-dd,-1,DAY)}' 分区字段含有空值 是否允许分区字段包含空值。 是 拆分作业 选择“是”，会根据“作业拆分字段”值，将作业拆分为多个子作业并发执行。 说明： 仅支持目的端为DLI和Hive时配置该参数及作业拆分字段、拆分字段最小值、拆分字段最大值、子作业个数参数。 是 作业拆分字段 “拆分作业”选择“是”时，显示该参数，使用该字段将作业拆分为多个子作业并发执行。 - 拆分字段最小值 “拆分作业”选择“是”时，显示该参数，表示抽取数据时“作业拆分字段”的最小值。 - 拆分字段最大值 “拆分作业”选择“是”时，显示该参数，表示抽取数据时“作业拆分字段”的最大值。 - 子作业个数 “拆分作业”选择“是”时，显示该参数，根据“作业拆分字段”的最小值和最大值限定的数据范围，将作业拆分为多少个子作业执行。 - 按表分区抽取 从MySQL导出数据时，支持从分区表的各个分区并行抽取数据。启用该功能时，可以通过下面的“表分区”参数指定具体的MySQL表分区。 该功能不支持非分区表。 数据库用户需要具有系统视图dba_tab_partitions和dba_tab_subpartitions的SELECT权限。 否 父主题： 配置作业源端参数

操作步骤 进入CDM主界面，单击左侧导航上的“集群管理”，选择集群后的“作业管理”。 单击“表/文件迁移”显示作业列表，提供以下批量操作： 作业分组 CDM支持对分组进行新增、修改、查找、删除。删除分组时，会将组内的所有作业都删除。 创建作业的任务配置中，如果已经将作业分配到了不同的分组中，则这里可以按分组显示作业、按分组批量启动作业、按分组导出作业等操作。 批量运行作业 勾选一个或多个作业后，单击“运行”可批量启动作业。 批量删除作业 勾选一个或多个作业后，单击“删除”可批量删除作业。 批量导出作业 单击“导出”，弹出批量导出页面，如图1。 图1 批量导出页面 全部作业和连接：勾选此项表示一次性导出所有作业和连接。 全部作业：勾选此项表示一次性导出所有作业。 全部连接：勾选此项表示一次性导出所有连接。 按作业名导出：勾选此项并选择需要导出的作业，单击确认即可导出所选作业。 按分组导出：勾选此项并下拉选择需要导出的分组，单击确认即可导出所选分组。 批量导出可将需要导出的作业导出保存为JSON文件，用于备份或导入到别的集群中。 由于安全原因，CDM导出作业时没有导出连接密码，连接密码全部使用“Add password here”替换。 批量导入作业 单击“导入”，选择JSON格式的文件导入或文本导入。 文件导入：待导入的作业文件必须为JSON格式（大小不超过1M）。如果待导入的作业文件是之前从CDM中导出的，则导入前必须先编辑JSON文件，将“Add password here”替换为对应连接的正确密码，再执行导入操作。 文本导入：无法正确上传本地JSON文件时可选择该方式。将作业的JSON文本直接粘贴到输入框即可。 当前导入时不支持覆盖已有作业。

配置HDFS源端参数 作业中源连接为HDFS连接时，即从MRS HDFS、FusionInsight HDFS、Apache HDFS导出数据时，源端作业参数如表1所示。 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。 hdfs_to_cdm 源目录或文件 “列表文件”选择为“否”时，才有该参数。 待迁移数据的目录或单个文件路径。 待迁移数据的目录，将迁移目录下的所有文件（包括所有嵌套子目录及其子文件）。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 /user/cdm/ 文件格式 传输数据时所用的文件格式，可选择以下文件格式： CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 Parquet格式：以Parquet格式解析源文件，用于HDFS数据导到表的场景。 CSV格式 列表文件 当“文件格式”选择为“二进制格式”时，才有该参数。 打开列表文件功能时，支持读取OBS桶中文件（如txt文件）的内容作为待迁移文件的列表。该文件中的内容应为待迁移文件的绝对路径（不支持目录），文件内容示例如下： /mrs/job-properties/application_1634891604621_0014/job.properties /mrs/job-properties/application_1634891604621_0029/job.properties 是 列表文件源连接 当“列表文件”选择为“是”时，才有该参数。可选择列表文件所在的OBS连接。 OBS_test_link 列表文件OBS桶 当“列表文件”选择为“是”时，才有该参数。该参数表示列表文件所在的OBS桶名。 01 列表文件或目录 当“列表文件”选择为“是”时，才有该参数。该参数表示列表文件所在的OBS桶中的绝对路径或目录。 /0521/Lists.txt 高级属性 换行符 文件中的换行符，默认自动识别“\n”、“\r”或“\r\n”。当“文件格式”选择为“CSV格式”时，才有该参数。 \n 字段分隔符 文件中的字段分隔符，使用Tab键作为分隔符请输入“\t”。当“文件格式”选择为“CSV格式”时，才有该参数。 , 首行为标题行 “文件格式”选择“CSV格式”时才有该参数。在迁移CSV文件到表时，CDM默认是全部写入，如果该参数选择“是”，CDM会将CSV文件的前N行数据作为标题行，不写入目的端的表。 否 编码类型 文件编码类型，例如：“UTF-8”或“GBK”。只有文本文件可以设置编码类型，当“文件格式”选择为“二进制格式”时，该参数值无效。 GBK 启动作业标识文件 选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业，否则会挂起等待一段时间，等待时长在下方“等待时间”中配置。 ok.txt 过滤类型 满足过滤条件的路径或文件会被传输，该参数有“无”、“通配符”和“正则表达式”三种选择。具体使用方法可参见文件增量迁移。 - 目录过滤器 “过滤类型”选择“通配符”、“正则表达式”时，用通配符过滤目录，符合过滤器规则的目录，允许进行迁移。支持配置多个路径，中间使用“,”分隔。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 *input 文件过滤器 “过滤类型”选择“通配符”、“正则表达式”时，用通配符过滤目录下的文件，符合过滤器规则的文件，允许进行迁移。支持配置多个文件，中间使用“,”分隔。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 *.csv 时间过滤 选择“是”时，可以根据文件的修改时间，选择性的传输文件。 是 起始时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间大于等于该时间才会被传输，输入的时间格式需为“yyyy-MM-dd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyy-MM-dd HH:mm:ss,-90,DAY))}表示：只迁移最近90天内的文件。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 2019-07-01 00:00:00 终止时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间小于该时间才会被传输，输入的时间格式需为“yyyy-MM-dd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyy-MM-dd HH:mm:ss))}表示：只迁移修改时间为当前时间以前的文件。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 2019-07-30 00:00:00 创建快照 如果选择“是”，CDM读取HDFS系统上的文件时，会先对待迁移的源目录创建快照（不允许对单个文件创建快照），然后CDM迁移快照中的数据。 需要HDFS系统的管理员权限才可以创建快照，CDM作业完成后，快照会被删除。 否 加密方式 “文件格式”选择“二进制格式”时，该参数才显示。 如果源端数据是被加密过的，则CDM支持解密后再导出。这里选择是否对源端数据解密，以及选择解密算法： 无：不解密，直接导出。 AES-256-GCM：使用长度为256byte的AES对称加密算法，目前加密算法只支持AES-256-GCM（NoPadding）。该参数在目的端为加密，在源端为解密。 详细使用方法请参见迁移文件时加解密。 AES-256-GCM 数据加密密钥 “加密方式”选择“AES-256-GCM”时显示该参数，密钥由长度64位的十六进制数组成，且必须与加密时配置的“数据加密密钥”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 初始化向量 “加密方式”选择“AES-256-GCM”时显示该参数，初始化向量由长度32的十六进制数组成，且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F MD5文件名后缀 “文件格式”选择“二进制格式”时，该参数才显示。 校验CDM抽取的文件，是否与源文件一致，详细请参见MD5校验文件一致性。 .md5 父主题： 配置作业源端参数

配置OBS目的端参数 作业中目的连接为OBS连接时，即导入数据到云服务OBS时，目的端作业参数如表1所示。 高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表1 OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。 bucket_2 写入目录 写入数据到OBS服务器的目录，目录前面不加“/”。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 directory/ 文件格式 写入后的文件格式，可选择以下文件格式： CSV格式：按CSV格式写入，适用于数据表到文件的迁移。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，CDM会原样写入文件，不改变原始文件格式，适用于文件到文件的迁移。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，此处的“文件格式”只能选择与源端的文件格式一致。 说明： 当源端为MRS Hive数据源时，仅支持配置CSV格式。 当源端为FTP/SFTP数据源时，仅支持配置二进制格式。 CSV格式 重复文件处理方式 当源端为HDFS数据源时配置。 只有文件名和文件大小都相同才会判定为重复文件。写入时如果出现文件重复，可选择如下处理方式： 替换重复文件 跳过重复文件 停止任务 具体使用方法可参见文件增量迁移。 跳过重复文件 高级属性 加密方式 选择是否对上传的数据进行加密，以及加密方式： 无：不加密，直接写入数据。 KMS：使用数据加密服务中的KMS进行加密。如果启用KMS加密则无法进行数据的MD5校验。 详细使用方法请参见迁移文件时加解密。 KMS KMS ID 写入文件时加密使用的密钥，“加密方式”选择“KMS”时显示该参数。单击输入框后面的，可以直接选择在数据加密服务中已创建好的KMS密钥。 当使用与CDM集群相同项目下的KMS密钥时，不需要修改下面的“项目ID”参数。 当用户使用其它项目下的KMS密钥时，需要修改下面的“项目ID”参数。 53440ccb-3e73-4700-98b5-71ff5476e621 项目ID KMS ID所属的项目ID，该参数默认值为当前CDM集群所属的项目ID。 当“KMS ID”与CDM集群在同一个项目下时，这里的“项目ID”保持默认即可。 当“KMS ID”使用的是其它项目下的KMS ID时，这里需要修改为KMS所属的项目ID。 9bd7c4bd54e5417198f9591bef07ae67 复制Content-Type属性 “文件格式”为“二进制”，且源端、目的端都为对象存储时，才有该参数。 选择“是”后，迁移对象文件时会复制源文件的Content-Type属性，主要用于静态网站的迁移场景。 归档存储的桶不支持设置Content-Type属性，所以如果开启了该参数，目的端选择写入的桶时，必须选择非归档存储的桶。 否 换行符 文件中的换行符，默认自动识别“\n”、“\r”或“\r\n”。“文件格式”为“二进制格式”时该参数值无效。 \n 字段分隔符 文件中的字段分隔符。“文件格式”为“二进制格式”时该参数值无效。 , 写入文件大小 源端为数据库时该参数才显示，支持按大小分成多个文件存储，避免导出的文件过大，单位为MB。 1024 校验MD5值 使用“二进制格式”传输文件时，才能校验MD5值。选择校验MD5值时，无法使用KMS加密。 计算源文件的MD5值，并与OBS返回的MD5值进行校验。如果源端已经存在MD5文件，则直接读取源端的MD5文件与OBS返回的MD5值进行校验，具体请参见MD5校验文件一致性。 是 记录校验结果 当选择校验MD5值时，可以选择是否记录校验结果。 是 校验结果写入连接 可以指定任意一个OBS连接，将MD5校验结果写入该连接的桶下。 obslink OBS桶 写入MD5校验结果的OBS桶。 cdm05 写入目录 写入MD5校验结果的目录。 /md5/ 编码类型 文件编码类型，例如：“UTF-8”或“GBK”。“文件格式”为“二进制格式”时该参数值无效。 GBK 使用包围符 “文件格式”为“CSV格式”，才有该参数，用于将数据库的表迁移到文件系统的场景。 选择“是”时，如果源端数据表中的某一个字段内容包含字段分隔符或换行符，写入目的端时CDM会使用双引号（"）作为包围符将该字段内容括起来，作为一个整体存储，避免其中的字段分隔符误将一个字段分隔成两个，或者换行符误将字段换行。例如：数据库中某字段为hello,world，使用包围符后，导出到CSV文件的时候数据为"hello,world"。 否 首行为标题行 从关系型数据库导出数据到OBS，“文件格式”为“CSV格式”时，才有该参数。 在迁移表到CSV文件时，CDM默认是不迁移表的标题行，如果该参数选择“是”，CDM在才会将表的标题行数据写入文件。 否 作业成功标识文件 当作业执行成功时，会在写入目录下生成一个标识文件，文件名由用户指定。不指定时默认关闭该功能。 finish.txt 文件夹模式 从关系型数据库导出数据到OBS，才有该参数。 启用后将会以根目录-表名-数据类型-数据的文件夹模型生成文件。例如：raw_schema/tbl_student/datas/tbl_student_1.csv 是 Blog/Clog文件扩展名 “文件夹模式”为“是”时，才有该参数。文件夹模式下自定义Blob/Clog数据的文件扩展名。 .dat/.jpg/.png 自定义目录层次 选择“是”时，支持迁移后的文件按照自定义的目录存储。即只迁移文件，不迁移文件所归属的目录。 是 目录层次 自定义迁移后文件的存储路径，支持时间宏变量。 说明： 源端为关系型数据库数据源时，目录层次为源端表名+自定义目录，其他场景下为自定义目录。 ${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)} 自定义文件名 从关系型数据库导出数据到OBS，且“文件格式”为“CSV格式”时，才有该参数。 用户可以通过该参数自定义OBS端生成的文件名，支持以下自定义方式： 字符串，支持特殊字符。例如“cdm#”，则生成的文件名为“cdm#.csv”。 时间宏，例如“${timestamp()}”，则生成的文件名为“1554108737.csv”。 表名宏，例如“${tableName}”，则生成的文件名为源表名“sqltabname.csv”。 版本宏，例如“${version}”，则生成的文件名为集群版本号“2.9.2.200.csv”。 字符串和宏（时间宏/表名宏/版本宏）任意组合，例如“cdm#${timestamp()}_${version}”，则生成的文件名为“cdm#1554108737_2.9.2.200.csv”。 cdm 父主题： 配置作业目的端参数

响应示例 状态码为 200 时: 请求成功。 { "role": { "domain_id": "d78cbac186b744899480f25bd02...", "references": 0, "description_cn": "中文描述", "catalog": "CUSTOMED", "name": "custom_d78cbac186b744899480f25bd022f468_11", "description": "IAMDescription", "links": { "self": "https://iam.myhuaweicloud.com/v3/roles/a24a71dcc41f4da989c2a1c900b52d1a" }, "id": "a24a71dcc41f4da989c2a1c900b52d1a", "display_name": "IAMCloudServicePolicy", "type": "AX", "policy": { "Version": "1.1", "Statement": [ { "Condition": { "StringStartWith": { "g:ProjectName": [ "cn-north-1" ] } }, "Action": [ "obs:bucket:GetBucketAcl" ], "Resource": [ "obs:*:*:bucket:*" ], "Effect": "Allow" } ] } } }

响应示例 状态码为 200 时: 请求成功。 { "mappings": [ { "rules": [ { "local": [ { "user": { "name": "LocalUser" } }, { "group": { "name": "LocalGroup" } } ], "remote": [ { "type": "UserName" }, { "type": "orgPersonType", "not_any_of": [ "Contractor", "Guest" ] } ] } ], "id": "ACME", "links": { "self": "https://iam.myhuaweicloud.com/v3/OS-FEDERATION/mappings/ACME" } } ], "links": { "self": "https://iam.myhuaweicloud.com/v3/OS-FEDERATION/mappings", "previous": null, "next": null } }

响应参数 表10 响应Body参数 参数 参数类型 描述 mapping Object 映射信息。 表11 mapping 参数 参数类型 描述 id String 映射ID。 links Object 映射的资源链接信息。 rules Array of objects 将联邦用户映射为本地用户的规则列表。 表12 mapping.links 参数 参数类型 描述 self String 资源链接地址。 表13 mappings.rules 参数 参数类型 描述 local Array of objects 表示联邦用户在本系统中的用户信息。 user：联邦用户在本系统中的用户名称。group：联邦用户在本系统中所属用户组。 remote Array of objects 表示联邦用户在IdP中的用户信息。使用SAML协议时，由断言属性及运算符组成的表达式，取值由断言决定。使用OIDC协议时，取值由ID token决定。 表14 mappings.rules.local 参数 参数类型 描述 user user object 联邦用户在本系统中的用户名称 group group object 联邦用户在本系统中所属用户组 表15 mappings.rules.local.user 名称 类型 描述 name string 联邦用户在本系统中的用户名称 表16 mappings.rules.local.group 名称 类型 描述 name string 联邦用户在本系统中所属用户组 表17 mapping.rules.remote 参数 参数类型 描述 type String 表示IdP断言（SAML协议）或ID token（OIDC协议）中的属性。 any_one_of Array of strings 输入属性值中包含指定值才生效，并返回布尔值，返回值不能用于local块中的占位符。在同一个remote数组元素中，any_one_of与not_any_of互斥，两者至多填写一个，不能同时填写。 not_any_of Array of strings 输入属性值中不包含指定值才生效，并返回布尔值，返回值不能用于local块中的占位符。not_any_of 与any_one_of互斥，两者至多填写一个，不能同时填写。

请求示例 注册映射。 PUT https://iam.myhuaweicloud.com/v3/OS-FEDERATION/mappings/{id} { "mapping": { "rules": [ { "local": [ { "user": { "name": "LocalUser" } }, { "group": { "name": "LocalGroup" } } ], "remote": [ { "type": "UserName" }, { "type": "orgPersonType", "not_any_of": [ "Contractor", "Guest" ] } ] } ] } }

响应示例 状态码为 201 时: 创建成功。 { "mapping": { "rules": [ { "local": [ { "user": { "name": "LocalUser" } }, { "group": { "name": "LocalGroup" } } ], "remote": [ { "type": "UserName" }, { "type": "orgPersonType", "not_any_of": [ "Contractor", "Guest" ] } ] } ], "id": "ACME", "links": { "self": "https://iam.myhuaweicloud.com/v3/OS-FEDERATION/mappings/ACME" } } }

请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 该字段内容填为“application/json;charset=utf8”。 X-Auth-Token 是 String 访问令牌，承载用户的身份、权限等信息。 token所需权限请参见授权项。 表3 请求Body参数 参数 是否必选 参数类型 描述 mapping 是 Object 映射信息。 表4 mapping 参数 是否必选 参数类型 描述 rules 是 Array of objects 将联邦用户映射为本地用户的规则列表。 表5 mapping.rules 参数 是否必选 参数类型 描述 local 是 Array of RulesLocal objects 表示联邦用户在本系统中的用户信息。 user:联邦用户在本系统中的用户名称。group:联邦用户在本系统中所属用户组。 remote 是 Array of objects 表示联邦用户在IdP中的用户信息。使用SAML协议时，由断言属性及运算符组成的表达式，取值由断言决定。使用OIDC协议时，取值由ID token决定。 表6 mappings.rules.local 参数 是否必选 参数类型 描述 user 否 user object 联邦用户在本系统中的用户名称 group 否 group object 联邦用户在本系统中所属用户组 表7 mappings.rules.local.user 名称 是否必选 类型 描述 name 是 string 联邦用户在本系统中的用户名称 表8 mappings.rules.local.group 名称 是否必选 类型 描述 name 是 string 联邦用户在本系统中所属用户组 表9 mapping.rules.remote 参数 是否必选 参数类型 描述 type 是 String 表示IdP断言（SAML协议）或ID token（OIDC协议）中的属性。 any_one_of 否 Array of strings 输入属性值中包含指定值才生效，并返回布尔值，返回值不能用于local块中的占位符。在同一个remote数中，any_one_of与not_any_of互斥，两者至多填写一个，不能同时填写。 not_any_of 否 Array of strings 输入属性值中不包含指定值才生效，并返回布尔值，返回值不能用于local块中的占位符。not_any_of 与any_one_of互斥，两者至多填写一个，不能同时填写。

错误码 当您调用API时，如果遇到“APIGW”开头的错误码，请参见API网关错误码进行处理。 更多服务错误码请参见API错误中心。 状态码 错误码 错误信息 描述 处理措施 400 1100 缺失必选参数。 缺失必选参数。 请检查请求参数。 400 1101 用户名校验失败。 用户名校验失败。 请检查用户名。 400 1102 邮箱校验失败。 邮箱校验失败。 请检查邮箱。 400 1103 密码校验失败。 密码校验失败。 请检查密码。 400 1104 手机号校验失败。 手机号校验失败。 请检查手机号。 400 1105 xuser_type必须与xdomain_type相同。 xuser_type必须与xdomain_type相同。 请确认xuser_type与xdomain_type是否相同。 400 1106 国家码、手机号必须同时存在。 国家码、手机号必须同时存在。 请检查国家码和手机号是否同时存在。 400 1107 账号管理员不能被删除。 账号管理员不能被删除。 不允许此操作。 400 1108 新密码不能与原密码相同。 新密码不能与原密码相同。 请修改新密码。 400 1109 用户名已存在。 用户名已存在。 请修改用户名。 400 1110 邮箱已存在。 邮箱已存在。 请修改邮箱。 400 1111 手机号已存在。 手机号已存在。 请修改手机号。 400 1113 xuser_id、xuser_type已存在。 xuser_id、xuser_type已存在。 请修改xuser_id和xuser_type。 400 1115 IAM用户数量达到最大限制。 IAM用户数量达到最大限制。 请修改用户配额或联系技术支持。 400 1117 用户描述校验失败。 用户描述校验失败。 请修改用户描述。 400 1118 密码是弱密码。 密码是弱密码。 重新选择密码。 400 IAM.0007 Request parameter %(key)s is invalid. 请求参数校验失败。 请检查请求参数。 400 IAM.0008 Please scan the QR code first. 请先扫描二维码。 请先扫描二维码。 400 IAM.0009 X-Subject-Token is invalid in the request. 请求中的X-Subject-Token校验失败。 请检查请求参数。 400 IAM.0010 The QR code has already been scanned by another user. 此二维码已经被其他人扫描。 无需处理。 400 IAM.0011 Request body is invalid. 请求体校验失败。 请检查请求体。 400 IAM.0072 '%(key)s' is a required property. 请求校验异常。举例：%(key)s为必填属性 请联系技术支持。 400 IAM.0073 Invalid input for field '%(key)s'. The value is '%(value)s'. 输入字段无效。 请联系技术支持。 400 IAM.0077 Invalid policy type. 策略类型错误。 请联系技术支持。 400 IAM.1000 The role must be a JSONObject. 缺少role对象。 检查请求体中是否有role对象。 400 IAM.1001 The display_name must be a string and cannot be left blank or contain spaces. 策略display_name为空或包含空格。 检查display_name字段的值是否正确。 400 IAM.1002 The length [input length] of the display name exceeds 64 characters. 策略display_name不能超过64个字符。 检查display_name字段的长度。 400 IAM.1003 The display_name contains invalid characters. 策略display_name包含非法字符。 检查display_name字段的值是否正确。 400 IAM.1004 The type must be a string and cannot be left blank or contain spaces. type为空。 检查type字段的值是否正确。 400 IAM.1005 Invalid type [input type]. 非法的type字段。 检查type字段的值是否正确。 400 IAM.1006 The custom policy does not need a catalog. 自定义策略不需要catalog。 删除catalog字段。 400 IAM.1007 The custom policy does not need a flag. 自定义策略不需要flag。 删除flag字段。 400 IAM.1008 The custom policy does not need a name. 自定义策略不需要name。 删除name字段。 400 IAM.1009 The type of a custom policy must be 'AX' or 'XA'. 自定义策略的type只能为'AX'或'XA'。 根据需求修改type字段为'AX'或'XA'。 400 IAM.1010 The catalog must be a string. catalog字段必须为字符串。 检查catalog字段的值是否正确。 400 IAM.1011 The length [input length] of the catalog exceeds 64 characters. catalog字段不能超过64个字符。 检查catalog字段的长度。 400 IAM.1012 Invalid catalog. 非法的catalog字段。 检查catalog字段的值是否正确。 400 IAM.1013 The flag must be a string. flag字段必须为字符串。 检查flag字段的值是否正确。 400 IAM.1014 The value of the flag must be 'fine_grained'. flag字段的值应为"fine_grained"。 将flag字段的值修改为"fine_grained"。 400 IAM.1015 The name must be a string and cannot be left blank or contain spaces. name字段不能为空。 系统角色的name字段必须填写。 400 IAM.1016 The length of the name [input name] cannot exceed 64 characters. name字段长度不能超过64字符。 检查name字段的的值是否正确。 400 IAM.1017 Invalid name. 非法的name字段。 检查name字段的的值是否正确。 400 IAM.1018 Invalid description. 非法的description字段。 检查description字段的的值是否正确。 400 IAM.1019 Invalid description_cn. 非法的description_cn字段。 检查description_cn字段的的值是否正确。 400 IAM.1020 The policy must be a JSONObject. 缺少policy对象。 检查请求体中是否有policy对象。 400 IAM.1021 The size [input policySize] of the policy exceeds 6,144 characters. policy对象大小超过6144字符。 检查policy对象的长度。 400 IAM.1022 The length [input id length] of the ID exceeds 128 characters. id字段大小超过128字符。 检查id字段的长度。 400 IAM.1023 Invalid ID '[input id]'. 策略id字段无效。 检查id字段的值是否正确。 400 IAM.1024 The version of a fine-grained policy must be '1.1'. 细粒度策略的version不为1.1。 细粒度策略version字段的值应改为1.1。 400 IAM.1025 Fine-grained policies do not need depends. 细粒度策略不需要depends字段。 删除depends字段。 400 IAM.1026 The version of an RBAC policy must be '1.0' or '1.1'. RBAC的verion只能为1.0和1.1。 version字段的值改为1.0或1.1。 400 IAM.1027 The Statement/Rules must be a JSONArray. statement字段不为JSONArray。 检查是否存在statement，类型为json数组。 400 IAM.1028 The number of statements [input statement size] must be greater than 0 and less than or equal to 8. statement字段长度不为1-8。 至少应填写一个statement，删除超过8个的statement。 400 IAM.1029 The value of Effect must be 'allow' or 'deny'. effect字段只能为allow或deny。 effect字段填写allow或deny。 400 IAM.1030 The Action or NotAction must be a JSONArray. action或notAction字段不合法。 检查action对象的值是否正确。 400 IAM.1031 The Action and NotAction cannot be set at the same time in a statement. action和notAction字段不能同时存在。 删除action或notAction字段。 400 IAM.1032 The OCP NotAction cannot be 'allow'. OCP的notAction不能为allow。 OCP策略如果使用notAction则只能为deny。 400 IAM.1033 The number of actions [input action size] exceeds 100. action的数量超过100。 检查action的数量，不能超过100。 400 IAM.1034 The length [input urn length] of an action URN exceeds 128 characters. action长度超过128。 检查每条action的长度，不能超过128字符。 400 IAM.1035 Action URN '[input urn]' contains invalid characters. action包含非法字符。 检查action的值是否正确。 400 IAM.1036 Action '[input action]' has not been registered. action未被注册。 通过注册中心的接口先注册action。 400 IAM.1037 The number of resource URIs [input Resource uri size ] must be greater than 0 and less than or equal to 20. resource数量只能为1-20。 检查resource的数量。 400 IAM.1038 Resource URI '[input resource uri]' is invalid. Old resources only support agencies. 非法的资源URI。 检查每条资源URI的值是否正确。 400 IAM.1039 Old policies do not support conditions. 旧格式策略不支持condition。 删除condition或使用新格式策略。 400 IAM.1040 The number of resources [input Resource size] must be greater than 0 and less than or equal to 10. 资源URI数量只能为1-10。 检查每个resource对象的URI数量。 400 IAM.1041 The resource URI cannot be left blank or contain spaces. 资源URI为空。 检查每条资源URI的值是否正确。 400 IAM.1042 The length [input uri length] of a resource URI exceeds 1,500 characters. 资源URI超过1500字符。 检查每条资源URI的长度。 400 IAM.1043 A region must be specified. 缺少资源region。 资源URI中填写region。 400 IAM.1044 Region '[input resource region ]' of resource '[input resource]' is invalid. Region字段不合法。 检查region字段的值是否正确。 400 IAM.1045 Resource URI '[input resource uri]' or service '[input resource split]' is invalid. 资源URI中服务名无效。 检查云服务名是否正确或先注册云服务。 400 IAM.1046 Resource URI '[input resource]' or resource type '[input resource split]' is invalid. 资源URI中类型无效。 检查资源类型是否正确或先注册资源类型。 400 IAM.1047 Resource URI '[input resource uri]' contains invalid characters. 资源URI不合法。 检查资源URI的值是否正确。 400 IAM.1048 Resource URI '[input resource uri]' is too long or contains invalid characters. 资源URI包含非法字符。 检查id值是否包含非法字符。 400 IAM.1049 The Resource must be a JSONObject or JSONArray. 缺少resource对象。 检查resource对象是否为json数组。 400 IAM.1050 The number of conditions [input condition size] must be greater than 0 and less than or equal to 10. 条件数量只能为1-10。 至少填写一个条件，或删除多余的条件。 400 IAM.1051 The values of Operator '[input operator]' cannot be null. 操作符为空。 填写正确的操作符。 400 IAM.1052 Invalid Attribute '[input attribute ]'. 非法的属性字段。 检查属性的值是否正确。 400 IAM.1053 Attribute '[input attribute]' must be a JSONArray. attribute不为json数组。 检查attribute对象是否为json数组。 400 IAM.1054 The number [input attribute size ] of attributes '[input attribute]' for operator '[input operator]' must be greater than 0 and less than or equal to 10. 每个操作符对应的属性数量只能为1-10。 检查每个操作符下的attribute数量是否正确。 400 IAM.1055 Attribute '[input attribute ]' does not match operator '[input operator]'. 属性与操作符不匹配。 检查attribute和操作符类型是否匹配。 400 IAM.1056 The length [condition length] of attribute '[input attribute]' for operator '[input operator]' must be greater than 0 and less than or equal to 1024 characters. condition长度只能为1-1024。 检查condition对象的总长度。 400 IAM.1057 Value [input condition] of attribute [input attributes] for operator [input operator] contains invalid characters. condition包含非法字符。 检查condtion中是否包括非法字符。 400 IAM.1058 The number of depends [input policyDepends size] exceeds 20. depends数量超过20。 删除多余的depends值。 400 IAM.1059 Invalid key '{}'. 策略包含非法的Key。 修改或删除策略请求体中非法的key。 400 IAM.1060 The value of key '{}' must be a string. 该字段必须为字符串。 display_name和name字段改为字符串类型。 400 IAM.1061 Invalid TOTP passcode. 非法的认证密钥。 请确认请求或联系技术支持。 400 IAM.1062 Login protection has been bound to mfa, the unbinding operation cannot be performed. 登录保护已经绑定MFA认证，解绑操作不能执行。 请确认请求或联系技术支持。 400 IAM.1101 The request body size %s is invalid. 请求体的大小不合规范。 请检查请求体是否为空或过大（大于32KB）。 400 IAM.1102 The %s in the request body is invalid. 请求体中的某个值错误。 请参照接口资料检查请求体中的属性值。 400 IAM.1103 The %s is required in the request body. 请求体中的必选值缺失。 请参照接口资料检查请求体。 400 IAM.1104 The access key %s is in the blacklist. 请求的AK已在黑名单中。 请确认AK是否存在。 400 IAM.1105 The access key %s has expired. 请求的AK已经过期。 请重新创建访问密钥。 400 IAM.1106 The user %s with access key %s cannot be found. 找不到AK所属用户信息。 请确认AK所属用户或委托是否存在。 400 IAM.1107 The access key %s is inactive. 请求的AK已被禁用。 重新启用AK。 400 IAM.1108 The securitytoken has expired. 临时访问密钥已过期。 请重新获取临时访问密钥。 400 IAM.1109 The project information cannot be found. 找不到project信息。 请检查请求体或者token中的project是否存在，如不能解决请联系技术支持。 401 IAM.0001 The request you have made requires authentication. 请求认证失败。 请补充或确认请求认证信息。 401 IAM.0061 Account locked. 用户被锁定。 请等待自动解锁。 401 IAM.0062 Incorrect password. 用户密码错误。 请输入正确的账号密码。 401 IAM.0063 Access token authentication failed. accesstoken认证失败。 请联系技术支持。 401 IAM.0064 The access token does not have permissions for the request. IAM用户没有权限请求。 请确认该IAM用户的权限信息。 401 IAM.0065 HUAWEI IDs registered in European countries cannot log in to HUAWEI CLOUD. 欧洲站点不允许登录。 请输入华为云支持的账号。 401 IAM.0066 The token has expired. token已过期。 传入有效期内的token。 401 IAM.0067 Invalid token. 错误的token。 传入正确的token。 403 IAM.0002 You are not authorized to perform the requested action. 请求未授权。 请确认是否授权成功。 403 IAM.0003 Policy doesn't allow %(actions)s to be performed. 策略未授权此操作。 请确认策略是否授权此操作。 403 IAM.0080 The user %s with access key %s is disabled. AK所属用户被禁用。 联系用户所属租户的安全管理员。 403 IAM.0081 This user only supports console access, not programmatic access. 用户仅支持控制台访问，不支持程序访问。 联系用户所属租户的安全管理员修改用户访问模式。 403 IAM.0082 The user %s is disabled. 用户被禁用。 请联系用户所属租户安全管理员。 403 IAM.0083 You do not have permission to access the private region %s. 你没有私有region的访问权限。 请使用其他region或者联系私有region管理员。 404 IAM.0004 Could not find %(target)s: %(target_id)s. 无法找到请求资源。 请确认请求或联系技术支持。 409 IAM.0005 Conflict occurred when attempting to store %(type)s - %(details)s. 保存请求资源时发生冲突。 请确认请求或联系技术支持。 410 IAM.0020 Original auth failover to other regions, please auth downgrade 源区域Auth服务故障转移至其他区域，系统将自动进行认证降级。 系统将自动进行认证降级。 429 IAM.0012 The throttling threshold has been reached. Threshold: %d times per %d seconds 已达到限流阈值。 请确认请求或联系技术支持。 500 IAM.0006 An unexpected error prevented the server from fulfilling your request. 系统错误。 请联系技术支持。 父主题： 附录

响应示例 状态码为 200 时: 请求成功。 { "roles" : [ { "domain_id" : "d78cbac186b744899480f25bd022f...", "updated_time" : "1579229246886", "created_time" : "1579229246886", "description_cn" : "中文描述", "catalog" : "CUSTOMED", "name" : "custom_d78cbac186b744899480f25bd022f468_1", "description" : "IAMDescription", "links" : { "self" : "https://iam.myhuaweicloud.com/v3/roles/93879fd90f1046f69e6e0b31c94d2..." }, "id" : "93879fd90f1046f69e6e0b31c94d2...", "display_name" : "IAMCloudServicePolicy", "type" : "AX", "policy" : { "Version" : "1.1", "Statement" : [ { "Condition" : { "StringStartWith" : { "g:ProjectName" : [ "cn-north-1" ] } }, "Action" : [ "obs:bucket:GetBucketAcl" ], "Resource" : [ "obs:*:*:bucket:*" ], "Effect" : "Allow" } ] } }, { "domain_id" : "d78cbac186b744899480f25bd022f...", "updated_time" : "1579229242358", "created_time" : "1579229242358", "description_cn" : "中文描述", "catalog" : "CUSTOMED", "name" : "custom_d78cbac186b744899480f25bd022f468_0", "description" : "IAMDescription", "links" : { "self" : "https://iam.myhuaweicloud.com/v3/roles/f67224e84dc849ab954ce29fb4f47..." }, "id" : "f67224e84dc849ab954ce29fb4f473...", "display_name" : "IAMAgencyPolicy", "type" : "AX", "policy" : { "Version" : "1.1", "Statement" : [ { "Action" : [ "iam:agencies:assume" ], "Resource" : { "uri" : [ "/iam/agencies/07805acaba800fdd4fbdc00b8f888..." ] }, "Effect" : "Allow" } ] } } ], "links" : { "next" : null, "previous" : null, "self" : "https://iam.myhuaweicloud.com/v3/roles?domain_id=d78cbac186b744899480f25bd022f..." }, "total_number" : 300 }

响应示例 状态码为 200 时: 请求成功。 { "mapping": { "rules": [ { "local": [ { "user": { "name": "LocalUser" } }, { "group": { "name": "LocalGroup" } } ], "remote": [ { "type": "UserName" }, { "type": "orgPersonType", "not_any_of": [ "Contractor", "Guest" ] } ] } ], "id": "ACME", "links": { "self": "https://iam.myhuaweicloud.com/v3/OS-FEDERATION/mappings/ACME" } } }

请求示例 更新映射。 PATCH https://iam.myhuaweicloud.com/v3/OS-FEDERATION/mappings/{id} { "mapping": { "rules": [ { "local": [ { "user": { "name": "LocalUser" } }, { "group": { "name": "LocalGroup" } } ], "remote": [ { "type": "UserName" }, { "type": "orgPersonType", "not_any_of": [ "Contractor", "Guest" ] } ] } ] } }

响应示例 状态码为 200 时: 请求成功。 { "mapping": { "rules": [ { "local": [ { "user": { "name": "LocalUser" } }, { "group": { "name": "LocalGroup" } } ], "remote": [ { "type": "UserName" }, { "type": "orgPersonType", "not_any_of": [ "Contractor", "Guest" ] } ] } ], "id": "ACME", "links": { "self": "https://iam.myhuaweicloud.com/v3/OS-FEDERATION/mappings/ACME" } } }

请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 该字段内容填为“application/json;charset=utf8”。 X-Auth-Token 是 String 访问令牌，承载用户的身份、权限等信息。 token所需权限请参见授权项。 表3 请求Body参数 参数 是否必选 参数类型 描述 mapping 是 Object 映射信息。 表4 mapping 参数 是否必选 参数类型 描述 rules 是 Array of objects 将联邦用户映射为本地用户的规则列表。 表5 mapping.rules 参数 是否必选 参数类型 描述 local 是 Array of RulesLocal objects 表示联邦用户在本系统中的用户信息。 user:联邦用户在本系统中的用户名称。group:联邦用户在本系统中所属用户组。 remote 是 Array of objects 表示联邦用户在IdP中的用户信息。使用SAML协议时，由断言属性及运算符组成的表达式，取值由断言决定。使用OIDC协议时，取值由ID token决定。 表6 mappings.rules.local 参数 是否必选 参数类型 描述 user 否 user object 联邦用户在本系统中的用户名称 group 否 group object 联邦用户在本系统中所属用户组 表7 mappings.rules.local.user 名称 是否必选 类型 描述 name 是 string 联邦用户在本系统中的用户名称 表8 mappings.rules.local.group 名称 是否必选 类型 描述 name 是 string 联邦用户在本系统中所属用户组 表9 mapping.rules.remote 参数 是否必选 参数类型 描述 type 是 String 表示IdP断言中的属性。 any_one_of 否 Array of strings 输入属性值中包含指定值才生效，并返回布尔值，返回值不能用于local块中的占位符。在同一个remote数组元素中，any_one_of与not_any_of互斥，两者至多填写一个，不能同时填写。 not_any_of 否 Array of strings 输入属性值中不包含指定值才生效，并返回布尔值，返回值不能用于local块中的占位符。not_any_of 与any_one_of互斥，两者至多填写一个，不能同时填写。

常见问题 内容审核v2版本包含哪些服务？哪些API？涉及到哪些Region？ 表1 内容审核v2版本服务详情 服务名 API名称 API Region 文本审核v2 文本内容审核（V2） POST /v2/{project_id}/moderation/text 华北-北京一、华北-北京四、华东-上海一 图像审核v2 图像内容审核（V2） POST /v2/{project_id}/moderation/image 华北-北京一、华北-北京四、华东-上海一 图像内容审核（批量）（V2） POST /v2/{project_id}/moderation/image/batch 华北-北京一、华北-北京四、华东-上海一 图像内容审核（异步批量）（V2）- 任务提交 POST /v2/{project_id}/moderation/image/batch/jobs 华北-北京一、华北-北京四、华东-上海一 图像内容审核（异步批量）（V2）- 处理结果查询 GET /v2/{project_id}/moderation/image/batch 华北-北京一、华北-北京四、华东-上海一 图像内容审核（异步批量）（V2）- 任务列表查询 GET /v2/{project_id}/moderation/image/batch/jobs 华北-北京一、华北-北京四、华东-上海一 短语音内容审核 语音内容审核（V1） POST /v1.0/moderation/voice 华北-北京四 短语音内容审核 语音内容审核（V2） POST /v2/{project_id}/moderation/voice 华北-北京四 扭曲矫正 扭曲矫正 POST /v1.0/moderation/image/distortion-correct 华北-北京一、华北-北京四 清晰度检测 清晰度检测 POST /v1.0/moderation/image/clarity-detect 华北-北京一、华北-北京四 内容审核v2版本停止服务后，正在使用该版本的用户有哪些影响？ 在内容审核V2版本 EOS时间后，新用户不再支持开通内容审核v2服务。 历史存量用户仍然可以使用内容审核V2版本，但我们将停止v2版本的后续演进与更新，v2版本服务运行过程中出现错误，不再提供该版本的任何技术服务支持，请您尽快切换至新版本（v3）内容审核服务。 切换至内容审核v3版本产品价格是否有影响？ 内容审核v3版本共包含文本审核、图像审核、音频审核、视频审核、音频流审核、视频流审核、文档内容审核7个服务，其中文本审核和图像审核与v2版本的文本审核、图像审核计费一致，其余服务均为v3版本的新服务，不涉及。 如何对接内容审核v3版本？ 在内容审核资料页，根据内容审核v3版本的API资料适配对接。

配置参数 参数 说明 源端数据源 设置源端数据源，数据库类型的数据源在选择完表之后会自动显示字段信息，其他格式的数据源需要通过导入文件或者手动增加的形式来添加字段。导入的文件目前主要支持json，xml和csv格式导入。 目的端数据源 设置目的端数据源，数据库类型的数据源在选择完表之后会自动显示字段信息，其他格式的数据源需要通过导入文件或者手动增加的形式来添加字段。导入的文件目前主要支持json，xml和csv格式导入。 如果后续节点想要引用“数据映射”处理器的输出数据，可通过${节点id|payload.xxx}的形式来引用。节点id可通过单击“数据映射”处理器获取到。

目的端-数据格式为CSV样例 是否跳过标题：CSV文件的表头，数值 true/false：输出数据是/否含有表头。 分隔符：文件中每列数据通过单元格进行分隔，单元格可以为“制表符”、“空格”、“逗号”、“分号”。 场景1：目的端数据源选择数据格式“CSV”，是否跳过标题：true，字段分隔符：逗号 。 导入文件时，当是否跳过标题选择“true”，默认解析csv第一行为字段名。 源端MySQL数据库表 demo.statistics 中的数据： id city uuid1 suzhou uuid2 shanghai 数据映射输出数据为： ManufacturerId, ProductName uuid1, suzhou uuid2, shanghai 场景2：目的端数据源选择数据格式“CSV”，是否跳过标题：false，字段分隔符：逗号。 导入文件时，当是否跳过标题选择“false”，不使用导入文件的头字段，系统默认设置字段filedN。 源端MySQL数据库表 demo.statistics 中的数据： id city uuid1 suzhou uuid2 shanghai 数据映射输出数据为： uuid1, suzhou uuid2, shanghai

创建人脸识别连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”，在连接器页面单击“新建连接”。 选择“华为云服务”类别下的“人脸识别”。 在弹窗中配置连接器信息，完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 Access Key 当前账号的AK（Access Key ID）。请参考访问密钥获取AK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为：credentials.csv。 Secret Access Key 当前账号的SK（Secret Access Key）。请参考访问密钥获取SK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为credentials.csv。 描述 填写连接器的描述信息，用于识别不同的连接器。

配置参数 参数 说明 区域 FunctionGraph服务所在的区域。 项目 FunctionGraph服务所在的项目。 函数 选择要调用的函数。 调用方式 选择函数的调用方式，当前仅支持“同步”方式。 请求数据 执行函数的请求体，必须为JSON格式。可以通过引用变量的方式引用前序节点中的数据。 函数工作流服务具有强大的数据处理能力，可应用于多种场景。其中一个使用场景为，当使用“数据源类型组件”从数据库（如MySQL）中查询数据时，对于BLOB等类型的数据（如图片），最终查询到的结果为byte数组形式。此时可以使用函数工作流服务，对从数据库查询到的数据作进一步处理，如进行Base64编码等。

创建函数工作流连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”，在连接器页面单击“新建连接”。 选择“函数工作流”连接器。 在弹窗中配置连接器信息，完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 鉴权方式 选择连接器的鉴权方式。 云服务委托，即委托其他云服务管理资源。 AK/SK Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的AK（Access Key ID）。请参考访问密钥获取AK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为：credentials.csv。 Secret Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的SK（Secret Access Key）。请参考访问密钥获取SK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为credentials.csv。 描述 填写连接器的描述信息，用于识别不同的连接器。

配置参数 表1 发布模板消息 参数 说明 区域 消息通知服务所在的区域。 项目 消息通知服务所在的项目。 主题 在消息通知服务创建的主题，指消息发布或客户端订阅通知的特定事件类型。 消息标题 给邮箱订阅者发送邮件时作为邮件主题。 模板 在消息通知服务创建的消息模板，指消息的固定格式，发布消息时可以使用已创建的消息模板向订阅者发送消息，可以在模板参数中填写模板中的参数。 表2 发布文本消息 参数 说明 区域 消息通知服务所在的区域。 项目 消息通知服务所在的项目。 主题 在消息通知服务创建的主题，指消息发布或客户端订阅通知的特定事件类型。 消息标题 给邮箱订阅者发送邮件时作为邮件主题。 消息内容 发送给订阅者的消息正文。

创建消息通知连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”，在连接器页面单击“新建连接”。 选择“消息通知服务”连接器。 在弹窗中配置连接器信息，完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 鉴权方式 选择连接器的鉴权方式。 云服务委托，即委托其他云服务管理资源。 AK/SK Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的AK（Access Key ID）。请参考访问密钥获取AK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为：credentials.csv。 Secret Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的SK（Secret Access Key）。请参考访问密钥获取SK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为credentials.csv。 描述 填写连接器的描述信息，用于识别不同的连接器。