华为云用户手册

注意事项 为保证任务的正常运行，DRS提供了自动化的检查方法，在您启动DRS任务前，会针对源数据库和目标数据库的相关配置、条件进行检查。主要的检查项和对应的处理建议请参考预检查项。除了预检查项目之外，您还需要注意的事情参见表4。 表4 注意事项 类型名称 使用和操作限制 源数据库限制 不支持reset master或reset master to命令，可能会导致DRS任务失败或者数据不一致。 如果源数据库MySQL不支持TLS1.2协议，需提交运维申请才能使用SSL测试连接。 使用限制 通用： 实时同步过程中，如果修改了源库或者目标库的用户名、密码，会导致同步任务失败，需要在数据复制服务控制台将上述信息重新修改正确，然后重试任务可继续进行实时同步。一般情况下不建议在同步过程中修改上述信息。 为了保持数据一致性，不允许对正在同步中的目标数据库进行修改操作（包括但不限于DDL、DML操作）。 全量同步阶段： 不支持DDL操作。 对MyISAM表执行修改操作时，可能造成数据不一致。 增量同步阶段： 如果设置session变量character_set_client为binary，可能导致乱码。 支持部分DDL操作。 一对一的场景下，默认同步的DDL类型有CREATE_TABLE，RENAME_TABLE，ADD_COLUMN，MODIFY_COLUMN，CHANGE_COLUMN，DROP_COLUMN，DROP_INDEX，ADD_INDEX，CREATE_INDEX，RENAME_INDEX，DROP_TABLE，TRUNCATE_TABLE，DROP_PARTITION，RENAME_COLUMN，DROP_PRIMARY_KEY，ADD_PRIMARY_KEY，客户可以根据自身需求，在对象选择页面选择需要同步的DDL类型。 增量同步支持表的重命名，源表和目标表必须都在对象选择里。 表级同步时，增量同步过程支持使用Online DDL，可参考DRS实时同步支持使用Online DDL工具吗。 支持任务再编辑追加同步对象。 常见故障排查： 在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考“故障排查”章节进行排查。 其他限制 对于目标库MariaDB的系统参数enforce_storage_engine，如果该参数值为InnoDB，那么DRS不支持同步存储引擎为MyISAM的表结构和数据到目标库MariaDB。如果需要同步存储引擎为MyISAM的表数据，请先在目标创建好表结构（由于enforce_storage_engine参数限制，存储引擎只能为InnoDB）。 如果专属计算集群不支持4vCPU/8G或以上规格实例，则无法创建同步任务。 对于源数据库和目标数据库的版本有差异的同步链路，由于不同版本之间的部分特性差异，可能会出现语法兼容性问题，详情可参考MySQL或MariaDB不同版本之间的语法差异。 对于表中的物理生成列，如果列是根据一个时间类型生成的，会存在此列数据不一致的可能性。 进行表级多对一同步时，源库不允许存在无主键表。 源库如果存在非标浮点类型，且非标浮点类型存在宽松模式可以写入但严格模式下无法写入的数据，同步过程可能会有数据不一致的风险。 在创建DRS任务之前，如果源数据库实例开启并设置了SQL限流规则，可能会导致DRS任务失败。 支持断点续传功能，但是对于无主键的表可能会出现重复插入数据的情况。 支持目标数据库中的表比源数据库多列场景，但是需要避免以下场景可能导致的任务失败。 目标数据库多的列要求非空且没有默认值，源数据库insert数据，同步到目标数据库后多的列为null，不符合目标数据库要求。 目标数据库多的列设置固定默认值，且有唯一约束。源库insert多条数据后，同步到目标数据库后多的列为固定默认值，不符合目标数据库要求。 不支持源数据库恢复到之前时间点的操作(PITR)。 不支持目标数据库恢复到全量同步时间段范围内的PITR操作。 不支持外键级联操作。当外键是普通索引的时候，可能会导致表结构创建失败，建议改成唯一索引。 不支持强制清理binlog，否则会导致同步任务失败。 不支持分区表的分区字段进行列映射。 任务创建后，目标库不能设置为只读。 表级同步中，对于多对一场景下的表在数据加工页面设置了附加列为来源列，如果目标库中已经存在多对一映射之后的表，请在目标库中删除这张表或者清除这张表的数据，否则将不会通过附加列来创建联合主键（这在同步过程中会导致数据冲突并忽略，从而到导致数据不一致）。 源库MySQL版本为8.0时，部分排序字符集（utf8mb4_0900_as_ci、utf8mb4_0900_as_cs、utf8mb4_0900_bin、utf8mb4_cs_0900_ai_ci等支持Unicode 9.0的排序字符集），在目标库不支持。 由于引擎和版本差异，部分MySQL中的函数在MariaDB中不支持，不支持的函数有：MBRCOVEREDBY、ST_BUFFER_STRATEGY、ST_GeoHash、ST_IsValid、ST_LatFromGeoHash、ST_LongFromGeoHash、ST_PointFromGeoHash、ST_SIMPLIFY、ST_VALIDATE、 (8.0)JSON_ARRAYAGG、JSON_OBJECTAGG、JSON_PRETTY、JSON_STORAGE_FREE、JSON_STORAGE_SIZE、JSON_TABLE。 目标数据库MariaDB执行分区交换的时候不支持VALIDATION语法验证，在源数据库MySQL执行分区交换SQL的时候不要带校验语法，例如： ALTER TABLE t1 EXCHANGE PARTITION p0 WITH TABLE t2 WITH VALIDATION; 增量过程中请不要在源库MySQL的json类型中写入\n、\t、\r等字符，否则会导致数据不一致。 需要DRS任务同步索引的情况下，目标库对应表上不能存在同名但不同列信息的索引。全量阶段DRS会忽略对应表上已存在的同名索引，增量阶段DDL根据索引名操作索引时会触发错位问题。

数据库用户权限要求 在使用DRS进行同步时，连接源库和目标库的数据库用户需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的用户权限也不同，详细可参考表3进行赋权。DRS会在“预检查”阶段对数据库用户权限进行自动检查，并给出处理建议。 建议创建单独用于DRS任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。 连接源和目标数据库的账号密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。 表3 数据库用户权限 类型名称 全量同步 增量同步 全量+增量同步 源数据库连接用户 用户具备sysadmin角色或以下最小权限： DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT或UPDATE权限（无主键表锁表需要UPDATE权限）、SEQUENCE的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 用户具备sysadmin角色或以下最小权限： REPLICATION权限或继承了内置角色gs_role_replication的权限、DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 需要保证安全组和防火墙策略放开对应连接端口，详细说明可参考GaussDB为源链路增量同步连接及端口说明。 用户具备sysadmin角色或以下最小权限： REPLICATION权限或继承了内置角色gs_role_replication的权限、DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT或UPDATE权限（无主键表锁表需要UPDATE权限）、SEQUENCE的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 需要保证安全组和防火墙策略放开对应连接端口，详细说明可参考GaussDB为源链路增量同步连接及端口说明。 目标数据库连接用户 用户需要具备DBA角色或者以下最小权限： CREATE SESSION权限，表的SELECT、INSERT权限，或者具备RESOURCE角色。 用户需要具备DBA角色或者以下最小权限： CREATE SESSION权限，表的SELECT、INSERT、UPDATE、DELETE权限，或者具备RESOURCE角色 用户需要具备DBA角色或者以下最小权限： CREATE SESSION权限，表的SELECT、INSERT、UPDATE、DELETE权限，或者具备RESOURCE角色。

支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建MySQL数据库（MySQL 5.5、5.6、5.7、8.0版本） ECS自建MySQL数据库（MySQL 5.5、5.6、5.7、8.0版本） 其他云上MySQL数据库（MySQL 5.5、5.6、5.7、8.0版本） RDS for MySQL（5.5、5.6、5.7、8.0版本） RDS for PostgreSQL（9.5、9.6、10、11、12、13、14版本）

支持的同步对象范围 在使用DRS进行同步时，不同类型的同步任务，支持的同步对象范围不同，详细情况可参考表3。DRS会根据用户选择，在“预检查”阶段对同步对象进行自动检查。 表3 支持的同步对象 类型名称 使用须知 同步对象范围 仅支持同步表结构、表数据、索引信息。 仅支持同步MyISAM和InnoDB表。 不支持同步存储过程等其他数据库对象。 全量和增量同步不支持隐藏列（INVISIBLE），隐藏列是MySQL 8.0.23开始支持的特性，例如： CREATE TABLE `test11` ( `id` int NOT NULL, `c1` int DEFAULT NULL /*!80023 INVISIBLE */, PRIMARY KEY (`id`));

数据库账号权限要求 在使用DRS进行同步时，连接源库和目标库的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考表2进行赋权。DRS会在“预检查”阶段对数据库账号权限进行自动检查，并给出处理建议。 表2 数据库账号权限 类型名称 全量同步 全量+增量同步 源数据库连接账号 需要具备如下最小权限： SELECT 需要具备如下最小权限： SELECT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。 目标数据库连接账号 RDS for PostgreSQL实例的账号默认已具有权限。 建议创建单独用于DRS任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。 连接源和目标数据库的账号密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。

注意事项 为保证任务的正常运行，DRS提供了自动化的检查方法，在您启动DRS任务前，会针对源数据库和目标数据库的相关配置、条件进行检查。主要的检查项和对应的处理建议请参考预检查项。除了预检查项目之外，您还需要注意的事情参见表4。 表4 注意事项 类型名称 使用和操作限制 源数据库限制 不支持reset master或reset master to命令，可能会导致DRS任务失败或者数据不一致。 如果源数据库MySQL不支持TLS1.2协议，或者为版本较低的自建库（低于5.6.46或在5.7.0-5.7.28之间），需提交运维申请才能使用SSL测试连接。 使用限制 通用： 如果源数据库为RDS for MySQL，支持修改端口，修改之后同步任务失败，需要通过重试后继续进行同步。 如果源数据库为非RDS for MySQL，不支持修改端口。 不支持修改源和目标数据库的IP、账号和密码。 不允许源库执行清除Binlog的操作。 不允许源库进行恢复操作。 全量同步阶段： 任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 DRS会向目标库PostgreSQL写入大量数据，会导致PostgreSQL的wal日志量急剧增长，PostgreSQL的磁盘有被写满的风险。可以通过在全量同步前关闭PostgreSQL的日志备份功能，减少wal日志的生产，同步完成后再将其打开的方式进行规避（具体操作方法可参考设置自动备份策略）。 注意： 关闭日志备份会影响数据库的灾备恢复，请根据实际情况谨慎选择。 增量同步阶段： 如果设置session变量character_set_client为binary，可能导致乱码。 支持部分DDL语句。 支持表字段的增删改，例如： alter table `ddl_test` add column `c2` varchar(25); alter table `ddl_test` modify column `c1` varchar(50); alter table `ddl_test` alter c1 set default 'xxx'; 支持修改表索引，例如： alter table `ddl_test` drop primary key; alter table `ddl_test` add primary key(id); alter table `ddl_test` add index `ddl_test_uk`(id); alter table `ddl_test` drop index `ddl_test_uk`; 表级同步支持增加列、修改列、增加主键和普通索引。 如果目标表不存在，则该DDL会被忽略掉。 不支持DROP_DATABASE、DROP_TABLE、TRUNCATE_TABLE、CREATE_VIEW、DROP_VIEW。 不支持使用Online DDL。 结束任务： 任务正常结束： 请确保任务结束前，不要断开源和目标数据库的网络连通性，并在结束任务时关注同步日志上报的状态，达到数据库完整同步效果。 任务强制结束： 强制结束将直接释放DRS资源。 常见故障排查： 在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考“故障排查”章节进行排查。 其他限制 由于MySQL中视图支持as select ... from a join b where ...等语法，PostgreSQL不支持，可能会导致视图同步失败。 若专属计算集群不支持4vCPU/8G或以上规格实例，则无法创建同步任务。 在MySQL中，同一个database（schema）下面的不同表可以存在相同的索引名或约束名。而目标数据库PostgreSQL中，同一个schema中索引和约束名是唯一的，且长度存在上限。为防止索引和约束名冲突，在全量同步中，DRS同步到目标表上的索引名称将变为此格式：哈希值+原索引名（可能被截断）+_key。其中哈希值由"原库名_原表名_原索引名"计算得到。同理，表上的原约束名将变为：哈希值+原约束名（可能被截断）+_key。 相互关联的数据对象要确保同时同步，避免因关联对象缺失，导致同步失败。常见的关联关系：视图引用表、视图引用视图等。 源库为RDS for MySQL实例时，不支持带有TDE特性并建立具有加密功能表。 在创建DRS任务之前，如果源或者目标数据库实例开启并设置了SQL限流规则，可能会导致DRS任务失败。 网络中断在30秒内恢复的，不影响实时同步，如果超过30秒，则会导致同步任务失败。 支持通过映射方式实现多个库对一个库的实时同步，且映射库之间不允许存在同名表。 索引同步不区分索引类型，同步到目标数据库都是btree索引。 在磁盘空间允许的情况下，建议源数据库Binlog保存时间越长越好，建议为3天，设置为0，可能会导致同步失败。 源数据库为自建MySQL时，通过设置expire_logs_days参数设置Binlog保留时间。建议将expire_logs_day参数设置在合理的范围，确保恢复时断点处的Binlog尚未过期，以保证任务中断后的顺利恢复。 源数据库为RDS for MySQL时，设置Binlog保留时间可参考设置RDS for MySQL本地Binlog日志清理。 支持目标数据库中的表比源数据库多列场景，但是需要避免以下场景可能导致的任务失败。 目标数据库多的列要求非空且没有默认值，源库insert数据，同步到目标数据库后多的列为null，不符合目标数据库要求。 目标数据库多的列设置固定默认值，且有唯一约束。源库insert多条数据后，同步到目标数据库后多的列为固定默认值，不符合目标数据库要求。 仅支持记录违反非空约束的异常数据、char类型或varchar类型超出字段长度限制的异常数据。 如果无主键表中包含大字段（blob、text、clob、nclob、bytea），增量同步阶段存在大字段数据不一致的可能性。 源数据库同步的表如果有AUTO_INCREMENT属性，结束任务时，DRS会自动刷新同步表的序列整型列所对应的PostgreSQL自增列（sequence）起始值，刷新值为该列的最大值+10000。

数据库用户权限要求 在使用DRS进行同步时，连接源库和目标库的数据库用户需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的用户权限也不同，详细可参考表3进行赋权。DRS会在“预检查”阶段对数据库用户权限进行自动检查，并给出处理建议。 建议创建单独用于DRS任务连接的数据库用户，避免因为数据库用户密码修改，导致的任务连接失败。 连接源或目标数据库的用户密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库用户被锁定影响使用。 由于分布式数据库为源链路需要检查每个DN的连通性，建议使用非root数据库用户进行同步，避免因为密码填写错误在连接DN过程中导致用户被锁定。 表3 数据库用户权限 类型名称 增量同步 源数据库连接用户 用户具备sysadmin角色或以下最小权限： 需要REPLICATION权限或继承了内置角色gs_role_replication的权限、DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 需要保证安全组和防火墙策略放开对应连接端口，详细说明可参考GaussDB为源链路增量同步连接及端口说明。

使用须知 在创建同步任务前，请务必阅读以下使用须知。 建议创建单独用于DRS任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。 连接源和目标数据库的账号密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。 表2 使用须知 类型名称 使用和操作限制 数据库权限设置 源数据库最小权限要求： 增量同步权限要求： 副本集：连接源数据库的用户需要有admin库的readAnyDatabase权限，有local数据库的read权限。 单节点：连接源数据库的用户需要有admin库的readAnyDatabase权限，有local数据库的read权限。 集群：连接源数据库mongos节点的用户需要有admin库的readAnyDatabase权限，有config数据库的read权限。 目标数据库最小权限要求：连接目标数据库的用户需要有admin数据库的dbAdminAnyDatabase权限，有目标数据库的readWrite权限。对于目标数据库是集群的实例，迁移账号还要有config库的read权限。 同步对象约束 副本集：目前只支持集合（包括验证器，是否是固定集合），索引和视图的同步。 集群：目前只支持集合（包括验证器，是否是固定集合），分片键，索引和视图的同步。 单节点：目前只支持集合（包括验证器，是否是固定集合），索引和视图的同步。 不支持_id字段没有索引的集合。 不支持BinData()的第一个参数为2。 不支持范围分片的情况下maxKey当主键。 源库为集群时，不支持DBPointer和DBRef数据类型。 请勿在源库集合的String类型字段中存储非UTF-8类型字符串，否则会导致同步前后数据不一致。 源数据库要求 增量同步时，源数据库的Oplog日志必须打开。 在磁盘空间允许的情况下，建议源数据库Oplog保存时间越长越好，建议为3天。 源数据库的库名不能包含/\."$和空格，集合名和视图名中不能包含$字符或以system.开头。 如果源数据库是集群，则必须关闭Balancer并清理孤儿文档。详细操作可参考如何关闭集合均衡器Balancer和分片集群MongoDB迁移前清除孤儿文档。 目标数据库要求 不支持从高版本同步到低版本。 目标数据库实例的运行状态必须正常。 目标数据库实例必须有足够的磁盘空间。 操作须知 源数据库为非集群实例时，增量同步阶段支持如下操作： 支持数据库（database）新建、删除。 支持文档（document）新增、删除、更新。 支持集合（collection）新建、删除。 支持索引（index）新建、删除。 支持视图（view）新建，删除。 支持convertToCapped、collMod、renameCollection命令。 源库是集群实例时： 不支持集群版本小于4.0。 增量阶段不允许对同步对象做删除操作，否则会导致任务失败。 会消耗源数据库一定量的CPU，内存资源，请提前做好源数据库资源评估。 受MongoDB Change Streams自身性能影响，如果源库的负载比较大，Change Streams会出现处理速度无法跟上Oplog产生速度，进而导致DRS同步出现时延。 目前仅支持drop database，drop collection，rename的DDL，其他DDL均不支持。 增量阶段单表最多支持10000条/秒左右的同步速度。 启动时，指定的启动位点必须在Oplog的范围内。 目标数据库的同步账号必须是有写权限。对于目标数据库是集群的实例，同步账号还要有对config数据的读权限。 对于在源数据库已经存在TTL索引的集合，或者在增量同步期间在源库数据创建了TTL索引的集合，由于源数据库和目标库数据库时区，时钟的不一致，不能保证同步完成之后数据的一致性。 压缩参数block_compressor的取值，根据源库对应集合的stats().wiredTiger.creationString.block_compressor来决定，如果目标库已经存在对应的空集合，则不迁移压缩参数；特殊的，对于不支持的压缩参数，按照目标库实例的net.compression.compressors参数决定。当目标库的存储引擎不是wiredTiger时，DRS不同步压缩参数。 出云同步的目标数据库如果是副本集，则建议目标数据库填写所有的主节点和备节点信息，以防主备切换影响同步任务。如果是填写主备节点，注意填写的节点信息必须属于同一个副本集实例。 出云同步的目标数据库如果是集群，则建议填写多个mongos信息，以防单个mongos节点故障影响同步任务，并且多个mongos信息还可以实现负载均衡。如果填写多个mongos信息，注意所有所填的信息必须属于同一个集群实例。 同步过程中，不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。 在整个同步过程中，为了保持数据一致性，不允许对正在同步中的目标数据库进行修改操作（包括但不限于DDL、DML操作）。 在整个同步过程中，不支持源数据库主备切换导致数据回滚的情况。 不支持系统库的同步，用户名和角色需要在目标库手动创建。 不支持增量同步阶段insert、update源库大于16MB的文档。 任务增量阶段，为保证同步的性能，会集合级的进行并发回放。特殊地，以下情况只支持单线程写入，不支持并发回放： 集合的索引中有unique key时； 集合属性的capped为true时； 这种情况可能会导致任务时延增高。 为了防止回环，不支持同时启动入云迁移和出云同步任务。 行对比时，集群实例如果存在孤儿文档或者正在进行chunk同步，会导致返回的行数不准确，对比结果不一致。详细情况可参考MongoDB官方文档。

使用建议 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，避免同步对业务造成性能影响。如果同步不可避免业务高峰期，推荐使用同步限速功能，即“流速模式”选择“限速”。 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。 同步无主键表时，会存在3s以内的单表级锁定。 DRS并发读取数据库，会占用大约6-10个session连接数，需要考虑该连接数对业务的影响。 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响，可参考DRS对源数据库和目标数据库有什么影响。

支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DDS实例（3.2、3.4、4.0、4.2、4.4版本） 本地自建Mongo数据库（3.2、3.6、3.4、4.0、4.2、4.4版本） ECS自建Mongo数据库（3.2、3.6、3.4、4.0、4.2、4.4版本） 其他云上Mongo数据库（3.2、3.6、3.4、4.0、4.2、4.4版本） 说明： 仅支持目标库版本等于或高于源库版本。

使用建议 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 基于以下原因，建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性同步成功率，避免同步对业务造成性能影响。如果同步不可避免业务高峰期，推荐使用同步限速功能，即“流速模式”选择“限速”。 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。 同步无主键表时，为了确保数据一致性，会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死，可能导致读数据超时。 由于MySQL固有特点限制，CPU资源紧张时，存储引擎为Tokudb的表，读取速度可能下降至10%。 DRS并发读取数据库，会占用大约6-10个session连接数，需要考虑该连接数对业务的影响。 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响，可参考DRS对源数据库和目标数据库有什么影响。 数据对比 建议您结合数据对比的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。 如果涉及多对一场景的同步任务，可参考多对一的场景约束及操作建议。 如果涉及表级汇集的多对一同步任务，则不支持DDL，否则会导致同步全部失败。

使用建议 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 同步阶段，确保目标数据库无业务写入，保证同步前后数据一致。 基于以下原因，建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性同步成功率，避免同步对业务造成性能影响。 在网络无瓶颈的情况下，全量同步会对源数据库增加约20MB/s的查询压力，以及占用2~4个CPU。 DRS并发读取数据库，会占用大约6-10个session连接数，需要考虑该连接数对业务的影响。 更多DRS对数据库的影响，可参考DRS对源数据库和目标数据库有什么影响。 数据对比 建议您结合数据对比的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。

支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建Mongo数据库（3.2、3.4、3.6、4.0、4.2、4.4版本） ECS自建Mongo数据库（3.2、3.4、3.6、4.0、4.2、4.4版本） 其他云上Mongo数据库（3.2、3.4、3.6、4.0、4.2、4.4版本） DDS实例（3.2、3.4、4.0、4.2、4.4版本） DDS实例（3.4、4.0、4.2、4.4版本） 说明： 仅支持目标库版本等于或高于源库版本。

对数据库影响 对象对比：会查询源库及目标库的系统表，占用10个左右的session的连接数，正常情况不会对数据库产生影响。但是如果对象数量巨大（比如几十万张表），可能会对数据库产生一定的查询压力。 行数对比：会查询源库及目标库的表行数，占用10个左右的session的连接数，正常的select count语句基本不会对数据库产生影响。但是如果表数据量巨大（亿级）会对数据库产生一定的查询压力，返回查询结果会比较慢。 内容对比：会查询源库及目标库的全部数据，涉及每个字段都会对比，所以会对数据库产生一定的查询压力，主要体现在IO上，查询速度受限于源库和目标库的IO和网络带宽。占用1-2个CPU，占用10个左右的session的连接数。 用户对比：会查询源库及目标库的账户和权限，基本不会对数据库产生影响。

添加标签 在“实时同步管理”页面，选择指定的同步任务，单击任务名称进入“基本信息”页签。 在左侧导航栏，单击“标签”。 在“标签”页签单击“添加/编辑标签”，在“添加/编辑标签”弹出框中，输入标签的键和值，单击“添加”，然后单击“确定”。 输入标签的键和值时，系统会自动联想当前用户的所有实例（除当前实例外）的所有关联的预定义标签。 标签的键不能为空且必须唯一，长度为1~128个字符，可以包含任意语种字母、数字、空格和_.:=+-@字符，但首尾不能含有空格，不能以_sys_开头。 标签的值可以为空字符串，长度为0~255个字符，可以包含任意语种字母、数字、空格和_.:/=+-@字符，但首尾不能含有空格。 添加成功后，您可在当前任务的所有关联的标签集合中，查询并管理自己的标签。

操作场景 标签管理服务（Tag Management Service，TMS）用于用户在云平台，通过统一的tag标签管理各种资源。TMS服务与各服务共同实现标签管理能力，TMS提供全局标签管理能力，各服务维护自身标签管理 。当用户资源较多时，可通过不同的标签标识和查找任务。 建议您先在TMS系统中设置预定义标签。 标签由“键”和“值”组成，每个标签中的一个“键”只能对应一个“值”。 每个实例最多支持20个标签配额。

使用建议 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，避免同步对业务造成性能影响。如果同步不可避免业务高峰期，推荐使用同步限速功能，即“流速模式”选择“限速”。 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。 同步无主键表时，会存在3s以内的单表级锁定。 DRS并发读取数据库，会占用大约6-10个session连接数，需要考虑该连接数对业务的影响。 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响，可参考DRS对源数据库和目标数据库有什么影响。

数据库账号权限要求 在使用DRS进行同步时，连接源库和目标库的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考表2进行赋权。DRS会在“预检查”阶段对数据库账号权限进行自动检查，并给出处理建议。 表2 数据库账号权限 类型名称 全量同步、全量+增量同步、增量同步 源数据库连接账号 源数据库DDM账户至少需要具备一个权限，例如：SELECT。 DDM物理分片数据库账号需要具备如下权限：SELECT、SHOW VIEW、EVENT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。 目标数据库连接账号 需要具备如下权限：SELECT、CREATE、ALTER、DROP、DELETE、INSERT、UPDATE。 RDS for MySQL实例的root账户默认已具备上述权限。 建议创建单独用于DRS任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。 连接源和目标数据库的账号密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。

支持的同步对象范围 在使用DRS进行同步时，不同类型的同步任务，支持的同步对象范围不同，详细情况可参考表3。DRS会根据用户选择，在“预检查”阶段对同步对象进行自动检查。 表3 支持的同步对象 类型名称 使用须知 同步对象范围 全量同步支持数据、表结构和索引的同步。 源数据库不允许存在拆分键为timestamp类型的表。 源表的分库分表键要加到目标表的主键和唯一键中（也就是目标表的主键和唯一键中的列应该包含源表的分片列），避免数据冲突出现数据不一致问题。

数据库用户权限要求 在使用DRS进行同步时，连接源库和目标库的数据库用户需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的用户权限也不同，详细可参考表3进行赋权。DRS会在“预检查”阶段对数据库用户权限进行自动检查，并给出处理建议。 建议创建单独用于DRS任务连接的数据库用户，避免因为数据库用户密码修改，导致的任务连接失败。 连接源或目标数据库的用户密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库用户被锁定影响使用。 由于分布式数据库为源链路需要检查每个DN的连通性，建议使用非root数据库用户进行同步，避免因为密码填写错误在连接DN过程中导致用户被锁定。 表3 数据库用户权限 类型名称 全量同步 增量同步 全量+增量同步 源数据库连接用户 具备sysadmin角色或者以下最小权限： 需要DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT或UPDATE权限（无主键表锁表需要UPDATE权限）、SEQUENCE的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 具备sysadmin角色或者以下最小权限： 需要REPLICATION权限或继承了内置角色gs_role_replication的权限、DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 需要保证安全组和防火墙策略放开对应连接端口，详细说明可参考GaussDB为源链路增量同步连接及端口说明。 具备sysadmin角色或者以下最小权限： 需要REPLICATION权限或继承了内置角色gs_role_replication的权限、DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT或UPDATE权限（无主键表锁表需要UPDATE权限）、SEQUENCE的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 需要保证安全组和防火墙策略放开对应连接端口，详细说明可参考GaussDB为源链路增量同步连接及端口说明。 目标数据库连接用户 具备sysadmin角色或者以下最小权限： 需要DATABASE的CONNECT和CREATE权限、SCHEMA的USAGE和CREATE权限、表的INSERT、UPDATE、DELETE、SELECT、ALTER、INDEX、COMMENT权限。 目标库使用gsloader等工具创建相关系统表（如 public.pgxc_copy_error_log，public.gs_copy_summary）时，DRS访问相关系统表需要有系统表的all privilege权限，详细信息可参考《GaussDB工具参考》。

数据库账号权限要求 在使用DRS进行同步时，连接源库和目标库的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考表3进行赋权。DRS会在“预检查”阶段对数据库账号权限进行自动检查，并给出处理建议。 建议创建单独用于DRS任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。 连接源和目标数据库的账号密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。 表3 数据库账号权限 类型名称 增量、全量+增量同步 源数据库连接账号 SELECT、SHOW VIEW、EVENT、LOCK TABLES、RELOAD、REPLICATION SLAVE、REPLICATION CLIENT（或BINLOG MONIOTOR，MariaDB 10.5及以上版本更改为此权限）。 目标数据库连接账号 SELECT、CREATE、DROP、DELETE、INSERT、UPDATE、ALTER、CREATE VIEW、CREATE ROUTINE、REFERENCES，RDS for MySQL实例的root账户默认已具备上述权限。当目标库为8.0.14-8.0.18版本时，还需要有SESSION_VARIABLES_ADMIN权限。

使用建议 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 基于以下原因，建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性同步成功率，避免同步对业务造成性能影响。 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。 正在同步的数据被其他事务长时间锁死，可能导致读数据超时。 DRS并发读取数据库，会占用大约6-10个session连接数，需要考虑该连接数对业务的影响。 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响，可参考DRS对源数据库和目标数据库有什么影响。 数据对比 建议您结合数据对比的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。

支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建MariaDB数据库 10.0、10.1、10.2、10.3、10.4、10.5版本 ECS自建MariaDB数据库 10.0、10.1、10.2、10.3、10.4、10.5版本 其他云上MariaDB数据库 10.0、10.1、10.2、10.3、10.4、10.5版本 RDS for MySQL 5.5、5.6、5.7、8.0版本 说明： 源库为MariaDB 10.0、10.1版本时，建议同步到目标库MySQL 5.6及以上的版本。 源库为MariaDB 10.2、10.3、10.4版本时，建议同步到目标库MySQL 5.7及以上的版本。 源库为MariaDB 10.5版本时，建议同步到目标库MySQL 8.0版本。

支持的同步对象范围 在使用DRS进行同步时，不同类型的同步任务，支持的同步对象范围不同，详细情况可参考表2。DRS会根据用户选择，在“预检查”阶段对同步对象进行自动检查。 表2 支持的同步对象 类型名称 使用须知 同步对象范围 支持表、主键索引、唯一索引、普通索引、存储过程、视图、函数的同步。 仅支持MyISAM和InnoDB表的同步。 不支持事件、触发器的同步。 视图、存储过程、函数依赖的表不支持做表名映射。 任务做表名映射时，不支持该表的外键约束同步。 任务做库名映射时，同步的对象中如果存在存储过程、视图、函数对象，全量阶段这些对象不会同步，会导致对象对比不一致。 使用非字母、非数字、非下划线等字符作为库表名称，或库表映射后名称包含中划线、井号时，名称的长度请不要超过42个字符。 已选择的表与未选择的表之间互相rename的DDL操作，在任务同步中会被过滤掉，可能会导致任务失败或数据不一致。 对于一个DDL中存在一个rename的情况（例如：rename A TO B），只支持rename前后库表都在已选择库表中的rename操作（A和B都在已选择库表中），其他情况的rename DDL会被过滤； 对于一个DDL中存在多个rename的情况（例如：rename A TO B, B TO C），只支持rename前后库表都在已选择库表中的部分rename操作 ，其他情况的rename DDL会被过滤（A和B在已选择库表中，C不在，仅执行rename A TO B）。 不建议在多对一同步场景下的进行rename操作，可能会导致任务失败或数据不一致。 同步对象中如果存在包含longtext、longblob类型字段的表，建议创建大规格及以上规格的DRS任务进行同步，否则可能会导致capture OOM。

数据库用户权限要求 在使用DRS进行同步时，连接源库和目标库的数据库用户需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的用户权限也不同，详细可参考表3进行赋权。DRS会在“预检查”阶段对数据库用户权限进行自动检查，并给出处理建议。 建议创建单独用于DRS任务连接的数据库用户，避免因为数据库用户密码修改，导致的任务连接失败。 连接源或目标数据库的用户密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库用户被锁定影响使用。 由于分布式数据库为源链路需要检查每个DN的连通性，建议使用非root数据库用户进行同步，避免因为密码填写错误在连接DN过程中导致用户被锁定。 表3 数据库用户权限 类型名称 全量同步 增量同步 全量+增量同步 源数据库连接用户 具备sysadmin角色或者以下最小权限： 需要DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT或UPDATE权限（无主键表锁表需要UPDATE权限）、SEQUENCE的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 具备sysadmin角色或者以下最小权限： 需要REPLICATION权限或继承了内置角色gs_role_replication的权限、DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 需要保证安全组和防火墙策略放开对应连接端口，详细说明可参考GaussDB为源链路增量同步连接及端口说明。 具备sysadmin角色或者以下最小权限： 需要REPLICATION权限或继承了内置角色gs_role_replication的权限、DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT或UPDATE权限（无主键表锁表需要UPDATE权限）、SEQUENCE的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 需要保证安全组和防火墙策略放开对应连接端口，详细说明可参考GaussDB为源链路增量同步连接及端口说明。 目标数据库连接用户 具备sysadmin角色或者以下最小权限： 需要DATABASE的CONNECT和CREATE权限、SCHEMA的USAGE和CREATE权限、表的INSERT、UPDATE、DELETE、SELECT、ALTER、INDEX、COMMENT权限。 目标库使用gsloader等工具创建相关系统表（如 public.pgxc_copy_error_log，public.gs_copy_summary）时，DRS访问相关系统表需要有系统表的all privilege权限，详细信息可参考《GaussDB工具参考》。

数据库用户权限要求 在使用DRS进行同步时，连接源库和目标库的数据库用户需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的用户权限也不同，详细可参考表3进行赋权。DRS会在“预检查”阶段对数据库用户权限进行自动检查，并给出处理建议。 建议创建单独用于DRS任务连接的数据库用户，避免因为数据库用户密码修改，导致的任务连接失败。 连接源或目标数据库的用户密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库用户被锁定影响使用。 由于分布式数据库为源链路需要检查每个DN的连通性，建议使用非root数据库用户进行同步，避免因为密码填写错误在连接DN过程中导致用户被锁定。 表3 数据库用户权限 类型名称 全量同步 增量同步 全量+增量同步 源数据库连接用户 用户具备sysadmin角色或以下最小权限： DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT或UPDATE权限（无主键表锁表需要UPDATE权限）、SEQUENCE的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 用户具备sysadmin角色或以下最小权限： REPLICATION权限或继承了内置角色gs_role_replication的权限、DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 需要保证安全组和防火墙策略放开对应连接端口，详细说明可参考GaussDB为源链路增量同步连接及端口说明。 用户具备sysadmin角色或以下最小权限： REPLICATION权限或继承了内置角色gs_role_replication的权限、DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT或UPDATE权限（无主键表锁表需要UPDATE权限）、SEQUENCE的SELECT权限。 需要具备远程连接权限，添加方法可参考GaussDB远程连接配置方法。 需要保证安全组和防火墙策略放开对应连接端口，详细说明可参考GaussDB为源链路增量同步连接及端口说明。 目标数据库连接用户 用户需要具备DBA角色或者以下最小权限： CREATE SESSION权限，表的SELECT、INSERT权限，或者具备RESOURCE角色。 用户需要具备DBA角色或者以下最小权限： CREATE SESSION权限，表的SELECT、INSERT、UPDATE、DELETE权限，或者具备RESOURCE角色 用户需要具备DBA角色或者以下最小权限： CREATE SESSION权限，表的SELECT、INSERT、UPDATE、DELETE权限，或者具备RESOURCE角色。

支持的同步对象范围 在使用DRS进行同步时，不同类型的同步任务，支持的同步对象范围不同，详细情况可参考表2。DRS会根据用户选择，在“预检查”阶段对同步对象进行自动检查。 表2 支持的同步对象 类型名称 使用须知 同步对象范围 支持的字段类型： TINYINT、SMALLINT、INT、BIGINT、DECIMAL、NUMERIC、FLOAT、REAL、SMALLMONEY、MONEY、BIT、DATE、DATETIME、DATETIME2、DATETIMEOFFSET、TIME、TIMESTAMP、XML、CHAR、VARCHAR、NCHAR、NVARCHAR、BINARY、VARBINARY、IMAGE、HIERARCHYID、NTEXT、TEXT、UNIQUEIDENTIFIER。 不支持的字段类型：SQL_VARIANT、GEOMETRY、GEOGRAPHY。 增量同步的范围： 支持DML（Data Manipulation Language）：包括INSERT、UPDATE、DELETE。 不支持DDL（Data Definition Language）。

数据库账号权限要求 在使用DRS进行同步时，连接源库和目标库的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考表3进行赋权。DRS会在“预检查”阶段对数据库账号权限进行自动检查，并给出处理建议。 表3 数据库账号权限 类型名称 增量同步 源数据库连接账号 需要具备sysadmin权限，或者view server state权限以及待同步数据库的db_datareader或db_owner权限。

使用须知 DRS增量同步过程一般包含三个阶段：任务启动阶段、增量阶段、结束任务阶段。为了确保同步各个阶段的平顺，在创建同步任务前，请务必阅读以下使用须知。 表4 使用须知 类型名称 使用和操作约定 任务启动前须知 源数据库参数要求： 源数据库模式必须设置为FULL模式。 源数据库必须开启SQL Server Agent代理服务。 源数据库若开启客户端配置中的“强制协议加密（Force Protocol Encrypton）”，必须同时开启“信任服务器证书（trust server certificate）”，如下图1所示： 图1 查看客户端属性 源数据库对象要求： 源库中不允许存在被禁用的表的聚簇索引，否则会导致同步失败。 源库中不允许存在名称为cdc的用户名或schema。 源库待同步对象的库名、schema名、表名只能包含如下字符：字母、数字、下划线和中划线，库名长度不能超过64个字符。 源库待同步对象的表中列名不能包含如下字符：[]?。 目标数据库参数要求： 目标库为社区Kafka。 Kafka的auto.create.topics.enable参数建议为false。 其他使用须知： 不支持源数据库主备切换，源数据库主备切换会导致同步任务失败。 不支持源数据库Microsoft SQL Server为TLS 1.0、TLS 1.1协议的同步，如果需要同步，建议源库升级到TLS 1.2及以上版本。 SQL Server为源的增量同步基于SQL Server提供的CDC能力，如果SQL Server源库的CDC功能出现异常（如被关闭、事务日志满等情况），则增量同步就会受到影响。 增量同步过程须知 请勿修改源库和目标库的端口号，请勿修改、删除源库和目标库连接用户的密码、权限，否则可能导致任务失败。 请勿在目标库做写入操作，否则可能导致数据不一致。 请勿在Kafka上删除接收DRS数据的topic，否则可能导致任务失败。 不支持DDL操作，源数据库进行的DDL操作不会同步到目标数据库。 不支持大数据类型IMAGE、TEXT、NTEXT的删除操作。 支持任务再编辑追加同步对象。

支持的同步对象范围 在使用DRS进行同步时，不同类型的同步任务，支持的同步对象范围不同，详细情况可参考表3。DRS会根据用户选择，在“预检查”阶段对同步对象进行自动检查。 表3 支持的同步对象 类型名称 使用须知 同步对象范围 仅支持同步表结构、表数据、索引信息。 仅支持同步有主键表。 仅支持同步MyISAM和InnoDB表。 虚拟列会被同步为普通列，且不写入任何数据，也不做增量同步。 不支持同步存储过程等其他数据库对象。 不支持同步既是无主键表，又是分区表的自建表，可能会导致任务失败。 全量和增量同步不支持隐藏列（INVISIBLE），隐藏列是MySQL 8.0.23开始支持的特性，例如： CREATE TABLE `test11` ( `id` int NOT NULL, `c1` int DEFAULT NULL /*!80023 INVISIBLE */, PRIMARY KEY (`id`));