华为云用户手册

  • 灾备任务约束与限制 为保障数据灾备任务的正常运行,针对不同的链路,DRS在使用上存在一定的约束与限制。 MySQL到MySQL单主灾备 MySQL到GaussDB(for MySQL)单主灾备 DDM到DDM单主灾备 GaussDB(for MySQL)到GaussDB(for MySQL)单主灾备 MySQL到MySQL双主灾备 GaussDB(for MySQL)到GaussDB(for MySQL)双主灾备 父主题: 约束与限制
  • 网络准备 数据复制服务支持通过多种方式的网络进行数据灾备,包括:VPN网络、专线网络和公网网络,在正式灾备之前请参考表1了解网络类型的使用场景及准备工作,并参考表2了解具体的网络类型支持情况进行网络设置。 表1 网络类型 网络类型 使用场景 准备工作 VPN网络 适合通过VPN网络,实现其他云下自建数据库与云上数据库灾备、或云上跨区域的数据库之间的灾备。 用户需要确保本地数据中心和目标数据库所在VPC的VPN网络建立连接,确保VPN网络可正常访问的前提下,再进行数据灾备。 VPN相关操作,请参见《虚拟专用网络快速入门》。 专线网络 适合通过专线网络,实现其他云下自建数据库与云上数据库灾备、或云上跨区域的数据库之间的灾备。 用户需要通过专线网络建立云与数据中心的专线连接。 云专线相关操作,请参见《云专线快速入门》。 公网网络 适合其他云下或其他平台的数据库到目标数据库的灾备。 为了确保源数据库和目标数据库之间的网络互通,源数据库端和目标数据库端分别需要进行如下设置: 开启公网访问 源数据库端实例需要根据具体的场景,由用户端开启公网访问。 设置安全组规则 源数据库需要将DRS灾备实例的弹性公网IP添加到其网络入口白名单内,使源数据库与DRS灾备实例可以连通。 由于目标数据库和DRS灾备实例处于同一个VPC内,默认网络是连通的,不需要单独设置安全组。 说明: DRS灾备实例创建成功后,可在“源库及目标库”页面获取DRS灾备实例的弹性公网IP。 在选择公网网络进行数据灾备同步时,如果没有开启SSL安全连接加密灾备链路的功能,请确保待灾备的数据为非机密数据,再进行数据灾备。 表2 支持的网络类型 灾备方向 源数据库 目标数据库 VPC网络 公网网络 VPN、专线网络 本云为备 MySQL MySQL 暂不支持 支持 支持 GaussDB(for MySQL) 暂不支持 支持 支持 DDM DDM 暂不支持 支持 支持 GaussDB(for MySQL) GaussDB(for MySQL) 暂不支持 支持 支持 本云为主 MySQL MySQL 暂不支持 支持 支持 DDM DDM 暂不支持 支持 支持 GaussDB(for MySQL) GaussDB(for MySQL) 暂不支持 支持 支持 双主灾备 MySQL 说明: 目前仅支持白名单用户使用。 MySQL 暂不支持 支持 支持 GaussDB(for MySQL) 说明: 目前仅支持白名单用户使用。 GaussDB(for MySQL) 暂不支持 支持 支持
  • 录制回放 录制回放是指将源数据库发生的真实业务流量,在目标数据库模拟执行,从而观察和检验目标数据库的功能和性能表现。录制回放支持的数据库和版本如表25所示,更多录制回放的功能特性可参考录制回放。 其中,自建数据库(例如MySQL、MariaDB等)包含本地自建数据库和ECS自建数据库,RDS for MySQL指华为云云数据库RDS上的MySQL数据库。 不支持从高版本到低版本的回放。 表25 数据库信息 源数据库引擎 源数据库类型和版本 目标数据库类型和版本 MySQL RDS for MySQL 所有版本 RDS for MySQL 所有版本 GaussDB(for MySQL) 兼容MySQL 8.0版本 自建MySQL 5.6、5.7、8.0版本 其他云上MySQL 5.6、5.7、8.0版本 RDS for MySQL 所有版本 GaussDB(for MySQL) 兼容MySQL 8.0版本 GaussDB(for MySQL) GaussDB(for MySQL) 兼容MySQL 8.0版本 GaussDB(for MySQL) 兼容MySQL 8.0版本
  • 备份迁移 备份迁移通过将源数据库的数据导出成备份文件,并上传至对象存储服务,然后恢复到目标数据库。备份迁移可以帮助您在云服务不触碰源数据库的情况下,实现数据迁移。其支持的数据库、版本和迁移类型如表8所示,更多备份迁移的功能特性可参考备份迁移。 不支持从高版本迁移到低版本。 表8 数据库信息 备份文件版本 目标数据库版本 迁移方式 备份文件来源 本地及其他云Microsoft SQL Server数据库备份文件版本: Microsoft SQL Server 2000 Microsoft SQL Server 2005 Microsoft SQL Server 2008 Microsoft SQL Server 2012 Microsoft SQL Server 2014 Microsoft SQL Server 2016 Microsoft SQL Server 2017 Microsoft SQL Server 2019 RDS for SQL Server Microsoft SQL Server 2008(存量版本) Microsoft SQL Server 2012 Microsoft SQL Server 2014 Microsoft SQL Server 2016 Microsoft SQL Server 2017 Microsoft SQL Server 2019 全量迁移 增量迁移 OBS自建桶 RDS全量备份 RDS for SQL Server全量备份文件版本: Microsoft SQL Server 2008 Microsoft SQL Server 2012 Microsoft SQL Server 2014 Microsoft SQL Server 2016 Microsoft SQL Server 2017 Microsoft SQL Server 2019 全量迁移 增量迁移 OBS自建桶 RDS全量备份
  • 监控安全风险 云监控服务为用户提供一个针对云数据库、云服务器等资源的立体化监控平台。使您全面了解云上的资源使用情况、业务的运行状况,并及时收到异常告警做出反应,保证业务顺畅运行。 DRS提供基于云监控服务的资源和操作监控能力,例如CPU使用率、网络吞吐量的等。通过设置数据复制服务告警规则,用户可自定义监控目标与通知策略,及时了解数据复制服务运行状况,从而起到预警作用。支持的监控指标以及如何创建告警规则,具体请参见监控指标。 云监控支持的性能指标监控时间窗包括:近1小时、近3小时、近12小时、近24小时、近7天和近6个月。 父主题: 安全
  • DRS权限 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 DRS部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域(如华北-北京四)对应的项目(cn-north-4)中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问DRS时,需要先切换至授权区域。 根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对ECS服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分。 如表1所示,包括了DRS的所有系统权限。 表1 DRS系统权限 策略名称/系统角色 描述 类别 依赖关系 Security Administrator 安全管理员。 为了提高数据复制服务的可用性,您需要在正式使用数据复制服务之前,在统一身份认证服务用户组管理中添加Security Administrator全局权限,避免由于权限问题造成某些功能不可用,如定时启动任务、全量完成自动结束、自动重试失败任务等自动功能。如果自动功能不可用,可参考常见问题DRS创建任务后执行自动功能失败。 系统角色 无。 DRS Administrator 数据复制服务的管理员。 该权限为使用数据复制服务时必须添加的基础权限。 系统角色 依赖Tenant Guest、Server Administrator和RDS Administrator角色。 Tenant Guest:项目级角色,在同项目中勾选。 Server Administrator:项目级角色,在同项目中勾选。 RDS Administrator:RDS管理员,属于项目级角色,在同项目中勾选。 DRS FullAccess 数据复制服务所有执行权限。 系统策略 依赖VPC FullAccess、RDS ReadOnlyAccess、SMN Administrator、OBS Administrator、EPS ReadOnlyAccess策略。 VPC FullAccess:选择VPC、子网需要配置。 RDS ReadOnlyAccess:选择RDS需要配置。 SMN Administrator:消息通知需要配置。 OBS Administrator:备份任务选择桶信息需要配置。 EPS ReadOnlyAccess:选择企业项目时需要配置。 如果为包周期任务需要配置如下权限: BSS Operator或BSS Administrator DRS ReadOnlyAccess 数据复制服务资源只读权限。 系统策略 根据选择需要配置如下策略: RDS ReadOnlyAccess:选择RDS需要配置。 SMN Administrator:消息通知需要配置。 DRS FullWithOutDeletePermission 数据复制服务除删除外的所有权限 系统策略 依赖VPC FullAccess、RDS ReadOnlyAccess、SMN Administrator、OBS Administrator策略。 VPC FullAccess:选择VPC、子网需要配置。 RDS ReadOnlyAccess:选择RDS需要配置。 SMN Administrator:消息通知需要配置。 OBS Administrator:备份任务选择桶信息需要配置。 如果为包周期任务需要配置如下权限: BSS Operator或BSS Administrator 除了以上权限外,还需要根据选择配置对应数据库实例的读权限,例如界面选择DDM需要配置DDM ReadOnlyAccess权限,选择DDS需要配置DDS ReadOnlyAccess权限。 表2列出了数据复制服务常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。 表2 常用操作与系统权限的关系 操作 DRS FullAccess DRS ReadOnlyAccess DRS Administrator DRS FullWithOutDeletePermission 创建任务 √ x √ √ 编辑任务 √ x √ √ 删除任务 √ x √ x 启动任务 √ x √ √ 重试任务 √ x √ √ 结束任务 √ x √ √ 表3列出了DRS常用操作以及对应的授权项,您可以参照该表自定义配置权限策略。 表3 常用操作与对应的授权项 权限 授权项 备注 查询RPO和RTO drs:dataGuardJob:list 无。 主备倒换 drs:disasterRecoveryJob:switchover 无。 任务操作 drs:migrationJob:action 需要在项目上配置VPC FullAccess权限。 需要配置对应实例的读权限,例如数据库为RDS,需要配置RDS ReadOnlyAccess权限,为DDS需要配置DDS ReadOnlyAccess权限。 备份任务需要配置OBS Administrator权限。 终止迁移任务 drs:migrationJob:terminate 需要在项目上配置如下权限: VPC FullAccess RDS ReadOnlyAccess 备份任务需要配置如下权限: OBS Administrator 消息通知需要配置如下权限: SMN Administrator 修改迁移任务 drs:migrationJob:modify 界面选择VPC、子网需要配置如下权限: VPC FullAccess 需要配置对应实例的读权限,例如界面选择RDS需要配置RDS ReadOnlyAccess权限,选择DDS需要配置DDS ReadOnlyAccess权限。 消息通知需要配置如下权限: SMN Administrator 创建迁移任务 drs:migrationJob:create 界面选择VPC、子网需要配置如下权限: VPC FullAccess 需要配置对应实例的读权限,例如界面选择RDS需要配置RDS ReadOnlyAccess权限,选择DDS需要配置DDS ReadOnlyAccess权限。 消息通知需要配置如下权限: SMN Administrator 如果为包周期任务需要配置如下权限: BSS Operator或BSS Administrator 删除迁移任务 drs:migrationJob:delete 无。 更新迁移用户信息 drs:migrationJob:modifyUserInfo 需要配置对应实例的读权限,例如数据库为RDS时,需要在项目上配置RDS ReadOnlyAccess权限。 迁移速度控制 drs:migrationJob:setMigrationTransSpeed 无。 修改数据库参数 drs:dataBaseParams:modify 需要配置对应实例的读权限,例如数据库为RDS时,需要在项目上配置RDS ReadOnlyAccess权限。 更新数据加工信息 drs:dataTransformation:update 需要配置对应实例的读权限,例如数据库为RDS时,需要在项目上配置RDS ReadOnlyAccess权限。 添加数据加工信息 drs:dataTransformation:add 需要配置对应实例的读权限,例如数据库为RDS时,需要在项目上配置RDS ReadOnlyAccess权限。 删除数据加工数据接口 drs:dataTransformation:delete 无。 更新数据库对象选择信息 drs:migrationJob:update 需要配置对应实例的读权限,例如数据库为RDS时,需要在项目上配置RDS ReadOnlyAccess权限。 更新同步任务忽略策略 drs:synchronizationJob:update 无。 更新任务配置 drs:migrationJob:updateJobConfig 无。 更新过滤DDL策略 drs:migrationJob:updateDDLPolicy 无。 修改对比策略 drs:healthCompare:modify 无。 停止对比任务 drs:healthCompare:stop 无。 创建对象级表对比任务 drs:migrationCompareJob:create 无。 取消数据级表对比任务 drs:migrationCompareJob:delete 无。 立即启动数据级表对比任务 drs:migrationCompareJob:start 无。 创建订阅任务 drs:subscriptionJob:create 界面选择RDS实例需要配置如下权限: RDS ReadOnlyAccess 消息通知需要配置如下权限: SMN Administrator 在项目上需要配置如下权限: VPC FullAccess 修改订阅任务 drs:subscriptionJob:update 界面选择RDS实例需要配置如下权限: OBS Administrator RDS ReadOnlyAccess 消息通知需要配置如下权限: SMN Administrator 在项目上需要配置如下权限: VPC FullAccess 编辑订阅任务信息 drs:subscriptionJob:edit 界面选择桶、RDS实例需要配置如下权限: OBS Administrator RDS ReadOnlyAccess 消息通知需要配置如下权限: SMN Administrator 还需要配置如下权限: VPC FullAccess 删除订阅任务 drs:subscriptionJob:delete 无。 操作订阅任务 drs:subscriptionJob:subscribe 需要在项目上配置如下权限: VPC FullAccess RDS ReadOnlyAccess 备份任务需要配置如下权限: OBS Administrator 消息通知需要配置如下权限: SMN Administrator 修改消费时间点 drs:subscriptionJob:UpdateConsumeTime 无。 创建备份迁移任务v2.0 drs:backupMigrationJob:create 界面选择桶、RDS实例需要配置如下权限: OBS Administrator RDS ReadOnlyAccess 消息通知需要配置如下权限: SMN Administrator 删除备份迁移任务 drs:backupMigrationJob:delete 无。 修改备份迁移任务信息 drs:backupMigrationJob:modify 界面选择桶、RDS实例需要配置如下权限: OBS Administrator RDS ReadOnlyAccess 消息通知需要配置如下权限: SMN Administrator 冻结解冻 drs:frozenOrUnfreezeJob:frozen 无。 资源清理 drs:cleanJob:clean 需要配置VPC FullAccess权限。 校验备份任务名称 drs:backupMigrationJob:check 无。 校验数据加工 drs:dataTransformation:check 无。 校验在线任务名称 drs:migrationJob:check 无。 获取数据库参数 drs:databaseParameters:get 无。 查询备份迁移任务列表 drs:backupMigrationJob:list 无。 查询备份迁移任务详细信息 drs:backupMigrationJob:get 无。 获取订阅任务详情 drs:subscriptionJob:get 需要配置对应实例的读权限,例如数据库为RDS时,需要在项目上配置RDS ReadOnlyAccess权限。 查询操作结果 drs:job:getResult 无。 获取任务价格信息 drs:migrationJob:getMeteringPrice 无。 查询数据加工信息 drs:migrationTransformationJob:get 无。 获取任务预检查结果 drs:precheckJob:get 无。 获取对象级迁移对比概览 drs:compareJob:getOverview 无。 查询数据级表对比任务列表 drs:compareJob:list 无。 查询数据级表对比任务结果 drs:compareJob:getResult 无。 获取对象级迁移对比详细信息 drs:compareJob:getDetails 无。 查询数据级表对比任务详细信息 drs:compareJob:getContentsInfo 无。 查询对比任务预估时间 drs:compareJob:getEstimateTime 无。 查询内容对比总览 drs:compareJob:getContentOverview 无。 查询行数对比总览 drs:compareJob:getLineOverview 无。 查询行数对比详情 drs:compareJob:getLineDetail 无。 获取用户对比详情 drs:compareJob:getAccountDetails 无。 查询内容对比详情 drs:compareJob:getContentDetail 无。 查询内容对比差异 drs:compareJob:getContentDiff 无。 获取在线迁移任务列表 drs:migrationJob:list 无。 获取在线迁移任务详情 drs:migrationJob:get 需要配置对应实例的读权限,例如数据库为RDS时,需要在项目上配置RDS ReadOnlyAccess权限。 获取对象级迁移对比概览 drs:migrationJob:getCompareStruct 无。 获取数据级流式对比 drs:migrationJob:getStreamComparison 无。 获取源库迁移用户列表 drs:migrationJob:getSrcUsers 需要配置对应实例的读权限,例如数据库为RDS时,需要在项目上配置RDS ReadOnlyAccess权限。 获取指定任务迁移进度 drs:migrationJob:getSpecifiedProgress 无。 获取指定任务数据库影响时间 drs:migrationJob:getEffectTime 无。 查询迁移进度 drs:migrationJobs:getProgress 无。 查询健康对比报告列表 drs:healthCompareJob:list 无。 获取对象级迁移对比概览 drs:healthCompareJob:getOverview 无。 获取对象级对比详细信息 drs:healthCompareJob:getObjectDetail 无。 获取用户对比详情 drs:healthCompareJob:getAccountDetails 无。 查询行数对比详情 drs:healthCompareJob:getLineDetail 无。 查询对比策略 drs:healthCompareJob:getComparePolicy 无。 获取容灾监控数据 drs:disasterRecoveryJob:get 需要配置如下权限: CES ReadOnlyAccess 获取指定任务的RPO&RTO drs:dataGuardJob:list 无。 获取回放故障列表 drs:replayFaultsJob:list 无。 数据加工 drs:migrationJob:action 需要配置对应实例的读权限,例如数据库为RDS时,需要在项目上配置RDS ReadOnlyAccess权限。 启动任务 drs:migrationJob:action 需要配置VPC FullAccess权限。 查询任务详情 drs:migrationJob:get 需要配置对应实例读权限,比如数据库为RDS时,需要在项目上配置RDS ReadOnlyAccess权限。 查询任务状态 drs:migrationJob:get 无。 查询资源标签 drs:tag:get 无。 删除资源标签 drs:tags:delete 无。 添加资源标签 drs:tag:add 无。 修改资源标签 drs:tag:modify 无。 获取迁移日志 drs:migrationJob:getLog 无。 查询涉及到的kafka的topic信息 drs:kafkaJob:get 无。 获取支持特性列表 drs:supportFeature:get 无。 查询特性白名单 drs:featureWhiteJob:list 无。 查询需调整的配额 drs:quota:adjust 无。 更新配额 drs:quota:update 无。 查询配额 drs:quota:get 无。 更新用户指引 drs:userGuide:update 无。 获取用户指引详情 drs:userGuide:list 无。 查询预定义标签 - 查询预定义标签需要配置: tms:resourceTags:list 查询配置日志组 - 查询配置日志组需要配置: lts:groups:get 查询配置日志流 - 查询配置日志流需要配置: lts:topics:get 获取实时同步任务列表 drs:synchronizationJob:list 无。 获取实时同步任务详情 drs:synchronizationJob:get 无。 获取实时灾备任务详情 drs:dataGuardJob:get 无。 获取数据订阅任务列表 drs:subscriptionJob:list 无。 获取录制回放任务列表 drs:replayJob:list 无。 获取录制回放任务详情 drs:replayJob:get 无。
  • 网络准备 数据复制服务支持通过多种方式的网络进行录制回放,包括:VPC网络、VPN网络、专线网络和公网网络,在正式进行录制回放任务创建之前,请参考表3了解网络类型的使用场景及准备工作,并参考表4了解具体的网络类型支持情况进行网络设置。 表3 网络类型 网络类型 使用场景 准备工作 VPC网络 适合云上同区域数据库之间的录制回放。 源数据库所在的区域要和目标数据库实例所在的区域保持一致。 源数据库可以和目标数据库在同一VPC内,也可以在不同VPC内。 当源数据库和目标数据库处于同一个VPC内的时候,默认网络是连通的,不需要单独设置安全组。 当源数据库和目标数据库不在同一个VPC内的时候,要求源数据库和目标数据库所处的子网处于不同网段,不能重复或交叉,此时需要通过对等连接实现网络互通。 目前DRS暂不支持跨租户通过VPC网络实现源库、目标库的网络互通。如果有需要,用户可通过手动创建对等连接后,选择“VPN网络”实现网络互通。 具体建立VPC对等连接的方法,可参考《虚拟私有云用户指南》。 VPN网络 适合通过VPN网络,实现其他云下自建数据库与云上数据库录制回放、或云上跨区域的数据库之间的录制回放。 用户需要确保本地数据中心和目标数据库所在VPC的VPN网络建立连接,确保VPN网络可正常访问的前提下,再进行录制回放。 VPN相关操作,请参见《虚拟专用网络快速入门》。 专线网络 适合通过专线网络,实现其他云下自建数据库与云上数据库录制回放、或云上跨区域的数据库之间的录制回放。 用户需要通过专线网络建立云与数据中心的专线连接。 云专线相关操作,请参见《云专线快速入门》。 公网网络 适合其他云下或其他平台的数据库到目标数据库的录制回放。 为了确保源数据库和目标数据库之间的网络互通,源数据库端和目标数据库端分别需要进行如下设置: 开启公网访问 源数据库端实例需要根据具体的场景,由用户端开启公网访问。 设置安全组规则 源数据库需要将DRS实例的弹性公网IP添加到其网络入口白名单内,使源数据库与DRS实例可以连通。 由于目标数据库和DRS实例处于同一个VPC内,默认网络是连通的,不需要单独设置安全组。 说明: DRS实例创建成功后,可在“源库及目标库”页面获取DRS实例的弹性公网IP。 表4 支持的网络类型 回放方向 源数据库 目标数据库 VPC网络 公网网络 VPN、专线网络 本云 MySQL MySQL 支持 支持 支持 本云 MySQL GaussDB(for MySQL) 支持 支持 支持 本云 GaussDB(for MySQL) GaussDB(for MySQL) 支持 支持 支持 入云 MySQL MySQL 支持 支持 支持 入云 MySQL GaussDB(for MySQL) 支持 支持 支持
  • 支持的高级特性 数据复制服务提供的实时迁移任务支持多种特性,有效的帮助您提高数据迁移的成功率。 表4 高级特性列表 特性 说明 迁移限速 实时迁移支持自由控制迁移速度,从而把握迁移对源带宽、数据库IO的影响,做到迁移影响自主可控。 限速只对全量迁移阶段生效,增量迁移阶段不生效。 迁移用户 实时迁移通过单独处理迁移用户、权限及密码,从而实现用户、权限及密码的迁移。 参数对比 参数对比功能从常规参数和性能参数两个维度,展示了源数据库和目标数据库的参数值是否一致,可以帮助您迁移成功后业务应用的使用不受影响。
  • 支持的迁移对象 数据复制服务提供的实时迁移任务支持不同维度的迁移对象的选择,支持情况如下表。 表3 支持的迁移对象 方向 源数据库 目标数据库类型 全部迁移 表级迁移 库级迁移 入云 MySQL MySQL 支持 支持 支持 GaussDB(for MySQL) 支持 支持 支持 DDM 暂不支持 支持 暂不支持 MongoDB DDS 支持 支持 支持 GeminiDB Mongo 支持 支持 支持 MySQL分库分表 DDM 暂不支持 支持 暂不支持 Redis GeminiDB Redis 暂不支持 暂不支持 支持 Redis集群 GeminiDB Redis 支持 暂不支持 暂不支持 出云 MySQL MySQL 支持 支持 支持 DDS MongoDB 支持 支持 支持 GeminiDB Redis Redis 支持 暂不支持 暂不支持 GeminiDB Redis Redis集群 支持 暂不支持 暂不支持
  • 支持的网络类型 数据复制服务支持通过多种方式的网络进行数据迁移,包括:VPC网络、VPN网络、专线网络和公网网络,在正式迁移之前请参考表1了解网络类型的使用场景及准备工作,并参考表2了解具体的网络类型支持情况进行网络设置。 表1 网络类型 网络类型 使用场景 准备工作 VPC网络 适合云上同区域数据库之间的迁移。 源数据库所在的区域要和目标数据库实例所在的区域保持一致。 源数据库可以和目标数据库在同一VPC内,也可以在不同VPC内。 当源数据库和目标数据库处于同一个VPC内的时候,默认网络是连通的,不需要单独设置安全组。 当源数据库和目标数据库不在同一个VPC内的时候,要求源数据库和目标数据库所处的子网处于不同网段,不能重复或交叉,此时需要通过对等连接实现网络互通。 目前DRS暂不支持跨租户通过VPC网络实现源库、目标库的网络互通。如果有需要,用户可通过手动创建对等连接后,选择“VPN网络”实现网络互通。 具体建立VPC对等连接的方法,可参考《虚拟私有云用户指南》中“对等连接”章节内容。 VPN网络 适合通过VPN网络,实现其他云下自建数据库与云上数据库迁移、或云上跨区域的数据库之间的迁移。 用户需要确保本地数据中心和目标数据库所在VPC的VPN网络建立连接,确保VPN网络可正常访问的前提下,再进行数据迁移。 VPN相关操作,请参见《虚拟专用网络快速入门》。 专线网络 适合通过专线网络,实现其他云下自建数据库与云上数据库迁移、或云上跨区域的数据库之间的迁移。 用户需要通过专线网络建立云与数据中心的专线连接。 云专线相关操作,请参见《云专线快速入门》。 公网网络 适合将其他云下或其他平台的数据库迁移到目标数据库。 为了确保源数据库和目标数据库之间的网络互通,源数据库端和目标数据库端分别需要进行如下设置: 开启公网访问 源数据库端实例需要根据具体的场景,由用户端开启公网访问。 设置安全组规则 源数据库需要将DRS迁移实例的弹性公网IP添加到其网络入口白名单内,使源数据库与DRS迁移实例可以连通。 由于目标数据库和DRS迁移实例处于同一个VPC内,默认网络是连通的,不需要单独设置安全组。 说明: DRS迁移实例创建成功后,可在“源库及目标库”页面获取DRS迁移实例的弹性公网IP。 在选择公网网络进行迁移时,如果没有开启SSL安全连接加密迁移链路的功能,请确保待迁移的数据为非机密数据,再进行数据迁移。 表2 支持的网络类型 迁移方向 源数据库 目标数据库类型 VPC网络 公网网络 VPN、专线网络 入云 MySQL MySQL 支持 支持 支持 DDM 支持 支持 支持 GaussDB(for MySQL) 支持 支持 支持 MongoDB DDS 支持 支持 支持 GeminiDB Mongo 支持 支持 支持 MySQL分库分表 DDM 支持 支持 支持 Redis GeminiDB Redis 支持 支持 支持 Redis集群 GeminiDB Redis 支持 支持 支持 出云 MySQL MySQL 支持 支持 支持 DDS MongoDB 支持 支持 支持 GeminiDB Redis Redis 支持 支持 支持 Redis集群 支持 支持 支持
  • HA管理 针对主机故障,系统会自动将迁移实例或者同步实例切换到备机继续进行任务,以提高任务的成功率。 对于如下状态的迁移任务,在迁移实例或者同步实例发生故障无法正常完成任务的情况下,系统会自动执行重启迁移实例或者同步实例的操作,然后下发重试任务的命令,此时任务状态会变为故障恢复。如果重启后,迁移实例或者同步实例还处于故障无法正常完成任务时,则系统需要重新创建迁移实例或者同步实例,创建完成后自动重试任务。 全量迁移 增量迁移 全量同步 增量同步
  • 临时账户 为了确保用户数据库成功迁移到关系型数据库MySQL实例,创建迁移任务时,数据复制服务自动为目标数据库实例创建drsFull和drsIncremental临时账户,分别用于全量迁移和增量迁移。任务结束后,数据复制服务会自动删除这两个账户。 禁止使用用户自建的drsFull和drsIncrementa账号作为DRS任务连接数据库的账号。 删除、重命名和修改临时账户的密码和权限,会导致任务出错。
  • 区域和可用区 我们用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。
  • 审计 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 通过云审计服务,您可以记录数据复制服务的相关操作事件,方便您日后的查询、审计和回溯。具体内容请参见支持审计的关键操作列表。
  • 测试模型 在两个RDS for MySQL实例间创建全量+增量的实时同步任务,实例配置如表2。 表2 实例规格 参数 源RDS for MySQL实例 目标RDS for MySQL实例 规格名称 c6.4xlarge.4(通用增强Ⅱ型) c6.4xlarge.4(通用增强Ⅱ型) 性能规格 超高IO 超高IO 存储类型 16vCPUs|64 GB 16vCPUs|64 GB 存储空间 300G 300G 最大连接数 18000 18000 最大QPS 3352 3352 最大IOPS 114152 114152 测试模型: 测试表数量为20。 测试表均有主键。 记录大小为1KB。 每个事务平均包含两条DML操作,一条COMMIT,其中INSERT、UPDATE、DELETE的比例为1:1:1。
  • 规格说明 实时同步根据同步链路的性能上限,定义了五种规格:极小、小、中、大、超大,各个规格的同步性能上限如表1。 表1 规格性能上限 规格名称 性能上限(行/秒)参考 极小 300 小 3000 中 7500 大 10000 超大 20000 规格的线上运行性能受网络环境、源数据库和目标数据库的性能、延迟等因素影响,实际的性能值会有差异,表中性能上限值仅供参考。 DRS规格:DRS为用户提供的不同性能的链路规格,以全量同步(不限速)和增量同步性能为衡量标准。 性能上限(行/秒):表示每秒同步的事务数,包括BEGIN、COMMIT 、DML语句(INSERT、DELETE、UPDATE)及DDL语句。用户可通过云监控CES查看写目标库频率(apply_rows_rate)监控指标获取。 目前,DRS同步仅支持任务类型为单AZ的同步任务升级实例规格,不支持父子任务升级实例规格,不支持降低规格,具体操作及约束限制可参考同步规格变更。 对于支持内容对比的链路,如果创建任务时可以选择实例规格,那么仅支持大规格及以上规格进行内容对比。
  • 架构说明 最小权限设计 采用JDBC连接,无需在用户的源数据库、目标数据库节点部署程序。 任务独立虚拟机运行独享资源,租户之间数据隔离。 采用最小IP资源,在源数据库、目标数据库仅开放DRS数据迁移实例节点IP访问权限,无需增加网段。 可靠性设计 连接异常自动重试:当网络闪断、数据库倒换等场景造成DRS和数据库连接异常,会自动重试直到任务恢复。 具备断点续传能力:源数据库或目标数据库连接出现异常时,自动记录当前回放位点,等故障修复后,自动从上一次位点接续回放,保证同步数据的一致性。 DRS迁移实例所在虚拟机故障,业务自动切换到新虚拟机并保证IP不变,保证迁移任务正常。 DRS使用的字符集标准是Unicode 6.2.0。
  • 实时同步基本原理 图4 实时同步原理 实时同步功能实现源数据库和目标数据库的数据长期同步,主要用于OLTP到OLAP、OLTP到大数据组件的数据实时同步。全量和增量的数据同步和实时迁移的技术原理基本一致,但是基于不同的业务使用场景,两个功能还是有些差异。 实时同步支持异构数据库,针对异构数据库结构同步,DRS服务会通过语法转换,将源数据库的结构定义语句转换为目标库的结构定义语句在目标数据库执行,同时数据库字段类型也会进行映射转换。可以参考各异构链路的数据类型映射关系,也可以使用UGO服务进行异构链路的结构同步。 实时同步会提供更多的数据加工规则可供用户在数据同步时使用,这些规则会在数据抽取、解析、回放阶段进行处理,最终满足用户需要的各种数据同步规则。 实时同步不会同步账号、触发器、事件等对象。 实时同步经常用于多个源数据库到一个目标数据库的数据同步,对于多对一、一对多场景的DDL操作有专门的处理。
  • 录制回放基本原理 录制回放主要分为录制、回放两个阶段,录制过程是从源数据库上将所需时间段内的全部SQL原语句(包括增、删、改、查)通过binlog下载、录制工具等进行采集,以文件形式缓存起来,并往目标数据库注入模拟数据,等待用户执行回放。用户可以在DRS任务上手工触发回放,观察目标数据库的性能表现。也可以通过控制DRS录制回放的线程及回放速度,来模拟源业务流量放大的效果,从而分析目标数据库对于未来业务激增时的稳定性表现。
  • 实时迁移基本原理 图2 实时迁移原理 以“全量+增量”迁移为例,完整的迁移分为四个阶段。 第一阶段:结构迁移。DRS服务会从源数据库查询到用户选择迁移的库、表、主键等对象,然后在目标数据库创建这些对象。 第二阶段:全量数据迁移。DRS服务会通过并行技术,以最高效的资源利用,从源数据库查询到当前所有数据,并在目标数据库进行插入。在全量数据迁移启动前,会提前进行增量数据抽取保存,以便在第三阶段增量数据迁移时,能够和全量数据接续,保证数据的完整性和一致性。 第三阶段:增量数据迁移。全量任务结束后,增量迁移任务启动,此时会从全量开始的增量数据持续的解析转换和回放,直到追平当前的增量数据。 第四阶段:为了防止触发器、事件在迁移阶段对于数据的操作,在结束任务阶段再迁移触发器、事件。 全量数据迁移的底层模块主要原理: 分片模块:通过优化的分片算法,计算每个表的分片逻辑 抽取模块:根据计算的分片信息并行多任务从源数据库查询数据 回放模块:将抽取模块查询的数据并行多任务插入目标数据库 增量数据迁移的底层实现模块主要原理: 日志读取模块:日志读取模块从源数据库读取原始增量日志数据(例如MySQL为binlog),经过解析转换为标准的日志格式存储在本地。 日志回放模块:日志回放模块根据日志读取模块转换的标准格式增量日志,根据用户的选择策略进行加工过滤,将增量数据同步到目标数据库。
  • 数据订阅基本原理 图5 数据订阅原理 数据订阅功能提供SDK使得客户业务程序可以实时获取源数据库的数据增量变更。 DRS服务从源数据库抽取原始增量日志,解析为标准格式并持久化保存到本地,同时实时调用客户端订阅SDK的notify接口,推送增量变更数据到客户端业务程序,客户端根据业务需求实现具体消费逻辑。 当客户端程序消费的变更数据会实时记录在服务器端,异常中断、重连等场景下,DRS服务端会从最后的消费位点继续推送增量变更数据。
  • 解决方案 方法一:使用主账号重新创建一次任务,主账号默认有Security Administrator权限,可在创建任务后将委托创建出来。 方法二:使用主账号在子账号所在的用户组添加Security Administrator权限后,重新创建任务。添加权限的具体操作请参见:创建用户并授权使用DRS。 方法三:手动添加“账户委托”,添加步骤如下: 使用主账号登录华为云,在右上角单击“控制台”。 在控制台页面,鼠标移动至右上方的账号名,在下拉列表中选择“统一身份认证”。 在统一身份认证页面,单击左侧导航窗格中“委托”,进入“委托”页面。 在“委托”页面,单击右上方的“+创建委托”进行委托创建。 填写委托名称为“DRS_AGENTCY” ,委托类型为 “普通账号”时, 委托的账号为 “op_svc_rds”;委托类型为“云服务”时,选择“关系型数据库MySQL”;持续时间为“永久”,完成后单击“下一步”。 图1 创建委托 在“选择策略”页面,选择DRS_AGENTCY的授权策略,委托权限需配置全局的 Tenant Administrator,完成后单击右下角的“下一步”。 图2 选择策略 在“设置最小授权范围”页面,先选择全局服务资源授权后,再基于指定区域设置最小授权范围,完成后单击右下角的“确定”。 图3 全局服务资源授权 图4 指定区域项目授权 授权完成后,单击委托名称,在“授权记录”中可看到全局服务和指定区域两条授权记录。 图5 授权记录 权限生效时间提醒,您选中的OBS权限由于系统设计的原因,授权后需等待15-30分钟才可生效,权限生效后重新创建即可。
  • GaussDB(for MySQL)为源使用须知 入云: GaussDB(for MySQL)同步到GaussDB(for MySQL) 出云: GaussDB(for MySQL)同步到MySQL GaussDB(for MySQL)同步到GaussDB(DWS) GaussDB(for MySQL)同步到Kafka GaussDB(for MySQL)同步到CSS/ES GaussDB(for MySQL)同步到Oracle
  • GaussDB主备版为源使用须知 出云: GaussDB主备版同步到MySQL GaussDB主备版同步到Oracle GaussDB主备版同步到GaussDB(DWS) GaussDB主备版同步到Kafka GaussDB主备版同步到GaussDB分布式版 GaussDB主备版同步到GaussDB主备版 自建-自建: GaussDB主备版同步到Oracle GaussDB主备版同步到Kafka GaussDB主备版同步到GaussDB主备版
  • Oracle为源使用须知 入云: Oracle同步到MySQL Oracle同步到GaussDB(for MySQL) Oracle同步到PostgreSQL Oracle同步到GaussDB主备版 Oracle同步到GaussDB分布式版 Oracle同步到DDM Oracle同步到GaussDB(DWS) 自建-自建: Oracle同步到Kafka Oracle同步到GaussDB主备版 Oracle同步到GaussDB分布式版
  • GaussDB分布式版为源使用须知 出云: GaussDB分布式版同步到MySQL GaussDB分布式版同步到Oracle GaussDB分布式版同步到GaussDB(DWS) GaussDB分布式版同步到Kafka GaussDB分布式版同步到GaussDB分布式版 GaussDB分布式版同步到GaussDB主备版 自建-自建: GaussDB分布式版同步到Oracle GaussDB分布式版同步到Kafka GaussDB分布式版同步到GaussDB分布式版
  • MySQL为源使用须知 入云: MySQL同步到MySQL MySQL同步到GaussDB(for MySQL) MySQL同步到PostgreSQL MySQL同步到GaussDB主备版 MySQL同步到GaussDB分布式版 MySQL同步到GaussDB(DWS) 出云: MySQL同步到MySQL MySQL同步到Kafka MySQL同步到CSS/ES MySQL同步到Oracle 自建-自建: MySQL同步到Kafka MySQL同步到CSS/ES MySQL同步到GaussDB主备版
  • 责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。 华为云租户的安全责任在于对使用的 IaaS、PaaS 和 SaaS 类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API 网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题: 安全
  • 访问控制 权限控制 您可以使用IAM为企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,通过IAM进行精细的权限管理。DRS权限详情可以参考权限管理。 网络隔离 DRS在创建实例时,可以根据业务需要选择实例所在VPC的子网,DRS在创建完实例后会为用户分配此子网的IP地址,用于连接源数据库和目标数据库。DRS实例与华为云上的源数据库或目标数据库同处一个VPC,通过源数据库、目标数据库或DRS自身的安全组,实现网络访问控制,达到网络隔离的效果。 具体内容请参见创建虚拟私有云和子网。
  • 统一身份认证服务 统一身份认证服务(Identity and Access Management,简称IAM)为数据复制服务提供了权限管理功能。 需要拥有数据复制服务的Administrator权限后,您才能使用数据复制服务。如需开通该权限,请联系拥有Security Administrator权限的用户,或者申请具有数据复制服务Administrator权限的新用户。 统一身份认证服务的更多信息,请参见《统一身份认证服务用户指南》。
共100000条