华为云用户手册

  • 路由策略简介 路由策略(Routing Policy)作用于路由,主要具备路由过滤和路由策略值设置等功能,它通过改变路由策略值来改变网络流量所经过的路径。 当前路由策略可应用于企业路由器以下类型的连接: 虚拟网关(VGW) 对等连接(Peering) VPN网关(VPN) 全球接入网关(DGW) 企业路由器在发送、接收和学习路由信息时,根据实际组网需要实施一些路由策略,以便对路由信息进行过滤和改变路由信息的属性,具体如下: 控制路由的发送:只发送满足条件的路由信息。 控制路由的接收:只接收必要、合法的路由信息,以控制路由表的容量,提高网络的安全性。 过滤和控制学习的路由:一种路由协议在学习其它路由协议发现的路由信息丰富自己的路由知识时,只引入一部分满足条件的路由信息,并对所引入的路由信息的某些属性进行设置,以使其满足本协议的要求。 设置特定路由的策略值:修改通过路由策略过滤的路由的策略值,满足自身需要。
  • 路由策略功能说明 路由策略中可以包含一个或多个路由策略节点,路由策略节点由过滤路由的匹配条件和路由策略值组成,可看做是一个路由过滤器。 匹配条件:设置路由的过滤条件,匹配上的路由,根据匹配原则,被允许通过或拒绝,具体请参见表1。 路由策略值:根据匹配条件,可匹配的路由,依据路由策略设定修改策略值,具体请参见表2。 表1 路由匹配条件说明 路由匹配条件 说明 路由类型 静态路由:用户手动配置的路由。 在ER场景下,位于ER路由表中的自定义路由和“虚拟私有云(VPC)”连接对应的传播路由属于静态路由。 BGP路由:通过BGP协议学习的路由。 在ER场景下,以云专线DC为例,DC的虚拟网关和ER在云上通信使用BGP协议,那么在ER路由表中,“虚拟网关(VGW)”连接学习来的传播路由,属于BGP路由。 “对等连接(Peering)”、“VPN网关(VPN)”以及“全球接入网关(DGW)”类型的连接同理。 IP地址前缀列表 IP地址前缀列表是一种包含一组路由信息过滤规则的过滤器,用户可以在规则中定义IP地址前缀和掩码长度范围,用于匹配路由信息的目的网段地址或下一跳地址。 地址前缀列表可以应用在各种动态路由协议中,对路由协议发布和接收的路由信息进行过滤。更多详细信息,请参见IP地址前缀列表概述。 AS_Path列表 AS_Path列表是一组针对BGP路由的AS_Path属性进行过滤的规则。在BGP的路由信息中,包含有AS_Path属性,AS_Path属性按矢量顺序记录了BGP路由从本地到目的地址所要经过的所有AS编号,因此基于AS_Path属性定义一些过滤规则,就可以实现对BGP路由信息的过滤。 由于AS_Path属性是BGP协议的私有属性,因此AS路径过滤器也仅应用于BGP协议。更多详细信息,请参见AS_Path列表概述。 表2 路由策略值说明 路由属策略值 说明 PrefVal 华为规定的路由特有属性,代表路由的优先级。PrefVal值越大,路由优先级越高。 通过在路由策略中设置PrefVal值,可以修改路由的PrefVal值。 企业路由器中不同类型连接的默认值如下: 虚拟网关(VGW):100 对等连接(Peering):60 VPN网关(VPN):80 全球接入网关(DGW):100 须知: 修改路由的PrefVal值,会影响不同类型连接路由的选路策略。如果您修改不当,可能会对业务造成影响,请您提交工单联系华为云客服,评估修改方案。 AS_Path 在BGP的路由信息中,包含有AS_Path属性,AS_Path属性按矢量顺序记录了BGP路由从本地到目的地址所要经过的所有AS编号。 通过在路由策略中设置AS_Path,可以为路由执行以下动作: 追加:在AS_Path的左侧位置中追加策略中设置的值。 替换:替换路由原有的AS_Path为路由策略中设置的值。 删除:删除路由原有AS_Path中的指定值。
  • 路由策略匹配规则 一个路由策略中可以创建多个路由策略节点,路由策略节点中包含路由的匹配条件和路由策略值。路由策略的匹配规则如图1所示,待过滤路由按照节点号从小到大的顺序匹配路由策略节点: 当匹配上策略节点中的所有过滤条件,则执行以下操作: 如果该策略节点的匹配模式是允许,则这条路由被允许通过。 当匹配模式是允许时,如果路由策略中设置了策略值,则对已匹配路由的策略值执行指定的动作,包含修改、替换、删除。 如果该策略节点的匹配模式是拒绝,则这条路由被拒绝通过。 当遍历了路由策略中的所有策略节点,均没有匹配上,那么这条路由就被拒绝通过。 图1 路由策略匹配规则 路由策略过滤路由的原则可以总结为:顺序匹配、唯一匹配、默认拒绝。 顺序匹配:按节点号从小到大按顺序进行匹配。同一个路由策略中的多个路由策略节点设置不同的节点号,可能会有不同的过滤结果,实际配置时需要注意。 唯一匹配:待过滤路由只要与一个路由策略节点匹配,就不会再去尝试匹配其他路由策略节点。 默认拒绝:默认所有未与任何一个路由策略节点匹配的路由,均为未通过路由策略的过滤。因此在一个路由策略中创建了一个或多个拒绝模式的路由策略节点后,需要创建一个路由策略节点来允许所有其他路由通过。
  • 路由简介 路由表中存在多条路由,路由是网络报文转发的依据,包含目的地址、下一跳以及路由类型等信息。 您可以通过创建传播从而自动学习连接的路由,或者手动在路由表中配置连接的静态路由。 图1 传播路由和静态路由概述 表1 路由概述 路由类型 路由说明 支持的连接类型 创建方法 图示说明 传播路由 通过传播自动学习的路由,创建传播时会自动创建路由,不支持修改和删除。 虚拟私有云(VPC) 虚拟网关(VGW) 对等连接(Peering) VPN网关(VPN) 全球接入网关(DGW) 企业连接网(ECN) 云防火墙(CFW) 创建传播,具体请参见在路由表中创建连接的传播。 路由分为传播路由和静态路由,图1中连接的路由说明如下: 传播路由:通过自动或手动创建传播,从而学习的路由均为传播路由。 通过在ER默认路由表自动创建传播学习的路由,比如Peering2连接 、VGW1连接、VPN1连接、VPC1连接。 通过在ER自定义路由表手动创建传播学习的路由,比如VGW1连接、VPC1连接、VPN2连接、VGW2连接。 静态路由:手动在ER自定义路由表中创建路由,比如VPC2连接、Peering3连接 。 静态路由 手动创建的路由,支持修改和删除。 静态路由包括常规路由和黑洞路由。和常规路由相比,黑洞路由只有目的地址,没有下一跳,如果路由匹配上黑洞路由的目的地址,则该路由的报文会被丢弃。 虚拟私有云(VPC) 对等连接(Peering) 云防火墙(CFW) 创建路由,具体请参见创建静态路由。
  • 流日志简介 依托于云日志服务(Log Tank Service,简称LTS),企业路由器支持流日志功能。通过流日志功能可以实时记录企业路由器中连接的流量日志信息。通过这些日志信息,您可以监控连接的网络流量、进行网络攻击分析等,帮助您实现高效的网络运维。 企业路由器流日志功能支持采集以下连接的流日志: 虚拟私有云(VPC) 虚拟网关(VGW) VPN网关(VPN) 对等连接(Peering) 全球接入网关(DGW)
  • 关联概述 关联是将连接关联至ER路由表中,一个连接只能关联至一个ER路由表,将连接关联至ER路由表后,可以实现以下功能: 路由转发:来自连接的报文根据它关联的路由表进行转发。 路由学习:将关联路由表中的路由信息自动学习到连接网络中。 图1 关联概述 表1 关联概述 连接类型 路由学习 创建关联的方法 图示说明 虚拟私有云(VPC) 不支持 自动创建:开启“默认路由表关联”功能,并指定默认关联路由表,系统会自动在默认关联路由表中为新接入的连接创建关联。 创建企业路由时,直接开启该功能,具体请参见创建企业路由器。 企业路由器创建完成后,再开启该功能,具体请参见修改企业路由器配置。 手动创建:您可以选择任意一个路由表,并在路由表中创建关联,将指定连接关联至路由表中,具体请参见创建关联将连接关联至路由表中。 一个连接只能关联至一个路由表,图1中连接的关联关系说明如下: 自动创建关联:自动在ER默认关联路由表中创建关联,比如Peering2连接 、VGW1连接、VPC1连接、VPN1连接。 手动创建关联:手动在ER自定义路由表中创建关联,比如VPC2连接、VPN2连接、Peering3连接 、VGW2连接。 虚拟网关(VGW) 支持 VPN网关(VPN) 支持 对等连接(Peering) 支持 企业连接网(ECN) 支持 全球接入网关(DGW) 支持 云防火墙(CFW) 不支持 父主题: 关联
  • 连接概述 将网络实例接入企业路由器中,则需要为网络实例在企业路由器中添加对应的连接。企业路由器支持接入多种网络实例,不同网络实例对应的连接类型不同,连接的说明及配置方法如表1所示。 图1 连接概述 表1 连接概述 连接类型 网络实例 添加连接 查看连接 删除连接 虚拟私有云(VPC) 虚拟私有云VPC。 在企业路由器中添加VPC连接 查看企业路由器中的连接 删除VPC连接 虚拟网关(VGW) 云专线DC的虚拟网关。 在企业路由器中添加VGW连接 查看企业路由器中的连接 删除VGW连接 VPN网关(VPN) 虚拟专用网络的VPN网关。 在企业路由器中添加VPN连接 查看企业路由器中的连接 删除VPN连接 对等连接(Peering) 位于其他区域的另一个企业路由器ER。通过云连接中心网络加载不同区域的企业路由器来创建“对等连接(Peering)”连接。 在企业路由器中添加Peering连接 查看企业路由器中的连接 删除Peering连接 企业连接网(ECN) 企业连接中的企业连接网络ECN。 在企业路由器中添加ECN连接 查看企业路由器中的连接 删除ECN连接 全球接入网关(DGW) 云专线DC的全球接入网关。 在企业路由器中添加DGW连接 查看企业路由器中的连接 删除DGW连接 云防火墙(CFW) 云防火墙。 在企业路由器中添加CFW连接 查看企业路由器中的连接 您无法直接删除CFW连接,如果确认不再使用,请退订云防火墙,将会同步删除CFW连接。 父主题: 连接
  • 操作步骤 进入企业路由器列表页面。 通过名称过滤,快速找到待创建关联的企业路由器。 您可以通过以下两种操作入口,进入企业路由器的“路由表”页签。 在企业路由器右上角区域,单击“管理路由表”。 单击企业路由器名称,并选择“路由表”页签。 在路由表列表中选择目标路由表,并在“关联”页签下,单击右侧区域的“创建关联”。 弹出“创建关联”对话框。 根据界面提示,配置关联的基本信息,如表1所示。 表1 创建关联-参数说明 参数名称 参数说明 取值样例 连接类型 必选参数。 选择连接类型,连接类型说明如下: “虚拟私有云(VPC)”:表示接入的网络实例是虚拟私有云。 “虚拟网关(VGW)”:表示接入的网络实例是云专线的VGW网关。 “VPN网关(VPN)”:接入的网络实例是虚拟专用网络VPN。 “对等连接(Peering)”:表示接入的网络实例是其他区域的另一个企业路由器。 “企业连接网(ECN)”:表示接入的网络实例是同区域或者不同区域的企业连接网络。 “全球接入网关(DGW)”:表示接入的网络实例是云专线的全球接入网关。 “云防火墙(CFW)”连接:表示接入的网络实例是云防火墙。 关于连接更多信息,请参见连接概述。 虚拟私有云(VPC) 连接 必选参数。 在连接下拉列表中,选择待关联路由表的连接。 er-attach-02 基本信息设置完成后,单击“确定”。 返回关联列表页面,可以看到创建的关联。
  • 操作步骤 进入企业路由器列表页面。 通过名称过滤,快速找到目标企业路由器。 单击企业路由器名称,并选择“流日志”页签。 进入流日志列表页面。 在“流日志”页签下,单击“创建流日志”。 弹出“创建流日志”对话框。 根据界面提示,配置流日志的基本信息,如表1所示。 表1 创建流日志-参数说明 参数名称 参数说明 取值样例 名称 必选参数。 输入ER流日志的名称。要求如下: 长度范围为1~64位。 名称由中文、英文字母、数字、下划线(_)、中划线(-)、点(.)组成。 flowlog-ab 资源类型 必选参数。 选择要采集流量信息的资源类型,企业路由器流日志功能支持采集以下类型连接的日志信息: 虚拟私有云(VPC):虚拟私有云。 虚拟网关(VGW):云专线DC的虚拟网关。 对等连接(Peering):位于其他区域的另一个企业路由器ER。通过云连接中心网络加载不同区域的企业路由器来创建“对等连接(Peering)”连接。 VPN网关(VPN):虚拟专用网络VPN的网关。 全球接入网关(DGW):云专线DC的全球接入网关。 虚拟网关(VGW) 选择资源 必选参数。 在资源列表中,选择要采集日志信息的具体资源。 vgw-ab 日志组 必选参数。 选择已有的日志组。 如果没有可选的日志组,请单击“新建日志组”跳转至云日志服务控制台创建。 lts-group-ab 日志流 必选参数。 选择已有的日志流。 如果没有可选的日志流,请单击“新建日志流”跳转至云日志服务控制台创建。 lts-topic-ab 描述 可选参数。 您可以根据需要在文本框中输入对该流日志的描述信息。 - 基本信息设置完成后,单击“确定”。 返回流日志列表页面 在流日志列表页面,查看流日志状态。 待流日志状态由“创建中”变为“已开启”,表示流日志创建成功。
  • 按需计费 按需计费的企业路由器实例本身不收取费用,当您在企业路由器中添加连接时,会收取连接费用、以及流经连接的流量费用。 表1 企业路由器计费项说明 计费项 收取该项费用的连接类型 计费说明 连接费用 “虚拟私有云(VPC)”连接 “虚拟网关(VGW)”连接 “VPN网关(VPN)”连接 “对等连接(Peering)”连接 “全球接入网关(DGW)”连接 当您将连接添加到企业路由器中时,会收取连接费用,连接添加成功后开始计费,连接删除后停止计费。 对于共享企业路由器内的连接,接受者创建的连接只有被企业路由器的所有者接受后,才会开始计费。 流量费用 “虚拟私有云(VPC)”连接 “虚拟网关(VGW)”连接 “VPN网关(VPN)”连接 “全球接入网关(DGW)”连接 当您将连接添加到企业路由器中时,会根据实际流经连接的流量收取费用,统计从连接发送到企业路由器的每GB流量,即入方向的流量。
  • 计费示例 假设您在2023/07/06 12:25:30创建了一个按需计费的企业路由器,并添加如下两个连接: 2023/07/06 12:36:00 在企业路由器中添加1个“虚拟私有云(VPC)”连接,并在2023/07/07 18:50:00删除该连接,连接的使用过程中共产生流量532GB流量。 2023/07/06 13:01:00在企业路由器中添加1个“虚拟网关(VGW)”连接,并在2023/07/07 18:55:00删除该连接,连接的使用过程中共产生流量1300GB流量。 按需计费的企业路由器实例本身不收取费用,当您在企业路由器中添加连接时,会收取连接费用、以及流经连接的流量费用。 本示例中连接费用为0.40元/小时,流量费用为0.13元/GB,图1给出了上述示例配置的费用计算过程,产生费用的详细说明如表2所示。 图1 企业路由器计费示例 表2 企业路由器费用明细 连接类型 产生费用时间段 费用明细 费用总和 “虚拟私有云(VPC)”连接 2023/07/06 12:36:30~2023/07/07 18:50:00 实际使用时长共30小时14分钟,企业路由器采用整点计费,不足一小时采用一小时计费,本次计费时长为31小时,详细计算如下: 2023/07/06 12:36:00~2023/07/06 13:00:00 1小时 2023/07/06 13:00:00~2023/07/07 18:00:00 29小时 2023/07/07 18:00:00~2023/07/07 18:50:00 1小时 连接费用:0.40×31=12.4元 流量费用:0.13×532=69.16元 12.4+69.16=81.56元 “虚拟网关(VGW)”连接 2023/07/06 13:01:00~2023/07/07 18:55:00 计费时长共29小时54分钟,企业路由器采用整点计费,不足一小时采用一小时计费,本次计费时长为30小时,详细计算如下: 2023/07/06 13:01:00~2023/07/06 14:00:00 1小时 2023/07/06 14:00:00~2023/07/07 18:00:00 28小时 2023/07/07 18:00:00~2023/07/07 18:55:00 1小时 连接费用:0.40×30=12元 流量费用:0.13×1300=169元 12+169=181元 文档中的价格示例仅供参考,实际费用计算请以企业路由器价格详情中的价格为准。
  • 计费周期 连接费用:连接按小时计费,整点结算,不足一小时以一小时计算。以“虚拟私有云(VPC)”连接为例,计费时长示例如下: 场景一:2022年7月6日12:36,您在企业路由器中添加了一个“虚拟私有云(VPC)”连接,并于2022年7月6日12:57删除了该连接,此时按照一小时进行结算。 场景二:2022年7月6日12:59,您在企业路由器中添加了一个“虚拟私有云(VPC)”连接,并于2022年7月6日13:01分删除了该连接,由于实际使用时间跨整点,因此按照两个小时进行结算。 流量费用:根据实际流经连接的流量收取费用,统计从连接发送到企业路由器的每GB流量,即入方向的流量。
  • 适用计费项 按需计费的企业路由器实例本身不收取费用,当您在企业路由器中添加连接时,会收取连接费用、以及流经连接的流量费用。 表1 企业路由器计费项说明 计费项 收取该项费用的连接类型 计费说明 连接费用 “虚拟私有云(VPC)”连接 “虚拟网关(VGW)”连接 “VPN网关(VPN)”连接 “对等连接(Peering)”连接 “全球接入网关(DGW)”连接 当您将连接添加到企业路由器中时,会收取连接费用,连接添加成功后开始计费,连接删除后停止计费。 对于共享企业路由器内的连接,接受者创建的连接只有被企业路由器的所有者接受后,才会开始计费。 流量费用 “虚拟私有云(VPC)”连接 “虚拟网关(VGW)”连接 “VPN网关(VPN)”连接 “全球接入网关(DGW)”连接 当您将连接添加到企业路由器中时,会根据实际流经连接的流量收取费用,统计从连接发送到企业路由器的每GB流量,即入方向的流量。 “对等连接(Peering)”连接收取连接费用,不收取流量费用,流量费用包含在您的全域互联带宽中,全域互联带宽的计费详情请参见中心网络计费项。 “云防火墙(CFW)”连接不收取连接费用和流量费用。 “企业连接网(ECN)”连接处于公测期间,不收取连接费用和流量费用。
  • 使用须知 为了确保录制回放任务各个阶段的平顺,在创建任务前,请务必阅读以下使用须知。 表2 使用须知 类型名称 使用和操作限制 任务启动前须知 源数据库要求: 目前仅支持源数据库为RDS for MySQL。 源数据库已完成SQL流量文件录制,RDS for MySQL录制方式可参考开启SQL审计日志。 目标数据库要求: 目前仅支持目标数据库为GaussDB(for MySQL)。 目前仅支持目标数据库版本等于或高于源数据库版本。 目标数据库已构建基线数据,基线数据应尽量还原源数据库录制流量文件时的真实状态,基线数据越接近,录制回放越真实。 流量文件要求: 流量文件SQL内容包含内容分隔符时,可能存在解析异常导致任务回放失败。 流量文件必须保证全量SQL结构完整,如果头文件被截断,会导致部分SQL解析被忽略。 流量文件单条SQL大小不能超过1MB。 事务中穿插了其他语句可能会导致死锁。 其他使用须知: 源数据库和目标数据库的配置参数不一致(例如:innodb_buffer_pool_size,sqlmode等),可能会导致回放进度慢或失败等情况。 再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知 回放SQL类型要求:目前仅支持SELECT、INSERT、DELETE、UPDATE、DDL。 结束任务须知 已结束的任务无法再次启动。
  • 使用须知 为了确保录制回放任务各个阶段的平顺,在创建任务前,请务必阅读以下使用须知。 表2 使用须知 类型名称 使用和操作限制 任务启动前须知 源数据库要求: 目前仅支持源数据库为GaussDB(for MySQL)。 源数据库已开启全量SQL功能,GaussDB(for MySQL)全量SQL方式可参考开启全量SQL,开启全量SQL会对源数据库性能产生影响,请评估影响后再进行开启。 目标数据库要求: 目前仅支持目标数据库为GaussDB(for MySQL)。 目标数据库已构建基线数据,基线数据应尽量还原源数据库录制流量文件时的真实状态,基线数据越接近,录制回放越真实。 流量文件要求: 由于GaussDB(for MySQL)之前版本全量SQL文件格式不统一,当前支持GaussDB(for MySQL)2.0.8.3-2.0.28.15版本,以及后续发布的补丁版本2.0.28.xx系列全量SQL的解析。 GaussDB(for MySQL)默认全量SQL记录的最大为4KB,针对单条大小超过默认值的SQL,需参考修改参数模板修改rds_sql_tracer_max_record_size参数,避免超过默认值的SQL没有记录,导致的无法回放。 流量文件SQL内容包含内容分隔符(例如:^^)时,可能存在解析异常导致任务回放失败。 流量文件必须保证全量SQL结构完整,如果头文件被截断,会导致部分SQL解析被忽略。 流量文件单条SQL大小不能超过1MB。 事务中穿插了其他语句可能会导致死锁。 其他使用须知: 源数据库和目标数据库的配置参数不一致(例如:innodb_buffer_pool_size,sqlmode等),可能会导致回放进度慢或失败等情况。 再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知 回放SQL类型要求:目前仅支持SELECT、INSERT、DELETE、UPDATE、DDL。 结束任务须知 已结束的任务无法再次启动。
  • 使用须知 为了确保录制回放任务各个阶段的平顺,在创建任务前,请务必阅读以下使用须知。 表2 使用须知 类型名称 使用和操作限制 任务启动前须知 源数据库要求: 目前支持源数据库为自建MySQL或者其他云MySQL(如RDS,POLARDB等),可以开启并能够导出审计日志或者洞察日志的实例。 源数据库已完成SQL流量文件录制,并且上传到华为云OBS桶内,DRS任务从OBS桶获取相应的流量文件。 目标数据库要求: 目前仅支持目标数据库为RDS for MySQL。 目前仅支持目标数据库版本等于或高于源数据库版本。 目标数据库已构建基线数据,基线数据应尽量还原源数据库录制流量文件时的真实状态,基线数据越接近,录制回放越真实。 流量文件要求: 流量文件SQL内容包含内容分隔符时,可能存在解析异常导致任务回放失败。 流量文件必须保证全量SQL结构完整,如果头文件被截断,会导致部分SQL解析被忽略。 流量文件单条SQL大小不能超过1MB。 事务中穿插了其他语句可能会导致死锁。 上传的流量文件仅支持.gz和.zip的压缩格式。 其他使用须知: 源数据库和目标数据库的配置参数不一致(例如:innodb_buffer_pool_size,sqlmode等),可能会导致回放进度慢或失败等情况。 再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知 回放SQL类型要求:目前仅支持SELECT、INSERT、DELETE、UPDATE、DDL。 结束任务须知 已结束的任务无法再次启动。
  • 查询回放进度 在“录制回放管理”界面,选中指定回放任务,单击任务名称,进入“基本信息”页面。 单击“回放进度”页签,查看任务进度。 回放进度模块中,您可以查看任务状态、启动时间、SQL总量以及已回放SQL数量等信息。 录制回放统计图支持选择查看某一时间段内的SQL总量、执行量、异常量以及慢SQL数量情况。 录制回放异常SQL模块中,展示回放异常的SQL对象。 慢SQL模块支持查看SQL原始和回放耗时。 执行SQL模块展示回放过程中正在目标库运行的SQL情况。 图1 回放进度
  • 下载导出报告 对于回放过程中的异常的SQL和慢SQL,DRS支持下载和导出。 在“录制回放管理”界面,选中指定回放任务,单击任务名称,进入“基本信息”页面。 单击“回放进度”页签,可查看任务进度。 在“回放进度”的录制回放异常SQL和慢SQL模块,可对当前任务的报告进行下载。 单击“录制回放异常SQL”或“慢SQL”模块右侧的,进行报告导出。 在弹出对话框中选择导出字段后,单击“导出”。 图2 导出报告 导出完成后,可单击下载报告。 图3 下载报告
  • 添加标签 在“录制回放管理”界面,选中指定回放任务,单击任务名称,进入“基本信息”页面。 在左侧导航栏,单击“标签”。 在“标签”页签单击“添加/编辑标签”,在“添加/编辑标签”弹出框中,输入标签的键和值,单击“添加”,然后单击“确定”。 输入标签的键和值时,系统会自动联想当前用户的所有实例(除当前实例外)的所有关联的预定义标签。 标签的键不能为空且必须唯一,长度为1~128个字符,可以包含任意语种字母、数字、空格和_.:=+-@字符,但首尾不能含有空格,不能以_sys_开头。 标签的值可以为空字符串,长度为0~255个字符,可以包含任意语种字母、数字、空格和_.:/=+-@字符,但首尾不能含有空格。 添加成功后,您可在当前任务的所有关联的标签集合中,查询并管理自己的标签。
  • 操作场景 标签管理服务(Tag Management Service,TMS)用于用户在云平台,通过统一的tag标签管理各种资源。TMS服务与各服务共同实现标签管理能力,TMS提供全局标签管理能力,各服务维护自身标签管理 。当用户资源较多时,可通过不同的标签标识和查找任务。 建议您先在TMS系统中设置预定义标签。 标签由“键”和“值”组成,每个标签中的一个“键”只能对应一个“值”。 每个实例最多支持20个标签配额。
  • 使用须知 为了确保录制回放任务各个阶段的平顺,在创建任务前,请务必阅读以下使用须知。 表2 使用须知 类型名称 使用和操作限制 任务启动前须知 源数据库要求: 目前仅支持源数据库为RDS for MySQL。 源数据库已完成SQL流量文件录制,RDS for MySQL录制方式可参考开启SQL审计日志。 目标数据库要求: 目前仅支持目标数据库为RDS for MySQL。 目前仅支持目标数据库版本等于或高于源数据库版本。 目标数据库已构建基线数据,基线数据应尽量还原源数据库录制流量文件时的真实状态,基线数据越接近,录制回放越真实。 流量文件要求: 流量文件SQL内容包含内容分隔符时,可能存在解析异常导致任务回放失败。 流量文件必须保证全量SQL结构完整,如果头文件被截断,会导致部分SQL解析被忽略。 流量文件单条SQL大小不能超过1MB。 事务中穿插了其他语句可能会导致死锁。 其他使用须知: 源数据库和目标数据库的配置参数不一致(例如:innodb_buffer_pool_size,sqlmode等),可能会导致回放进度慢或失败等情况。 再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知 回放SQL类型要求:目前仅支持SELECT、INSERT、DELETE、UPDATE、DDL。 结束任务须知 已结束的任务无法再次启动。
  • 使用须知 为了确保录制回放任务各个阶段的平顺,在创建任务前,请务必阅读以下使用须知。 表2 使用须知 类型名称 使用和操作限制 任务启动前须知 源数据库要求: 目前支持源数据库为自建MySQL或者其他云MySQL(如RDS,POLARDB等),可以开启并能够导出审计日志或者洞察日志的实例。 源数据库已完成SQL流量文件录制,并且上传到华为云OBS桶内,DRS任务从OBS桶获取相应的流量文件。 目标数据库要求: 目前仅支持目标数据库为GaussDB(for MySQL)。 目标数据库已构建基线数据,基线数据应尽量还原源数据库录制流量文件时的真实状态,基线数据越接近,录制回放越真实。 流量文件要求: 流量文件SQL内容包含内容分隔符(例如:^^)时,可能存在解析异常导致任务回放失败。 流量文件必须保证全量SQL结构完整,如果头文件被截断,会导致部分SQL解析被忽略。 流量文件单条SQL大小不能超过1MB。 事务中穿插了其他语句可能会导致死锁。 上传的流量文件仅支持.gz和.zip的压缩格式。 其他使用须知: 源数据库和目标数据库的配置参数不一致(例如:innodb_buffer_pool_size,sqlmode等),可能会导致回放进度慢或失败等情况。 再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知 回放SQL类型要求:目前仅支持SELECT、INSERT、DELETE、UPDATE、DDL。 结束任务须知 已结束的任务无法再次启动。
  • 操作步骤 在“数据订阅管理”页面,可查看订阅任务的数据范围。 图1 任务列表 选择指定的订阅任务,单击任务名称,页面跳转至“基本信息”页签。 单击“订阅数据”页签,查看订阅数据列表。 当前数据列表默认显示前5分钟的增量订阅数据。若需要查看指定时间段的订阅数据,您可以在页面右上角,根据需求选择显示订阅数据的时间段,设置的时间段必须在订阅任务的数据范围内。 图2 查看订阅数据 订阅数据展示的数据格式为数据复制服务内部的数据格式,数据记录的各个字段含义如表1所示: 表1 数据字段含义 数据字段名称 说明 服务ID RDS实例的IP:PORT。 库名 这条变更记录对应表所在的数据库的库名。 表名 这条变更记录对应的表的表名。 变更类型 这条变更记录的变更类型,包括:UPDATE、DELETE、INSERT、REPLACE、BEGIN、COMMIT、DDL、DML。 位点 这条变更记录在binlog中的位点,格式为binlog_file_offset@binlog_file_id,其中binlog_file_id为binlog文件名的后缀,binlog_file_offset为这条binlog记录在binlog文件中的偏移量。 时间戳 这条变更记录写入到binlog文件中时的时间戳。 如果您想查看指定数据库下指定表的数据详情,可以单击指定表操作列的“查看数据详情”。 图3 字段详情 数据详情可参考表2: 表2 字段详情 字段详情 说明 字段名称 这条变更记录对应的每个字段的名称。 字段类型 这条变更记录对应的每个字段的数据类型。 字段编码 这条变更记录对应的字符集编码。 前镜像 这条变更记录变更之前的各个字段的值。对于insert操作,没有前镜像值。 后镜像 这条变更记录变更之后的各个字段的值。对于delete操作,没有后镜像值。 update操作的前镜像和后镜像都有值。 对于操作类型为DDL的记录,只有字段详情,没有字段名称、字段类型、字段编码、前镜像及后镜像几个字段。
  • 添加标签 在“数据订阅管理”页面,选择指定的数据订阅任务,单击任务名称进入“基本信息”页签。 在左侧导航栏,单击“标签”。 在“标签”页签单击“添加/编辑标签”,在“添加/编辑标签”弹出框中,输入标签的键和值,单击“添加”,然后单击“确定”。 输入标签的键和值时,系统会自动联想当前用户的所有实例(除当前实例外)的所有关联的预定义标签。 标签的键不能为空且必须唯一,长度为1~128个字符,可以包含任意语种字母、数字、空格和_.:=+-@字符,但首尾不能含有空格,不能以_sys_开头。 标签的值可以为空字符串,长度为0~255个字符,可以包含任意语种字母、数字、空格和_.:/=+-@字符,但首尾不能含有空格。 添加成功后,您可在当前任务的所有关联的标签集合中,查询并管理自己的标签。
  • 操作场景 标签管理服务(Tag Management Service,TMS)用于用户在云平台,通过统一的tag标签管理各种资源。TMS服务与各服务共同实现标签管理能力,TMS提供全局标签管理能力,各服务维护自身标签管理 。当用户资源较多时,可通过不同的标签标识和查找任务。 建议您先在TMS系统中设置预定义标签。 标签由“键”和“值”组成,每个标签中的一个“键”只能对应一个“值”。 每个实例最多支持20个标签配额。
  • 操作步骤 停止SDK消费进程。 在修改消费位点之前,需要先确保连接这个订阅通道的所有SDK下游都停掉。 在“数据订阅管理”页面,选择需要修改消费时间点的订阅任务,单击“消费时间点”操作列的“修改”按钮。 图1 修改消费时间点 在弹出框中,设置指定的消费时间点,单击“确认”。 图2 编辑消费时间点 选择的时间消费点必须在订阅任务的时间范围内。 重启SDK消费进程。 当修改完消费位点后,即可重启本地的SDK消费进程,此时SDK会从修改的消费位点开始订阅增量数据。
  • 使用须知 数据订阅功能通过创建订阅任务来获取数据库中关键业务的数据变化信息,这类信息常常是下游业务所需要的。数据订阅将其缓存并提供统一的SDK接口,实现下游业务订阅、获取、并消费。 一个完整的数据订阅过程需要通过如下两个阶段来实现: 使用数据复制服务控制台创建数据订阅任务。 数据订阅任务成功后,使用数据复制服务提供的SDK接口,访问数据订阅通道,订阅并消费增量数据。 数据复制服务提供的数据订阅功能在使用上有一些固定的限制,在进行正式的数据订阅之前,请先阅读以确保各存储引擎已满足使用限制条件。 表2 使用须知 类型名称 使用和操作限制 订阅对象约束 只支持RDS For MySQL实例。 数据订阅的对象目前只支持表级订阅。 binlog的binlog_row_image格式必须为full。 MySQL存储引擎只支持MyISAM,InnoDB。 MySQL字符集只支持LATIN1、GBK、UTF8、UTF8MB4、BINARY。 按事务维度提供订阅数据,只支持单个事务小于10MB数据量的场景。 操作须知 数据订阅过程中,不允许删除订阅对象。 一个订阅任务同时只能被一个下游SDK订阅消费,如果用户有多个下游需要订阅同一个RDS实例时,需要创建多个订阅通道。这些订阅任务订阅的RDS实例均为同一个实例ID。 一个下游SDK不可以订阅消费多个订阅任务。 目前支持VPC网络,但是不支持VPC内的容器网络。 由于源库异常、网络中断等造成的DRS订阅任务异常,需要在数据订阅界面续传订阅任务,详细参考续传订阅任务。 由于订阅任务当前存在较多订阅对象和操作约束,推荐使用性能、稳定性更高的MySQL到Kafka同步链路进行数据订阅。数据订阅与MySQL到Kafka同步的区别可参考这里。 勾选结构更新和数据更新后,DRS将展示整个实例(非所选库)的DDL和DCL更新操作,不进行过滤。如有需要,可使用SDK过滤所需的数据。
  • 操作步骤 在“数据订阅管理”页面的任务列表中,选择要修改的任务,单击操作列“编辑”按钮。 进入“选择订阅对象”页面,填写订阅类型和订阅对象信息,单击“下一步”。 在“任务确认”页面,设置任务异常通知设置、SMN主题,并确认订阅任务信息无误后,勾选协议,单击“启动任务”,提交订阅任务。 图1 任务启动设置 表1 任务启动设置 参数 描述 任务异常通知设置 该项为可选参数,开启之后,选择对应的SMN主题。当订阅任务状态或时延指标异常时,系统将发送通知。 SMN主题 “任务异常通知设置”项开启后可见,需提前在SMN上申请主题并添加订阅。 SMN主题申请和订阅可参考《消息通知服务用户指南》。 时延阈值 源数据库和目标数据库之间的同步有时会存在一个时间差,称为时延,单位为秒。 时延阈值设置是指时延超过一定的值后(时延阈值范围为0到3600s),DRS可以发送告警通知。告警通知将在时延稳定超过设定的阈值6min后发送,避免出现由于时延波动反复发送告警通知的情况。 说明: 设置时延阈值之前,需要设置任务异常通知。 当时延阈值设置为0时,不会发送通知给收件人。 订阅任务提交后,您可在“数据订阅管理”页面,查看并管理自己的任务。 您可查看任务提交后的状态,状态请参见任务状态说明。 在任务列表的右上角,单击刷新列表,可查看到最新的任务状态。 当订阅任务创建完成后,需要使用SDK实时订阅订阅任务中的增量数据。具体的操作及注意事项请参考SDK使用说明。
  • 网络配置流程 创建DRS公网网络任务,为DRS实例绑定弹性公网IP。 在创建公网网络的DRS任务时,可在实例信息页面为DRS实例绑定弹性公网IP。 本地数据中心的防火墙设置。 本地数据中心防火墙需要放通DRS实例弹性公网IP的访问,使得DRS可以正常访问本地数据中心自建数据库。 入方向放行:放通DRS实例弹性公网IP到数据库监听端口的访问。 出方向放行:放通数据库监听端口到实例弹性公网IP的数据传输。 本地数据中心自建数据库添加白名单。 本地数据中心自建数据库需要添加DRS弹性公网IP远程访问数据库的权限。 各类型数据库添加白名单的方法不同,具体方法请参考各数据库官方文档进行操作。 测试连接。 登录DRS控制台,单击已经创建的DRS任务操作列的“编辑”,重新进入“源库及目标库”界面,输入本地数据中心的数据库IP、端口、用户名、密码进行测试连接。
  • 网络配置流程 创建DRS公网网络任务,为DRS实例绑定弹性公网IP。 在创建公网网络的DRS任务时,可在实例信息页面为DRS实例绑定弹性公网IP。 其他云申请弹性公网IP并绑定到数据库。 不同数据库对应方法不同,具体操作步骤可参考其他云官网资料进行设置。 其他云数据库添加白名单。 其他云数据库需要添加DRS弹性公网IP远程访问数据库的权限。 各厂商云数据库添加白名单的方法不同,请参考各厂商云数据库官方文档进行操作。 测试连接。 登录DRS控制台,单击已经创建的DRS任务操作列的“编辑”,重新进入“源库及目标库”界面,输入其他云的数据库IP、端口、用户名、密码进行测试连接。
共100000条