华为云用户手册

  • PG_AUTHID PG_AUTHID系统表存储有关数据库认证标识符(角色)的信息。角色把“用户”的概念包含在内。一个用户实际上就是一个rolcanlogin标志被设置的角色。任何角色(不管rolcanlogin设置与否)都能够把其他角色作为成员。 在一个集群中只有一份pg_authid,不是每个数据库有一份。需要有系统管理员权限才可以访问此系统表。 表1 PG_AUTHID字段 名称 类型 描述 oid oid 行标识符(隐藏属性,必须明确选择才会显示)。 rolname name 角色名称。 rolsuper boolean 角色是否是拥有最高权限的初始系统管理员。 rolinherit boolean 角色是否自动继承其所属角色的权限。 rolcreaterole boolean 角色是否可以创建更多角色。 rolcreatedb boolean 角色是否可以创建数据库。 rolcatupdate boolean 角色是否可以直接更新系统表。只有usesysid=10的初始系统管理员拥有此权限。其他用户无法获得此权限。 rolcanlogin boolean 角色是否可以登录,即该角色是否能够作为初始会话授权标识符。 rolreplication boolean 角色是一个复制的角色(适配作用,没有实际的功能)。 rolauditadmin boolean 审计用户。 rolsystemadmin boolean 管理员用户。 rolconnlimit integer 对于可以登录的角色,限制其最大并发连接数量。-1 表示没有限制。 rolpassword text 口令(可能是加密的),如果没有口令,则为NULL。 rolvalidbegin timestamp with time zone 账户的有效开始时间,如果没有开始时间,则为NULL。 rolvaliduntil timestamp with time zone 账户的有效结束时间,如果没有结束时间,则为NULL。 rolrespool name 用户所能够使用的resource pool。 roluseft boolean 角色是否可以操作外表。 rolparentid oid 用户所在组用户的OID。 roltabspace Text 用户永久表存储空间限额。 rolkind char 特殊用户种类,包括私有用户、逻辑集群管理员、普通用户。 rolnodegroup oid 用户所关联的Node Group OID,该Node Group必须是逻辑集群。 roltempspace Text 用户临时表存储空间限额。 rolspillspace Text 用户算子落盘空间限额。 rolexcpdata text 保留字段未使用。 rolauthinfo text 用户采用LDAP或OneAccess认证时的额外信息。如果是其他认证模式,则为NULL。 rolpwdexpire integer 用户口令过期时间,在口令未过期时,用户自己修改口令。过期后请管理员修改口令。-1表示没有过期时间限制。 rolpwdtime timestamp with time zone 口令的创建时间。 父主题: 系统表
  • PG_ROLES PG_ROLES视图提供访问数据库角色的相关信息。 表1 PG_ROLES字段 名称 类型 引用 描述 rolname name - 角色名。 rolsuper boolean - 该角色是否是拥有最高权限的初始系统管理员。 rolinherit boolean - 该角色是否继承角色的权限。 rolcreaterole boolean - 该角色是否可以创建其他的角色。 rolcreatedb boolean - 该角色是否可以创建数据库。 rolcatupdate boolean - 该角色是否可以直接更新系统表。只有usesysid=10的初始系统管理员拥有此权限。其他用户无法获得此权限。 rolcanlogin boolean - 该角色是否可以登录数据库。 rolreplication boolean - 该角色是否可以复制。 rolauditadmin boolean - 该角色是否为审计管理员。 rolsystemadmin boolean - 该角色是否为系统管理员。 rolconnlimit integer - 对于可以登录的角色,rolconnlimit限制了该角色允许发起的最大并发连接数。 -1表示无限制。 rolpassword text - 不是口令,总是********。 rolvalidbegin timestamp with time zone - 账户的有效开始时间;如果没有设置有效开始时间,则为NULL。 rolvaliduntil timestamp with time zone - 账户的有效结束时间;如果没有设置有效结束时间,则为NULL。 rolrespool name - 用户所能够使用的resource pool。 rolparentid oid PG_AUTHID.rolparentid 用户所在组用户的OID。 roltabspace text - 用户永久表存储空间限额。 roltempspace text - 用户临时表存储空间限额。 rolspillspace text - 用户算子落盘空间限额。 rolconfig text[] - 运行时配置变量的会话缺省。 oid oid PG_AUTHID.oid 角色的ID。 roluseft boolean PG_AUTHID.roluseft 角色是否可以操作外表。 nodegroup name - 角色所关联的逻辑集群名字,如果没有关联逻辑集群,该值为空。 父主题: 系统视图
  • DDS的备份是如何收费的 文档数据库服务所有的全量备份和增量备份都存储在对象存储服务上,不占用用户购买实例的存储空间,DDS提供了和实例磁盘大小相同的部分免费存储空间,用于存放您的备份数据。 自动备份的生命周期和实例的生命周期相同。如果实例删除,那么自动备份也会同时被删除,如果您有手动备份,手动备份不会自动删除,具体请参见删除手动备份。 举个例子,假如用户购买实例时,存储空间选择了200GB,那么所有的备份空间合计,只有超过200GB才开始计费,前200GB是免费的。对于超过免费容量的存储空间,目前仅支持按需计费,用多少收取多少费用,具体收费请参见计费说明。 免费的存储空间是在收取了数据盘的存储空间费用后赠送的,数据盘存储空间冻结以后不再收费,因此不再享受备份赠送空间。 用户实例冻结后,将没有免费的存储空间,会导致实例原有备份收费。 如果选择解冻实例,将恢复免费的存储空间。 如果直接删除冻结的实例,原有的自动备份将会同时被删除,原有的手动备份需要手动删除,删除后备份空间不会继续收费。 父主题: 备份与恢复
  • 企业管理员创建一个拥有备案权限的用户组 进入“统一身份认证服务”页面,单击右上角“创建用户组”。 图2 用户组-创建用户组 进入创建用户组页面,输入用户组名称和描述,单击“确定”。 图3 创建用户组 进入用户组页面,查看创建的用户组名称、描述、创建时间等信息,单击“操作”列下的“授权”。 图4 授权管理 进入用户组授权页面,默认选择“授权管理”页签,选择“授权权限”。 图5 设置策略 给用户组授权。 选择用户组——备案服务组,点击右上角”授权” 在搜索栏输入“备案”,搜索并勾选“Beian Administrator”。 点击下一步,选择全局服务。 单击“确定” 图6 选择云服务 在用户组页面点击”备案服务组”,确认该用户组已拥有“Beian Administrator”权限。 图7 查看用户组权限
  • 安装SMS-Agent(Windows Server 2008/Windows 7) 请将“SMS-Agent-Py2.exe”文件上传至源端服务器。 使用Administrator用户登录源端服务器,双击“SMS-Agent-Py2.exe”文件,进入SMS-Agent安装界面。 单击“安装”,等待安装完成。 单击“完成”,进入SMS-Agent命令行界面。 若为二次启动,在安装目录下(C:\SMS-Agent-Py2)双击agent-start.exe。 若使用HTTP/HTTPS代理服务器,请执行步骤6。 若不使用HTTP/HTTPS代理服务器,请执行步骤7。 代理服务器为一种特殊网络服务,当您的源端无法通过公网访问华为云时,可以通过代理服务器访问华为云,代理服务器需用户自行配置。 代理仅用于专线/VPN场景下源端到服务端的注册,不用于数据迁移过程。 配置HTTP/HTTPS代理服务器(可选)。 进入Agent安装目录,如C:\SMS-Agent-Py2\config目录下,修改auth.cfg文件。若迁移过程中不使用HTTP/HTTPS代理,禁止修改auth.cfg文件。 [proxy-config] enable = true proxy_addr = https://your-proxy-addr.com proxy_port = proxyport proxy_user = use_password = false 使用代理时,enable设置为true。 proxy_addr为代理服务器地址,允许源端服务器通过代理服务器访问主机迁移服务,非目的端地址。your-proxy-addr.com需要更换为您代理服务器的地址,协议需要根据代理服务器的实际情况配置,建议您将代理服务器协议配置为https。 代理有用户名的话,proxy_user就填写用户名,如root,没有则不填。 代理有密码的话, use_password设置为true,否则false。 根据命令提示,依次手动输入目的端服务器所在华为云账号的AK、SK,以及目的端服务器所在区域的SMS域名。SMS域名可在SMS控制台的“迁移Agent”页面获取,如图3所示。 如果您的账号已经开通企业项目,输入AK/SK后,Agent会查询有主机迁移权限的企业项目并罗列,供您选择。选择具体的企业项目后,主机迁移服务会将主机迁移到您指定的企业项目中。实现迁移时权限、资源和财务的隔离。更多详细介绍和操作步骤请参见将主机迁移至企业项目最佳实践。 图3 获取SMS域名 认证通过后,提示SMS-Agent启动,开始给主机迁移服务上传源端服务器信息,界面随即关闭。您可以前往SMS控制台的迁移服务器列表页面查看上报的源端服务器。
  • 下载SMS-Agent安装文件 登录主机迁移服务管理控制台。 在左侧导航树中,单击“迁移Agent”,进入“迁移Agent”页面。 在Windows服务器Agent安装区域,单击Windows Agent下载窗格中的“链接”按钮,仔细阅读并同意服务声明后,单击“是”,在弹出的Agent窗口,单击“链接”后的图标,下载Agent安装程序。 图形界面(Windows Server 2019/Windows Server 2016/Windows Server 2012/Windows 10/Windows 8.1):请选择“Windows Agent(Python3)”,将“SMS-Agent-Py3.exe”保存到本地。 命令行界面(Windows Server 2008/Windows 7):请选择“Windows Agent(Python2)”,将“SMS-Agent-Py2.exe”保存到本地。 单击“SHA256链接”后的图标,将包含Hash值的文件保存到本地。对迁移Agent进行软件完整性校验,具体参见如何对迁移Agent进行软件完整性校验?。
  • 安装SMS-Agent(Windows Server 2019/Windows Server 2016/Windows Server 2012/Windows 10/Windows 8.1) 请将“SMS-Agent-Py3.exe”文件上传至源端服务器。 使用Administrator用户登录源端服务器,双击“SMS-Agent-Py3.exe”文件,进入SMS-Agent安装界面。 单击“安装”,等待安装完成。 单击“完成”,进入SMS-Agent图形界面。 输入目的端服务器所在华为云账号的AK、SK,以及目的端服务器所在区域的SMS域名。SMS域名可在SMS控制台的“迁移Agent”页面获取,如图2所示。 若不使用HTTP/HTTPS代理,请选择:直连。 若使用HTTP/HTTPS代理,请选择:使用代理,并输入代理服务器IP、端口、代理用户名、密码。 代理服务器IP:填写代理服务器IP地址,非目的端服务器地址。填写格式为:https://your-proxy-addr.com,其中your-proxy-addr.com需要更换为您代理服务器的地址,协议需要根据代理服务器的实际情况配置,建议您将代理服务器协议配置为https。 端口:填写代理服务器开放的代理端口。 代理用户名:填写代理软件用户名,没有则不填。 密码:填写代理用户名对应的密码,没有则不填。 图1 启动Agent 图2 获取SMS域名 如果您的账号已经开通企业项目,输入AK/SK后,Agent会查询有主机迁移权限的企业项目并罗列,供您选择。选择具体的企业项目后,主机迁移服务会将主机迁移到您指定的企业项目中。实现迁移时权限、资源和财务的隔离。更多详细介绍和操作步骤请参见将主机迁移至企业项目最佳实践。 单击“启动”,弹出“注意”窗口。 请您仔细阅读“注意”窗口中的内容,单击“是”。 当界面显示“启动成功!等待服务端命令...”时,表示Windows版的SMS-Agent启动成功,请访问华为云控制台主机迁移服务界面进行后续操作。
  • 前提条件 已获取目的端服务器所在华为云账号的AK/SK。 如果您使用IAM用户进行迁移,具体请参见如何获取AK/SK?(IAM用户)。 如果您直接使用账号进行迁移,具体请参见如何获取AK/SK?(账号)。 已获取源端服务器Administrator用户权限。 源端服务器的OS类型需要包含在Windows兼容性列表中。 源端服务器中未安装杀毒软件,杀毒软件可能会导致Agent启动失败。 若启动Agent时出现“IO监控启动失败”,请参考启动Agent时出现“IO监控启动失败”,该如何处理。
  • 操作场景 您需要在源端服务器上安装迁移Agent并且输入目的端服务器所在华为云账号的AK/SK,迁移Agent启动成功后会收集源端服务器信息并自动发送给主机迁移服务。收集的所有信息仅用于数据迁移,不会用做其他用途。具体收集源端哪些信息可查看主机迁移服务会收集源端的哪些信息?。 Windows版的SMS-Agent安装有两种方式: 基于图形界面 Windows Agent(Python3):Windows Server 2019/Windows Server 2016/Windows Server 2012/Windows 10/Windows 8.1 基于命令行界面 Windows Agent(Python2):Windows Server 2008/Windows 7 必须使用Administrator用户登录Windows服务器。
  • 安装Linux版的SMS-Agent 登录主机迁移服务管理控制台。 在左侧导航树中,单击“迁移Agent”,进入“迁移Agent”页面。 在Linux服务器Agent安装区域,单击Linux Agent下载窗格中的“链接”,仔细阅读并同意服务声明后,复制Agent的下载命令,前往源端服务器下载迁移Agent。 复制“sha256校验码”的下载命令,下载sha256校验码,对迁移Agent进行软件完整性校验,具体参见如何对迁移Agent进行软件完整性校验?。 一致性校验完成后,执行以下命令,解压Agent软件包。 tar -zxvf SMS-Agent.tar.gz 执行以下命令,进入源端服务器的SMS-Agent目录。 cd SMS-Agent 若使用HTTP/HTTPS代理服务器,请执行8.。 若不使用HTTP/HTTPS代理服务器,请执行9.。 代理服务器为一种特殊网络服务,当您的源端无法通过公网访问华为云时,可以通过代理服务器访问华为云,代理服务器需用户自行配置。 代理仅用于专线/VPN场景下源端到服务端的注册,不用于数据迁移过程。 配置HTTP/HTTPS代理服务器(可选)。 执行如下命令,进入config目录。 cd SMS-Agent/agent/config 执行如下命令,打开并编辑auth.cfg文件。若迁移过程中不使用HTTP/HTTPS代理,禁止修改auth.cfg文件。 vi auth.cfg 示例:(以下仅为示例说明,具体代理服务器信息,请根据实际情况填写。) [proxy-config] enable = true proxy_addr = https://your-proxy-addr.com proxy_port = 3128 proxy_user = root use_password = true enable:使用代理时,设置为true。 proxy_addr:代理服务器地址,允许源端服务器通过代理服务器访问主机迁移服务,非目的端地址。your-proxy-addr.com需要更换为您代理服务器的地址,协议需要根据代理服务器的实际情况配置,建议您将代理服务器协议配置为https。 proxy_user:代理有用户名的话,就填写用户名,如root;没有则不填。 use_password:代理有密码的话设置为true,否则false。 执行如下命令,保存auth.cfg文件并退出。 :wq 执行以下命令,启动迁移Agent。 ./startup.sh 请您仔细阅读显示的内容并输入“y”,按“Enter”。 图1 输入y 根据提示,输入目的端服务器所在华为云账号的AK、SK,以及目的端服务器所在区域的SMS域名。SMS域名可在SMS控制台的“迁移Agent”页面获取,如图3所示。 图2 输入AK/SK 图3 获取SMS域名 如果您的账号已经开通企业项目,输入AK/SK后,Agent会查询有主机迁移权限的企业项目并罗列,供您选择。选择具体的企业项目后,主机迁移服务会将主机迁移到您指定的企业项目中。实现迁移时权限、资源和财务的隔离。更多详细介绍和操作步骤请参见将主机迁移至企业项目最佳实践。 当出现如下界面时,表示Linux版的SMS-Agent启动成功,开始给主机迁移服务上传源端服务器信息。您可以前往SMS控制台的迁移服务器列表页面查看上报的源端服务器。 图4 Agent启动成功
  • 问题处理 如果迁移Agent启动失败,出现"No such file or directory: 'rsync':'rsync'"等错误提示,请您参见安装Linux版的迁移Agent无法正常启动怎么办?。 如果迁移Agent启动失败,出现“sms.0202 AK/SK authentication failed. Ensure that the system time is consistent with the standard time and the AK and SK are correct.”等错误提示,请您参见如何处理迁移Agent中AK/SK校验失败?。 如果控制台看不到源端服务器记录,请参考源端Agent注册后为什么主机迁移服务控制台没有记录,进行排查处理。
  • 虚拟私有云 虚拟私有云(Virtual Private Cloud,以下简称VPC)为RocketMQ实例提供一个隔离的、用户自主配置和管理的虚拟网络环境。 在创建RocketMQ实例前,确保已存在可用的虚拟私有云和子网。 创建方法,请参考创建虚拟私有云和子网。如果您已有虚拟私有云和子网,可重复使用,不需要多次创建。 在创建VPC和子网时应注意如下要求: 创建的VPC与使用的分布式消息服务RocketMQ版应在相同的区域。 创建VPC和子网时,配置参数建议使用默认配置。 在创建RocketMQ实例前,确保已存在可用的安全组。 创建方法,请参考创建安全组。如果您已有安全组,可重复使用,不需要多次创建。 使用分布式消息服务RocketMQ版必须添加表1所示安全组规则,其他规则请根据实际需要添加。 表1 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 8100 0.0.0.0/0 通过内网访问元数据节点的端口 入方向 TCP 10100-10199 0.0.0.0/0 访问业务节点的端口 安全组创建后,系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则。此时使用内网通过同一个VPC访问RocketMQ实例,无需添加表1的规则。
  • 命令行模式连接实例 下载“rocketmq-tutorial”示例软件包。 wget https://dms-demos.obs.cn-north-1.myhuaweicloud.com/rocketmq-tutorial.zip 解压“rocketmq-tutorial”。 unzip rocketmq-tutorial.zip 进入“rocketmq-tutorial/bin”目录。 cd rocketmq-tutorial/bin 运行生产普通消息示例。 JAVA_OPT=-Dtls.enable=true sh mqadmin sendMessage -n "${连接地址}" -t ${Topic名称} -p "hello rocketmq" 参数说明如下: 连接地址:表示RocketMQ实例的“连接地址”。 Topic名称:RocketMQ实例下创建的Topic名称。 示例如下,其中“100.xxx.xxx.89:8200;100.xxx.xxx.144:8200”为RocketMQ实例的连接地址,“topic-test”为Topic名称。 JAVA_OPT=-Dtls.enable=true sh mqadmin sendMessage -n "100.xxx.xxx.89:8200;100.xxx.xxx.144:8200" -t topic-test -p "hello rocketmq" 使用Ctrl+C命令退出。 运行消费普通消息示例。 JAVA_OPT=-Dtls.enable=true sh mqadmin consumeMessage -n "${连接地址}" -t ${Topic名称} 参数说明如下: 连接地址:表示RocketMQ实例的“连接地址”。 Topic名称:RocketMQ实例下创建的Topic名称。 示例如下,其中“100.xxx.xxx.89:8200;100.xxx.xxx.144:8200”为RocketMQ实例的连接地址,“topic-test”为Topic名称。 JAVA_OPT=-Dtls.enable=true sh mqadmin consumeMessage -n "100.xxx.xxx.89:8200;100.xxx.xxx.144:8200" -t topic-test 如需停止消费使用Ctrl+C命令退出。 运行生产带消息轨迹的消息示例。 JAVA_OPT=-Dtls.enable=true sh mqadmin sendMessage -n "${连接地址}" -t ${Topic名称} -p "hello rocketmq" -m true 参数说明如下: 连接地址:表示RocketMQ实例的“连接地址”。 Topic名称:RocketMQ实例下创建的Topic名称。 示例如下,其中“100.xxx.xxx.89:8200;100.xxx.xxx.144:8200”为RocketMQ实例的连接地址,“topic-test”为Topic名称。 JAVA_OPT=-Dtls.enable=true sh mqadmin sendMessage -n "100.xxx.xxx.89:8200;100.xxx.xxx.144:8200" -t topic-test -p "hello rocketmq" -m true 使用Ctrl+C命令退出。 运行消费消息示例,并发送消息轨迹。 JAVA_OPT=-Dtls.enable=true sh mqadmin consumeMessage -n "${连接地址}" -t ${Topic名称} -m true 参数说明如下: 连接地址:表示RocketMQ实例的“连接地址”。 Topic名称:RocketMQ实例下创建的Topic名称。 示例如下,其中“100.xxx.xxx.89:8200;100.xxx.xxx.144:8200”为RocketMQ实例的连接地址,“topic-test”为Topic名称。 JAVA_OPT=-Dtls.enable=true sh mqadmin consumeMessage -n "100.xxx.xxx.89:8200;100.xxx.xxx.144:8200" -t topic-test -m true 使用Ctrl+C命令退出。
  • 操作步骤 在APP端登录华为云备案小程序。 下载华为云APP。 您可在各大应用市场或扫描下方二维码下载华为云APP,如果已下载华为云APP请将APP升级至最新版本。 图1 下载华为云APP 登录华为云APP,在“控制台”中或者在搜索“ICP备案”,单击“ICP备案”,进入备案操作入口。 图2 登录控制台 验证备案类型。 查看备案流程,并单击“开始备案”。 如果存在正在备案中的订单,无法重复提交备案申请。请先根据提示继续完成正在进行中的备案,或放弃备案订单,然后再开始备案。 在“验证备案类型”页面,按提示填写信息,然后单击“验证备案类型”。 系统将根据填写的域名、证件等,自动校验备案类型。更多内容,请参见验证备案类型注意事项。 图3 验证备案类型 表1 验证备案类型参数说明 参数 说明 地域 对于个人备案,请根据您的身份证所在地、或实际居住地选择备案提交的地域。是否允许跨省备案,需以各地管局要求为准。 对于单位备案,请根据主体证件签发地(如营业执照工商注册地),选择备案提交的地域。不能选择非企业主体证件签发地的省份。 主办单位性质 请按照实际单位性质进行选择。 如:企业法定代表人请选择“企业”,事业法定代表人请选择“事业单位”。 其中,个人备案与单位备案的介绍,请参见个人备案与单位备案FAQ。 主办单位名称 请输入主办单位名称。 证件类型 请根据主办单位性质,选择正确的证件类型。 证件号码 请输入主办单位证件号码。 资源类型 请选择需要备案的对应云服务, 如选择ECS,需为包周期且不小于1个月。 如使用备案授权码,请到“授权码管理”中申请。如何获取及使用“备案授权码”,具体请参考如何获取及使用“备案授权码”。 按需购买云服务器,暂不支持备案。 服务类型 网站备案请选择网站。 APP备案请选择APP。 域名/APP名称 网站备案请填写需备案的域名,格式如:huaweicloud.com APP备案请填写需备案的APP名称。 系统将根据填写的域名、证件等,自动校验备案类型。当系统检测到您填写的域名和主体信息已在华为云备案过,将提示您认领备案。 对于已备案过的域名,不能重复提交备案申请。 确认主体信息(包括主体单位信息、主体负责人信息)无误后,单击“下一步”。 根据界面提示,上传主体负责人的证件信息。 勾选同意协议,并单击“提交初审”。 提交成功后,华为云工作人员将在1~2个工作日内,对您提交的资料进行审核。审核通过后,原备案数据认领成功,您可以在“我的备案”中进行查看。
  • 操作场景 2018年9月,华为云对备案平台做了全新升级,在此时间点之前登录华为云备案平台(简称“原华为云备案系统”)做过备案的用户,如需继续备案(如新增互联网信息服务、变更备案),需先认领备案,将历史备案信息迁移至新系统,然后再提交备案申请。 主体和域名已在原华为云备案系统提交过备案,且已完成备案流程取得备案号的,需登录华为云备案系统,认领备案。 在其他接入商处进行迁移网站或跨省变更操作后,需进行认领备案。
  • 总览 以下罗列了云日志服务(LTS)相关的最佳实践。 基于华为云ELB(弹性负载均衡)日志运维分析 基于华为云WAF(Web应用防火墙)日志运维分析 基于应用运行日志(Log4j格式)分析 可视化分析ELB日志 基于业务日志的运维分析 界面内嵌LTS 使用脚本调用LTS接口实现自定义操作 采集第三方云厂商、自建IDC、华为云其他region云主机日志到LTS 采集第三方云厂商、自建IDC、华为云其他region的K8S日志到LTS 如何搭建Syslog服务器收集日志并采集到LTS 将自建ELK日志导入云日志服务 基于VPN打通网络,实现API或SDK跨云上报日志 通过日志流标签统计不同部门在LTS的费用开销
  • 使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响,可参考DRS对源数据库和目标数据库有什么影响。 数据对比 建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。
  • 使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响,可参考DRS对源数据库和目标数据库有什么影响。 数据对比 建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。
  • 使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响,可参考DRS对源数据库和目标数据库有什么影响。 数据对比 建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。
  • 使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响,可参考DRS对源数据库和目标数据库有什么影响。 数据对比 建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。
  • 使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响,可参考DRS对源数据库和目标数据库有什么影响。 数据对比 建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。
  • 使用须知 DRS全量+增量同步过程一般包含四个阶段:任务启动阶段、全量阶段、增量阶段、结束任务阶段(单全量任务则包含三个阶段)。为了确保同步各个阶段的平顺,在创建同步任务前,请务必阅读以下使用须知。 表4 使用须知 类型名称 使用和操作约定 任务启动前须知 源数据库参数要求: 源数据库的分区表触发器不可以设置为disable。 全量同步支持源库备机状态,但需要设置hot_standby_feedback为on;增量同步不支持源库备机状态。 若要做增量同步: 源数据库的“pg_hba.conf” 文件中包含如下的配置: host replication all 0.0.0.0/0 md5 源数据库参数wal_level必须配置为logical。 源数据库需提前安装test_decoding插件。 源数据库中无主键表的replica identity属性必须为full。 源数据库的max_replication_slots参数值必须大于当前已使用的复制槽数量。 源数据库的max_wal_senders参数值必须等于或大于max_replication_slots参数值。 源数据库中表的主键列toast属性为main、external、extended时,其replica identity属性必须为full。 源数据库对象要求: 同步对象依赖和关联的对象也须一起同步,否则可能导致同步失败。 说明: 常见的关联关系:视图引用表、视图引用视图、主外键关联表、表继承子表引用父表、表分区子分区表引用分区表、表自增列引用序列等。 目标数据库参数要求: 目标数据库参数max_prepared_transactions须大于源数据库。 目标数据库参数max_worker_processes须大于源数据库。 目标数据库参数max_locks_per_transaction须大于源数据库。 目标数据库参数max_connections须大于源数据库。 目标数据库和源数据库的lc_monetary参数值必须一致。 目标数据库对象要求: 目标数据库的字符集必须与源数据库一致。 目标数据库的时区设置必须与源数据库一致。 同步的表要禁用外键,因为DRS并行回放会使得不同表之间的写入顺序和源库不一致,可能会触发外键约束限制,造成同步失败。 支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。 目标端多的列要求非空且没有默认值,源端insert数据,同步到目标端后多的列为null,不符合目标端要求。 目标端多的列设置固定默认值,且有唯一约束。源端insert多条数据后,同步到目标端后多的列为固定默认值,不符合目标端要求。 其他使用须知: 若专属计算集群不支持4vCPU/8G或以上规格实例,则无法创建同步任务。 暂不支持级联单向同步,例如从实例A同步到实例B,再从实例B同步到实例C。 分区表只同步主表,转为普通表同步到目标库,分区表的数据将集中写入主表。 模式名或表名映射时,为防止索引和约束名冲突,同步后表上的原索引名称将变为此格式:i_+哈希值+原索引名(可能被截断)+_key。其中哈希值由“原模式名_原表名_原索引名”计算得到。同理,表上的原约束名将变为:c_+哈希值+原约束名(可能被截断)+_key。 对于全量+增量和增量任务,启动任务前,请确保源库中未启动长事务,源库启动长事务会阻塞逻辑复制槽的创建,进而引发任务失败。 对于全量+增量和增量任务,任务启动后,仅支持以下版本的源库发生主备倒换:源库为RDS for PostgreSQL 12.6及以上的小版本、RDS for PostgreSQL 13及以上版本的所有小版本。 DRS全量同步表结构时,源库中的character、character varying类型长度在目标库会按照字节长自动扩大(因为目标库为字节长),默认扩大4倍,最大长度为10485760。 DRS全量同步表结构时,目标库存在与某用户名称同名的schema,用其他用户进行同步表结构到schema时,需要使用grant [role] to [role]的方式为此用户赋权,否则可能因为无法创建表结构而导致同步失败。 对象名同步到目标库后不进行大小写转换。 全量同步过程须知 请勿修改源库和目标库的端口号,请勿修改、删除源库和目标库连接用户的密码、权限,否则可能导致任务失败。 请勿在源库执行任何DDL,否则可能导致数据不一致或任务失败。 请勿在目标库做写入操作,否则可能导致数据不一致。 增量同步过程须知 请勿修改源库和目标库的端口号,请勿修改、删除源库和目标库连接用户的密码、权限,否则可能导致任务失败。 请勿修改源数据库表的主键或者唯一键(主键不存在时),否则可能导致增量数据不一致或任务失败。 请勿修改源数据库中表的replica identity属性,否则可能导致增量数据不一致或任务失败。 请勿在目标库做写入操作,否则可能导致数据不一致。 库级同步时,源库新增无主键表时,请务必同时将该无主键表的replica identity属性设置为full,然后再写入数据,否则可能导致数据不一致或任务失败。 库级同步时,源库新增主键表时,如果主键列toast属性为main、external、extended时,请务必同时将该表的replica identity属性设置为full,然后再写入数据,否则可能导致数据不一致或任务失败。 同步对比使用须知 建议在源库的业务低峰期进行数据比对,防止误报不一致数据,以及减少对源库和DRS任务的冲击。 在增量同步过程中做对比时,源库若存在写入,则对比结果可能不一致。 不支持在全量同步过程中做对比。 不支持数据对比过程中做限速。 结束任务须知 正常结束任务: 全量+增量实时同步任务正常结束时,将自动删除任务在源库创建的流复制槽。 强制结束任务: 强制结束全量+增量实时同步任务,需要手动删除源库可能残留的复制槽,可参考PostgreSQL为源强制结束任务章节的指导进行操作。 逻辑复制槽命名规则为“drs_唯一性标识”,其中唯一性标识需要将任务node id中的“-”替换为“_”获取。node id可在DRS任务同步日志页面查看task node id is ***日志找到。
  • 使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响,可参考DRS对源数据库和目标数据库有什么影响。 数据对比 建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。
  • 使用须知 DRS全量+增量同步过程一般包含四个阶段:任务启动阶段、全量阶段、增量阶段、结束任务阶段(单增量和单全量任务则包含三个阶段)。为了确保同步各个阶段的平顺,在创建同步任务前,请务必阅读以下使用须知。 表4 使用须知 类型名称 使用和操作约定 任务启动前使用须知 源数据库参数要求: 源数据库的分区表触发器不可以设置为disable。 全量同步支持源库备机状态,但需要设置hot_standby_feedback为on;增量同步不支持源库备机状态。 若要做增量同步: 源数据库的“pg_hba.conf” 文件中包含如下的配置: host replication all 0.0.0.0/0 md5 源数据库参数wal_level必须配置为logical; 源数据库需提前安装test_decoding插件; 源数据库中无主键表的replica identity属性必须为full; 源数据库的max_replication_slots参数值必须大于当前已使用的复制槽数量; 源数据库的max_wal_senders参数值必须等于或大于max_replication_slots参数值。 源数据库中表的主键列toast属性为main、external、extended时,其replica identity属性必须为full。 源数据库对象要求: 源库中不可以存在同名的触发器。 同步对象依赖和关联的对象也须一起同步,否则可能导致同步失败。 目标数据库参数要求: 目标数据库的block_size参数值必须大于或等于源库中的对应参数值。 目标数据库和源数据库的lc_monetary参数值一致。 若要做增量同步,且同步对象包含外键、触发器或事件触发器,则目标数据库的session_replication_role参数必须设置为replica,同步结束后,此参数需改为原来的值。 目标数据库对象要求: 目标库不可以包含,与待同步对象类型相同且名称相同的对象,包括库、模式、表等。系统库、系统模式、系统表等除外。 支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。 目标端多的列要求非空且没有默认值,源端insert数据,同步到目标端后多的列为null,不符合目标端要求。 目标端多的列设置固定默认值,且有唯一约束。源端insert多条数据后,同步到目标端后多的列为固定默认值,不符合目标端要求。 其他使用须知: 若专属计算集群不支持4vCPU/8G或以上规格实例,则无法创建同步任务。 模式名或表名映射时,为防止索引和约束名冲突,同步后表上的原索引名称将变为此格式:i_+哈希值+原索引名(可能被截断)+_key。其中哈希值由“原模式名_原表名_原索引名”计算得到。同理,表上的原约束名将变为:c_+哈希值+原约束名(可能被截断)+_key。 对于全量+增量和增量任务,启动前请确保源库中未启动长事务,启动长事务会阻塞逻辑复制槽的创建,进而引发任务失败。 对于全量+增量和增量任务,如果预校验存在“内部错误”且在任务未启动时结束,请参考PostgreSQL为源强制结束任务章节检查并删除流复制槽,防止源库中流复制槽残留。 对于全量+增量和增量任务,任务启动后,仅支持以下版本的源库发生主备倒换:源库为RDS for PostgreSQL 12.6及以上的小版本、RDS for PostgreSQL 13及以上版本的所有小版本。 若选择同步DDL,须注意源库执行DDL时,确保在目标库上是兼容的。 说明: 同步DDL的实现原理是:在源库通过事件触发器捕获DDL语句,并且记录在特定的表中,然后将DDL语句同步至目标库。因此启动任务前,需要提前在源库创建事件触发器、函数等。详细操作可参考通过创建事件触发器和函数实现PostgreSQL增量DDL同步。 全量同步过程使用须知 请勿修改源库和目标库的端口号,请勿修改、删除源库和目标库连接用户的密码、权限,否则可能导致任务失败。 请勿在源库执行任何DDL,否则可能导致数据不一致或任务失败。 请勿在目标库做写入操作,否则可能导致数据不一致。 增量同步过程使用须知 请勿修改源库和目标库的端口号,请勿修改、删除源库和目标库连接用户的密码、权限,否则可能导致任务失败。 请勿修改源数据库表的主键或者唯一键(主键不存在时),否则可能导致增量数据不一致或任务失败。 请勿修改源数据库中表的replica identity属性,否则可能导致增量数据不一致或任务失败。 请勿在目标库做写入操作,否则可能导致数据不一致。 库级同步时,源库新增无主键表时,请务必同时将该无主键表的replica identity属性设置为full,然后再写入数据,否则可能导致数据不一致或任务失败。 库级同步时,源库新增主键表时,如果主键列toast属性为main、external、extended时,请务必同时将该表的replica identity属性设置为full,然后再写入数据,否则可能导致数据不一致或任务失败。 同步对比使用须知 建议在源库的业务低峰期进行数据比对,防止误报不一致数据,以及减少对源库和DRS任务的冲击。 在增量同步过程中做对比时,源库若存在写入,则对比结果可能不一致。 不支持在全量同步过程中做对比。 不支持数据对比过程中做限速。 结束任务使用须知 正常结束任务: 将自动重置目标库序列值(自增序列值为源库序列值+安全余度,自减序列值为源库序列值-安全余度,安全余度默认为10000),若选择了同步用户,任务结束时将自动同步用户的成员关系。 全量实时同步任务结束时会对序列值进行比对,序列值采用逻辑一致性的判断原则,即自增序列当且仅当目标库对应序列值大于等于源库对应序列值,自减序列当且仅当目标库对应序列值小于等于源库对应序列值时,序列值判定为一致。 全量+增量实时同步任务正常结束时,将自动删除任务在源库创建的流复制槽。 全量+增量实时同步任务正常结束时,如果目标库session_replication_role值为replica,需手动将目标库session_replication_role参数值修改为原来的值。 强制结束任务: 需要手动刷新目标库中的序列值,可参考PostgreSQL为源强制结束任务章节的指导进行操作。 强制结束全量+增量实时同步任务,需要手动删除源库可能残留的复制槽,可参考PostgreSQL为源强制结束任务章节的指导进行操作。 强制结束全量+增量实时同步任务,如果目标库session_replication_role值为replica,需手动将目标库session_replication_role参数值修改为原来的值。 逻辑复制槽命名规则为“drs_唯一性标识”,其中唯一性标识需要将任务node id中的“-”替换为“_”获取。node id可在DRS任务同步日志页面查看task node id is ***日志找到。 常见故障排查 在任务创建、启动、全量同步、增量同步、结束等过程中,如有遇到问题,可先参考“故障排查”章节进行排查。
  • 使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响,可参考DRS对源数据库和目标数据库有什么影响。 数据对比 建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。
  • 使用须知 DRS全量+增量同步过程一般包含四个阶段:任务启动阶段、全量阶段、增量阶段、结束任务阶段(单全量任务则包含三个阶段)。为了确保同步各个阶段的平顺,在创建同步任务前,请务必阅读以下使用须知。 表4 使用须知 类型名称 使用和操作约定 任务启动前须知 源数据库参数要求: 源数据库的分区表触发器不可以设置为disable。 全量同步支持源库备机状态,但需要设置hot_standby_feedback为on;增量同步不支持源库备机状态。 若要做增量同步: 源数据库的“pg_hba.conf” 文件中包含如下的配置: host replication all 0.0.0.0/0 md5 源数据库参数wal_level必须配置为logical。 源数据库需提前安装test_decoding插件。 源数据库中无主键表的replica identity属性必须为full。 源数据库的max_replication_slots参数值必须大于当前已使用的复制槽数量。 源数据库的max_wal_senders参数值必须等于或大于max_replication_slots参数值。 源数据库中表的主键列toast属性为main、external、extended时,其replica identity属性必须为full。 源数据库对象要求: 同步对象依赖和关联的对象也须一起同步,否则可能导致同步失败。 说明: 常见的关联关系:主外键关联表、表继承子表引用父表、表分区子分区表引用分区表、表自增列引用序列等。 目标数据库参数要求: 目标数据库参数max_prepared_transactions须大于源数据库。 目标数据库参数max_worker_processes须大于源数据库。 目标数据库参数max_locks_per_transaction须大于源数据库。 目标数据库参数max_connections须大于源数据库。 目标数据库和源数据库的lc_monetary参数值必须一致。 目标数据库对象要求: 目标数据库的字符集必须与源数据库一致。 目标数据库的时区设置必须与源数据库一致。 同步的表要禁用外键,因为DRS并行回放会使得不同表之间的写入顺序和源库不一致,可能会触发外键约束限制,造成同步失败。 支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。 目标端多的列要求非空且没有默认值,源端insert数据,同步到目标端后多的列为null,不符合目标端要求。 目标端多的列设置固定默认值,且有唯一约束。源端insert多条数据后,同步到目标端后多的列为固定默认值,不符合目标端要求。 其他使用须知: 若专属计算集群不支持4vCPU/8G或以上规格实例,则无法创建同步任务。 暂不支持级联单向同步,例如从实例A同步到实例B,再从实例B同步到实例C。 分区表只同步主表,转为普通表同步到目标库,分区表的数据将集中写入主表。 模式名或表名映射时,为防止索引和约束名冲突,同步后表上的原索引名称将变为此格式:i_+哈希值+原索引名(可能被截断)+_key。其中哈希值由“原模式名_原表名_原索引名”计算得到。同理,表上的原约束名将变为:c_+哈希值+原约束名(可能被截断)+_key。 对于全量+增量和增量任务,启动任务前,请确保源库中未启动长事务,源库启动长事务会阻塞逻辑复制槽的创建,进而引发任务失败。 对于全量+增量和增量任务,任务启动后,仅支持以下版本的源库发生主备倒换:源库为RDS for PostgreSQL 12.6及以上的小版本、RDS for PostgreSQL 13及以上版本的所有小版本。 DRS全量同步表结构时,源库中的character、character varying类型长度在目标库会按照字节长自动扩大(因为目标库为字节长),默认扩大4倍,最大长度为10485760。 DRS全量同步表结构时,目标库存在与某用户名称同名的schema,用其他用户进行同步表结构到schema时,需要使用grant [role] to [role]的方式为此用户赋权,否则可能因为无法创建表结构而导致同步失败。 对象名同步到目标库后不进行大小写转换。 源数据库的唯一索引是表达式索引时,全量同步阶段目标数据库GaussDB分布式可能会因为无法创建该索引而导致任务失败。 全量同步过程须知 请勿修改源库和目标库的端口号,请勿修改、删除源库和目标库连接用户的密码、权限,否则可能导致任务失败。 请勿在源库执行任何DDL,否则可能导致数据不一致或任务失败。 请勿在目标库做写入操作,否则可能导致数据不一致。 增量同步过程须知 请勿修改源库和目标库的端口号,请勿修改、删除源库和目标库连接用户的密码、权限,否则可能导致任务失败。 请勿修改源数据库表的主键或者唯一键(主键不存在时),否则可能导致增量数据不一致或任务失败。 请勿修改源数据库中表的replica identity属性,否则可能导致增量数据不一致或任务失败。 请勿在目标库做写入操作,否则可能导致数据不一致。 库级同步时,源库新增无主键表时,请务必同时将该无主键表的replica identity属性设置为full,然后再写入数据,否则可能导致数据不一致或任务失败。 库级同步时,源库新增主键表时,如果主键列toast属性为main、external、extended时,请务必同时将该表的replica identity属性设置为full,然后再写入数据,否则可能导致数据不一致或任务失败。 同步对比使用须知 建议在源库的业务低峰期进行数据比对,防止误报不一致数据,以及减少对源库和DRS任务的冲击。 在增量同步过程中做对比时,源库若存在写入,则对比结果可能不一致。 不支持在全量同步过程中做对比。 不支持数据对比过程中做限速。 结束任务须知 正常结束任务: 全量+增量实时同步任务正常结束时,将自动删除任务在源库创建的流复制槽。 强制结束任务: 强制结束全量+增量实时同步任务,需要手动删除源库可能残留的复制槽,可参考PostgreSQL为源强制结束任务章节的指导进行操作。 逻辑复制槽命名规则为“drs_唯一性标识”,其中唯一性标识需要将任务node id中的“-”替换为“_”获取。node id可在DRS任务同步日志页面查看task node id is ***日志找到。
  • 使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响,可参考DRS对源数据库和目标数据库有什么影响。 数据对比 建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。
  • 使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响,可参考DRS对源数据库和目标数据库有什么影响。 数据对比 建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。
  • 使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响,可参考DRS对源数据库和目标数据库有什么影响。 数据对比 建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。
  • 使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响,可参考DRS对源数据库和目标数据库有什么影响。 数据对比 建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。
共100000条