华为云用户手册

  • 步骤2:测试连通性并安装PostgreSQL客户端 登录ECS实例,请参见《弹性云服务器用户指南》中“Linux弹性云服务器远程登录(VNC方式)”。 在RDS“实例管理”页面,单击实例名称进入“基本信息”页面。 选择“连接管理”,在“连接信息”模块获取实例的内网地址和数据库端口。 图4 连接信息 在ECS上测试是否可以正常连接到RDS for PostgreSQL实例内网地址的端口。 telnet 192.168.0.7 5432 如果可以通信,说明网络正常。 如果无法通信,请检查安全组规则。 查看ECS的安全组的出方向规则,如果目的地址不为“0.0.0.0/0”且协议端口不为“全部”,需要将RDS实例的内网IP地址和端口添加到出方向规则。 图5 ECS的安全组 查看RDS的安全组的入方向规则,如果源地址不为“0.0.0.0/0”且协议端口不为“全部”,需要将ECS实例的私有IP地址和端口添加到入方向规则,具体操作请参见设置安全组规则。 图6 RDS的安全组 打开客户端安装页面。 PostgreSQL官网提供了针对不同操作系统的客户端安装方法。 下面将以CentOS下PostgreSQL 12版本为例,介绍安装PostgreSQL客户端。 选择数据库版本、操作系统、操作系统架构,在弹性云服务器上执行以下命令安装PostgreSQL客户端。 sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm 图7 安装客户端 数据库版本,选择与RDS for PostgreSQL数据库实例一致的版本。 操作系统,选择与弹性云服务器一致的操作系统。 操作系统架构,选择与弹性云服务器一致的操作系统架构。 图8 安装rpm包 图9 客户端安装完成
  • 步骤1:购买ECS 登录管理控制台,查看是否有弹性云服务器。 有Linux弹性云服务器,执行3。 无Linux弹性云服务器,执行2。 图1 ECS实例 购买弹性云服务器时,选择Linux操作系统,例如CentOS。 由于需要在ECS下载PostgreSQL客户端,因此需要为ECS绑定弹性公网IP(EIP),并且选择与RDS for PostgreSQL实例相同的区域、VPC和安全组,便于RDS for PostgreSQL和ECS网络互通。 购买Linux弹性云服务器请参考《弹性云服务器快速入门》中“购买弹性云服务器”章节。 在ECS实例基本信息页,查看ECS实例的区域和VPC。 图2 ECS基本信息 在RDS for PostgreSQL实例基本信息页,查看RDS实例的区域和VPC。 图3 PostgreSQL基本信息 确认ECS实例与RDS for PostgreSQL实例是否处于同一区域、同一VPC内。 是,执行步骤2:测试连通性并安装PostgreSQL客户端。 如果不在同一区域,请重新购买实例。不同区域的云服务之间内网互不相通,无法访问实例。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 如果不在同一VPC,可以修改ECS的VPC,请参见切换虚拟私有云。
  • RDS for MySQL 5.6 表3 云数据库 RDS for MySQL 5.6版本说明 日期 特性描述 2023-09-01 5.6.51版本更新以下内容: 新特性及性能优化 优化了SQL限流功能。 修复问题 修复了社区审计日志线程挂住的问题。 2023-03-15 5.6.51版本更新以下内容: 新特性及性能优化 优化了超大SQL审计日志的打印。 强化了日志打印的安全性。 修复问题 修复参考表添加索引与另一张表添加外键并发执行时可能出现的复制异常。 2022-09-09 新特性及性能优化 KILL会话支持per thread连接方式。 修复问题 修复开启proxy可能导致的异常重启。 修复main.proxy_connect缓冲区溢出。 修复插件可能内存申请失败导致的异常重启。 2022-06-01 修复社区innodb_row_lock_current_waits统计不准确的问题。 2021-08-07 新特性 支持数据库添加备注功能。 系统库防止被DDL修改。 升级openssl,jemalloc开源组件。 修复问题 修复修改密码可能会导致同步断开的问题。 修复审计日志错误写入其他文件的问题。 2021-04-13 修复由于回放保序导致备机小概率复制中断的问题。 内核版本升级到5.6.51。 安全加固 社区MySQL 5.6版本补丁不再发布,该版本的漏洞补丁服务也不再发布。 2021-01-26 新特性 支持在代理情况下显示真实的客户端地址。 修复问题 修复执行select 1 for update报语法错误问题。 全量SQL采集性能优化。 2020-12-31 重构SQL限流功能,提高易用性。 2020-11-06 内核版本升级到5.6.50。 2020-09-23 支持SQL限流,业务高峰期可以限制特定SQL的执行频率。 2020-08-03 内核版本升级到5.6.49。 2020-07-09 支持本地盘磁盘日志切换。 支持在错误日志中记录用户的操作历史。 2020-05-30 bufferpool内存初始化模块优化,提高初始化效率。 2020-04-30 修复用户低概率连接数据库失败问题。 2020-03-30 支持全量SQL采集功能。 编译器升级到7.3。 内核版本升级到5.6.47。 2020-02-15 复制双通道:新增复制状态通道,准确判断主库崩溃时的复制状态。确保事务不丢失。 Optimized ROW_IMAGE模式:缩减binlog大小,同时支持迁移,SQL闪回等场景。 2019-12-15 长事务:通过show processlist获取事务的执行时间Trx_Executed_Time。 Online扩展String字段长度:扩展VARCHAR类型字段长度从COPY模式默认变为INPLACE模式。详见在线扩展varchar类型字段。 InnoDB死锁信息丰富:通过show engine innodb status命令可以观察到InnoDB层死锁发生时完整的现场信息。 2019-10-15 内核版本升级到5.6.45。 用户线程内存使用信息、CPU时间使用信息,用户通过show full processlist进行查询。 KILL空闲事务:通过设置超时时间,自动KILL长时间空闲事务。详见主动终止空闲事务。 2019-08-15 Jemalloc内存管理:替换Glibc内存管理模块,降低内存占用,内存分配效率更高效。 2019-06-15 内核版本升级到5.6.43。 支持审计功能。 2019-05-15 修复特定场景主备复制时延“Seconds_Behind_Master”不准确的问题。 修复“SQL_MODE”为“PAD_CHAR_TO_FULL_LENGTH”时的主备复制异常问题。 2019-01-15 修复只读执行flush操作后导致主备不一致,复制中断的问题。 修复REPAIR,OPTIMIZE等语句导致备机复制线程卡住问题。 修复grant select(column_name) 语句复制线程报错问题。 2018-11-15 内核版本升级到5.6.41。 GTID开启时支持事务中创建和删除临时表。 支持表级别MTS并行回放。 2018-07-15 新特性 内核版本升级到5.6.40。 支持线程池。详见连接线程池。 支持CTS语法:支持create table xx select语法。 修复以下问题 修复binlog和relay log名依赖PID文件名的问题。 修复“relay_log_basename”变量空指针导致备机卡住的问题。 修复force index语法在group_by xx order_by xx limit n1,n2 场景下失效的问题。
  • RDS for MySQL 5.7 表2 云数据库 RDS for MySQL 5.7版本说明 日期 特性描述 2024-04-11 内核版本升级到5.7.44。 具体修改点同社区版一致,详见社区5.7.44版本发布说明。 2023-12-01 新特性及性能优化 升级到5.7.43版本。 SQL限流功能变化:所有账户当前都会被限流(之前的行为:对root不限流);如需设定不限流的账户请联系客服。 新增information_schema.rds_sql_filter_info,可以查看SQL限流功能的当前并发数和历史拦截数。 修复问题 修复了社区审计日志插件不记录prepare协议语句的问题。 2023-09-01 5.7.41版本更新以下内容: 新特性及性能优化 优化了SQL限流功能。 优化了jemalloc组件释放内存缓慢,导致OOM的行为。 修复问题 修复了社区审计日志内存泄漏、线程挂住的问题。 修复了社区间隙锁范围过大的问题。 2023-06-28 新特性及性能优化 升级到5.7.41版本。 增加安全编译选项。 修复问题 修复参考表添加索引与另一张表添加外键并发执行时可能出现的复制异常。 修复删除外键表后再删除子表时可能出现的复制异常。 安全加固 解决安全漏洞:CVE-2023-21963、CVE-2022-32221、CVE-2023-21840、CVE-2022-2097、CVE-2022-21617、CVE-2022-21608、CVE-2022-21592、CVE-2022-21589、CVE-2022-1292、CVE-2022-27778、CVE-2018-25032、CVE-2022-21515。 2022-09-09 新特性及性能优化 升级到5.7.38版本。 升级编译器到GCC 10.3。 KILL会话支持per thread连接方式。 慢日志的阈值可考虑等锁耗时。 ALT功能安全加固。 修复问题 增强分布式XA事务主库崩溃恢复安全。 修复开启proxy可能导致的异常重启。 修复插件可能内存申请失败导致的异常重启。 安全加固 解决安全漏洞:CVE-2022-21454、CVE-2022-21417、CVE-2022-21427、CVE-2022-21451、CVE-2022-21444、CVE-2022-21460。 2022-06-01 新特性及性能优化 内核版本升级到5.7.37。 升级编译器到GCC 9.3。 升级openssl、curl开源组件。 修复问题 修复单个超大Binlog可能导致的复制中断问题。 修复slave并发回放grant可能导致的异常重启的问题。 修复隐藏自增键可能导致的复制中断问题。 修复虚拟字段表在ROLLBACK时可能异常重启的问题。 修复加密表在recovery异常重启问题。 修复Seconds Behind Master特定场景不准确问题。 安全加固 解决安全漏洞:CVE-2022-21367、CVE-2022-21304、CVE-2022-21344。 2022-01-26 新特性及性能优化 支持隐藏自增键特性。 修复问题 修复XA事务重复提交可能导致复制异常问题。 修复社区innodb_row_lock_current_waits统计不准确的问题。 2021-11-26 新特性及性能优化 全量SQL放开单条记录长度限制。 RDS for MySQL透明应用连续性(ALT)特性第一期。 修复问题 修复线程池极端场景的内存问题。 修复XA事务备机回放概率性卡住。 2021-08-07 新特性及性能优化 线程池静态连接,提高性能。 开启PGO(Profile-Guided Optimization)编译优化。 优化MySQL HASH算法。 支持数据库添加备注功能。 系统库防止被DDL修改。 在errlog中提供IO延迟信息。 支持minidump。 内核版本升级到5.7.33。 升级openssl,jemalloc,curl开源组件。 修复问题 修复由于回放保序导致备机小概率复制中断的问题。 修复XA事务在binlog rotate后可能异常重启的问题。 修复全量SQL可能存在未记录预编译SQL操作类型的问题。 修复flush privieges操作的executed time统计错误的问题。 修复审计日志错误写入其他文件的问题。 安全加固 解决安全漏洞:CVE-2021-2011、CVE-2021-2178、CVE-2021-2202。 2021-04-13 修复XA事务在数据库异常重启后可能发生丢失的问题。 优化自适应HASH分割算法。 内核版本升级到5.7.32。 2021-01-26 新特性 支持在代理情况下显示真实的客户端地址。 修复问题 全量SQL采集性能优化。 修复revoke权限可能导致主备权限不一致的问题。 回合8.0中对Instant add column的优化。 2020-12-31 性能优化 优化慢日志额外信息的采集效率。 升级编译器至GCC 9。 修复问题 修复XA事务回滚可能会导致备机复制中断问题。 2020-12-01 减少fil_sys互斥锁之间的冲突频率。 2020-11-06 新特性 内存申请编译器优化。 添加utf8优化对非ARM平台的支持。 修复问题 修复微秒计时器中gettimeofday多线程导致计时错误问题。 2020-09-21 内核版本升级到5.7.31。 支持SQL限流,业务高峰期可以限制特定SQL的执行频率。 2020-08-03 优化内核性能。 支持回收站。 增强本地盘清理数据可靠性。 2020-07-09 优化内核性能。 支持在错误日志中记录用户的操作历史。 提高XA事务的稳定性。 2020-06-30 优化内核性能。 支持本地盘磁盘日志切换。 bufferpool内存初始化模块优化,提高初始化效率。 提升ARM上部分操作的线程安全性。 2020-05-30 新特性 支持index hint功能。 支持抓取全量SQL日志。 修复以下问题 修复用户低概率连接数据库失败问题。 2020-04-30 优化内核性能。 2020-03-30 内核版本升级到5.7.29。 优化内核性能。 支持线程池统计IO waits事件。 2020-02-15 复制双通道:新增复制状态通道,准确判断主库崩溃时的复制状态,确保事务不丢失。 Optimized ROW_IMAGE模式:缩减binlog大小,同时支持迁移,SQL闪回等场景。 2019-12-15 DDL操作进度:通过“information_schema.innodb_alter_table_progress”获取添加列或添加索引操作的进度信息。详见DDL进度显示。 长事务:通过show processlist获取事务的执行时间Trx_Executed_Time。 Online扩展string字段长度:扩展varchar类型字段长度从COPY模式默认变为INPLACE模式。详见在线扩展varchar类型字段。 InnoDB死锁信息丰富:通过show engine innodb status可以观察到InnoDB层发生死锁情况时完整的现场信息。 2019-10-15 性能优化 ARM内核版本上线,该内核基于华为云鲲鹏服务器。 新特性 内核版本升级到5.7.27。 快速加列:表可以快速添加列,不拷贝数据,不占用磁盘空间和磁盘IO,业务高峰期可以实时变更。 MDL锁视图:通过“information_schema.metadata_lock_info”获取线程持有或等待的MDL锁信息。详见MDL锁视图。 2019-08-15 Jemalloc内存管理:替换Glibc内存管理模块,降低内存占用,内存分配效率更高效。 2019-06-15 内核版本升级到5.7.25。 2019-05-15 新特性 备库安全极速模式:在备库“sync_binlog”和“innodb_flush_log_at_trx_commit”为非1配置下,保证备库crash safe数据安全。sysbench高并发纯写模式下,主备复制延迟一直基本为0。 修复以下问题 修复“relay_log_recovery ”=“ON”时,特定场景Kill备库后无法重启的问题。 修复“SQL_MODE”为“PAD_CHAR_TO_FULL_LENGTH”时,主备复制异常的问题。 修复“performance_schema”重复统计错误的问题。 修复对“Performance_schema”中关于复制信息的表进行order by查询时,返回为空的问题。 2019-01-15 修复只读执行flush操作后导致主备不一致,复制中断的问题。 修复REPAIR,OPTIMIZE等语句导致备机复制线程卡住问题。 2018-11-15 内核版本升级到5.7.23。 GTID开启时支持事务中创建和删除临时表。 支持表级别MTS并行回放。 2018-07-15 内核版本升级到5.7.22。 支持线程池。详见连接线程池。 支持CTS语法:支持create table xx select语法。 算子下推:聚合算子下推到存储引擎层,提升count(),sum()执行速度。 KILL空闲事务:通过设置超时时间,自动KILL长时间空闲事务。详见主动终止空闲事务。 用户线程内存使用信息、CPU时间使用信息,用户通过show full processlist进行查询。
  • RDS for MySQL 8.0 表1 云数据库 RDS for MySQL 8.0版本说明 日期 特性描述 2024-05-23 内核版本升级到8.0.32。 新特性及性能优化 MySQL 8.0的动态权限功能允许SUPER用户向其他用户动态授予高级管理权限,例如SESSION_VARIABLES_ADMIN和SYSTEM_VARIABLES_ADMIN等。此版本支持通过内核能力禁用用户为自身赋予可能导致实例异常的危险权限。 对表进行加减列时,默认算法支持由INSTANT更改为INPLACE或COPY算法。 修复问题 具体修改点同社区版一致,详见社区8.0.32版本发布说明。 说明: 8.0.32版本由于社区引入Instant col特性导致在一些场景下存在性能劣化,详见社区bug111538。 2023-12-01 8.0.28版本更新以下内容: 新特性及性能优化 SQL限流功能变化:所有账户当前都会被限流(之前的行为:对root不限流);如需设定不限流的账户请联系客服。 新增information_schema.rds_sql_filter_info,可以查看SQL限流功能的当前并发数和历史拦截数。 修复问题 修复了社区审计日志插件不记录prepare协议语句的问题。 2023-09-01 内核版本升级到8.0.28。 新特性及性能优化 优化了SQL限流功能。 优化了大文件异步Purge的性能。 修复问题 引入社区更高版本bugfix。 修复了社区并行DDL导致的数据不一致问题。 修复了社区审计日志内存泄漏、线程挂住的问题。 2023-03-15 8.0.25版本更新以下内容: 新特性及性能优化 优化了超大SQL审计日志的打印。 强化了内核日志打印的安全性。 修复问题 修复并发实例DDL和DML操作可能导致异常重启问题。用户不再有权限赋予connection_admin权限。 2022-09-09 8.0.25版本更新以下内容: 新特性及性能优化 KILL会话支持per thread连接方式。 Performance Schema使用增加内存限制。 优化特定场景下全量SQL的性能。 优化特定场景下internal_tmp_mem_storage_engine为memory引擎的性能问题。 升级编译器到GCC 10.3。 修复问题 修复临时文件写入可能报错的问题。 修复CTE查询返回结果不符合预期的问题。 安全加固 解决安全漏洞:CVE-2021-2417、CVE-2021-2339、CVE-2021-2425、CVE-2021-2426、CVE-2021-2427、CVE-2021-2424、CVE-2021-2383、CVE-2021-2384、CVE-2021-2410。 2022-06-01 新特性及性能优化 内核版本升级到8.0.25。 支持SQL限流。 升级编译器到GCC 9.3。 修复问题 修复单个超大Binlog可能导致的复制中断问题。 修复社区innodb_row_lock_current_waits统计不准确的问题。 修复使用blob字段可能导致的异常重启问题。 安全加固 解决安全漏洞:CVE-2021-2307、CVE-2021-2180、CVE-2021-2194。 2021-08-07 新特性及性能优化 线程池静态连接,提高性能。 开启PGO(Profile-Guided Optimization)编译优化。 优化MySQL HASH算法。 支持数据库添加备注功能。 系统库防止被DDL修改。 添加参数innodb_total_tablespaces用于统计innodb表空间数量。 在i_s中提供innodb锁视图。 升级openssl,jemalloc,curl开源组件。 修复问题 修复XA事务在binlog rotate后可能异常重启的问题。 修复全量SQL未记录预编译SQL操作类型的问题。 修复flush privieges操作的executed time统计错误的问题。 修复审计日志错误写入其他文件的问题。 2021-04-13 修复XA事务在数据库异常重启后可能发生丢失的问题。 优化自适应HASH分割算法。 内核版本升级到8.0.21。 安全加固 解决安全漏洞:CVE-2020-14697、CVE-2020-14680、CVE-2020-14678、CVE-2020-14663、CVE-2021-2020、CVE-2020-14619、CVE-2020-14591、CVE-2020-14576、CVE-2020-14539。 2021-01-26 SQL限流特性性能优化。 全量SQL采集性能优化。 2020-12-31 性能优化 升级编译器到GCC 9。 2020-12-01 性能优化 优化慢日志额外信息的采集效率。 修复以下问题 修复XA事务回滚可能会导致备机复制中断问题。 2020-11-06 修复问题 修复微秒计时器中gettimeofday多线程导致计时错误问题。 2020-09-21 支持在错误日志中记录详细的连接断开信息。 支持index hint功能。 2020-08-03 显示大事务执行时间和等待时间。 为管理用户使用独立的连接控制。 支持SQL限流,业务高峰期可以限制特定SQL的执行频率。 优化内核性能。 2020-06-19 内核版本升级到8.0.20。 优化内核性能。 2020-02-15 RDS for MySQL 8.0版本正式商用。 ARM内核版本上线,该内核基于华为云鲲鹏服务器。 2019-12-15 内核版本升级到8.0.17。 并行创建索引:并行创建索引速度最快提升2.5倍。 2019-10-15 修复“SQL_MODE”为“PAD_CHAR_TO_FULL_LENGTH”时的主备复制异常问题。 2019-09-15 支持线程池。详见连接线程池。 升级Openssl版本至1.1.1a。 支持CTS语法:支持create table xx select语法。 用户线程内存使用信息、CPU时间使用信息,您可以通过show full processlist进行查询。
  • 安装补丁的影响 MRS 3.1.0版本的补丁安装/卸载过程中会自动重启OMS,安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能,请选择适当的时间进行补丁安装。 MRS 3.1.0版本的补丁安装完成后,如需对接CES,请联系运维处理。 MRS 3.1.0版本打了补丁后,重新下载安装的客户端也需要执行客户端升级步骤。 MRS 3.1.0.8以及之后的补丁Spark新增特性Parquet/Orc分区表场景下,执行insert相关命令时,提供一个可选配置spark.sql.hive.convertInsertingPartitionedTable,控制Spark DataSource/Hive逻辑,默认值为false即使用Hive逻辑。如需使用Spark DataSource逻辑,将此配置改为true。 慢盘隔离特性约束: 隔离慢盘之前无法判断集群节点是否存在客户私有化数据,因此不要在节点数据盘存放个人私有化数据,避免慢盘隔离时对业务造成影响; 自动触发慢盘隔离动作后,对于原来写两副本数据存在单副本运行的场景,存在一定风险,请知;同时华为侧运维人员会尽快对慢盘进行替换; 慢盘自动隔离能力支持单节点同时出现多个慢盘【默认配置为4】时自动隔离节点,此时该节点会变成隔离状态,客户无需特殊操作,MRS运维相关人员会及时介入处理并恢复。
  • MRS 3.1.0.0.2补丁基本信息 表10 补丁基本信息 补丁号 MRS 3.1.0.0.2 发布时间 2023-04-10 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址请参考补丁下载地址。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 MRS Manager 支持Manager运维通道 支持Knox连接数告警 支持补丁xml配置文件合并 支持MRS管理面的作业返回日志路径 支持对慢盘自动隔离能力 大数据组件 支持ClickHouse滚动重启设置超时时间,并在重启失败时主动退出运维模式 支持ClickHouse屏蔽连接异常断开场景下,打印带堆栈exception Error日志 增加ClickHouse磁盘检查开关 支持HDFS单副本检测能力 解决的问题 MRS 3.1.0.0.2 修复问题列表: MRS Manager 解决安装用户名支持带“.”补丁后,出现创建异常用户的问题 解决executor每两小时有一批launcher-job任务提交失败问题 解决扩容的节点ssh key不清理问题 大数据组件 解决Hive表存在多个TIMESTAP字段,在插入时存在某个字段不是时间格式会导致原来能够是时间格式的数据显示错位问题 解决Hive表int列分区,值为01场景,无法删除分区问题 解决FlinkServer页面单击任务详情,业务不能正常跳转问题 解决StreamingFlinkSink写OBS从checkpoint恢复会抛异常导致作业失败 解决FlinkServer页面上传jar包,大小限制为10MB问题,调整到200MB 解决ClickHouse修改密码后监控数据不显示问题 解决ClickHouse支持MySQL引擎表无法连接MySQL时进程启动问题 解决ClickHouse crash问题 解决ClickHouse冷热分离,dettach/attach一个副本的数据,另一个副本会从attach节点copy数据,导致当前节点的数据存在OBS,而副本节点的数据存在本地的问题 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.2补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.0.0.1补丁基本信息 表11 补丁基本信息 补丁号 MRS 3.1.0.0.1 发布时间 2023-02-02 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址请参考补丁下载地址。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 MRS Manager 优化磁盘不可写故障告警上报逻辑 租户面支持直接对接CES 大数据组件 ClickHouse提高轻量级突变的优先级 ClickHouse允许空HTTP标头 优化ClickHouse客户端命令 ClickHouse SummingMergeTree引擎支持简单聚合函数数据类型 ClickHouse支持用户名密码同步到metrika.xml中每个replica配置中 ClickHouse开放users.xml自定义配置到页面 支持修改Ranger Usersync对接的外部用户的相关配置项 MapReduce开放Task重试节点黑名单配置阈值,默认值修改为34保证单节点故障作业重试可靠性 Yarn适配小规模集群下AM黑名单失效导致作业重试失败,默认值修改为0.34保证单节点故障作业重试可靠性 Yarn实现Container在磁盘级别的可靠性 hue界面使用hivesql特性 解决的问题 MRS 3.1.0.0.1 修复问题列表: MRS Manager 解决由于某个节点nodeagent故障导致偶现缩容失败问题 解决主master节点主网卡down30分钟,集群未发生主备倒换,集群状态异常问题 解决磁盘不可读磁盘故障告警无法上报问题 解决主节点正常备份,备节点master2备份文件不老化问题 大数据组件 解决Hive不兼容开源Sqoop 1.4.7问题 解决Hive beeline -p输入密码无效问题 解决[HiveSQL] Support manual skipping partial aggregate问题 解决Hive并发插入不同分区,存在分区数据丢失问题 解决Hive in语句被转换为or语句,造成性能损耗问题 解决Hive会话心跳检测判断问题 解决Hive高并发场景下会话积累问题 解决oozie运行workeflow报错问题 解决flink通过jdbc连接到clickhouse的9000端口超时问题 解决ClickHouse读取分布式表超时,没反应;数据迁移任务超时卡住,迁移失败;远程查询超时卡住问题 解决使用clickhouse benchmark 命令连接lb执行查询,并发数超过1个时,偶现coredump问题 解决ClickHouse HTTP请求为HTTP_BAD_REQUEST时出现crash问题 解决ClickHouse HTTP块大小限制问题 解决ClickHouse普通模式集群用户名密码修改、数据迁移问题 解决ClickHouse安全集群场景下滚动重启失败问题 解决ClickHouse扩容后manager上原有的用户和角色未同步至新节点的问题 解决ClickHouse 普通集群执行remote语句失败问题 解决ClickHouse实例扩容后,扩容节点分布式表的本地表未创建成功问题 解决ClickHouse修复偶现的证书同步失败导致组件启动失败问题 解决ClickHouse toWeek函数单调性问题 解决ClickHouse WITH FILL 和WITH TOTALS 计算问题 解决ClickHouse 表列名数字开头时,表join查询时无法成功的问题 解决ClickHouse replaceRegexpAll的问题 解决安全集群clickhouse二进制的LD_LIBRARY_PATH环境变量偶现失效问题 解决在节点上看不到kudu的pid信息问题 解决开启cas认证后,kudu服务不可用问题 解决Kudu健康检查无法检测到故障问题 解决impala manager页面上的配置未生效问题 解决集群扩容task节点,managr中的主机列表中的host无impala实例信息问题 解决HUE页面无法访问问题 解决hue导出excel导致临时目录残留文件问题 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.1补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • 补丁下载地址 华北-北京一:https://mrs-container1-patch-cn-north-1.obs.cn-north-1.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华北-北京二:https://mrs-container1-patch-cn-north-2.obs.cn-north-2.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华北-北京四:https://mrs-container1-patch-cn-north-4.obs.cn-north-4.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华东-上海一:https://mrs-container1-patch-cn-east-3.obs.cn-east-3.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华东-上海二:https://mrs-container1-patch-cn-east-2.obs.cn-east-2.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华南-广州:https://mrs-container1-patch-cn-south-1.obs.cn-south-1.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华北-乌兰察布一:https://mrs-container1-patch-cn-north-9.obs.cn-north-9.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华北-北京一:https://mrs-container1-patch-cn-north-1.obs.cn-north-1.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华北-北京二:https://mrs-container1-patch-cn-north-2.obs.cn-north-2.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华北-北京四:https://mrs-container1-patch-cn-north-4.obs.cn-north-4.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华东-上海一:https://mrs-container1-patch-cn-east-3.obs.cn-east-3.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华东-上海二:https://mrs-container1-patch-cn-east-2.obs.cn-east-2.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华南-广州:https://mrs-container1-patch-cn-south-1.obs.cn-south-1.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华北-乌兰察布一:https://mrs-container1-patch-cn-north-9.obs.cn-north-9.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz
  • 安装完成后必须的手动操作 支持HDFS单副本检测能力 MRS 3.1.0.0.2补丁以及之后的补丁中,会增加HDFS单副本检测和告警能力,新增是否允许写入单副本数据配置项dfs.single.replication.enable,对于新建集群该值配置为false,因为HDFS单副本并不属于MRS服务SLA保障范围; 但是对于存量集群,为了考虑兼容性,补丁安装完成后dfs.single.replication.enable配置项值为true,保证客户业务不受影响,建议补丁完成后对于没有单副本诉求时手动修改为false后滚动重启HDFS服务,保证HDFS数据的高可靠; 对于确定存在单副本诉求的文件也可通过dfs.single.replication.exclude.pattern配置项设置单副本的数据文件和目录。 MRS 3.1.0.0.1版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上同步集群配置,重启ClickHouse、Flink、Hadoop、HDFS、Hue、Kudu、meta、Presto、Spark2x、Yarn、DBService、Flume、HBase、Hive、Impala、MapReduce、Oozie、Ranger和Sqoop服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。 MRS 3.1.0.0.8版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启ClickHouse、Flink、Hadoop、HDFS、Hue、Kafka、MapReduce、Oozie、Ranger、Sqoop、Yarn、DBService、Flume、HBase、Hive、Impala、Kudu、meta、Presto、Spark2x、Tez和ZooKeeper服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。 重启组件的范围,是以补丁依次升级给定的范围,即如果是从MRS 3.1.0.0.7打补丁升级到MRS 3.1.0.0.8,需要重启MRS 3.1.0.0.8补丁的组件;如果是跨版本升级的,则需要重启的组件范围是各补丁的合集。 MRS 3.1.0.0.9版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启Hadoop、HDFS、MapReduce、Yarn和Hive服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。 MRS 3.1.0.0.10版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HDFS、MapReduce、Yarn和Spark2x服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。 MRS 3.1.0.0.11版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HDFS、MapReduce、Yarn、Spark2x、Hive、ClickHouse和Hue服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。 MRS 3.1.0.0.12版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HBase和ClickHouse服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。 MRS 3.1.0.0.13版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HDFS、MapReduce、Yarn、Impala、Kudu、Spark和Hive服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。 MRS 3.1.0版本如果安装了Spark服务,需要在补丁安装完成后在主oms节点执行HDFS上zip包的升级操作: 使用root用户,登录集群主节点,执行如下命令: su - omm cd /opt/Bigdata/patches/{MRS补丁版本号}/client/ 所有涉及{MRS补丁版本号}目录名称的操作,均以实际安装的补丁号为准。 例如:cd /opt/Bigdata/patches/MRS_3.1.0.0.1/client/ source /opt/Bigdata/client/bigdata_env 安全集群需要认证对HDFS有权限的用户,普通集群无需执行: kinit {用户} 执行升级hdfs上的包: sh update_hdfs_file.sh (可选)回退(卸载完补丁后执行): sh rollback_hdfs_file.sh 升级/回退完成后需要在FusionInsight Manager Web界面上重启Spark的JDBCServer2x实例。 如果有使用人为安装的客户端(集群内、外新下载客户端),需要执行客户端升级或者回退的操作: 登录集群主节点: cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下: scp patch.tar.gz {客户端机器IP}:/opt/ 如:scp patch.tar.gz 127.0.0.1:/opt/ 登录客户端所在节点。 执行命令创建补丁目录并解压补丁包: mkdir /opt/{MRS补丁版本号} tar -zxf /opt/patch.tar.gz -C /opt/{MRS补丁版本号} 补丁升级/回退。 执行客户端补丁升级: 登录客户端所在节点 cd /opt/{MRS补丁版本号}/client sh upgrade_client.sh upgrade {客户端安装目录} 如:sh upgrade_client.sh upgrade /opt/client/ 执行客户端补丁回滚(卸载完补丁后执行): 登录客户端所在节点 cd /opt/{MRS补丁版本号}/client sh upgrade_client.sh rollback {客户端安装目录} 如:sh upgrade_client.sh rollback /opt/client/
  • MRS 3.1.0.0.6补丁基本信息 表8 补丁基本信息 补丁号 MRS 3.1.0.0.6 发布时间 2023-06-15 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址:补丁下载地址。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 MRS Manager 支持对慢盘自动隔离能力 说明: 如果需要打开慢盘隔离特性,在安装此补丁前,需要先安装支持慢盘隔离特性的定制补丁MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz,补丁下载地址: https://mrs-container1-patch-cn-north-1.obs.cn-north-1.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 优化HDFS慢盘隔离动作,从reconfig改成重启DataNode。 解决的问题 安装MRS 3.1.0.0.6补丁后,慢盘恢复后yarn没有将隔离磁盘从黑名单剔除,导致后续任务提交不到新磁盘上。 当慢盘隔离失败后,恢复故障后,手动下发隔离,此时告警恢复,组件状态为已隔离,上报恢复事件,实际上组件未恢复。 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.6补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.0.0.7补丁基本信息 表7 补丁基本信息 补丁号 MRS 3.1.0.0.7 发布时间 2023-07-03 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址:补丁下载地址。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 MRS Manager 优化对慢盘自动隔离能力 说明: 如果需要打开慢盘隔离特性,在安装此补丁前,需要先安装支持慢盘隔离特性的定制补丁MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz,补丁下载地址: https://mrs-container1-patch-cn-north-1.obs.cn-north-1.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 解决的问题 Spark黑名单增强和DiskBlockManager恢复机制优化 Spark支持删除分区 Spark视图权限优化 HBase慢盘隔离能力优化 解决HMaster用于处理RegionServer上报region状态请求的handler不够,导致region状态上报失败,出现RIT问题 解决HM异常主备倒换后由于大量regionServer的region上线请求导致HMaster full gc问题 解决磁盘热换盘过程中,spark-streaming读kafka写hbase任务失败问题 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.7补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.0.0.5补丁基本信息 表9 补丁基本信息 补丁号 MRS 3.1.0.0.5 发布时间 2023-04-30 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址请参考补丁下载地址。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 MRS Manager 支持对慢盘自动隔离能力 说明: 如果需要打开慢盘隔离特性,在安装此补丁前,需要先安装支持慢盘隔离特性的定制补丁MRS_315_Patch_Diskmgt_v2.1_20230502.tar.gz,补丁下载地址请参考补丁下载地址。 MRS支持作业返回日志路径 MRS作业查询接口,支持返回多个application_id 大数据组件 支持HDFS单副本检测能力 解决的问题 MRS 3.1.0.0.5 修复问题列表: MRS Manager 解决当故障实例所在的节点数大于等于要缩容节点数时,缩容失败问题 解决当所有task节点都异常时,缩容失败问题 解决executor执行查询大数据量的hive表作业时,hivesql作业状态刷新与yarn作业执行结果不一致问题 大数据组件 解决ClickHouse执行的SQL中包含groupBitmap语句,内存持续上升,超过clickhouse配置参数限制的内存值的问题 安装完成后必须的手动操作 1.同步集群配置 2.重启 补丁兼容关系 MRS 3.1.0.0.5补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.0.0.9补丁基本信息 表5 补丁基本信息 补丁号 MRS 3.1.0.0.9 发布时间 2023-08-22 补丁约束 如果集群有安装Kudu组件,不能打此补丁; 如果之前集群打过MRS_3.1.0_HBase_patch_20220929.tar.gz 、MRS_3.1.0_OBSA_Patch_20230428.tar.gz或者MRS_3.1.0_HBase-qingting_20220424.tar.gz紧急补丁,不能打此补丁。 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址:补丁下载地址。 安装MRS 3.1.0.0.9补丁前,需要先安装MRS 3.1.0.0.8补丁,以支持root权限的补丁能力。 安装MRS 3.1.0.0.9补丁前,如果之前有装过MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz补丁,需要先卸载该补丁,卸载完之后请等待10分钟再执行MRS 3.1.0.0.9补丁的安装操作。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 新特性和优化: 支持对慢盘节点的自动隔离能力 支持D系列磁盘热插拔2.1版本能力 解决的问题 解决的问题 Hive: 解决Hive存算分离时,委托与aksk混用连接MetaStore出现aksk信息异常,导致403的问题 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.9补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.0.0.8补丁基本信息 表6 补丁基本信息 补丁号 MRS 3.1.0.0.8 发布时间 2023-08-08 补丁约束 如果集群有安装Kudu组件,不能打此补丁; 如果之前集群打过MRS_3.1.0_HBase_patch_20220929.tar.gz 、MRS_3.1.0_OBSA_Patch_20230428.tar.gz或者MRS_3.1.0_HBase-qingting_20220424.tar.gz紧急补丁,不能打此补丁。 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址:补丁下载地址。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 新特性和优化 支持运维巡检特性 解决的问题 解决的问题 Manager: 解决扩缩容过程中会更新部分实例的log4j.properties文件,每次更新都会导致对应实例进程中出现新的线程,造成线程泄漏问题 解决作业管理提交Spark作业写obs时偶现403问题 解决作业管理提交Spark访问HBase作业失败问题 解决作业管理提交作业后,HDFS上mrs/mrsjob/目录下存在大量application子目录未清理的问题 解决升级log4j后,作业管理提交Hive作业异常,jar包冲突的问题 解决审计日志不老化导致磁盘满的问题 解决主机/服务/实例增删等操作更新集群拓扑时,全表查询TBL_HISTORY_TOPOLOGY导致controller触发OOM的问题 解决屏蔽元数据未配置周期备份到第三方服务器的任务告警不生效的问题 解决开启日志收集,导致tmp目录磁盘空间占满的问题 解决取消隔离后Kafka存储路径配置改变的问题 解决弹性伸缩过程中出现Metaspace内存不足触发agent重启的问题 解决扩缩容时NodeManager退服/入服后修改资源池配置,会导致excludeHosts下发参数错误的问题 解决master节点keystore.xml文件内容丢失导致DBService实例异常问题 解决作业管理提交作业后/mrs/sql-result/spark-script/目录未做清理的问题 Flink 解决使用FlinkServer提交作业时,显示提交失败,但是Yarn上作业是RUNNING的问题 解决FlinkServer使用println打印日志将磁盘打满导致Yarn不可用的问题 解决Flink客户端ssl证书过期导致Flink任务提交失败问题 解决Flink写Hbase,获取的Hbase Connect7天超期,报Token has expired问题 解决Flink不支持对taskmanager.out文件进行log4j管控的问题 解决Flink[FLINK-20547]由于网络堆栈中的异常,批处理作业失败问题 HDFS 解决频繁修改namenode的log4j文件导致NameNode进程出现线程泄漏问题 解决HDFS的TimeLineServer相关HDFS目录爆满,无清理机制问题 将HDFS允许写单副本告警级别修改为重要告警 Hive 解决Hive的MetaSpace内存泄漏问题 解决Hive[HIVE-19994]drop表的时候会报错的问题 解决Hive对接atlas加载posthook内存泄漏问题 解决Hive[HIVE-24936] MR合并不兼容ORC文件导致数据丢失问题 Hive集成DataAtrs元数据同步插件包 解决Hive客户端连接HiveServer时建立session获取token时并发锁导致连接排队慢的问题 解决Hive任务持有metastore连接获但执行select NOTIFCATION_SEQUENCE for update时阻塞变慢,连接释放慢问题 解决Flink连接Hive的metastore的黑名单机制存在缺陷的问题 解决重启ZooKeeper或ive服务的ZooKeeper连接异常时,连接HiveServer正常但执行sql异常的问题 解决[HIVE-24501]lastaccesstime配置参数,导致hive无法插入数据的问题 解决Hive健康检查在OBS限流时会重启HiveServer的问题 解决Hive使用tez引擎进行select操作(包含union all)数据正常,外面套一个insert后导致数据丢失问题 Hudi 解决Hudi对接Hive会造成/tmp目录下的临时文件残留的问题 Hue 解决Hue在查询返回数据量大的情况下会导致HUE页面卡死不可用的问题 解决Hue单击“文档”报错maximum recursion depth exceeded while calling a Python object的问题 解决Hue修改CHERRYPY_SERVER_THREADS配置不生效问题 解决Hue中导入json文件,目录名为空时,会导致文件加载不出来的问题 解决Hue连续导入两次json文档后一直提示加载中的问题 Impala 解决Impala中catalog日志配置的max_log_size单位不正确的问题 Kafka 解决Kafka组件监控的指标显示不全,监控的指标值单位不合适的问题 解决Kafka在使用kafka.security.auth.SimpleAclAuthorizer时,使用21005端口读写数据性能下降的问题 修改Kafka存在单副本告警的告警级别为重要 Kerberos 解决Kerberos服务安全检查脚本check-krb-availability.sh偶现认证用户krb_test_user失败的问题 HBase 解决HBase[HBASE-26273][HBASE-26274]性能问题 解决HBase组件WAL文件不回滚的问题 解决HBase的HMaster用于处理RegionServer上报region状态请求的handler不够,导致region状态上报失败,出现RIT的问题 解决HBase构造HMaster异常主备倒换后由于大量regionServer的region上线请求导致HMaster full gc的问题 ClickHouse 解决ClickHouse balancer实例error日志不回滚问题 解决ClickHouse节点上的副本同步及part合并因后台处理线程被占满且长时间未释放(TTL触发的merge占用内存超过最大内存导致合并失败),导致该两个节点与副本节点的数据落后其副本节点的问题 解决ClickHouse实例crash问题,将boost更新到1.78版本 解决ClickHouse修改clickhouse密码后监控丢失问题 解决ClickHouse配置冷热分离后,对于已经存在OBS的数据,dettach/attach一个副本的数据,另一个副本会从attach节点copy数据,导致当前节点的数据存在OBS,而副本节点的数据存在本地的问题 解决ClickHouse中async_socket_for_remote/use_hedged_requests设置参数存在的问题 解决ClickHouse使用 OFFSET 的查询可能出现的管道卡住的问题 解决ClickHouse对于日期/时间类型,强制WITH FILL 类型与ORDER BY列类型相等的问题 解决ClickHouse连接失败,clickhouse-benchmark挂起的问题 解决ClickHouse从配置中删除副本时,分布式异步插入中可能发生崩溃的问题 解决ClickHouse对冲连接上的客户端崩溃的问题 在TemporaryFileStream中完成CompressedWriteBuffer 解决ClickHouse修改没有类型的列时发生的错误问题 解决ClickHouse具有Nullable类型的类型化dictGet 解决ClickHouse使用Decimal参数修复avgWeighted中除以零的问题 解决ClickHouse列索引越界,避免列索引为空的问题 解决ClickHouse任何模型的分组依据的低基数问题 解决ClickHouse将 join_algorithm设置为“auto”并且使用字典执行Join时发生的崩溃问题 解决ClickHouse OOM异常情况下zk请求可能挂起的问题 解决ClickHouse grpc端口冲突时崩溃的问题 解决ClickHouse将错误的聚合状态传递给groupBitmap*时发生崩溃问题 解决ClickHouse在ZooKeeper客户端中的中止问题 解决ClickHouse在Kafka处理某些格式的NULL消息期间避免nullptr取消引用的问题 解决ClickHouse tuple()导致样本崩溃的问题 解决ClickHouse令牌提取器中的缓冲区溢出的问题 解决ClickHouse与ZooKeeper的连接超时hang住问题 解决ClickHouse与Zookeeper服务连接断开,导致认证超时问题 解决ClickHouse滚动升级过程中,连接ZooKeeper失败,导致clickhouse写入失败 业务中断的问题 解决ClickHouse配置ROW POLICY后,使用select语句查询数据发生crash的问题 ClickHouse支持postgres连接池 解决ClickHouse重命名列/删除列的DDL操作,客户端会卡死问题 解决ClickHouse异常场景下,手动执行数据均衡脚本执行失败问题 解决ClickHouse在冷热分离集群中,对表执行修改LLT操作失败问题 解决ClickHouse内存持续增长,3天左右内存会耗尽触发Memory Limit错误的问题 解决ClickHouse在manager上建立角色然后绑定用户,授权角色具有某个表读写权限后,实际上无法对此表进行读写操作,报错无权限的问题 优化ClickHouse与ZooKeeper连接异常时ZooKeeper客户端未能及时关闭并重连问题 优化ClickHouse BackgroundJobsExecutor逻辑 Yarn: 解决大量NodeManager下电后,Yarn任务大量pending的问题 解决HiveSQL任务长时间卡主在Yarn上面无法往下运行的问题 Spark: 解决SparkJDBCServer在OOM后不退出,导致后续任务提交失败问题 解决Spark Streaming作业长时运行后出现shuffle找不到报错问题 解决SparkJDBCServer在Yarn资源不足时会耗尽工作线程的问题 解决Spark使用Spark-sql执行select ${aaa} as aaa命令报错问题 解决Spark读取Hive表入dws时报dws表没有update权限问题 解决Spark使用spark-sql使用jar包放于OBS的UDF失败问题 Ranger: 解决Rangeradmin日志目录下access_log日志不清理的问题 解决Ranger日志归档文件没有压缩,没有清理,导致严重告警,磁盘容量不足的问题 解决非Kerberos集群Hive对接Ldap后,Ranger开源界面无法联想Hive表的问题 Presto: 解决Presto中EventListener类加载器无法加载plugin类的问题 Oozie: 解决Oozie历史job不清理的问题 解决提交SSH类型的Oozie作业依赖的文件在tmp目录下,系统会定期删除,删除后报错的问题 OBS-Provider: 解决获取ECS临时ak/sk失败的问题 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.8补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.0.0.10补丁基本信息 表4 补丁基本信息 补丁号 MRS 3.1.0.0.10 发布时间 2023-10-12 补丁约束 如果集群有安装Kudu组件,不能打此补丁; 如果之前集群打过MRS_3.1.0_HBase_patch_20220929.tar.gz 、MRS_3.1.0_OBSA_Patch_20230428.tar.gz或者MRS_3.1.0_HBase-qingting_20220424.tar.gz紧急补丁,不能打此补丁。 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址:补丁下载地址。 安装MRS 3.1.0.0.10补丁前,需要先安装MRS 3.1.0.0.8补丁,以支持root权限的补丁能力。 安装MRS 3.1.0.0.10补丁前,如果之前有装过MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz补丁,需要先卸载该补丁,卸载完之后请等待10分钟再执行MRS 3.1.0.0.10补丁的安装操作。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 新特性和优化: D系列本地盘单盘故障爆炸半径扩大问题 慢盘/卡IO检测算法优化 MRS支持设备分区丢失告警自动清除能力 解决的问题 解决的问题 Yarn: 解决Yarn资源池可用资源指标异常,导致弹性伸缩触发异常; 解决NM节点磁盘打满故障,导致资源池成员迁移到默认资源池; HBase: 解决HMaster堆内存使用监控数据上报到CES 超过100%问题; Ranger: 解决只给视图权限不给表的权限时,sparksql无法查询视图的问题; 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.10补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.0.0.11补丁基本信息 表3 补丁基本信息 补丁号 MRS 3.1.0.0.11 发布时间 2023-11-30 补丁约束 如果集群有安装Kudu组件,不能打此补丁; 如果之前集群打过MRS_3.1.0_HBase_patch_20220929.tar.gz 、MRS_3.1.0_OBSA_Patch_20230428.tar.gz或者MRS_3.1.0_HBase-qingting_20220424.tar.gz紧急补丁,不能打此补丁。 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址:补丁下载地址。 安装MRS 3.1.0.0.11补丁前,需要先安装MRS 3.1.0.0.8补丁,以支持root权限的补丁能力。 安装MRS 3.1.0.0.11补丁前,如果之前有装过MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz补丁,需要先卸载该补丁,卸载完之后请等待10分钟再执行MRS 3.1.0.0.11补丁的安装操作。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 新特性和优化: 支持磁盘分区扩容 弹性扩缩容过程中的异常告警优化 支持更换i/ir系列磁盘后,自动挂载磁盘 解决的问题 解决的问题 Manager 解决主机监控数据缺失问题; 解决主oms的gaussdb进程占用内存较大的问题; 解决pms心跳检查客户端无法将localhost地址映射成ipv6地址问题; 解决指定时间段内主机资源概况,监控数据为空,查看失败的问题; 解决Zookeeper服务活动链接数监控显示异常问题; 解决主机资源概况查看趋势异常报错的问题; 解决磁盘监控指标计算不正确的问题; 解决Yarn监控中资源使用(按租户)监控当数据达到7位数时页面显示错误的问题; Clickhouse 解决用户授权后长时间不生效的问题; 解决集群内置租户密码修改后被锁的问题; 解决对角色赋权新的权限之后,用户的权限概率性无效的问题; Hive 解决使用unionall存算分离场景导致数据丢失的问题; 解决UDF的Classloader危机是释放导致内存不足、进程被Kill的问题; 解决任务数据量在一定条件下报错Capacity must be power of 2的问题; Spark 解决JobHistory偶现无法打开任务详情的问题; 解决JobHistory堆外内存占用高,导致节点内存不足的问题; HDFS 解决在webui上删除目录取消后再删除其他目录会连带把之前取消的目录删除的问题; Yarn 解决ResourceManager偶现空指针报错而重启的问题; Hue 解决查询Hive导出偶现报错的问题; 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.11补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.0.0.13补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.1.0.0.13 发布时间 2024-5-15 补丁约束 如果之前集群打过MRS_3.1.0_HBase_patch_20220929.tar.gz 、MRS_3.1.0_OBSA_Patch_20230428.tar.gz或者MRS_3.1.0_HBase-qingting_20220424.tar.gz紧急补丁,不能安装此补丁。 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址:补丁下载地址。 安装MRS 3.1.0.0.13补丁前,需要先安装MRS 3.1.0.0.8补丁,以支持root权限的补丁能力。 安装MRS 3.1.0.0.13补丁前,如果之前有装过MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz补丁,需要先卸载该补丁,卸载完之后请等待10分钟再执行MRS 3.1.0.0.12补丁的安装操作。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 新特性和优化: Impala默认参数优化、监控指标、告警增强 Impala data stream sender日志优化 支持Impala亚健康检查,以及服务不可用告警优化 支持Kudu tablet数量监控和告警特性 解决的问题 解决的问题: Impala 解决[IMPALA-6671]问题 解决[IMPALA-8737]问题 解决[IMPALA-11296]问题 解决[IMPALA-12267]问题 解决[IMPALA-5476]问题 解决[IMPALA-9907]问题 解决[IMPALA-9787]问题 解决[IMPALA-9707]问题 解决[IMPALA-9725]问题 解决[IMPALA-7833]问题 解决[IMPALA-11182]问题 解决[IMPALA-5256]问题 解决[IMPALA-11557]问题 解决修改mt_dop时引起的runtime filter竞争带来的性能损耗问题 解决多次并发访问Impala UI,出现impalad实例重启问题 解决配置元数据自动刷新后,hive添加一个已存在的分区,导致impala catalog无法自动同步hive的元数据的问题 解决Impala webui页面不能正常显示DAG图的问题 解决Manger界面日志收集无法收集Impala运行日志的问题 解决Impala webui下发的配置包含中文时,导致ldap认证失败的问题 Kudu 解决Kudu Tserver一直重启,导致日志数量大量积累的问题 解决Kudu监控指标数据过大的问题 Spark 解决Spark JDBCServer在session关闭超时的时候会出现session一直存在的问题 解决连接Spark JDBCServer任务失败的问题 解决JDBC插入时多文件下的性能问题 Hadoop 解决Superior调度器分配资源到用户时有可能会卡住的问题 解决ResourceManager偶现空指针报错而重启的问题 Hive 解决Hive使用udf时内存泄漏的问题 解决int列分区,值为01场景,无法删除分区的问题 解决Hive使用beeline连接出现卡住无法连接 解决Hive监控数据不显示的问题 解决avro格式表查询timestamp字段数据差8小时的问题 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.13补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.0.0.12补丁基本信息 表2 补丁基本信息 补丁号 MRS 3.1.0.0.12 发布时间 2024-4-30 补丁约束 如果集群有安装Kudu组件,不能安装此补丁。 如果之前集群打过MRS_3.1.0_HBase_patch_20220929.tar.gz 、MRS_3.1.0_OBSA_Patch_20230428.tar.gz或者MRS_3.1.0_HBase-qingting_20220424.tar.gz紧急补丁,不能安装此补丁。 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址:补丁下载地址。 安装MRS 3.1.0.0.12补丁前,需要先安装MRS 3.1.0.0.8补丁,以支持root权限的补丁能力。 安装MRS 3.1.0.0.12补丁前,如果之前有装过MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz补丁,需要先卸载该补丁,卸载完之后请等待10分钟再执行MRS 3.1.0.0.12补丁的安装操作。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 新特性和优化: ClickHouse新增活跃part数告警 解决的问题 解决的问题: HBase 解决HBase[HBASE-26680]问题 解决HBase[HBASE-26552]问题 解决HBase[HBASE-24984]问题 解决HBase[HBASE-25984]问题 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.12补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • 保留SMS迁移任务 如果需要在主机工作流迁移完成后保留SMS迁移任务,需要手动在“迁移任务清理”步骤前添加一个卡点步骤,如图5所示。添加卡点步骤的方法和注意事项请参见添加阶段/步骤。 图5 添加卡点步骤 当工作流执行到该卡点步骤时,不要进行手动确认操作,如图6所示。此时SMS控制台上的迁移任务不会被清理且状态为“已完成”,如图7所示。如果进行了手动确认,SMS控制台上的任务会被删除。 图6 卡点步骤 图7 迁移完成
  • 错误码描述和处理方法 错误码 描述 处理方法 SMS-Workflow.0101 配置参数 *** 为空 查看评估推荐的服务器参数(镜像,磁盘)是否有遗漏,或联系MgC 技术支持人员,查看工作流数据库参数***是否为空。 SMS-Workflow.0102 配置参数 *** 有特殊字符 请联系MgC 技术支持人员,查看工作流数据库参数***是否有特殊字符。 SMS-Workflow.0103 PowerShell 版本必须在4.0及以上。 请升级安装Edge主机上的PowerShell版本到4.0及以上,升级方法参见下载和安装对应操作系统的WMF 5.1包,然后重启主机。 SMS-Workflow.0201 源端Windows系统虚拟内存小于256MB 请在cmd命令行执行systeminfo查看可用虚拟内存,释放充足的内存后重试。 SMS-Workflow.0202 Linux源端环境检测失败,不满足迁移条件 请阅读错误原因提示,到SMS帮助中心查找对应错误码的解决方案或联系SMS的技术支持人员。 SMS-Workflow.0203 源端存在运行中的迁移程序 源端主机存在SMS进程,如果您需要重新迁移,请到源端主机停止迁移进程,Linux请到/rda/SMS-Agent目录运行shutdown.sh脚本,Windows请结束任务管理器中SMSAgentDeploy进程;然后到SMS控制台删除迁移任务,返回到工作流重试该步骤。 SMS-Workflow.0301 创建虚拟机失败 常见创建失败的原因包括账号资源配额不足、评估推荐的镜像或规格不满足创建条件等。请根据错误提示或ECS错误码排查报错原因。 SMS-Workflow.0302 目的端虚拟机状态异常 请检查绑定的目的端服务器状态是否异常,如锁定,冻结等。 SMS-Workflow.0303 目的端虚拟机没有磁盘 请检查目的端服务器是否已正确挂载磁盘。如未挂载,请先进行磁盘挂载操作,然后再重试该步骤。 SMS-Workflow.0304 目的端虚拟机没有系统盘 请检查目的端服务器是否缺少系统盘,并确保系统盘已正确挂载。如果系统盘未挂载,请先进行挂载操作,然后再重试该步骤。 SMS-Workflow.0305 获取目的端虚拟机ip失败 如果您选择的是公网迁移,请检查目的端服务器是否绑定弹性IP。如果未绑定,请先进行绑定操作,然后再重试该步骤。 SMS-Workflow.0306 目的端虚拟机磁盘数量和源端不匹配 目的端虚拟机磁盘数量比源端少, 请挂载和源端数量一致,大小匹配的磁盘后重试。 SMS-Workflow.0307 目的端虚拟机磁盘大小和源端不匹配 目的端虚拟机第x块磁盘(*GB)比源端(*GB)小。 请调整目的端磁盘大小后重试。 SMS-Workflow.0308 您的账号ECS配额不足,当前工作流所需新建的ECS配额为x,账号剩余配额为y。 请释放不需要的ECS配额或者提工单向ECS服务申请增加账号配额。 SMS-Workflow.0309 您的账号CPU配额不足,当前工作流所需新增的CPU配额为x,账号剩余配额为y。 请释放不需要的资源或者提工单向ECS服务申请增加账号配额。 SMS-Workflow.0310 您的账号内存配额不足,当前工作流所需新增的内存配额为x MB,账号剩余配额为y MB。 请释放不需要的资源或者提工单向ECS服务申请增加账号配额。 SMS-Workflow.0401 源端下载SMS-Agent安装包失败 请到SMS控制台,迁移Agent的下载安装界面 ,尝试下载迁移Agent,查看下载时候提示的报错信息。可能导致无法下载的原因一般有网络不通,下载指令异常等。 SMS-Workflow.0402 源端解压SMS-Agent安装包失败 一般是由于tar指令执行异常导致,请到源端/rda/目录下,尝试指令 tar -zxvf SMS-Agent.tar.gz 查看报错的具体情况。 SMS-Workflow.0403 Windows安装SMS-Agent失败 请到源端C:\SMS-Agent-Py2\目录下查看是否存在SMSAgentDeploy.exe可执行文件,如果没有请删除SMS-Agent-Py2文件夹,双击执行C盘目录下同名安装包。 SMS-Workflow.0404 源端SMS-Agent启动失败 请在源端主机查看日志,路径如下: Linux:/rda/SMS-Agent/agent/Logs Windows:C:\SMS-Agent-Py2\Logs 如果无法定位问题,请联系SMS oncall协助查看源端主机迁移日志。 SMS-Workflow.0405 cloud-region.json文件获取失败 请在源端主机查看日志,路径如下: Linux:/rda/SMS-Agent/agent/Logs Windows:C:\SMS-Agent-Py2\Logs 如果无法定位问题,请联系SMS oncall协助查看源端主机迁移日志。 SMS-Workflow.0501 SMS控制台查找不到迁移任务 请到SMS控制台,查看是否迁移任务已经被删除 SMS-Workflow.0502 源端服务器和SMS服务端断开连接 请到SMS控制台,查看是否迁移任务状态是否是断开连接。 Linux可以到源端机器/rda/SMS-Agent/,运行restart.sh重新启动Agent恢复连接,Windows则无法继续,需要重新迁移。 SMS-Workflow.0503 迁移任务失败,SMS.xxxx 请到SMS控制台查看报错信息和解决方案。 SMS-Workflow.0504 迁移任务被暂停或暂停中 请重试该步骤即可重新继续迁移。 SMS-Workflow.0505 获取迁移源端信息失败 请重试,如果依然无法解决问题,请联系技术支持人员或提交工单。 SMS-Workflow.0506 获取迁移任务信息失败 请重试,如果依然无法解决问题,请联系技术支持人员或提交工单。 SMS-Workflow.0507 迁移指令下发失败 请重试,如果依然无法解决问题,请联系技术支持人员或提交工单。 SMS-Workflow.0508 当前迁移任务为空 请重试,如果依然无法解决问题,请联系技术支持人员或提交工单。 SMS-Workflow.0510 查询迁移进度失败 查询迁移进度失败,请重试。 SMS-Workflow.0003 输入参数不是一个标准的json格式 请联系技术支持人员或提交工单,查看工作流该步骤输入参数是否为正确。 AZ-Workflow.0001 工作流步骤***不存在 请联系技术支持人员或提交工单。 AZ-Workflow.0002 工作流缺少参数*** 请联系技术支持人员或提交工单。 AZ-Workflow.0003 工作流参数***含有特殊字符 请联系技术支持人员或提交工单。 AZ-Workflow.0004 网络错误***, 请重试 请重试,如果依然无法解决问题,请联系技术支持人员或提交工单。 AZ-Workflow.0005 Region参数为空 请联系技术支持人员或提交工单。 AZ-Workflow.0006 迁移前校验失败 请联系技术支持人员或提交工单。 AZ-Workflow.0007 迁移过程发生未知错误 请联系技术支持人员或提交工单。 AZ-Workflow.0008 未知错误 请联系技术支持人员或提交工单。 AZ-Workflow.0009 清理资源失败 请前往CBR服务、IMS服务手动清理对应临时资源(以AZM_Create_Temp__xxx开头命令),然后重试迁移工作流任务。 AZ-Workflow.0010 请求***失败, 失败原因:***, 您可以再次尝试执行 请重试,如果依然无法解决问题,请联系技术支持人员或提交工单。 AZ-Workflow.0011 查询进度***执行失败,失败原因:*** 请联系技术支持人员或提交工单。 AZ-Workflow.0012 ***步骤不需要查询进度 请联系技术支持人员或提交工单。 AZ-Workflow.0101 源端主机***不存在 请检查Server id是否为源端id,同时检查源端主机是否存在。 AZ-Workflow.0102 源端服务器***当前状态不支持迁移 请检查源端主机状态是否正常,如果处于非正常状态,请联系ECS服务寻求帮助。 AZ-Workflow.0202 可用区***不存在 请删除迁移工作流并重新创建跨可用区迁移应用,选择正确的可用区。 AZ-Workflow.0201 可用区***不可用 请删除迁移工作流并重新创建跨可用区迁移应用,选择其他可用区。 AZ-Workflow.0301 租户配额不足 请提高该账号的资源配额,然后重试该任务。 AZ-Workflow.0302 服务器配额不足 请提高该账号的服务器配额,然后重试该任务。 AZ-Workflow.0303 CPU核数配额不足 请提高该账号的CPU核数配额,然后重试该任务。 AZ-Workflow.0304 内存配额不足 请提高该账号的内存配额,然后重试该任务。 AZ-Workflow.0401 规格***不可用 请删除迁移工作流,并前往评估推荐修改该主机的推荐规格,然后重新创建迁移工作流。 AZ-Workflow.0402 该磁盘类型***在该可用区***不支持 请删除迁移工作流,并前往评估推荐修改该主机的推荐磁盘类型,然后重新创建迁移工作流。 AZ-Workflow.0403 该磁盘类型***在该可用区***已售罄 请删除迁移工作流,并前往评估推荐修改该主机的推荐磁盘类型,然后重新创建迁移工作流 AZ-Workflow.0404 源端服务器网卡数量为***,但是规格***最大只能创建***个网卡,请选用其他规格 请删除迁移工作流,并前往评估推荐修改主机的推荐磁盘类型,然后重新创建迁移工作流。 AZ-Workflow.0405 解析磁盘信息失败 请联系技术支持人员或提交工单。 AZ-Workflow.0406 参数'disk_infos'为空 请联系技术支持人员或提交工单。 AZ-Workflow.0501 创建备份失败, 失败原因:*** 根据具体报错信息进行排查,请前往CBR服务查看是否产生备份。 AZ-Workflow.0502 源端服务器***绑定存储库***失败 请联系技术支持人员或提交工单。 AZ-Workflow.0503 存储库***是不可用状态*** 请删除存储库后重试迁移任务。 AZ-Workflow.0901 无法关闭处于***状态的主机,请手动关机后重试 请前往ECS控制台,手动关闭对应的主机后,重试工作流。 AZ-Workflow.0902 关闭主机超时,请重试或手动关机后重试 请前往ECS控制台,手动关闭对应的主机后,重试工作流 AZ-Workflow.0601 创建增量备份失败, 失败原因*** 请根据具体报错进行排查,或联系技术支持人员或提交工单。 AZ-Workflow.0701 创建整机镜像失败, 失败原因:*** 请根据具体报错进行排查,或联系技术支持人员或提交工单。 AZ-Workflow.0801 创建目的端服务器失败, 失败原因:*** 请根据具体报错进行排查,或联系技术支持人员或提交工单。 AZ-Workflow.0802 不支持迁移系统盘超过1T的主机 请联系技术支持人员或提交工单。 AZ-Workflow.0803 磁盘***大小不合法 请联系技术支持人员或提交工单。 AZ-Workflow.0804 在VPC***中未找到源端主机*** 请联系技术支持人员或提交工单。 AZ-Workflow.0805 镜像***不存在或者不可用 请前往IMS服务查看镜像状态,并咨询IMS服务能否恢复正常,如果无法恢复请联系技术支持人员或提交工单。 AZworflow.0901 不能关闭处于***状态的主机,请手动关机后重试 请前往ECS控制台,手动关闭对应的主机后,重试工作流。 AZworflow.0902 关闭主机超时,请再次重试或手动关机后重试 请前往ECS控制台,手动关闭对应的主机后,重试工作流。 AZ-Workflow.1001 清理整机镜像***失败, 失败原因:*** 请前往IMS服务手动清理对应整机镜像(以AZM_Create_Temp__xxx开头命令),然后重试迁移工作流任务。 AZ-Workflow.1002 清理备份***失败, 失败原因:*** 请前往CBR服务手动清理对应云服务器备份(以AZM_Create_Temp__xxx开头命令),然后重试迁移工作流任务。 AZ-Workflow.1003 清理存储库***失败, 失败原因:*** 请前往CBR服务手动清理对应云存储库(以AZM_Create_Temp__xxx开头命令),然后重试迁移工作流任务。 AZ-Workflow.1101 参数'server_id'为空 请联系技术支持人员或提交工单。 AZ-Workflow.1102 创建系统盘镜像失败,IMS错误码:***, 错误信息:*** 请再次重试任务,或根据IMS错误码,咨询IMS服务。 AZ-Workflow.1201 目的端服务器已经绑定了其他弹性EIP,需要您手动卸载该EIP后重试 请检查目的端是否有绑定的EIP,并确认该EIP是否为源端EIP,若不是,请解绑该EIP。 AZ-Workflow.1202 源端服务器***没有关机,请您手动关机后重试 请检查源端服务器是否为关机状态,若不是,请关闭源端服务器后重试任务。 AZ-Workflow.1203 目的端服务器***没有关机,请您手动关机后重试 请检查目的端服务器是否为关机状态,若不是,请关闭目的端服务器后重试任务。 AZ-Workflow.1204 修改服务器***IP失败,失败原因:*** 请根据错误提示排除具体原因,或联系技术支持人员或提交工单。 Server-Workflow.0001 工作流步骤***不存在 请联系技术支持人员或提交工单。 Server-Workflow.0002 工作流缺少参数*** 请联系技术支持人员或提交工单。 Server-Workflow.0003 工作流参数***含有特殊字符 请联系技术支持人员或提交工单。 Server-Workflow.0004 网络错误***,请重试 请重试,如果依然无法解决问题,请联系技术支持人员或提交工单。 Server-Workflow.0005 Region参数为空 请联系技术支持人员或提交工单。 Server-Workflow.0006 迁移前校验失败 请联系技术支持人员或提交工单。 Server-Workflow.0007 迁移过程发生未知错误 请联系技术支持人员或提交工单。 Server-Workflow.0008 未知错误 请联系技术支持人员或提交工单。 Server-Workflow.0009 清理资源失败 请前往CBR服务、IMS服务手动清理对应临时资源(以AZM_Create_Temp__xxx开头命令),然后重试迁移工作流任务。 Server-Workflow.0010 请求***失败, 失败原因:***, 您可以再次尝试执行 请重试,如果依然无法解决问题,请联系技术支持人员或提交工单。 Server-Workflow.0011 查询进度***执行失败,失败原因:*** 请联系技术支持人员或提交工单。 Server-Workflow.0012 ***步骤不需要查询进度 请联系技术支持人员或提交工单。 Server-Workflow.0013 模板版本校验失败 请联系技术支持人员或提交工单。 OMS-Workflow.0002 存储工作流异常 请联系技术支持人员或提交工单。 OMS-Workflow.0011 系统异常 请联系技术支持人员或提交工单。 OMS-Workflow.0013 参数错误 请根据具体的错误信息进行处理。 OMS-Workflow.0024 集群不存在 请在集群列表检查该集群是否存在。 OMS-Workflow.0025 节点不存在 请在对应集群检查该节点是否存在。 OMS-Workflow.0026 任务不存在 请在任务列表检查该任务是否存在。 OMS-Workflow.0201 创建集群失败 请根据具体的错误信息进行处理。如无法自行解决,请联系技术支持人员或提交工单。 OMS-Workflow.0202 启动集群失败 请根据具体的错误信息进行处理。如无法自行解决,请联系技术支持人员或提交工单。 OMS-Workflow.0501 删除集群失败 请根据具体的错误信息进行处理。如无法自行解决,请联系技术支持人员或提交工单。 OMS-Workflow.0401 任务失败 请根据具体的错误信息进行处理。如无法自行解决,请联系技术支持人员或提交工单。 OMS-Workflow.0402 任务异常 请根据具体的错误信息进行处理。如无法自行解决,请联系技术支持人员或提交工单。 MgC.01000002 未知错误 导致该错误的原因较多,如网络异常等,请重试该工作流步骤,如果依然无法解决问题,请联系技术支持人员或提交工单。 MgC.000030001 该任务名已存在。 请重新输入任务名。 MgC.000030002 创建采集任务失败。 请联系技术支持人员或提交工单。 MgC.000030003 采集项所关联的采集任务不存在。 请为采集项重新关联采集任务。 MgC.000030004 采集项重复。 请检查采集任务中是否存在相同的采集项,或联系技术支持人员。 MgC.000030005 新增采集项失败。 请联系技术支持人员或提交工单。 MgC.000030006 新增数据源失败。 请联系技术支持人员或提交工单。 MgC.000030007 删除采集任务失败。 刷新任务列表检查该采集任务是否已删除,或联系技术支持人员。 MgC.000030008 删除采集项失败。 刷新采集项列表检查该采集项是否已删除,或联系技术支持人员。 MgC.000030009 采集任务不存在。 刷新采集任务列表查看采集任务是否存在。 MgC.000030010 采集项不存在。 刷新采集项列表查看采集项是否存在。 MgC.000030011 新增数据源失败。 请联系技术支持人员或提交工单。 MgC.000030012 数据源不存在。 刷新采集项列表查看数据源是否存在。 MgC.000030013 重新采集数据源失败。 刷新采集项列表查看该数据源是否存在,或联系技术支持人员。 MgC.000030014 删除数据源失败。 刷新采集项列表查看该数据源是否已删除,或联系技术支持人员。 MgC.000030015 修改数据源名称失败。 刷新采集项列表查看该数据源是否存在,或联系技术支持人员。 MgC.000030016 重新采集失败。 刷新采集项列表查看该采集项是否存在,或联系技术支持人员。 MgC.000030017 数据源配置错误。 检查数据源配置是否正确。 MgC.000030018 重新采集数据源失败。 请检查采集方式是否为API采集,且状态为已完成。 MgC.000030019 删除数据源失败。 请检查该数据源状态是否为采集失败或已完成,仅允许删除采集失败或已完成的数据源。 MgC.000030020 删除采集项失败。 请检查该采集项状态是否为等待中,仅允许删除等待中的采集项。 MgC.000030021 删除采集任务失败,存在运行中采集项。 刷新采集项列表查看是否存在运行中的采集项,运行中的采集项时不允许删除采集任务。 MgC.000030022 导入文件的大小超出限制。 请导入10MB以内的文件。 MgC.000030023 文件名无效。 请按规则输入文件名。 MgC.000030024 文件格式无效。 请导入正确的文件格式。 MgC.000030025 新增数据源失败,导入文件不存在。 请检查导入文件是否成功,或尝试再次导入。 MgC.000040001 采集阿里云RM资源信息失败。 请参考阿里云资源管理产品文档进行API SearchResources调试,并根据返回的错误码定位问题原因,或联系阿里云技术支持人员。 MgC.000040002 采集阿里云RM资源配置信息失败。 请参考阿里云资源管理产品文档进行API GetResourceConfiguration调试,并根据返回的错误码定位问题原因,或联系阿里云技术支持人员。 MgC. 000040003 凭证不存在。 请检查凭证管理中是否存在所选凭证。 MgC.000040004 凭证已过期。 在凭证管理中更新该凭证。 MgC.000040005 所有凭证非AK/SK任认证方式 选择AK/SK认证方式的凭证。 MgC.000040006 MSE配置文件无效 请检查所用凭证和所选区域是否正确。 MgC.000040007 配置文件格式不正确 使用上传正确的文件格式。 MgC.000040008 获取Nacos的accessToken失败 请检查配置信息中填写的用户名和密码是否正确。 MgC.000040009 解析Nacos鉴权信息失败 请联系技术支持人员或提交工单。 MgC.000040010 分页查询域名失败。 请参考阿里云资源管理产品文档进行API DescribeDomains调试,并根据返回的错误码定位问题原因,或联系阿里云技术支持人员。 MgC.000040011 分页查询解析记录失败。 请参考阿里云资源管理产品文档进行API DescribeDomainRecords调试,并根据返回的错误码定位问题原因,或联系阿里云技术支持人员。 MgC.000040012 调用阿里云WAF SDK失败。 请参考阿里云资源管理产品文档进行API DescribeDomains调试,并根据返回的错误码定位问题原因,或联系阿里云技术支持人员。 MgC.000040013 AK/SK无效。 请检查所选凭证的AK/SK是否正确。 MgC.000040014 调用阿里云Kafka SDK失败。 请检查所用凭证和所选区域是否正确,或检查凭证所属账号是否开通阿里云Kafka服务。 MgC.000040015 调用阿里云Topic SDK失败。 请参考阿里云资源管理产品文档进行API GetInstanceList调试,并根据返回的错误码定位问题原因,或联系阿里云技术支持人员。 MgC.000040016 调用阿里云RDS SDK失败。 请检查所用凭证和所选区域是否正确,或检查凭证所属账号是否开通阿里云RDS服务。 MgC.000040017 调用阿里云RDS schema SDK失败。 请参考阿里云资源管理产品文档进行API DescribeDatabases调试,并根据返回的错误码定位问题原因,或联系阿里云技术支持人员。 MgC.000040018 创建阿里云SLB SDK Client失败。 请检查所用凭证和所选区域是否正确。 MgC.000040019 校验模板失败,存在无效的参数值。 请输入有效的参数值。 MgC.000040020 校验模板失败。 请联系技术支持人员或提交工单。 MgC.000040021 校验模板失败,有必填项未填写。 请补齐必填项。 MgC.000040022 校验模板失败,表头填写错误。 请填写正确的表头。 MgC.000040023 校验模板失败,表头无效。 请检查是否修改了模板中非自定义的表头。 MgC.000040024 存在未记录在Domain Sheet的域名。 请将导入文件中的Application Sheet和MQ Sheet出现的域名填入Domain Sheet中。 MgC.000040025 导入文件格式错误。 检查是否改动了导入模板Sheet,或重新下载模板填写。 MgC.000050001 新建标签数量超过限制。 请删除无用标签后再创建。 MgC.000050002 新建标签失败。 请联系技术支持人员或提交工单。 MgC.000050003 标签不存在。 检查标签是否存在。 MgC.000050004 该标签已关联资源。 请重新选择标签或解绑资源。 MgC.000050005 更新标签失败。 请联系技术支持人员或提交工单。 MgC.000050006 查询标签集合参数为空。 请补齐标签查询参数。 MgC.000050007 绑定标签和资源失败。 请联系技术支持人员或提交工单。 MgC.000050008 绑定关系不存在。 请检查是否绑定过相关资源与标签,或联系技术支持人员。 MgC.000060001 ID未指定。 请联系技术支持人员或提交工单。 MgC.000060002 修改数据失败。 请联系技术支持人员或提交工单。 MgC.000060003 导入数据失败。 请联系技术支持人员或提交工单。 MgC.000060004 名称已存在。 请重新输入名称。 MgC.000060005 上传文件失败。 请联系技术支持人员或提交工单。 MgC.000060006 下载文件失败。 请联系技术支持人员或提交工单。 MgC.000060007 OBS文件不存在或已过期。 重新上传文件,或重命名文件后再上传。 MgC.000060008 MQ Sheet中生产者和消费者环境不一致。 请检查导入文件MQ Sheet中生产者和消费者环境是否一致。 MgC.000060009 MQ Sheet中生产者和消费者服务或微服务在Application Sheet中不存在。 请在导入文件的Application Sheet补齐MQ Sheet中生产者和消费者服务或微服务。 MgC.000060010 Application Sheet中的微服务为空。 请在导入文件中补齐Application Sheet的微服务。 MgC.000060011 MQ Sheet中生产者和消费者缺少服务或微服务。 请在导入文件中补齐MQ Sheet中生产者和消费者的服务或微服务。 MgC.00180036 每日工作流配额已用完,当前项目下无法创建新工作流。 请切换项目创建或者删除当前项目下已完成的工作流。 MgC.00180037 创建工作流失败,请求中的资源数量超过了单个工作流的数量限制。 请减少单个工作流中的资源,使其不超过100个。 MgC.00180038 创建工作流失败,当前项目下执行的迁移资源总数已达到上限。 请切换项目创建或者等待当前正在执行的工作流资源迁移完成。
  • 处理步骤 原因:phase1 proposal mismatch 请查看两端的IKE安全提议参数,并执行相应的命令将不匹配的参数修改一致。 原因:phase2 proposal or pfs mismatch 请查看两端的IPsec安全提议参数或PFS算法,并执行相应的命令将不匹配的参数修改一致。 原因:responder dh mismatch、initiator dh mismatch 请查看两端的DH算法,并执行相应的命令将DH算法修改一致。 原因:encapsulation mode mismatch 请查看两端的封装模式,并执行相应的命令将封装模式修改一致。 原因:eap authentication timeout、eap authentication fail、xauth authentication fail、xauth authentication timeout 请确保客户端的用户名和密码正确,以及确保用户接入的相关配置正确。 原因:ip assigned fail 请确保AAA和IPsec的相关配置正确,例如IP Pool、AAA业务方案、为IKE用户分配的IP地址。 原因:peer address mismatch 请查看两端的IKE对等体地址,并执行相应的命令修改不匹配的IKE对等体地址。 原因:config ID mismatch 请查看身份认证参数,例如ID类型和ID值,执行相应的命令修改不匹配的参数。 原因:authentication fail 请查看两端的IKE安全提议参数或IKE对等体参数,并执行相应的命令将两端的参数修改一致。 原因:license or specification limited 请根据需要申请License或扩容。 原因:exchange mode mismatch 请查看两端的IKEv1阶段1协商模式,并执行相应的命令将两端的协商模式修改一致。 原因:route limit 请更换路由注入规格更高的设备,并合理规划网络。 原因:local address mismatch 请查看IKE协商时的本端IP地址和接口IP地址,并执行相应的命令将地址修改一致。 原因:ipsec tunnel number reaches limitation 请删除不必要的IPsec隧道或设备扩容。 原因:dynamic peers number reaches limitation 请设备扩容,并合理规划网络。 原因:in disconnect state 请用户根据IPsec链路探测结果检查链路或设备是否正常。 原因: proposal mismatch or use sm in ikev2、ikev2 not support sm in ipsec proposal 请查看IPsec安全提议中IKEv2使用的算法,并执行相应的命令将算法修改正确。 原因:flow confict 请查看两端的ACL规则,并执行相应的命令将ACL规则修改正确。 原因:netmask mismatch 请修改分支或总部保护的IPsec数据流范围,使得各分支和总部协商的数据流不存在交集。 原因:no policy applied on interface 请在接口上应用相应的IPsec策略。 原因:fragment packet limit 收到的分片报文数超过规格,请合理调整对端设备的MTU值。 原因:fragment packet reassemble timeout 请确保两端链路正常及设备状态正常。 非以上原因或问题仍未解决时,请收集相应的信息,并联系技术支持人员。
  • 告警参数 参数名称 参数含义 Ifindex IPsec隧道所对应的接口索引。 SeqNum IPsec策略的顺序号。 Reason-Str IPsec隧道协商失败的原因。 ReasonCode IPsec隧道协商失败原因码。 PeerAddress 对端的IP地址。 PeerPort 对端的UDP端口号。 vsys-name IPsec策略所属的虚拟系统的名称。固定显示为Public。 InterfaceName 接口名称。
  • 可能原因 两端IKE安全提议参数不匹配。仅隧道发起端可见。 两端IKE安全提议加密算法参数不匹配。仅隧道接收端可见。 两端IKE安全提议认证方法参数不匹配。仅隧道接收端可见。 两端IKE安全提议认证算法参数不匹配。仅隧道接收端可见。 两端IKE安全提议DH组参数不匹配。仅隧道接收端可见。 两端IKE安全提议完整性算法参数不匹配。仅隧道接收端可见。 两端IKE安全提议PRF算法参数不匹配。仅隧道接收端可见。 两端IPsec安全提议参数、PFS算法或Security ACL不匹配。 响应方的DH算法不匹配。 发起方的DH算法不匹配。 封装模式不匹配。 两端Security ACL或IKE Peer地址不匹配。 两端IKE版本号不匹配。 两端的IKE Peer地址不匹配。 根据ID未找到匹配的IKE Peer。 两端的协商模式不匹配。 身份认证失败。 构造本端ID失败。 重协商时找不到旧的SA。 重协商时旧的SA正在下线。 首包限速。 不支持的IKE版本号。 畸形消息。 畸形载荷。 畸形载荷或两端预共享密钥不一致。 未识别的critical载荷。 Cookie不匹配。 无效Cookie。 报文长度非法。 未知的协商模式。 未识别的非critical载荷。 路由注入的数目达到规格。 IP地址分配失败。 EAP认证超时。 EAP认证失败。 XAUTH认证失败。 XAUTH认证超时。 License限制。 IKE协商时的本端IP地址和接口IP地址不匹配。 IKE对等体数达到规格。 IPsec隧道数达到规格。 开启IPsec掩码过滤功能后,掩码不匹配。 数据流冲突。 IPsec安全提议不匹配或者IKEv2使用SM算法。 IKEv2不支持IPsec安全提议的SM算法。 没有策略应用到接口上。 NAT探测失败。 分片报文超规格。 分片报文重组超时。
  • 告警解释 IPSec tunnel negotiation fails. (Ifindex=[Ifindex], SeqNum=[SeqNum], Reason=[Reason-Str], ReasonCode=[ReasonCode], PeerAddress=[PeerAddress], PeerPort=[PeerPort], VsysName=[vsys-name], InterfaceName=[InterfaceName]) IPsec隧道协商失败。
  • 如何确认Linux云服务器上的文件系统处于可用状态? SFS容量型文件系统:以root用户登录云服务器,执行“showmount -e 文件系统域名或IP”命令,将会回显指定域名或IP下所有可用的SFS容量型文件系统。 通用文件系统:当前不支持使用。 SFS Turbo文件系统:以root用户登录云服务器,执行“showmount -e 文件系统域名或IP”命令,回显如下内容,则代表命令中“文件系统域名或IP”对应的SFS Turbo文件系统处于可用状态。 Export list for 文件系统域名或IP / * 或 Export list for 文件系统域名或IP / 所有可接入该SFS Turbo文件系统的客户端IP 父主题: 其他类
  • SFS Turbo 表2 SFS Turbo文件系统 参数 20MB/s/TiB 40MB/s/TiB 125MB/s/TiB 250MB/s/TiB 500MB/s/TiB 1000MB/s/TiB 最大带宽 8GB/s 如需提高吞吐能力,请提交工单申请,最高可达20 GBps 8GB/s 如需提高吞吐能力,请提交工单申请,最高可达20 GBps 20GB/s 如需提高吞吐能力,请提交工单申请,最高可达100 GBps 20GB/s 如需提高吞吐能力,请提交工单申请,最高可达100 GBps 80GB/s 如需提高吞吐能力,请提交工单申请,最高可达200 GBps 80GB/s 如需提高吞吐能力,请提交工单申请,最高可达200 GBps 最高IOPS 250K 250K 百万级IOPS 百万级IOPS 百万级IOPS 百万级IOPS 平均单路4K延迟 2~5ms 2~5ms 1~3ms 1~3ms 1~3ms 1~3ms 容量 3.6TB~1PB 1.2TB~1PB 1.2TB~1PB 1.2TB~1PB 1.2TB~1PB 1.2TB~1PB 优势 大容量、低成本 大容量、低成本 低时延、高性价比 低时延、高性价比 高IOPS、性能高密 高IOPS、性能高密 典型应用场景 日志存储、文件共享、内容管理、网站 日志存储、文件共享、内容管理、网站 AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 大规模AI训练、AI大模型、AIGC 大规模AI训练、AI大模型、AIGC 表3 SFS Turbo上一代文件系统 参数 标准型 标准型-增强版 性能型 性能型-增强版 HPC缓存型 最大带宽 150MB/s 1GB/s 350MB/s 2GB/s 48GB/s 最高IOPS 5K 15K 20K 100K 2000k 平均单路4K延迟 2~5ms 2~5ms 1~3ms 1~3ms 1~3ms 读时延:亚毫秒级 容量 500GB~32TB 10TB~320TB 500GB~32TB 10TB~320TB 起步容量(GB)=带宽大小*2 最大容量1PB 优势 大容量、低成本 低时延、高IOPS 大带宽、高IOPS 典型应用场景 代码存储、日志存储、文件共享、企业办公 高性能网站、文件共享、内容管理、图片渲染、AI训练、企业办公 超大规模渲染 最高IOPS、最大带宽两个参数的值均为读写总和。比如最高IOPS=IOPS读+IOPS写。 扩容时,SFS Turbo标准型、标准型-增强版、性能型、性能型-增强版扩容步长为100GB,规格为20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB的文件系统扩容步长为1.2TB。
  • SFS容量型 表1 SFS容量型文件系统 参数 SFS容量型 通用文件系统 最大带宽 2GB/s 1.25TB/s 最高IOPS 2K 百万 时延 3~20ms 10ms 最大容量 4PB EB 优势 大容量、高带宽、低成本 大容量、高带宽、低成本 应用场景 大容量扩展以及成本敏感型业务,如媒体处理、文件共享、高性能计算、数据备份等。SFS容量型文件系统不适合海量小文件业务,推荐使用SFS Turbo文件系统。 大容量扩展以及成本敏感型业务,如媒体处理、文件共享、高性能计算、数据备份等。通用文件系统不适合海量小文件业务,推荐使用SFS Turbo文件系统。 时延是指低负载情况下的最低延迟,非稳定时延。 10MB以上为大文件,1MB以上为大IO。 SFS容量型文件系统目前已售罄,请使用通用文件系统,涉及数据迁移的客户可提交工单解决。
  • 功能描述 规格丰富 支持标准型、性能型、125MB/s/TiB、250MB/s/TiB等,满足不同应用场景性能诉求。 弹性扩展 容量按需扩容,性能线性增长。 安全可靠 三副本冗余:存储数据持久度高达99.9999999%。 数据加密:存储池支持数据加密,保护数据安全。 VPC隔离:安全可靠,租户间100%隔离。 物理独享:存储池物理隔离,资源独享。 备份恢复 专属文件存储服务支持CBR备份,基于备份可以恢复文件存储系统。 监控文件系统 对接云监控,支持带宽、IOPS、容量等多种监控指标。 审计文件系统 支持通过云审计服务对资源的操作进行记录,以便用户可以查询、审计和回溯。
  • 性能规格 表1 性能规格 实例名称 依赖底层资源 性能规格 SFS Turbo标准型专属 DCC:C7/C7n/C6/C6s/C3实例 DSS:高IO资源池 带宽=min{1GB/s,DSS存储池可用带宽} IOPS=min{15k, DSS存储池可用IOPS} SFS Turbo性能型专属 DCC:C7/C7n/C6/C6s/C3实例 DSS:超高IO资源池 带宽=min{2GB/s,DSS存储池可用带宽} IOPS=min{20k,DSS存储池可用IOPS} 125MB/s/TiB专属 DCC:C6/C7/C7n实例 DSS:超高IO资源池 带宽=min{125MB/s/TiB*存储容量(TiB),20GB/s,DSS存储池可用带宽} IOPS=min{6000*存储容量(TiB), DSS存储池可用IOPS} 250MB/s/TiB专属 DCC:C6/C7/C7n实例 DSS:超高IO资源池 带宽=min{250MB/s/TiB*存储容量(TiB),20GB/s,存储池最大带宽} IOPS=min{12500*存储容量(TiB), DSS存储池可用IOPS} 存储池可用带宽和IOPS,与存储容量成正比例关系。在购买专属弹性文件服务,规划DSS专属存储资源时,需要为专属弹性文件服务预留对应的容量和性能,避免出现容量或性能不足,影响专属文件存储服务。 在“性能规格”中,带宽值和IOPS值为“{}”中的最小值。
共100000条