华为云用户手册

规格 表1 通用计算增强型（C型）弹性云服务器的规格 类型 vCPU 内存(GB) 规格名称 虚拟化类型 C3型 32 64 c3.8xlarge.2 KVM C3型 16 64 c3.4xlarge.4 KVM C3型 32 128 c3.8xlarge.4 KVM C3型 60 256 c3ne.15xlarge.4 KVM C3ne型 32 64 c3ne.8xlarge.2 KVM C3ne型 16 64 c3ne.4xlarge.4 KVM C3ne型 32 128 c3ne.8xlarge.4 KVM C3ne型 60 256 c3ne.15xlarge.4 KVM C6型 32 64 c6.8xlarge.2 KVM C6型 64 128 c6.16xlarge.2 KVM C6型 16 64 c6.4xlarge.4 KVM C6型 32 128 c6.8xlarge.4 KVM C6型 64 256 c6.16xlarge.4 KVM C6s型 32 64 c6s.8xlarge.2 KVM C6s型 64 128 c6s.16xlarge.2 KVM C7型 32 64 c7.8xlarge.2 基于擎天架构的自研极简虚拟化 C7型 64 128 c7.16xlarge.2 基于擎天架构的自研极简虚拟化 C7型 128 256 c7.32xlarge.2 基于擎天架构的自研极简虚拟化 C7型 16 64 c7.4xlarge.4 基于擎天架构的自研极简虚拟化 C7型 32 128 c7.8xlarge.4 基于擎天架构的自研极简虚拟化 C7型 64 256 c7.16xlarge.4 基于擎天架构的自研极简虚拟化 C7型 128 512 c7.32xlarge.4 基于擎天架构的自研极简虚拟化 表2 内存优化型弹性云服务器的规格 类型 vCPU 内存(GB) 规格名称 虚拟化类型 M3型 8 64 m3.2xlarge.8 KVM M3型 16 128 m3.4xlarge.8 KVM M3型 32 256 m3.8xlarge.8 KVM M3型 60 512 m3.15xlarge.8 KVM M6型 8 64 m6.2xlarge.8 KVM M6型 16 128 m6.4xlarge.8 KVM M6型 32 256 m6.8xlarge.8 KVM M6型 64 512 m6.16xlarge.8 KVM M7型 8 64 m7.2xlarge.8 基于擎天架构的自研极简虚拟化 M7型 16 128 m7.4xlarge.8 基于擎天架构的自研极简虚拟化 M7型 32 256 m7.8xlarge.8 基于擎天架构的自研极简虚拟化 M7型 64 512 m7.16xlarge.8 基于擎天架构的自研极简虚拟化 M7型 128 1024 m7.32xlarge.8 基于擎天架构的自研极简虚拟化 表3 鲲鹏通用计算增强型（KC1型）弹性云服务器的规格 类型 vCPU 内存(GB) 规格名称 虚拟化类型 KC1型 16 64 kc1.4xlarge.4 KVM KC1型 32 64 kc1.8xlarge.2 KVM KC1型 32 128 kc1.8xlarge.4 KVM KC1型 60 120 kc1.15xlarge.2 KVM 表4 鲲鹏内存优化型（KM1型）弹性云服务器的规格 类型 vCPU 内存(GB) 规格名称 虚拟化类型 KM1型 8 64 km1.2xlarge.8 KVM KM1型 16 128 km1.4xlarge.8 KVM KM1型 32 256 km1.8xlarge.8 KVM KM1型 60 480 km1.15xlarge.8 KVM 表5 鲲鹏超高I/O型（KI1型）弹性云服务器的规格 类型 vCPU 内存(GB) 规格名称 虚拟化类型 KI1型 16 64 ki1.4xlarge.4 KVM KI1型 32 128 ki1.8xlarge.4 KVM KI1型 64 228 ki1.16xlarge.4 KVM 表6 超高I/O型弹性云服务器的规格 类型 vCPU 内存(GB) 规格名称 虚拟化类型 I3型 8 64 i3.2xlarge.8 KVM I3型 16 128 i3.4xlarge.8 KVM I3型 32 256 i3.8xlarge.8 KVM I3型 64 512 i3.16xlarge.8 KVM IR3型 16 64 ir3.4xlarge.4 KVM IR3型 32 128 ir3.8xlarge.4 KVM

补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.3 发布时间 2020-04-29 解决的问题 MRS 2.1.0.3 修复问题列表： MRS Manager Manager executor高并发提交作业问题 MRS 大数据组件 hive on tez插入数据失败问题 MRS 2.1.0.2 修复问题列表： MRS Manager nodeagent重启后不显示监控信息 长时间提交作业，manager executor进程会内存溢出 支持提交作业，manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表, HBase表权限控制未生效 MRS manager补丁机制优化 MRS 大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS相关问题修复 MRS 2.1.0.1 修复问题列表： MRS Manager 优化V2作业提交hive sql返回结果、解决委托token提交V2作业失败问题。 MRS 大数据组件 MRS Hive 解决hive server内存泄露问题：HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.3补丁包中包含MRS 2.1.0版本发布的所有补丁内容。

安装补丁的影响 安装MRS 2.1.0.3补丁期间会重启MRS Manager，滚动重启Hive、Spark、HDFS、Yarn、Mapreduce、Presto、HBase以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。 MRS 2.1.0.3补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主Master节点的原始客户端全量更新，请参见全量更新主Master节点的原始客户端。 备Master节点的原始客户端全量更新，请参见全量更新备Master节点的原始客户端。 自行搭建的客户端全量安装方法，请参见安装客户端（3.x之前版本）。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置，请重装客户端后再次修改客户端配置。

补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.2 发布时间 2020-04-22 解决的问题 MRS 2.1.0.2 修复问题列表： MRS Manager nodeagent重启后不显示监控信息 长时间提交作业，manager executor进程会内存溢出 支持提交作业，manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表, HBase表权限控制未生效 MRS manager补丁机制优化 MRS 大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS相关问题修复 MRS 2.1.0.1 修复问题列表： MRS Manager 优化V2作业提交hive sql返回结果、解决委托token提交V2作业失败问题。 MRS 大数据组件 MRS Hive 解决hive server内存泄露问题：HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.2补丁包中包含MRS 2.1.0.1补丁包的全部内容。

补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.8.10.6 发布时间 2020-05-20 解决的问题 MRS 1.8.10.6 修复问题列表： MRS Manager MRS Manager支持包周期集群指定节点缩容 MRS 1.8.10.5 修复问题列表： MRS Manager 优化补丁机制 MRS 大数据组件 解决Spark JobHistory内存泄露问题 Hadoop/Hive/Spark支持OBS FileSystem Hadoop/Hive/Spark支持OBS加密功能 MRS 1.8.10.3 修复问题列表： MRS Manager 解决磁盘IO使用率一直不变问题 MRS 大数据组件 MRS Kafka支持Kafka Consumer Lag监控 MRS Kafka支持Kafka 2181/9092进程端口监控 MRS 1.8.10.2 修复问题列表： MRS Manager 支持安装补丁不自动重启服务的能力 MRS 大数据组件 MRS Kafka启动脚本中添加对端口占用的检查逻辑 MRS 1.8.10.1 修复问题列表： MRS 大数据组件 MRS Kafka优化健康检查及滚动重启逻辑 补丁兼容关系 MRS 1.8.10.6补丁包中包含MRS 1.8.10.6及之前发布的所有补丁解决的问题。

安装补丁的影响 安装MRS 1.8.10.6补丁期间会重启MRS Manager，滚动重启Hadoop、Hive、Spark以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。 MRS 1.8.10.6补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主Master节点的原始客户端全量更新，请参见全量更新主Master节点的原始客户端。 备Master节点的原始客户端全量更新，请参见全量更新备Master节点的原始客户端。 自行搭建的客户端全量安装方法，请参见安装客户端（3.x之前版本）。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置，请重装客户端后再次修改客户端配置。

安装补丁的影响 安装MRS 2.1.0.2补丁期间会重启MRS Manager，滚动重启Hive、Spark、HDFS、yarn、Mapreduce、Presto、HBase以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。 MRS 2.1.0.2补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主Master节点的原始客户端全量更新，请参见全量更新主Master节点的原始客户端。 备Master节点的原始客户端全量更新，请参见全量更新备Master节点的原始客户端。 自行搭建的客户端全量安装方法，请参见安装客户端（3.x之前版本）。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置，请重装客户端后再次修改客户端配置。

补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.0.5 发布时间 2020-03-21 解决的问题 MRS 1.9.0.5 修复问题列表： MRS Manager MRS Manager优化保存配置时的服务重启过程 MRS Manager解决周期备份失败问题 MRS 大数据组件 Ranger的私有patch 解决Yarn出现JVM Create GC thread failed问题 新增Hiveserver2 任务堆积告警 新增Hiveserver HiveMetastore GC时间超过5s告警 新增HiveServer2 解注ZK告警 新增20分钟内Yarn任务失败与kill数超过5个的告警 解决spark jobhistory时区不对问题 优化metastore重启机制 解决HIVE-22771开源问题 解决Hive beeline不打印日志的问题 解决Yarn页面上active node数目不对问题 解决RM线程数过多导致RM页面打开慢问题 支持OBS监控 OBS包升级 解决hive-jdbc并发插入10条数据时部分数据未插入问题 解决hive偶现报kryo反序列化失败问题 解决Spark jobhistory内存泄漏问题 解决Spark jobhistory偶现无法显示application列表问题 MRS 1.9.0.3 修复问题列表： MRS Manager MRS Manager升级ARM JDK MRS Manager解决Core节点日志撑满系统盘问题 MRS 大数据组件 解决Ranger日志不能设置个数，有撑满磁盘风险的问题 MRS 1.9.0.2 修复问题列表： MRS Manager 解决集群中部分Core节点互信丢失问题 解决补丁安装后添加实例失败问题 MRS Manager页面支持修改hiveserver的滚动重启超时时间 MRS 大数据组件 obs包升级 MRS 1.9.0.1 修复问题列表： MRS Manager MRS Manager支持滚动安装补丁时不重启服务 MRS 大数据组件 解决obs委托的5min内140次的访问限制问题 Kafka支持开源方式访问 解决SPARK-27637开源问题 优化hive滚动重启 obs包升级 补丁兼容关系 MRS 1.9.0.5补丁包中包含MRS 1.9.0版本发布的所有补丁解决的问题。

安装补丁的影响 安装MRS 1.9.0.5补丁期间会重启MRS Manager，滚动重启Hadoop、Hive、Spark、Kafka、Ranger以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。 MRS 1.9.0.5补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主Master节点的原始客户端全量更新，请参见全量更新主Master节点的原始客户端。 备Master节点的原始客户端全量更新，请参见全量更新备Master节点的原始客户端。 自行搭建的客户端全量安装方法，请参见安装客户端（3.x之前版本）。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置，请重装客户端后再次修改客户端配置。

安装补丁的影响 安装MRS 2.1.0.1补丁期间会重启MRS Manager和Hive服务，重启服务期间会引起服务暂时不可用。 MRS 2.1.0.1补丁安装完成后，需要先登录到MRS集群的Master1节点，删除HDFS上任务目录。 未开启Kerberos认证的集群，执行如下命令删除HDFS上任务目录。 hdfs dfs -rm -r /mrs/mrsjob/hive 开启Kerberos认证的集群，按如下操作删除HDFS上任务目录。 执行如下命令，并输入密码进行认证。 kinit hdfs 执行如下命令，删除HDFS上任务目录。 hdfs dfs -rm -r /mrs/mrsjob/hive 新建的MRS集群不用执行此步骤，因为hdfs上还没有这个目录。

补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.0.1.2 发布时间 2019-09-30 解决的问题 MRS 2.0.1.2 修复问题列表： MRS Manager 解决RM执行refreshNodes超时导致的偶现扩容失败问题 MRS 2.0.1.1 修复问题列表： MRS Manager 解决反复扩缩容导致MRS Master节点executor 内存溢出问题 MRS 大数据组件 MRS Presto新增Presto支持OBSFileSystem MRS Presto解决频繁打印jstack，以及日志文件太大不滚动问题 补丁兼容关系 MRS 2.0.1.2补丁包中包含MRS 2.0.1.1补丁包的全部内容。

安装补丁的影响 安装补丁后需要重启服务才能生效，重启服务期间引起服务暂不可用。 安装补丁后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主Master节点的原始客户端全量更新，请参见全量更新主Master节点的原始客户端。 备Master节点的原始客户端全量更新，请参见全量更新备Master节点的原始客户端。 自行搭建的客户端全量安装方法，请参见安装客户端（3.x之前版本）。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置，请重装客户端后再次修改客户端配置。

补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.0.1.3 发布时间 2019-12-25 解决的问题 MRS 2.0.1.3 修复问题列表： MRS Manager 优化扩缩容逻辑，解决V1作业管理接口tcp连接残留问题 MRS 大数据组件 MRS Hive 解决hiveserver内存溢出问题、存在大量小文件的情况下，MergeFile阶段非常慢问题、insert overwrite的load partition阶段出现找不到文件问题、HIVE-22373:Container重用时文件合并任务失败的问题 MRS 2.0.1.2 修复问题列表： MRS Manager 解决RM执行refreshNodes超时导致的偶现扩容失败问题 MRS 2.0.1.1 修复问题列表： MRS Manager 解决反复扩缩容导致MRS Master节点executor 内存溢出问题 MRS 大数据组件 MRS Presto新增Presto支持OBSFileSystem MRS Presto解决频繁打印jstack，以及日志文件太大不滚动问题 补丁兼容关系 MRS 2.0.1.3补丁包中包含MRS 2.0.1.2补丁包和MRS 2.0.1.1补丁包的全部内容。

注意事项 由于1.7.1 集群的健康检查中存在一项误报，而补丁安装前会进行集群的健康检查。从而导致客户第一次提交安装补丁后，提示集群异常，补丁安装终止。在确认报错是误报后，客户可以再次提交安装补丁请求，第二次安装补丁会跳过健康检查，进行补丁安装。 误报内容可以通过如下方式确认： 查看并导出检查报告，健康检查结果上只存在这两个主机报错：“安装目录及数据目录检查： 目录下文件异常. 请检查安装目录和数据目录下的内容”。 图1 健康检查结果

补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.7.1.5 发布时间 2018-11-12 解决的问题 MRS Manager MRS Manager UI界面排版优化。 MRS Manager 操作及显示易用性优化。 MRS Manager 增加大数据服务滚动重启能力。 MRS Manager 新增文件句柄数量监控功能。 MRS Manager 新增大数据组件发生重启事件上报功能。 MRS镜像 解决ECS VNC登录不停打印输出问题。 解决操作系统日志转储配置问题。 补丁兼容关系 包含1.7.1.5及之前发布的所有补丁解决的问题。

补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.5.1.4 发布时间 2018-08-23 解决的问题 Spark组件问题： 当carbon表元数据文件较大时导致的查询慢问题。 修复carbon在某些场景下，对数据进行压缩时，出现转换为SHORT_INT失败的问题。 spark解析zlib时出错，出现java.io.IOException: unknown compression method的异常。 当用户数据增加到一定量后向carbon导入时出现executor崩溃。 在Yarn cluster模式下，当Spark程序客户端退出后，程序自动被停掉。 优化了当carbon表的segments很多时，执行delete语句慢的问题。 长时间运行的spark作业，执行spark SQL时出现GSS initiate failed错误。 carbon表执行select操作时，报carbonindex文件找不到的错误。 carbon表执行select操作时，由于tablestatues文件为空，报空指针异常的错误。 carbon表执行select操作时，由于deletedelta文件为空，报空指针异常的错误。 carbon表执行select操作时，由于并发操作导致tablestatues文件中有重复entry，报segment文件夹找不到的错误。 Kafka组件问题： MRS Manager上Kafka topic监控页面无数据。 SparkStreaming使用的scala版本与Kafka组件不一致，导致spark访问kafka失败。 SparkStreaming访问Kafka，只能读到一个分区。 HBase组件问题： HBase健康检查时，遇到非HBase问题引起的错误码与HBase本身的错误码有重合，导致误告警。 在MRS Manager界面上无法修改HBase服务端的部分配置文件（hdfs-site.xml、core-site.xml、mapred-site.xml、yarn-site.xml），后台修改这些配置文件，再重启服务后也会被强制还原。 在MRS Manager界面上无法修改HBase的dfs.client.read.shortcircuit配置项。 Hadoop 组件问题： yarn资源本地化过程中下载了archives类型资源后自动解压目录可能被注入。 YARN NodeManager上本地化资源文件及SPARK JobHistory历史文件未定时清理，导致磁盘爆满。 在Yarn的原生界面单击“Allocated Memory MB”排序时出现页面异常响应。 其他问题: 登录集群管理界面，点选租户管理，租户信息加载不出来。 MRS扩容场景下的可靠性增强。 优化MRS Manager的部分UI显示。 MRS安全集群创建角色时无法添加Hive组件权限。 补丁兼容关系 包含1.5.1版本发布的所有补丁解决的问题。

安装补丁的影响 安装补丁后需要重启服务才能生效，重启服务期间引起服务暂不可用。 安装补丁后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主Master节点的原始客户端全量更新，请参见全量更新主Master节点的原始客户端。 备Master节点的原始客户端全量更新，请参见全量更新备Master节点的原始客户端。 自行搭建的客户端全量安装方法，请参见安装客户端（3.x之前版本）。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置，请重装客户端后再次修改客户端配置。

如何通过Guardian实现集群外客户端访问OBS 确认集群已经安装Guardian组件。 新建集群时选择Guardian组件： 集群创建完后，通过添加组件的方式，添加Guardian组件（Guardian建议部署在master节点上）： 确认集群已完成存算分离的配置，即完成 “配置存算分离集群（委托方式）”或“配置MRS多用户访问OBS细粒度权限”。 安装/更新客户端。 在集群外节点安装新客户端，可参考安装客户端（3.x及之后版本）。 对于已有客户端，需要更新客户端配置，参考更新客户端（3.x及之后版本）。 安装成功后，即可访问OBS： 例如： 如果客户端目录为/opt/client，执行source /opt/client/bigdata_env，请以实际客户端安装路径为准。 执行hdfs dfs -ls obs。 如下表示成功。

创建集群时配置LakeFormation数据连接 该操作指导用户在创建MRS集群时配置LakeFormation数据连接。 登录MRS管理控制台。 单击“购买集群”，进入“购买集群”页面。 在购买集群页面，选择“自定义购买”。 参考购买自定义拓扑集群进行配置并创建集群，且集群需满足表1中要求。 表1 LakeFormation数据连接参数说明 参数 参数说明 版本类型 LTS版 集群版本 MRS 3.1.2-LTS.6.Beta 当前仅MRS 3.1.2-LTS.6.Beta版本支持在创建集群时配置LakeFormation数据连接。 组件选择 必须包含Ranger、Hive、Guardian、Spark2x（可选）等组件。 元数据 选择“外置数据连接”，并配置以下参数： LakeFormation元数据：单击按钮开启。 LakeFormation连接实例：选择创建LakeFormation数据连接已创建的LakeFormation数据连接名称。 数据连接类型：保持默认。 虚拟私有云 与LakeFormation数据连接所在的虚拟私有云保持一致。 子网 选择子网名称。 拓扑调整 选择“开启”，并确认Ranger组件至少添加1个PolicySync（PSC）实例、Guardian组件至少添加2个TokenSever（TS）实例。 Kerberos认证 开启 委托 选择创建对接ECS/BMS云服务委托创建的委托（例如：lakeformation_test）。 参考配置MRS集群章节，配置Guardian组件、Hive/Spark2x存算分离、下载客户端等操作。

MRS 3.1.2-LTS.0.3补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.1.2-LTS.0.3 发布时间 2022-12-08 安装前处理 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。 解决的问题 MRS 3.1.2-LTS.0.3 修复问题列表： 修复log4j漏洞(CVE-2021-44228),log4j升级到2.17.2版本 包含MRS 3.1.2-LTS.0.2修复问题 补丁兼容关系 MRS 3.1.2-LTS.0.3补丁包中包含所有MRS 3.1.2-LTS版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。

MRS 3.1.2-LTS.0.2补丁基本信息 表2 补丁基本信息 补丁号 MRS 3.1.2-LTS.0.2 发布时间 2022-10-31 解决的问题 MRS 3.1.2-LTS.0.2 修复问题列表： 解决异常导致Map数量和Reduce数量都为0时，中断任务问题 解决Hive向量化if语句中Output column number expected to be 0 when isRepeating报错问题 解决Hive向量化if语句中由于数据被覆盖导致数据错误和NPE问题 解决开启向量化时，str_to_map函数执行长时间异常问题 解决Hive开启向量化参数后使用split函数执行MR任务效率很低问题 解决Hive开启向量化后查询包含nvl函数和decimal(10,5)字段类型的表报错问题 解决Tez分区空目录报错，报目录不存在问题 解决MR任务提交慢问题 解决Spark2x 创建UDF的jar包放到OBS路径上会查询UDF报错 解决Alluxio jar包冲突问题 解决Executor日志滚动不释放问题 解决Hive元数据库查询网络阻塞问题 解决MRS对接DCS做缓存，缓存键一天多次被清空问题 解决CBG访问OBS概率性无权限问题 解决长时间使用客户端出现死锁问题 解决Yarn运行偶现RM主备切换问题 解决Spark SQL外表动态分区执行insert overwrite报错问题 解决周期清理任务清理.hive-staging时，查询数据库失败问题 解决NameNode在大量删除操作的时候会出现RPC请求处理慢的问题 解决Hive配置Redis缓存频繁访问表key导致Redis热键问题 解决磁盘写速率和磁盘读速率两个指标无法正常上报问题 解决查看指定时间段内的资源概况，监控数据部分缺失问题 解决NameNode退服缓存残留问题 解决Metastore监控指标缺失问题 解决认证krb_test_user失败问题 解决Yarn所有业务中断，报错Timer already cancelled问题 解决实例配置页面无单位转换问题 解决相同AZ下，扩容的节点返回的AZ有误问题 解决[YARN-10854]问题 添加自定义的超时推测机制 使hive.mapreduce.per.task.max.splits适用于Tez GetSplit的listStatus优化 适配hive submit job阶段的内存限制 Superior调度性能提升 物理资源感知特性 ORC合并文件时从文件中读取ORC列压缩属性 Hiveserver堆内存监控限制 大数据量场景，Hive分批加载元数据，提升Hiveserver容错能力 Hive支持Redis缓存连接失败重试 支持OBSA客户端数据监控上报 支持OBS流控重试机制 pms性能优化 mrs-obs-provider的缓存过期优化 优化删除分区的逻辑 Yarn的refresh node速度优化 删除无效告警 补丁兼容关系 MRS 3.1.2-LTS.0.2补丁包中包含所有MRS 3.1.2-LTS版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。

安装补丁的影响 MRS 3.1.2-LTS.0.3补丁安装后，目录“/srv/BigData/data1/nm/localdir/filecache/”下的log4j旧版本的包，需要重新提交相关的yarn作业，才会加载新的log4j的包。 MRS 3.1.2-LTS版本的补丁安装过程中会自动重启OMS，安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能，请选择适当的时间进行补丁安装。 MRS 3.1.2-LTS版本的补丁安装完成后需要在FusionInsight Manager Web界面重启Flink、Hadoop、HBase、HDFS、Hive、MapReduce、Meta、Spark2x、Ranger和Yarn服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。

操作步骤 进入弹性伸缩配置界面后，配置弹性伸缩规则。 弹性伸缩规则可调控节点数量，也会对实际价格有影响，请谨慎操作。 节点数量范围的默认范围： 输入Task实例弹性伸缩的数量范围，此约束应用于所有扩容缩容规则。 例如本场景中，配置为2~4个。 伸缩规则： 需要配置扩容或者缩容，否则弹性伸缩将不会启用。 规则类型选择“扩容”或者“缩容”。 单击“添加规则”，进入“添加规则”页面。 图1 添加规则 配置“规则名称”、“如果”、“持续”、“添加”、“冷却时间”。 单击“确定”。 您可以在弹性伸缩页面，扩容或者缩容区域查看配置的规则。 配置资源计划。 单击节点默认范围下方的“配置指定时间段的节点数量范围”或者“添加资源计划”。 配置“生效日期”、“时间范围”和“节点数量范围”。 例如此处“生效日期”设置为周一、周二和周六，“时间范围”设置为“07:00-13:00”，“节点数量范围”设置为“5~8”。 单击“配置指定时间段的节点数量范围”或者“添加资源计划”按钮配置多条资源计划。 生效日期默认是每日生效，也可以选择周一至周日任意一天或几天生效。 如果没有配置指定时间段的节点数量范围，则节点数量范围以“默认范围”为准。 如果配置了指定时间段的节点数量范围，则在这个时间范围内，以配置的“节点数量范围”为准。不在配置的时间范围时，则以“默认范围”为准。

背景信息 某项实时处理业务数据量在周一、周二和周六7:00~13:00出现规律性变化，但是数据量变化并非非常平稳。假设在周一、周二和周六7:00~13:00期间，需要Task节点的数量范围是5~8个，其他时间需要Task节点数量是2~4个。因此可以在资源计划的基础上，设置基于负载的弹性伸缩规则，以实现当数据量超出预期后，Task节点数量可以在资源计划规定的范围内根据负载情况进行浮动，但不会超出该规定范围。资源计划触发时，会以变化最小的方式使节点数量满足计划规定范围，即如果需要扩容则扩容到计划节点数量范围的下限，如果需要缩容则缩容到计划节点数量范围的上限。

操作步骤 进入弹性伸缩配置界面后，配置资源计划。 资源计划可调控节点数量，也会对实际价格有影响，请谨慎操作。 节点数量范围的“默认范围”设置为“2-2”，表示除资源计划规定时间范围外，其他时间Task节点数量固定为2个。 单击默认范围下方的“配置指定时间段的节点数量范围”或者“添加资源计划”。 配置“生效日期”、“时间范围”和“节点数量范围”。 例如此处“生效日期”设置为周一、周二和周六，“时间范围”设置为“07:00-13:00”，“节点数量范围”设置为“5-5”，表示在该时间范围内，Task节点数量固定为5个。 单击“配置指定时间段的节点数量范围”配置多条资源计划。 生效日期默认是每日生效，也可以选择周一至周日任意一天或几天生效。 如果没有配置指定时间段的节点数量范围，则节点数量范围以“默认范围”为准。 如果配置了指定时间段的节点数量范围，则在这个时间范围内，以配置的“节点数量范围”为准。不在配置的时间范围时，则以“默认范围”为准。

操作步骤 进入弹性伸缩配置界面后，配置弹性伸缩规则。 配置节点默认范围 输入Task实例弹性伸缩的数量范围，此约束应用于所有扩容缩容规则，取值范围为0～500。 例如本业务场景中，配置为1~10。 配置弹性伸缩规则 需要配置扩容或者缩容规则，否则弹性伸缩将不会启用。 规则类型选择“扩容”或者“缩容”。 单击“添加规则”，进入规则编辑页面。 图1 添加规则 配置“规则名称”、“如果”、“持续”、“添加”、“冷却时间”，具体弹性伸缩指标含义可以参考配置弹性伸缩指标。 单击“确定”。 您可以在弹性伸缩页面，扩容或者缩容区域查看、编辑或删除配置的规则。您可以继续添加并配置多条规则。 单击“确定”，完成弹性伸缩规则设置。 如果是为已有集群配置弹性伸缩的场景，需勾选“我同意授权MRS服务根据以上策略自动进行节点扩容/缩容操作。”。

简介 在大数据应用，尤其是实时分析处理数据的场景中，常常需要根据数据量的变化动态调整集群节点数量以增减资源。MRS的弹性伸缩规则功能支持根据集群负载对集群的Task节点进行弹性伸缩。如果数据量是按照周期进行有规律的变化，用户可以按照固定时间段来自动调整Task节点数量范围，从而在数据量变化前提前完成集群的扩缩容。 弹性伸缩规则：根据集群实时负载指标对Task节点数量进行调整，数据量变化后触发扩缩容，有一定的延后性。 资源计划：按时间段设置Task节点数量范围，若数据量变化存在周期性规律，则可通过资源计划在数据量变化前提前完成集群的扩缩容，避免出现增加或减少资源的延后。 弹性伸缩规则与资源计划均可触发弹性伸缩，两者必须至少配置其中一种，也可以叠加使用。资源计划与基于负载的弹性伸缩规则叠加使用可以使得集群节点的弹性更好，足以应对偶尔超出预期的数据峰值出现。 当某些业务场景要求在集群扩缩容之后，根据节点数量的变化对资源分配或业务逻辑进行更改时，手动扩缩容的场景客户可以登录集群节点进行操作。对于弹性伸缩场景，MRS支持通过自定义弹性伸缩自动化脚本来解决。自动化脚本可以在弹性伸缩前后执行相应操作，自动适应业务负载的变化，免去了人工操作。同时，自动化脚本给用户实现个性需求提供了途径，完全自定义的脚本与多个可选的执行时机基本可以满足用户的各项需求，使弹性伸缩更具灵活性。 弹性伸缩规则： 用户对于一个集群，可以同时设置扩容、缩容最多各5条弹性伸缩规则。 系统根据用户的配置顺序从前到后依次判断规则，先扩容，后缩容。请尽量把重要的策略放在前面，以防一次扩容或缩容无法达到预期效果而进行反复触发。 比对因子包括大于、大于等于、小于、小于等于。 集群连续5n（n默认值为1）分钟持续满足配置的指标阈值后才能触发扩容或者缩容。 每次扩容或者缩容后，存在一个冷却时间，冷却时间默认为20分钟，最小值为0。 单次扩容或者缩容的节点数，最小1个节点，最大100个节点。 集群Task节点数量会被限定在用户配置的默认节点数量范围内或者当前时间段生效的资源计划的节点数量范围内。当前时间段生效的资源计划的节点数量范围优先级更高。 资源计划（按时间段设置Task节点数量范围）： 用户可以按时间段设置集群Task节点的最大数量和最小数量，当集群Task节点数不满足当前时间资源计划节点范围要求时，系统触发扩容或缩容。 用户最多可以为一个集群设置5条资源计划。 资源计划周期以天为单位，起始时间与结束时间可以设置为00:00-23:59之间的任意时间点。起始时间早于结束时间至少30分钟。不同资源计划配置的时间段不可交叉。 资源计划触发扩容或缩容后，存在10分钟的冷却时间，冷却时间内不会再次触发弹性伸缩。 当启用资源计划时，在除配置资源计划配置时间段的其他时间内，集群Task节点数量会被限定在用户配置的默认节点数量范围内。 自动化脚本： 用户可以设置自定义脚本，当弹性伸缩触发时，在集群节点上自动运行。 用户最多可以为一个集群设置10个自动化脚本。 可以指定自动化脚本某种或多种类型的节点上执行。 脚本执行时机可以是扩容前、扩容后、缩容前或缩容后。 使用自动化脚本前，请先将脚本上传到集群虚拟机或与集群同region的OBS文件系统中。集群虚拟机上的脚本只能在已有节点上执行，若脚本需要在新扩容的节点上执行，请将脚本上传到OBS。 父主题： 配置弹性伸缩规则

操作步骤 使用omm用户登录到主OMS节点，备份“$OM_TOMCAT_HOME/bin/catalina.sh”文件。 cp $OM_TOMCAT_HOME/bin/catalina.sh /tmp 执行命令vi $OM_TOMCAT_HOME/bin/catalina.sh，找到“Execute The Requested Command”所在行，在该行上面添加一行新内容： JAVA_OPTS="$JAVA_OPTS -Dfastjson.parser.safeMode=true" 使用omm用户在主OMS节点执行如下命令重启Manager Web 服务。 $OMS_RUN_PATH/workspace/ha/module/harm/plugin/script/tomcat stop $OMS_RUN_PATH/workspace/ha/module/harm/plugin/script/tomcat start 在主OMS节点查看进程： ps -ef |grep tomcat | grep om-server 如果包含参数“-Dfastjson.parser.safeMode=true”，说明漏洞问题已经规避，如下图所示： 使用omm用户在备OMS节点同样执行1与2。

操作步骤 使用omm用户登录到主OMS节点，备份$CONTROLLER_HOME/sbin/controller.sh文件。 cp $CONTROLLER_HOME/sbin/controller.sh /tmp 执行命令vi $CONTROLLER_HOME/sbin/controller.sh，找到JVM_ARGS=所在行，在该行的下一行添加一行新内容： JVM_ARGS="$JVM_ARGS -Dfastjson.parser.safeMode=true" 使用omm用户在主OMS节点执行如下命令重启Controller 服务。 sh /opt/Bigdata/om-server/om/sbin/restart-controller.sh 在主OMS节点查看进程。 ps -ef |grep ControllerService 如果包含参数“ -Dfastjson.parser.safeMode=true”，说明漏洞问题已经规避，如下图所示： 使用omm用户在备OMS节点重复执行1与2。

涉及模块 管理面：不涉及该漏洞 租户面：Manager（Web+Controller+nodeagent）、Kafka、Flink、Redis MRS 3.1.0.x执行以下章节： 修复Manager Web 修复Manager Controller 修复Manager nodeagent MRS 3.1.2.x执行章节： 修复Manager Web 修复Manager Controller 修复Manager nodeagent 修复Kafka 修复Flink