华为云用户手册

Kubernetes Metrics Server插件版本发布记录 表1 Kubernetes Metrics Server插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 1.3.60 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 适配CCE v1.29集群 0.6.2 1.3.39 v1.21 v1.23 v1.25 v1.27 v1.28 修复部分问题 0.6.2 1.3.37 v1.21 v1.23 v1.25 v1.27 v1.28 适配CCE v1.28集群 0.6.2 1.3.12 v1.19 v1.21 v1.23 v1.25 v1.27 - 0.6.2 1.3.10 v1.19 v1.21 v1.23 v1.25 v1.27 适配CCE v1.27集群 0.6.2 1.3.8 v1.19 v1.21 v1.23 v1.25 插件挂载节点时区 0.6.2 1.3.6 v1.19 v1.21 v1.23 v1.25 支持插件实例AZ反亲和配置 默认污点容忍时长修改为60s 0.6.2 1.3.3 v1.19 v1.21 v1.23 v1.25 适配CCE v1.25集群 CronHPA调整Deployment实例数，新增skip场景 0.6.2 1.3.2 v1.19 v1.21 v1.23 v1.25 适配CCE v1.25集群 0.6.2 1.2.1 v1.19 v1.21 v1.23 适配CCE v1.23集群 0.4.4 1.1.10 v1.15 v1.17 v1.19 v1.21 适配CCE v1.21集群 0.4.4 1.1.4 v1.15 v1.17 v1.19 资源规格配置单位统一化 0.4.4 1.1.2 v1.15 v1.17 v1.19 同步至社区v0.4.4版本 0.4.4 1.1.1 v1.13 v1.15 v1.17 v1.19 支持自定义资源规格配置，最大无效实例数改为1 0.3.7 1.1.0 v1.13 v1.15 v1.17 v1.19 适配CCE v1.19集群 0.3.7 1.0.5 v1.13 v1.15 v1.17 更新至社区v0.3.7版本 0.3.7 父主题： 插件版本发布记录

节点本地域名解析加速插件版本发布记录 表1 节点本地域名解析加速插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 1.6.2 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 适配CCE v1.29集群 1.22.20 1.5.2 v1.21 v1.23 v1.25 v1.27 v1.28 修复部分问题 1.22.20 1.5.1 v1.21 v1.23 v1.25 v1.27 v1.28 修复部分问题 1.22.20 1.5.0 v1.21 v1.23 v1.25 v1.27 v1.28 适配CCE v1.28集群 插件多可用区部署模式支持选择均匀分布 插件容器基础镜像切HCE20 1.22.20 1.4.6 v1.19 v1.21 v1.23 v1.25 v1.27 修复golang bug导致的admission-controller实例出现高CPU问题 修复插件升级admission-controller实例不会自动重启问题 1.22.20 1.4.0 v1.19 v1.21 v1.23 v1.25 v1.27 修复插件在CCI场景下pod请求耗时长问题 1.22.20 1.3.7 v1.19 v1.21 v1.23 v1.25 v1.27 - 1.22.20 1.3.5 v1.19 v1.21 v1.23 v1.25 v1.27 适配CCE v1.27集群 1.22.20 1.3.1 v1.19 v1.21 v1.23 v1.25 支持为命名空间自动开启DNS Config自动注入 插件与节点时区一致 1.22.20 1.2.7 v1.19 v1.21 v1.23 v1.25 支持插件实例AZ反亲和配置 1.21.1 1.2.4 v1.19 v1.21 v1.23 v1.25 适配CCE v1.25集群 1.21.1 1.2.2 v1.19 v1.21 v1.23 支持自定义NodeLocal DNSCache规格 1.21.1 父主题： 插件版本发布记录

CCE密钥管理（对接 DEW）插件版本发布记录 表1 CCE密钥管理（对接 DEW）插件版本记录 插件版本 支持的集群版本 更新特性 1.1.2 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 适配CCE v1.29集群 支持同步csms凭据时创建secret 1.0.31 v1.21 v1.23 v1.25 v1.27 v1.28 适配CCE v1.27集群 适配CCE v1.28集群 1.0.9 v1.19 v1.21 v1.23 v1.25 - 1.0.6 v1.19 v1.21 v1.23 v1.25 - 1.0.3 v1.19 v1.21 v1.23 v1.25 适配CCE v1.25集群 1.0.2 v1.19 v1.21 v1.23 适配CCE v1.23集群 1.0.1 v1.19 v1.21 支持主动感知SecretProviderClass对象的变化 父主题： 插件版本发布记录

v1.19版本 表7 v1.19补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.19.16-r84 v1.19.16 - - 修复CVE-2024-21626安全漏洞。 v1.19.16-r82 v1.19.16 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.19.16-r80 v1.19.16 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中，支持创建工作负载类型的容器网络配置，可指定Pod子网，详情请参见容器网络配置（NetworkAttachmentDefinition）。 ELB Ingress支持GRPC协议，详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP，详情请参见通过kubectl命令行创建-自动创建ELB。 修复BMS节点重启后显示节点不可用的问题。 优化VIP路由清理逻辑，先清理残留VIP路由，避免出现NetworkManager重启后重新添加路由的问题。 修复CCE Turbo集群使用独享型ELB场景，Pod滚动升级复用IP可能导致ELB后端服务器无法添加的问题。 修复创建负载均衡类型Service时加入healthcheck队列后，如果Service被删除，会导致缓存残留的问题。 修复Master节点所在的物理机或者交换机网络设备掉线之后，内存持续上涨，docker占用内存持续上涨的问题。 修复部分安全问题。 v1.19.16-r72 v1.19.16 - 修复部分场景下非预期的Master节点主备切换。 优化路由删除匹配机制，修复偶发性删除路由命令失败的问题。 修复部分安全问题。 v1.19.16-r70 v1.19.16 - 修复有状态负载Pod可能出现后端添加失败或未更改问题。 增强Master节点核心组件故障隔离能力。 修复达到预热参数回收空闲网卡条件后，可能并没有回收网卡的问题。 修复部分安全问题。 v1.19.16-r60 v1.19.16 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度（Descheduler）。 - 修复部分安全问题。 v1.19.16-r50 v1.19.16 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.19.16-r40 v1.19.16 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签，以便于成本管理。 - 修复部分安全问题。 v1.19.16-r30 v1.19.16 CCE集群支持对接使用弹性规格的独享型ELB。 负载均衡支持设置超时时间。详情请参见负载均衡类型的服务设置超时时间和ELB Ingress设置超时时间。 kube-apiserver高频参数支持配置。 修复部分安全问题。 v1.19.16-r20 v1.19.16 Service和Ingress支持关联G-EIP的独享型ELB。 CCE Turbo容器网卡支持固定IP。详情请参见为Pod配置固定IP。 CCE Turbo容器网卡支持自动创建和自动绑定EIP。详情请参见为Pod配置固定EIP。 云原生2.0网络支持命名空间指定子网。 增强节点重启后，docker运行时拉取镜像的稳定性。 优化CCE Turbo集群在非全预热场景分配网卡的性能。 修复部分安全问题。 v1.19.16-r10 v1.19.16 - 提升Service/Ingress对接ELB特性稳定性。 修复部分安全问题。 v1.19.16-r7 v1.19.16 - 增强Docker版本升级时的可靠性。 优化集群节点时间同步能力。 增强CCE Turbo集群预热场景可靠性。 修复部分安全问题。 v1.19.16-r6 v1.19.16 Service和Ingress支持关联G-EIP的独享型ELB。 增强配置了QoS的containerd容器运行的稳定性。 Ingress支持对url重写策略配置和修改。 优化kube-controller-manager在频繁更新CRD场景下的内存使用。 修复部分安全问题。 v1.19.16-r5 v1.19.16 支持LB类型的Service同时配置TCP/UDP端口，详情请参见指定多个端口配置健康检查。 支持Pod readiness gate，详情请参见通过ELB健康检查设置Pod就绪状态。 增强底层网络异常时的流表可靠性。 增强高版本内核的OS异常掉电等重启场景的稳定性。 修复部分安全问题。 v1.19.16-r4 v1.19.16 容器存储支持对接SFS 3.0文件存储服务。 支持GPU节点的设备故障检测和隔离能力。 支持配置集群维度的自定义安全组。 CCE Turbo集群支持节点级别的网卡预热参数配置。 优化节点污点场景下负载调度的性能。 增强Containerd运行时绑核场景下长时间运行的稳定性。 优化ELB Service/Ingress在大量连接场景下的稳定性。 优化kube-apiserver在频繁更新crd场景下的内存使用。 修复部分安全问题及以下CVE漏洞： CVE-2022-3294 CVE-2022-3162 CVE-2022-3172 v1.19.16-r3 v1.19.16 - 支持image-pull-progress-deadline启动参数升级保留。 CCE Turbo支持节点自定义网卡动态预热配置。 BMS节点EulerOS 2.3重启后udp链接稳定性优化。 解决隧道网络在master节点间网络闪断场景下导致的网络分配不一致问题。 优化容器隧道网络模式集群在控制面节点网络闪断场景下的稳定性。 修复部分安全问题。 v1.19.16-r2 v1.19.16 - 增强集群控制面节点掉电时链接释放的稳定性。 增强节点上Pod并发挂载存储卷的稳定性。 修复部分安全问题。 v1.19.16-r1 v1.19.16 - 增强EulerOS 2.9操作系统NetworkManager的稳定性。 修复部分安全问题。 v1.19.16-r0 v1.19.16 - 增强工作负载升级且节点伸缩状态下，负载均衡服务更新的稳定性。 修复部分安全问题及以下CVE漏洞： CVE-2021-25741 CVE-2021-25737 v1.19.10-r0 v1.19.10 首次发布CCE v1.19集群，有关更多信息请参见Kubernetes 1.19版本说明。 - -

v1.21版本 表6 v1.21补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.21.15-r0 v1.21.14 支持使用通用性SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.21.14-r0 v1.21.14 支持使用PVC动态创建SFS Turbo子目录并挂载。 - 修复部分安全问题。 v1.21.13-r0 v1.21.14 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固（满足等保三级基线要求）。 - 修复部分安全问题。 v1.21.12-r4 v1.21.14 - - 修复CVE-2024-21626安全漏洞。 v1.21.12-r2 v1.21.14 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.21.12-r0 v1.21.14 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中，支持创建工作负载类型的容器网络配置，可指定Pod子网，详情请参见容器网络配置（NetworkAttachmentDefinition）。 ELB Ingress支持GRPC协议，详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP，详情请参见通过kubectl命令行创建-自动创建ELB。 优化健康检查配置，避免出现keepalived反复重启的问题。 优化securityPolicy缓存及Ingress重试风暴。 修复cloud-controller-manager组件主进程所在Master节点出现卡IO，组件切主失败的问题。 修复Service设置权重后，会错误计算terminating状态的Pod数，导致Pod权重不准确的问题。 修复部分安全问题。 v1.21.11-r40 v1.21.14 - 优化接口调用逻辑，避免业务大规模调用场景下出现接口流控。 修复部分安全问题。 v1.21.11-r30 v1.21.14 - 修复CCE Turbo集群使用独享型ELB场景，Pod滚动升级复用IP可能导致ELB后端服务器无法添加的问题。 修复节点删除过程中，节点状态为不可用但没有及时出现告警的问题。 修复磁盘挂载到ECS后，系统中可能出现找不到软链文件的问题。 修复部分安全问题。 v1.21.11-r20 v1.21.14 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度（Descheduler）。 - 修复部分安全问题。 v1.21.11-r10 v1.21.14 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.21.11-r0 v1.21.14 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签，以便于成本管理。 - 修复部分安全问题。 v1.21.10-r10 v1.21.14 CCE集群支持对接使用弹性规格的独享型ELB。 负载均衡支持设置超时时间。详情请参见负载均衡类型的服务设置超时时间和ELB Ingress设置超时时间。 kube-apiserver高频参数支持配置。 修复部分安全问题。 v1.21.10-r0 v1.21.14 Service和Ingress支持关联G-EIP的独享型ELB。 CCE Turbo容器网卡支持固定IP。详情请参见为Pod配置固定IP。 CCE Turbo容器网卡支持自动创建和自动绑定EIP。详情请参见为Pod配置固定EIP。 增强docker版本升级时的可靠性。 优化集群节点时间同步能力。 优化节点重启后，docker运行时拉取镜像的稳定性。 修复部分安全问题。 v1.21.9-r0 v1.21.14 Service和Ingress支持关联G-EIP的独享型ELB。 优化CCE Turbo集群在规格变更场景时网络的稳定性。 修复部分安全问题。 v1.21.8-r0 v1.21.14 支持LB类型的Service同时配置TCP/UDP端口，详情请参见指定多个端口配置健康检查。 支持Pod readiness gate，详情请参见通过ELB健康检查设置Pod就绪状态。 增强底层网络异常时的流表可靠性。 增强高版本内核的OS异常掉电等重启场景的稳定性。 cadvisor GPU/NPU相关指标优化。 修复部分安全问题。 v1.21.7-r0 v1.21.14 容器存储支持对接SFS 3.0文件存储服务。 支持GPU节点的设备故障检测和隔离能力。 支持配置集群维度的自定义安全组。 CCE Turbo集群支持节点级别的网卡预热参数配置。 支持集群控制面组件的日志信息开放。 优化ELB Service/Ingress在大量连接场景下的稳定性。 修复部分安全问题及以下CVE漏洞： CVE-2022-3294 CVE-2022-3162 CVE-2022-3172 v1.21.6-r0 v1.21.7 支持ARM节点创建。 - 修复部分安全问题。 v1.21.5-r10 v1.21.7 - 增强EulerOS 2.3的裸金属节点在重启后的UDP链接稳定性。 优化隧道网络在控制面节点间网络闪断场景下导网络分配的稳定性。 ovs漏洞加固。 修复部分安全问题。 v1.21.5-r0 v1.21.7 - 增强集群升级下容器隧道网络模式的稳定性。 增强pod拓扑分布约束能力。 增强集群控制面节点掉电时链接释放的稳定性。 增强节点上pod并发挂载存储卷的稳定性。 修复部分安全问题。 v1.21.4-r10 v1.21.7 - 增强EulerOS 2.9操作系统NetworkManager的稳定性。 修复部分安全问题。 v1.21.4-r0 v1.21.7 - 增强安全容器场景下容器网卡驱动切换的稳定性。 增强升级工作负载且处于节点伸缩时，访问负载均衡服务的稳定性。 修复部分安全问题。 v1.21.3-r10 v1.21.7 - 增强安全容器场景下容器网卡驱动切换的稳定性。 修复部分安全问题。 v1.21.3-r0 v1.21.7 - CCE Turbo集群容器内的SNAT网段支持可配置。 修复部分安全问题。 v1.21.2-r10 v1.21.7 - 增强Service对接负载均衡场景的稳定性。 修复部分安全问题。 v1.21.2-r0 v1.21.7 优化节点的资源预留参数，支持资源耗尽检测，提升节点的稳定性。 提升集群升级能力，增强升级可靠性。 优化容器本地存储功能，提升稳定性。 修复部分安全问题。 v1.21.1-r2 v1.21.7 容器存储支持本地持久卷。 支持管理EulerOS 2.9鲲鹏计算实例。 容器隧道网络模式和VPC网络模式支持OS内核版本宽匹配。 优化节点安装流程，增强节点创建的可靠性。 优化CentOS和EulerOS 2.5的内核参数，提升OS性能。 修复部分安全问题。 v1.21.1-r1 v1.21.7 - 容器网络支持内核宽匹配。 修复部分安全问题。 v1.21.1-r0 v1.21.7 首次发布CCE v1.21集群，有关更多信息请参见Kubernetes 1.21版本说明。 - -

v1.23版本 表5 v1.23补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.23.14-r0 v1.23.17 支持使用通用性SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.23.13-r0 v1.23.17 负载均衡类型的Service和ELB Ingress能力新增： 支持配置SNI。 支持开启HTTP/2。 支持配置空闲超时时间、请求超时时间、响应超时时间。 支持从HTTP报文的请求头中获取监听器端口号、客户端请求端口号、重写X-Forwarded-Host。 - 修复部分安全问题。 v1.23.12-r0 v1.23.17 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固（满足等保三级基线要求）。 - 修复部分安全问题。 v1.23.11-r4 v1.23.17 - - 修复CVE-2024-21626安全漏洞。 v1.23.11-r2 v1.23.17 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.23.11-r0 v1.23.17 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中，支持创建工作负载类型的容器网络配置，可指定Pod子网，详情请参见容器网络配置（NetworkAttachmentDefinition）。 ELB Ingress支持GRPC协议，详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP，详情请参见通过kubectl命令行创建-自动创建ELB。 优化CCE Turbo集群中大批量创建安全容器的启动速度。 提升CCE Turbo集群中反复创建删除安全容器时的稳定性。 修复Docker在journald异常退出场景下导致容器无法被结束的问题。 修复Everest插件卸载时，调度器未能在创建Pod时拦截自动挂载SFS3.0存储卷的问题。 修复v1.23版本集群中，EulerOS 2.9系统的containerd节点上/var/lib/contained磁盘目录使用率虚高的问题。 修复部分安全问题。 v1.23.10-r20 v1.23.11 - 修复VPC网络模型集群在短时间内创建删除大量Pod时容器网卡偶现残留的问题。 优化路由删除匹配机制，修复偶发性删除路由命令失败的问题。 修复部分安全问题。 v1.23.10-r10 v1.23.11 - 修复节点大规模重启可能导致kube-schedule组件发生重启的问题。 优化Service自动创建共享型ELB的参数校验。 修复删除NodePort类型的Service后，立刻创建同端口Service出现偶发性报错的问题。 修复部分安全问题。 v1.23.10-r0 v1.23.11 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度（Descheduler）。 - 修复部分安全问题。 v1.23.9-r10 v1.23.11 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.23.9-r0 v1.23.11 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签，以便于成本管理。 - 修复部分安全问题。 v1.23.8-r10 v1.23.11 CCE集群支持对接使用弹性规格的独享型ELB。 负载均衡支持设置超时时间。详情请参见负载均衡类型的服务设置超时时间和ELB Ingress设置超时时间。 kube-apiserver高频参数支持配置。 修复部分安全问题。 v1.23.8-r0 v1.23.11 Service和Ingress支持关联G-EIP的独享型ELB。 CCE Turbo容器网卡支持固定IP。详情请参见为Pod配置固定IP。 CCE Turbo容器网卡支持自动创建和自动绑定EIP。详情请参见为Pod配置固定EIP。 CCE Turbo集群在离线混部增强：支持Pod网络优先级限制。详情请参见出口网络带宽保障。 CCE Turbo集群支持命名空间关联容器网段。详情请参见网络配置（NetworkAttachmentDefinition）。 集群支持CPU Burst特性，避免CPU限流影响时延敏感型容器业务。详情请参见CPU Burst弹性限流。 增强docker版本升级时的可靠性。 优化集群节点时间同步能力。 修复部分安全问题。 v1.23.7-r20 v1.23.11 - 增强Service/Ingress对接ELB特性稳定性。 增强节点挂载多块数据盘场景可靠性。 修复部分安全问题。 v1.23.7-r10 v1.23.11 - 增强docker版本升级时的可靠性。 增强containerd运行时在异常断链场景下的可靠性。 内核参数调优异常场景下加固。 修复部分安全问题。 v1.23.7-r0 v1.23.11 Service和Ingress支持关联G-EIP的独享型ELB。 优化CCE Turbo集群在规格变更场景时网络的稳定性。 增强集群升级场景，nginx-ingress-controller的网络稳定性。 优化集群节点时间同步能力。 修复部分安全问题。 v1.23.6-r0 v1.23.11 支持LB类型的Service同时配置TCP/UDP端口，详情请参见指定多个端口配置健康检查。 支持Pod readiness gate，详情请参见通过ELB健康检查设置Pod就绪状态。 增强底层网络异常时的流表可靠性。 增强高版本内核的OS异常掉电等重启场景的稳定性。 cadvisor GPU/NPU相关指标优化。 修复部分安全问题。 v1.23.5-r0 v1.23.11 容器存储支持对接SFS 3.0文件存储服务。 支持GPU节点的设备故障检测和隔离能力。 支持配置集群维度的自定义安全组。 CCE Turbo集群支持节点级别的网卡预热参数配置。 支持集群控制面组件的日志信息开放。 集群支持华为云自研的Huawei Cloud EulerOS 2.0操作系统。 CCE集群支持选择Containerd容器运行时。 CCE Turbo集群在离线混部增强：支持CPU潮汐亲和性。 优化升级控制节点ETCD版本至社区版本3.5.6。 优化EulerOS 2.8节点上Service的访问性能。 优化调度均衡性，工作负载实例数缩容时仍保持跨AZ分布均衡。 优化kube-apiserver在频繁更新CRD场景下的内存使用。 修复部分安全问题及以下CVE漏洞： CVE-2022-3294 CVE-2022-3162 CVE-2022-3172 CVE-2021-25749 v1.23.4-r10 v1.23.4 - 优化kube-apiserver在频繁更新crd场景下的内存使用。 修复部分安全问题。 v1.23.4-r0 v1.23.4 支持ARM节点创建。 - 修复部分安全问题。 v1.23.3-r0 v1.23.4 CCE集群支持对租户开放master节点组件监控指标。 通过预热机制优化CCE Turbo集群SubENI网卡启动速度。 支持ELB类型service配置后端服务器权重。 CCE集群支持跨集群部署服务。 CCE Turbo集群使用虚拟机节点场景下支持在离线混部功能。 增强安全容器在反复创删场景下的可靠性。 修复部分安全问题。 v1.23.1-r1 v1.23.4 优化节点的资源预留参数，支持资源耗尽检测，提升节点的稳定性。 提升节点的安装兼容性。 修复部分安全问题。 v1.23.1-r0 v1.23.4 首次发布CCE v1.23集群，有关更多信息请参见Kubernetes 1.23版本说明。 - -

v1.25版本 除EulerOS 2.5操作系统外，CCE v1.25集群的节点均默认采用Containerd容器引擎。 表4 v1.25补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.25.8-r0 v1.25.16 支持使用通用性SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.25.8-r0 v1.25.10 负载均衡类型的Service和ELB Ingress能力新增： 支持配置SNI。 支持开启HTTP/2。 支持配置空闲超时时间、请求超时时间、响应超时时间。 支持从HTTP报文的请求头中获取监听器端口号、客户端请求端口号、重写X-Forwarded-Host。 - 修复部分安全问题。 v1.25.7-r0 v1.25.10 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固（满足等保三级基线要求）。 - 修复部分安全问题。 v1.25.6-r4 v1.25.10 - - 修复CVE-2024-21626安全漏洞。 v1.25.6-r2 v1.25.10 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.25.6-r0 v1.25.10 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中，支持创建工作负载类型的容器网络配置，可指定Pod子网，详情请参见容器网络配置（NetworkAttachmentDefinition）。 ELB Ingress支持GRPC协议，详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP，详情请参见通过kubectl命令行创建-自动创建ELB。 优化CCE Turbo集群中大批量创建安全容器的启动速度。 提升CCE Turbo集群中反复创建删除安全容器时的稳定性。 修复kubelet在特定场景下偶现启动卡死的问题。 优化autoscaler扩容节点池时的事件上报逻辑，去除规格售罄的重复事件。 修复特定场景下kubelet重启，出现Succeed状态的Pod变为Failed的问题。 修复部分安全问题。 v1.25.5-r20 v1.25.5 - 优化接口调用逻辑，避免业务大规模调用场景下出现接口流控。 启用chrony配置清理修正，避免数据堆积。 修复部分安全问题。 v1.25.5-r10 v1.25.5 - 优化节点删除时的事件信息。 修复部分安全问题。 v1.25.5-r0 v1.25.5 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度（Descheduler）。 - 修复部分安全问题。 v1.25.4-r10 v1.25.5 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.25.4-r0 v1.25.5 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签，以便于成本管理。 - 修复部分安全问题。 v1.25.3-r10 v1.25.5 CCE集群支持对接使用弹性规格的独享型ELB。 负载均衡支持设置超时时间。详情请参见负载均衡类型的服务设置超时时间和ELB Ingress设置超时时间。 kube-apiserver高频参数支持配置。 修复部分安全问题。 v1.25.3-r0 v1.25.5 Service和Ingress支持关联G-EIP的独享型ELB。 CCE Turbo容器网卡支持固定IP。详情请参见为Pod配置固定IP。 CCE Turbo容器网卡支持自动创建和自动绑定EIP。详情请参见为Pod配置固定EIP。 CCE Turbo集群在离线混部增强：支持Pod网络优先级限制。详情请参见出口网络带宽保障。 CCE Turbo集群支持命名空间关联容器网段。详情请参见网络配置（NetworkAttachmentDefinition）。 集群支持CPU Burst特性，避免CPU限流影响时延敏感型容器业务。详情请参见CPU Burst弹性限流。 增强CCE Turbo集群在规格变更场景时网络的稳定性。 修复部分安全问题。 v1.25.1-r0 v1.25.5 首次发布CCE v1.25集群，有关更多信息请参见Kubernetes 1.25版本说明。 - -

v1.27版本 Kubernetes在1.24版本中移除了Dockershim，并从此不再默认支持Docker容器引擎，建议您使用Containerd容器引擎。如果您需要将Docker节点迁移至Containerd节点，详情请参见将节点容器引擎从Docker迁移到Containerd。 表3 v1.27补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.27.6-r0 v1.27.9 创建节点支持选择Docker容器引擎。 支持使用通用性SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.27.5-r0 v1.27.4 负载均衡类型的Service和ELB Ingress能力新增： 支持配置SNI。 支持开启HTTP/2。 支持配置空闲超时时间、请求超时时间、响应超时时间。 支持从HTTP报文的请求头中获取监听器端口号、客户端请求端口号、重写X-Forwarded-Host。 - 修复部分安全问题。 v1.27.4-r0 v1.27.4 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固（满足等保三级基线要求）。 - 修复部分安全问题。 v1.27.3-r4 v1.27.4 - - 修复CVE-2024-21626安全漏洞。 v1.27.3-r2 v1.27.4 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.27.3-r0 v1.27.4 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中，支持创建工作负载类型的容器网络配置，可指定Pod子网，详情请参见容器网络配置（NetworkAttachmentDefinition）。 ELB Ingress支持GRPC协议，详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP，详情请参见通过kubectl命令行创建-自动创建ELB。 优化CCE Turbo集群中大批量创建安全容器的启动速度。 提升CCE Turbo集群中反复创建删除安全容器时的稳定性。 创建Ingress对象时增加配置证书校验，避免对ELB侧已存在的Ingress证书进行覆盖。 优化autoscaler扩容节点池时的事件上报逻辑，去除规格售罄的重复事件。 增加Service与Ingress端口占用的相互校验逻辑；增加同集群下Ingress的路径冲突的的校验逻辑。 修复部分安全问题。 v1.27.2-r20 v1.27.2 - 修复VPC网络模型集群在短时间内创建删除大量Pod时容器网卡偶现残留的问题。 优化Ingress Controller查询证书逻辑，降低触发流控风险。 修复部分安全问题。 v1.27.2-r10 v1.27.2 - 优化节点删除时的事件信息。 修复部分安全问题。 v1.27.2-r0 v1.27.2 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度（Descheduler）。 - 修复部分安全问题。 v1.27.1-r10 v1.27.2 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.27.1-r0 v1.27.2 首次发布CCE v1.27集群，有关更多信息请参见Kubernetes 1.27版本说明。 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签，以便于成本管理。 由于社区安全加固，v1.27及以上版本的集群中ClusterIP地址无法ping通。 -

v1.28版本 表2 v1.28补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.28.4-r0 v1.28.5 创建节点支持选择Docker容器引擎。 支持使用通用性SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.28.3-r0 v1.28.3 负载均衡类型的Service和ELB Ingress能力新增： 支持配置SNI。 支持开启HTTP/2。 支持配置空闲超时时间、请求超时时间、响应超时时间。 支持从HTTP报文的请求头中获取监听器端口号、客户端请求端口号、重写X-Forwarded-Host。 - 修复部分安全问题。 v1.28.2-r0 v1.28.3 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固（满足等保三级基线要求）。 - 修复部分安全问题。 v1.28.1-r4 v1.28.3 - - 修复CVE-2024-21626安全漏洞。 v1.28.1-r2 v1.28.3 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.28.1-r0 v1.28.3 首次发布CCE v1.28集群，有关更多信息请参见Kubernetes 1.28版本说明。 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中，支持创建工作负载类型的容器网络配置，可指定Pod子网，详情请参见容器网络配置（NetworkAttachmentDefinition）。 ELB Ingress支持GRPC协议，详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP，详情请参见通过kubectl命令行创建-自动创建ELB。 优化CCE Turbo集群中大批量创建安全容器的启动速度。 提升CCE Turbo集群中反复创建删除安全容器时的稳定性。 -

CCE容器存储插件（Everest）版本发布记录 表1 CCE容器存储插件（Everest）版本记录 插件版本 支持的集群版本 更新特性 2.4.8 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 适配CCE v1.29集群 支持GPSSD2和ESSD2类型磁盘 支持DSS专属分布式存储 2.3.23 v1.21 v1.23 v1.25 v1.27 v1.28 支持在SFS Turbo文件系统中创建子目录 2.3.21 v1.21 v1.23 v1.25 v1.27 v1.28 修复部分问题 2.3.14 v1.21 v1.23 v1.25 v1.27 v1.28 适配CCE v1.28版本 2.1.55 v1.19 v1.21 v1.23 v1.25 v1.27 支持增程类型EVS云盘 2.1.54 v1.19 v1.21 v1.23 v1.25 v1.27 修复部分问题 2.1.53 v1.19 v1.21 v1.23 v1.25 v1.27 修复部分问题 2.1.51 v1.19 v1.21 v1.23 v1.25 v1.27 支持HCE OS 2.0系统 2.1.50 v1.19 v1.21 v1.23 v1.25 v1.27 - 2.1.46 v1.19 v1.21 v1.23 v1.25 v1.27 适配CCE v1.27版本 支持创建云硬盘类型存储卷时添加磁盘标签 2.1.38 v1.19 v1.21 v1.23 v1.25 支持插件规格与集群规格联动 2.1.30 v1.19 v1.21 v1.23 v1.25 支持插件实例AZ反亲和配置 obsfs包适配Ubuntu 22.04 2.1.13 v1.19 v1.21 v1.23 v1.25 SFS Turbo存储卷subpath PVC批创性能优化 2.1.9 v1.19 v1.21 v1.23 v1.25 支持controller优雅退出 适配CCE v1.25版本 2.0.9 v1.19 v1.21 v1.23 对 everest 部分代码及架构进行重构，改善代码架构，提高插件的可扩展性和稳定性 支持优雅退出 支持OBS进程监控 1.3.28 v1.19 v1.21 v1.23 支持优雅退出 支持OBS进程监控 1.3.22 v1.19 v1.21 v1.23 修复重复挂盘偶现挂载后读写失败的问题 1.3.20 v1.19 v1.21 v1.23 修复重复挂盘偶现挂载后读写失败的问题 1.3.17 v1.19 v1.21 v1.23 调整everest-csi-driver滚动更新的最大不可用数：从10更新到10% 自定义规格支持Pod反亲和 统计节点上可由csi插件管理的scsi卷个数的上限 支持Driver自定义资源规格部署 1.3.8 v1.23 适配CCE v1.23集群 1.3.6 v1.23 适配CCE v1.23集群 1.2.78 v1.15 v1.17 v1.19 v1.21 支持插件实例AZ反亲和配置 1.2.70 v1.15 v1.17 v1.19 v1.21 SFS Turbo存储卷subpath PVC批创性能优化 1.2.67 v1.15 v1.17 v1.19 v1.21 支持controller优雅退出 支持OBS进程监控 1.2.61 v1.15 v1.17 v1.19 v1.21 支持优雅退出 支持OBS进程监控 1.2.55 v1.15 v1.17 v1.19 v1.21 修复重复挂盘偶现挂载后读写失败的问题 1.2.53 v1.15 v1.17 v1.19 v1.21 修复重复挂盘偶现挂载后读写失败的问题 1.2.51 v1.15 v1.17 v1.19 v1.21 调整everest-csi-driver滚动更新的最大不可用数：从10更新到10% 自定义规格支持Pod反亲和 统计节点上可由csi插件管理的scsi卷个数的上限 1.2.44 v1.15 v1.17 v1.19 v1.21 EVS、OBS存储卷支持选择企业项目 OBS对象桶挂载默认不再使用enable_noobj_cache参数 1.2.42 v1.15 v1.17 v1.19 v1.21 EVS、OBS存储卷支持选择企业项目 OBS对象桶挂载默认不再使用enable_noobj_cache参数 1.2.30 v1.15 v1.17 v1.19 v1.21 CCE支持EmptyDir 1.2.28 v1.15 v1.17 v1.19 v1.21 适配CCE v1.21集群 1.2.27 v1.15 v1.17 v1.19 v1.21 支持极速型SSD(ESSD)、通用型SSD(GPSSD)类型云硬盘 1.2.13 v1.15 v1.17 v1.19 支持CCE turbo集群裸金属节点挂载云硬盘；支持EulerOS 2.10系统。 1.2.9 v1.15 v1.17 v1.19 增强PV资源生命周期维护的可靠性 支持1.19.10版本集群使用Attach/Detach Controller挂卸卷能力 提高SFS挂载稳定性 新建集群EVS默认创建类型调整为SAS 1.2.5 v1.15 v1.17 v1.19 提升挂载相关能力可靠性 优化了使用OBS存储时的认证功能，需要用户上传密钥 提高everest插件对flexvolume卷的兼容能力 提高插件运行稳定性 1.1.12 v1.15 v1.17 优化和增强everest-csi-controller组件可靠性 1.1.11 v1.15 v1.17 配置安全加固 支持挂载三方OBS存储 切换更优性能的EVS查询接口 默认快照以clone模式创建磁盘 优化和增强Attach和Detach磁盘状态检测和日志输出 增加认证过期判断可靠性 1.1.8 v1.15 v1.17 支持CCE v1.17，v1.13升级到v1.15场景支持接管Flexvolume 1.1.7 v1.15 v1.17 支持CCE v1.17，v1.13升级到v1.15场景支持接管Flexvolume 父主题： 插件版本发布记录

NGINX Ingress控制器插件版本发布记录 表1 NGINX Ingress控制器插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 2.6.4 v1.25 v1.27 v1.28 v1.29 适配CCE v1.29集群 1.9.3 2.5.6 v1.25 v1.27 v1.28 修复部分问题 1.9.3 2.5.4 v1.25 v1.27 v1.28 同一集群支持安装多套NGINX Ingress控制器 支持通过控制台配置nginx-ingress默认证书 支持将NGINX Ingress控制器指标上报至Prometheus 1.9.3 2.4.6 v1.25 v1.27 v1.28 适配CCE v1.28集群 支持开启准入校验 支持优雅退出、无损升级能力 插件多可用区部署模式支持选择均匀分布 修复CVE-2023-44487漏洞 1.9.3 2.3.5 v1.27 - 1.8.0 2.3.3 v1.27 适配CCE v1.27集群 1.8.0 2.2.52 v1.23 v1.25 同一集群支持安装多套NGINX Ingress控制器 支持通过控制台配置nginx-ingress默认证书 1.5.1 2.2.42 v1.23 v1.25 支持优雅退出、无损升级能力 插件多可用区部署模式支持选择均匀分布 1.5.1 2.2.9 v1.25 - 1.5.1 2.2.7 v1.25 插件挂载节点时区 支持双栈 1.5.1 2.2.3 v1.25 支持插件实例AZ反亲和配置 对创建临时存储卷的POD添加不可调度容忍时间 默认污点容忍时长修改为60s 1.5.1 2.2.1 v1.25 适配CCE v1.25集群 更新至社区v1.5.1版本 1.5.1 2.1.33 v1.19 v1.21 v1.23 支持优雅退出、无损升级能力 插件多可用区部署模式支持选择均匀分布 1.2.1 2.1.10 v1.19 v1.21 v1.23 支持插件实例AZ反亲和配置 默认污点容忍时长修改为60s 插件挂载节点时区 支持双栈 1.2.1 2.1.9 v1.19 v1.21 v1.23 支持插件实例AZ反亲和配置 默认污点容忍时长修改为60s 插件挂载节点时区 支持双栈 1.2.1 2.1.5 v1.19 v1.21 v1.23 支持插件实例AZ反亲和配置 默认污点容忍时长修改为60s 1.2.1 2.1.3 v1.19 v1.21 v1.23 nginx-ingress支持开启publishService开关 1.2.1 2.1.1 v1.19 v1.21 v1.23 更新至社区v1.2.1版本 1.2.1 2.1.0 v1.19 v1.21 v1.23 更新至社区v1.2.0版本 修复CVE-2021-25746漏洞，新增规则禁用一些存在越权风险的Anntotations值 修复CVE-2021-25745漏洞，新增规则禁用一些存在越权风险的访问路径 1.2.0 2.0.1 v1.19 v1.21 v1.23 适配CCE v1.23集群 更新至社区v1.1.1版本 1.1.1 1.3.2 v1.15 v1.17 v1.19 v1.21 适配CCE v1.21集群 同步至社区v0.49.3版本 0.49.3 1.2.6 v1.15 v1.17 v1.19 配置seccomp默认规则 0.46.0 1.2.5 v1.15 v1.17 v1.19 同步至社区v0.46.0版本 0.46.0 1.2.3 v1.15 v1.17 v1.19 适配CCE v1.19集群 0.43.0 1.2.2 v1.15 v1.17 同步至社区v0.43.0版本 0.43.0 父主题： 插件版本发布记录

CCE节点故障检测插件版本发布记录 表1 CCE节点故障检测插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 1.19.1 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 修复部分问题 0.8.10 1.19.0 v1.21 v1.23 v1.25 v1.27 v1.28 修复部分问题 0.8.10 1.18.48 v1.21 v1.23 v1.25 v1.27 v1.28 修复部分问题 0.8.10 1.18.46 v1.21 v1.23 v1.25 v1.27 v1.28 适配CCE v1.28版本 0.8.10 1.18.24 v1.19 v1.21 v1.23 v1.25 v1.27 修复部分问题 0.8.10 1.18.23 v1.19 v1.21 v1.23 v1.25 v1.27 修复部分问题 0.8.10 1.18.22 v1.19 v1.21 v1.23 v1.25 v1.27 - 0.8.10 1.18.21 v1.19 v1.21 v1.23 v1.25 v1.27 - 0.8.10 1.18.18 v1.19 v1.21 v1.23 v1.25 v1.27 适配CCE v1.27集群 0.8.10 1.18.14 v1.19 v1.21 v1.23 v1.25 支持插件实例AZ反亲和配置 支持在竞价实例被释放前给节点加污点，驱逐节点上的pod 插件挂载节点时区 0.8.10 1.18.10 v1.19 v1.21 v1.23 v1.25 配置界面优化 优化DiskSlow检查项，支持阈值配置 优化NTPProblem检查项，支持阈值配置 支持插件实例AZ反亲和配置 支持竞价实例中断检测，中断前驱逐节点上的pod 0.8.10 1.17.4 v1.17 v1.19 v1.21 v1.23 v1.25 优化DiskHung检查项 0.8.10 1.17.3 v1.17 v1.19 v1.21 v1.23 v1.25 NPC最大可打污点节点数支持百分比配置 新增进程Z状态检查项ProcessZ 优化NTPProblem检查项，支持检测时间偏差 修复BMS节点场景存在常驻D状态进程，干扰ProcessD检查项 0.8.10 1.17.2 v1.17 v1.19 v1.21 v1.23 v1.25 新增磁盘卡IO检查项DiskHung 新增磁盘慢IO检查项DiskSlow 新增进程D状态检查项ProcessD 新增挂载点健康检查MountPointProblem 避免与Service端口范围冲突，默认健康检查监听端口修改为19900，默认Prometheus指标暴露端口修改为19901。 新增支持1.25集群版本 0.8.10 1.16.4 v1.17 v1.19 v1.21 v1.23 新增beta检查项ScheduledEvent，支持通过metadata接口检测宿主机异常导致虚拟机进行冷热迁移事件。该检查项默认不开启。 0.8.10 1.16.3 v1.17 v1.19 v1.21 v1.23 新增ResolvConf配置文件检查。 0.8.10 1.16.1 v1.17 v1.19 v1.21 v1.23 新增node-problem-controller。支持基本故障隔离能力。 新增PID、FD、磁盘、内存、临时卷存储池、持久卷存储池检查项。 0.8.10 1.15.0 v1.17 v1.19 v1.21 v1.23 检测项全面加固，避免误报。 支持内核巡检。支持OOMKilling事件，TaskHung事件上报。 0.8.10 1.14.11 v1.17 v1.19 v1.21 适配CCE v1.21集群 0.7.1 1.14.5 v1.17 v1.19 修复监控指标无法被获取的问题 0.7.1 1.14.4 v1.17 v1.19 适配ARM64节点部署 适配containerd运行时节点 0.7.1 1.14.2 v1.17 v1.19 适配CCE v1.19集群 新增支持Ubuntu操作系统和安全容器场景 0.7.1 1.13.8 v1.15.11 v1.17 修复容器隧道网络下CNI健康检查问题 调整资源配额 0.7.1 1.13.6 v1.15.11 v1.17 修复僵尸进程未被回收的问题 0.7.1 1.13.5 v1.15.11 v1.17 增加污点容忍配置 0.7.1 1.13.2 v1.15.11 v1.17 增加资源限制，增强cni插件的检测能力 0.7.1 父主题： 插件版本发布记录

Volcano调度器版本发布记录 表1 Volcano调度器版本记录 插件版本 支持的集群版本 更新特性 1.12.18 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 适配CCE v1.29集群 默认开启抢占功能 1.12.1 v1.19.16 v1.21 v1.23 v1.25 v1.27 v1.28 应用弹性扩缩容性能优化 1.11.21 v1.19.16 v1.21 v1.23 v1.25 v1.27 v1.28 支持Kubernetes v1.28 支持负载感知调度 镜像OS更新为HCE 2.0 优化CSI资源抢占能力 优化负载感知重调度能力 优化混部场景抢占能力 1.11.9 v1.19.16 v1.21 v1.23 v1.25 v1.27 优化昇腾芯片rank table排序能力 支持应用弹性伸缩场景下的优先级调度 1.11.6 v1.19.16 v1.21 v1.23 v1.25 v1.27 支持Kubernetes v1.27 支持重调度功能 支持节点池亲和调度能力 优化调度性能 1.10.14 v1.19.16 v1.21 v1.23 v1.25 支持GPU资源抢占 优化混部弹性限流功能 增强可用区拓扑分布能力 优化昇腾芯片rank table排序能力 优化GPU虚拟化功能 提升与CA联动扩容效率 提升调度稳定性 优化持久卷调度逻辑 优化日志信息 1.10.7 v1.19.16 v1.21 v1.23 v1.25 修复本地持久卷插件未计算预绑定到节点的pod的问题 1.10.5 v1.19.16 v1.21 v1.23 v1.25 volcano agent支持资源超卖。 添加针对GPU资源字段的校验admission：nvidia.com/gpu应小于1或者为正整数，volcano.sh/gpu-core.percentage应小于100并为5的倍数。 修复存在PVC绑定失败的场景下，后续提交Pod调度慢的问题。 修复节点上存在长时间Teminating Pod场景下，新提交Pod无法运行的问题。 修复并发创建挂载PVC的Pod的场景下，volcano重启的问题。 1.9.1 v1.19.16 v1.21 v1.23 v1.25 修复networkresource插件计数pipeline pod占用subeni问题 修复binpack插件对资源不足节点打分问题 修复对结束状态未知的Pod的资源的处理 优化事件输出 默认高可用部署 1.7.2 v1.19.16 v1.21 v1.23 v1.25 Volcano支持v1.25集群 提升Volcano调度性能 1.7.1 v1.19.16 v1.21 v1.23 v1.25 Volcano支持v1.25集群 1.4.7 v1.15 v1.17 v1.19 v1.21 删除Pod状态Undetermined，以适配集群Autoscaler的弹性能力。 1.4.5 v1.17 v1.19 v1.21 volcano-scheduler的部署方式由StatefulSet调整为Deployment，修复节点异常时Pod无法自动迁移的问题 1.4.2 v1.15 v1.17 v1.19 v1.21 修复跨GPU分配失败问题 适配更新后的EAS API 1.3.7 v1.15 v1.17 v1.19 v1.21 支持在/离线作业混合部署及资源超卖功能 优化集群调度吞吐性能 修复特定场景下调度器panic的问题 修复CCE v1.15集群中volcano作业volumes.secret校验失败的问题 修复挂载volume，作业调度不成功的问题 1.3.3 v1.15 v1.17 v1.19 v1.21 修复GPU异常导致的调度器崩溃问题；修复特权Init容器准入失败问题 1.3.1 v1.15 v1.17 v1.19 升级Volcano框架到最新版本 支持Kubernetes v1.19版本 添加numa-aware插件 修复多队列场景下Deployment扩缩容的问题 调整默认开启的算法插件 1.2.5 v1.15 v1.17 v1.19 修复某些场景下OutOfcpu的问题 修复queue设置部分capability情况下Pod无法调度问题 支持volcano组件日志时间与系统时间保持一致 修复队列间多抢占问题 修复ioaware插件在某些极端场景下结果不符合预期的问题 支持混合集群 1.2.3 v1.15 v1.17 v1.19 修复因为精度不够引发的训练任务OOM的问题 修复CCE v1.15以上版本GPU调度的问题，暂不支持任务分发时的CCE版本滚动升级 修复特定场景下队列状态不明的问题 修复特定场景下作业挂载PVC panic的问题 修复GPU作业无法配置小数的问题 添加ioaware插件 添加ring controller 父主题： 插件版本发布记录

集群版本与操作系统对应关系 如下为当前已经发布的集群版本与操作系统版本的对应关系，请参考： 表1 弹性云服务器-虚拟机节点操作系统 操作系统 集群版本 CCE Standard集群 CCE Turbo集群 最新内核信息 VPC网络模型 容器隧道网络模型 云原生网络2.0 Huawei Cloud EulerOS 2.0 v1.29 √ √ √ 5.10.0-60.18.0.50.r1083_58.hce2.x86_64 v1.28 √ √ √ 5.10.0-60.18.0.50.r1083_58.hce2.x86_64 v1.27 √ v1.27.3-r0及以上版本支持 √ 5.10.0-60.18.0.50.r1083_58.hce2.x86_64 v1.25 √ v1.25.6-r0及以上版本支持 √ 5.10.0-60.18.0.50.r1083_58.hce2.x86_64 v1.23 √ v1.23.11-r0及以上版本支持 √ 5.10.0-60.18.0.50.r1083_58.hce2.x86_64 Huawei Cloud EulerOS 2.0 (ARM) v1.29 √ √ √ 5.10.0-60.18.0.50.r1083_58.hce2.aarch64 v1.28 √ √ √ 5.10.0-60.18.0.50.r1083_58.hce2.aarch64 v1.27 √ v1.27.3-r0及以上版本支持 √ 5.10.0-60.18.0.50.r1083_58.hce2.aarch64 v1.25 √ v1.25.6-r0及以上版本支持 √ 5.10.0-60.18.0.50.r1083_58.hce2.aarch64 v1.23 √ v1.23.11-r0及以上版本支持 √ 5.10.0-60.18.0.50.r1083_58.hce2.aarch64 Ubuntu 22.04 v1.29 √ × √ 5.15.0-92-generic v1.28 √ × √ 5.15.0-92-generic v1.27 √ × √ 5.15.0-92-generic v1.25 √ × √ 5.15.0-92-generic v1.23 √ × √ 5.15.0-92-generic Huawei Cloud EulerOS 1.1 v1.29 √ √ √ 3.10.0-1160.76.2.hce1c.x86_64 v1.28 √ √ √ 3.10.0-1160.76.2.hce1c.x86_64 v1.27 √ √ √ 3.10.0-1160.76.2.hce1c.x86_64 v1.25 √ √ √ 3.10.0-1160.76.2.hce1c.x86_64 v1.23 √ √ √ 3.10.0-1160.76.2.hce1c.x86_64 v1.21 √ √ √ 3.10.0-1160.76.2.hce1c.x86_64 CentOS Linux release 7.6 v1.29 √ √ √ 3.10.0-1160.108.1.el7.x86_64 v1.28 √ √ √ 3.10.0-1160.108.1.el7.x86_64 v1.27 √ √ √ 3.10.0-1160.108.1.el7.x86_64 v1.25 √ √ √ 3.10.0-1160.108.1.el7.x86_64 v1.23 √ √ √ 3.10.0-1160.108.1.el7.x86_64 v1.21 √ √ √ 3.10.0-1160.108.1.el7.x86_64 v1.19（停止维护） √ √ √ 3.10.0-1160.108.1.el7.x86_64 v1.17.17（停止维护） √ √ √ 3.10.0-1160.15.2.el7.x86_64 v1.17.9（停止维护） √ √ √ 3.10.0-1062.12.1.el7.x86_64 v1.15.11（停止维护） √ √ √ 3.10.0-1062.12.1.el7.x86_64 v1.15.6-r1（停止维护） √ √ √ 3.10.0-1062.1.1.el7.x86_64 v1.13.10-r1（停止维护） √ √ √ 3.10.0-957.21.3.el7.x86_64 v1.13.7-r0（停止维护） √ √ √ 3.10.0-957.21.3.el7.x86_64 EulerOS release 2.9 v1.29 √ √ √ 4.18.0-147.5.1.6.h1152.eulerosv2r9.x86_64 v1.28 √ √ √ 4.18.0-147.5.1.6.h1152.eulerosv2r9.x86_64 v1.27 √ √ √ 4.18.0-147.5.1.6.h1152.eulerosv2r9.x86_64 v1.25 √ √ √ 4.18.0-147.5.1.6.h1152.eulerosv2r9.x86_64 v1.23 √ √ √ 4.18.0-147.5.1.6.h1152.eulerosv2r9.x86_64 v1.21 √ √ √ 4.18.0-147.5.1.6.h1152.eulerosv2r9.x86_64 v1.19（停止维护） √ √ √ 4.18.0-147.5.1.6.h1152.eulerosv2r9.x86_64 EulerOS release 2.9 (ARM) v1.29 √ √ √ 4.19.90-vhulk2103.1.0.h1144.eulerosv2r9.aarch64 v1.28 √ √ √ 4.19.90-vhulk2103.1.0.h1144.eulerosv2r9.aarch64 v1.27 √ √ √ 4.19.90-vhulk2103.1.0.h1144.eulerosv2r9.aarch64 v1.25 √ √ √ 4.19.90-vhulk2103.1.0.h1144.eulerosv2r9.aarch64 v1.23 √ √ √ 4.19.90-vhulk2103.1.0.h1144.eulerosv2r9.aarch64 v1.21 √ √ √ 4.19.90-vhulk2103.1.0.h1144.eulerosv2r9.aarch64 v1.19（停止维护） √ √ √ 4.19.90-vhulk2103.1.0.h1144.eulerosv2r9.aarch64 EulerOS release 2.8（ARM）（停止维护） v1.27及以上 × × × - v1.25 √ √ √ 4.19.36-vhulk1907.1.0.h1350.eulerosv2r8.aarch64 v1.23 √ √ √ 4.19.36-vhulk1907.1.0.h1350.eulerosv2r8.aarch64 v1.21 √ √ √ 4.19.36-vhulk1907.1.0.h1350.eulerosv2r8.aarch64 v1.19.16 √ √ √ 4.19.36-vhulk1907.1.0.h1350.eulerosv2r8.aarch64 v1.19.10 √ √ √ 4.19.36-vhulk1907.1.0.h962.eulerosv2r8.aarch64 v1.17.17（停止维护） √ √ √ 4.19.36-vhulk1907.1.0.h962.eulerosv2r8.aarch64 v1.15.11（停止维护） √ √ √ 4.19.36-vhulk1907.1.0.h702.eulerosv2r8.aarch64 EulerOS release 2.5（停止维护） v1.27及以上 × × × - v1.25 √ √ √ 3.10.0-862.14.1.5.h687.eulerosv2r7.x86_64 v1.23 √ √ √ 3.10.0-862.14.1.5.h687.eulerosv2r7.x86_64 v1.21 √ √ √ 3.10.0-862.14.1.5.h687.eulerosv2r7.x86_64 v1.19.16 √ √ √ 3.10.0-862.14.1.5.h687.eulerosv2r7.x86_64 v1.19.10 √ √ √ 3.10.0-862.14.1.5.h520.eulerosv2r7.x86_64 v1.19.8 √ √ √ 3.10.0-862.14.1.5.h520.eulerosv2r7.x86_64 v1.17.17（停止维护） √ √ √ 3.10.0-862.14.1.5.h470.eulerosv2r7.x86_64 v1.17.9（停止维护） √ √ √ 3.10.0-862.14.1.5.h428.eulerosv2r7.x86_64 v1.15.11（停止维护） √ √ √ 3.10.0-862.14.1.5.h428.eulerosv2r7.x86_64 v1.15.6-r1（停止维护） √ √ √ 3.10.0-862.14.1.5.h328.eulerosv2r7.x86_64 v1.13.10-r1（停止维护） √ √ √ 3.10.0-862.14.1.2.h249.eulerosv2r7.x86_64 v1.13.7-r0（停止维护） √ √ √ 3.10.0-862.14.1.0.h197.eulerosv2r7.x86_64 Ubuntu 18.04 server 64bit（停止维护） v1.27及以上 × × × - v1.25 √ × √ 4.15.0-171-generic v1.23 √ × √ 4.15.0-171-generic v1.21 √ × √ 4.15.0-171-generic v1.19.16 √ × √ 4.15.0-171-generic v1.19.8 √ × √ 4.15.0-136-generic v1.17.17 √ × √ 4.15.0-136-generic 表2 弹性云服务器-物理机节点操作系统 操作系统 集群版本 CCE Standard集群 CCE Turbo集群 最新内核信息 VPC网络模型 容器隧道网络模型 云原生网络2.0 EulerOS release 2.10 v1.29 √ √ √ 4.18.0-147.5.2.15.h1109.eulerosv2r10.x86_64 v1.28 √ √ √ 4.18.0-147.5.2.15.h1109.eulerosv2r10.x86_64 v1.27 √ √ √ 4.18.0-147.5.2.15.h1109.eulerosv2r10.x86_64 v1.25 √ √ √ 4.18.0-147.5.2.15.h1109.eulerosv2r10.x86_64 v1.23 √ √ √ 4.18.0-147.5.2.15.h1109.eulerosv2r10.x86_64 v1.21 √ √ √ 4.18.0-147.5.2.15.h1109.eulerosv2r10.x86_64 v1.19.16（停止维护） √ √ √ 4.18.0-147.5.2.15.h1109.eulerosv2r10.x86_64 表3 裸金属服务器节点操作系统 操作系统 集群版本 CCE Standard集群 CCE Turbo集群 最新内核信息 VPC网络模型 容器隧道网络模型 云原生网络2.0 EulerOS release 2.9（受限使用，请提交工单申请） v1.28 √ √ × 4.18.0-147.5.1.6.h841.eulerosv2r9.x86_64 v1.27 √ √ × 4.18.0-147.5.1.6.h841.eulerosv2r9.x86_64 v1.25 √ √ × 4.18.0-147.5.1.6.h841.eulerosv2r9.x86_64 v1.23 √ √ × 4.18.0-147.5.1.6.h841.eulerosv2r9.x86_64 v1.21 √ √ × 4.18.0-147.5.1.6.h841.eulerosv2r9.x86_64 v1.19 √ √ × 4.18.0-147.5.1.6.h841.eulerosv2r9.x86_64 EulerOS release 2.3（停止维护） v1.27及以上 × × × - v1.25 √ √ × 3.10.0-514.41.4.28.h62.x86_64 v1.23 √ √ × 3.10.0-514.41.4.28.h62.x86_64 v1.21 √ √ × 3.10.0-514.41.4.28.h62.x86_64 v1.19 √ √ × 3.10.0-514.41.4.28.h62.x86_64 v1.17 √ √ × 3.10.0-514.41.4.28.h62.x86_64 v1.15.11 √ √ × 3.10.0-514.41.4.28.h62.x86_64

极速文件存储挂载参数 CCE Autopilot在挂载极速文件存储时默认设置了如表1所示的参数。 表1 极速文件存储挂载参数 参数 参数值 描述 keep-original-ownership 无需填写 表示是否保留文件挂载点的ownership。 默认为不添加该参数，此时挂载极速文件存储时将会默认把挂载点的ownership修改为root:root。 如添加该参数，挂载极速文件存储时将保持文件系统原有的ownership。 vers 3 文件系统版本，目前只支持NFSv3。取值：3 nolock 无需填写 选择是否使用NLM协议在服务器上锁文件。当选择nolock选项时，锁对于同一主机的应用有效，对不同主机不受锁的影响。 timeo 600 NFS客户端重传请求前的等待时间(单位为0.1秒)。建议值：600。 hard/soft 无需填写 挂载方式类型。 取值为hard，即使用硬连接方式，若NFS请求超时，则客户端一直重新请求直至成功。 取值为soft，即软挂载方式挂载系统，若NFS请求超时，则客户端向调用程序返回错误。 默认为hard。 除了以上参数外，您还可以设置其他的文件存储挂载参数，具体请参见挂载NFS文件系统到云服务器（Linux）。

在PV中设置挂载参数 在PV中设置挂载参数可以通过mountOptions字段实现，如下所示，mountOptions支持挂载的字段请参见极速文件存储挂载参数。 使用kubectl连接集群，详情请参见通过kubectl连接集群。 在PV中设置挂载参数，示例如下： apiVersion: v1 kind: PersistentVolume metadata: annotations: pv.kubernetes.io/provisioned-by: everest-csi-provisioner name: pv-sfsturbo # PV的名称 spec: accessModes: - ReadWriteMany # 访问模式，极速文件存储必须为ReadWriteMany capacity: storage: 500Gi # 极速文件存储容量大小 csi: driver: sfsturbo.csi.everest.io # 挂载依赖的存储驱动 fsType: nfs volumeHandle: {your_volume_id} # 极速文件存储的ID volumeAttributes: everest.io/share-export-location: {your_location} # 极速文件存储的共享路径 everest.io/enterprise-project-id: {your_project_id} # 极速文件存储的项目ID storage.kubernetes.io/csiProvisionerIdentity: everest-csi-provisioner persistentVolumeReclaimPolicy: Retain # 回收策略 storageClassName: csi-sfsturbo # SFS Turbo存储类名称 mountOptions: # 挂载参数 - vers=3 - nolock - timeo=600 - hard PV创建后，可以创建PVC关联PV，然后在工作负载的容器中挂载，具体操作步骤请参见通过静态存储卷使用已有极速文件存储。 验证挂载参数是否生效。 本例中将PVC挂载至使用nginx:latest镜像的工作负载，并通过mount -l命令查看挂载参数是否生效。 查看已挂载文件存储的Pod，本文中的示例工作负载名称为web-sfsturbo。 kubectl get pod | grep web-sfsturbo 回显如下： web-sfsturbo-*** 1/1 Running 0 23m 执行以下命令查看挂载参数，其中web-sfsturbo-***为示例Pod。 kubectl exec -it web-sfsturbo-*** -- mount -l | grep nfs 若回显中的挂载信息与设置的挂载参数一致，说明挂载参数设置成功。 {您的挂载地址} on /data type nfs (rw,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,nolock,noresvport,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=**.**.**.**,mountvers=3,mountport=20048,mountproto=tcp,local_lock=all,addr=**.**.**.**)

对象存储介绍 对象存储服务（Object Storage Service，OBS）提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。适合企业备份/归档、视频点播、视频监控等多种数据存储场景。 标准接口：具备标准Http Restful API接口，用户必须通过编程或第三方工具访问对象存储。 数据共享：服务器、嵌入式设备、IOT设备等所有调用相同路径，均可访问共享的对象存储数据。 公共/私有网络：对象存储数据允许在公网访问，满足互联网应用需求。 容量与性能：容量无限制，性能较高（IO读写时延10ms级）。 应用场景：适用于（基于OBS界面、OBS工具、OBS SDK等）的一次上传共享多读（ReadOnlyMany）的各种工作负载（Deployment/StatefulSet）和普通任务（Job）使用，主要面向大数据分析、静态网站托管、在线视频点播、基因测序、智能视频监控、备份归档、企业云盘（网盘）等场景。

使用场景 根据使用场景不同，对象存储支持以下挂载方式： 通过静态存储卷使用已有对象存储：即静态创建的方式，需要先使用已有的对象存储创建PV，然后通过PVC在工作负载中挂载存储。适用于已有可用的底层存储或底层存储需要包周期的场景。 通过动态存储卷使用对象存储：即动态创建的方式，无需预先创建对象存储，在创建PVC时通过指定存储类（StorageClass），即可自动创建对象存储和对应的PV对象。适用于无可用的底层存储，需要新创建的场景。

对象存储规格 对象存储提供了多种存储类别，从而满足客户业务对存储性能、成本的不同诉求。 并行文件系统（推荐使用）：并行文件系统（Parallel File System）是OBS提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别带宽和百万级别的IOPS，能够快速处理高性能计算（HPC）工作负载。相较于对象桶，并行文件系统在稳定性、性能上更具优势。详细介绍请参见什么是并行文件系统。 对象桶（不推荐使用）： 标准存储：访问时延低和吞吐量高，因而适用于有大量热点文件（平均一个月多次）或小文件（小于1MB），且需要频繁访问数据的业务场景，例如：大数据、移动应用、热点视频、社交图片等场景。 低频访问存储：适用于不频繁访问（平均一年少于12次）但在需要时也要求快速访问数据的业务场景，例如：文件同步/共享、企业备份等场景。与标准存储相比，低频访问存储有相同的数据持久性、吞吐量以及访问时延，且成本较低，但是可用性略低于标准存储。 关于对象存储的详细介绍，请以对象存储类别为准。

创建subpath类型SFS Turbo存储卷 创建SFS Turbo资源，选择网络时，请选择与集群相同的VPC与子网。 新建一个StorageClass的YAML文件，例如sfsturbo-subpath-sc.yaml。 配置示例： apiVersion: storage.k8s.io/v1 allowVolumeExpansion: true kind: StorageClass metadata: name: sfsturbo-subpath-sc mountOptions: - lock parameters: csi.storage.k8s.io/csi-driver-name: sfsturbo.csi.everest.io csi.storage.k8s.io/fstype: nfs everest.io/archive-on-delete: "true" everest.io/share-access-to: 7ca2dba2-1234-1234-1234-626371a8fb3a everest.io/share-expand-type: bandwidth everest.io/share-export-location: 192.168.1.1:/sfsturbo/ everest.io/share-source: sfs-turbo everest.io/share-volume-type: STANDARD everest.io/volume-as: subpath everest.io/volume-id: 0d773f2e-1234-1234-1234-de6a35074696 provisioner: everest-csi-provisioner reclaimPolicy: Delete volumeBindingMode: Immediate 其中： name：storageclass的名称。 mountOptions：选填字段；mount挂载参数。 everest 1.2.8以下，1.1.13以上版本仅开放对nolock参数配置，mount操作默认使用nolock参数，无需配置。nolock=false时，使用lock参数。 everest 1.2.8及以上版本支持更多参数，默认使用如下所示配置，具体请参见设置挂载参数。此处不能配置为nolock=true，会导致挂载失败。 mountOptions: - vers=3 - timeo=600 - nolock - hard everest.io/volume-as：该参数需设置为“subpath”来使用subpath模式。 everest.io/share-access-to：选填字段。subpath模式下，填写SFS Turbo资源的所在VPC的ID。 everest.io/share-expand-type：选填字段。若SFS Turbo资源存储类型为增强版（标准型增强版、性能型增强版），设置为bandwidth。 everest.io/share-export-location：挂载目录配置。由SFS Turbo共享路径和子目录组成，共享路径可至SFS Turbo服务页面查询，子路径由用户自定义，后续指定该StorageClass创建的PVC均位于该子目录下。 everest.io/share-volume-type：选填字段。填写SFS Turbo的类型。标准型为STANDARD，性能型为PERFORMANCE。对于增强型需配合“everest.io/share-expand-type”字段使用，everest.io/share-expand-type设置为“bandwidth”。 everest.io/zone：选填字段。指定SFS Turbo资源所在的可用区。 everest.io/volume-id：SFS Turbo资源的卷ID，可至SFS Turbo界面查询。 everest.io/archive-on-delete：若该参数设置为“true”，在回收策略为“Delete”时，删除PVC会将PV的原文档进行归档，归档目录的命名规则“archived-$pv名称.时间戳”。该参数设置为“false”时，会将PV对应的SFS Turbo子目录删除。默认设置为“true”，即删除PVC时进行归档。 执行kubectl create -f sfsturbo-subpath-sc.yaml。 新建一个PVC的YAML文件，sfs-turbo-test.yaml。 配置示例： apiVersion: v1 kind: PersistentVolumeClaim metadata: name: sfs-turbo-test namespace: default spec: accessModes: - ReadWriteMany resources: requests: storage: 50Gi storageClassName: sfsturbo-subpath-sc volumeMode: Filesystem 其中： name: PVC的名称。 storageClassName：SC的名称。 storage：subpath模式下，调整该参数的大小不会对SFS Turbo容量进行调整。实际上，subpath类型的卷是SFS Turbo中的一个文件路径，因此在PVC中对subpath类型的卷扩容时，不会同时扩容SFS Turbo资源。 subpath子目录的容量受限于SFS Turbo资源的总容量，若SFS Turbo资源总容量不足，请您及时到SFS Turbo界面调整。 执行kubectl create -f sfs-turbo-test.yaml。

StatefulSet动态创建subpath模式的数据卷 新建一个StatefulSet的YAML文件，例如statefulset-test.yaml。 配置示例： apiVersion: apps/v1 kind: StatefulSet metadata: name: test-turbo-subpath namespace: default generation: 1 labels: appgroup: '' spec: replicas: 2 selector: matchLabels: app: test-turbo-subpath template: metadata: labels: app: test-turbo-subpath annotations: metrics.alpha.kubernetes.io/custom-endpoints: '[{"api":"","path":"","port":"","names":""}]' pod.alpha.kubernetes.io/initialized: 'true' spec: containers: - name: container-0 image: 'nginx:latest' resources: {} volumeMounts: - name: sfs-turbo-160024548582479676 mountPath: /tmp terminationMessagePath: /dev/termination-log terminationMessagePolicy: File imagePullPolicy: IfNotPresent restartPolicy: Always terminationGracePeriodSeconds: 30 dnsPolicy: ClusterFirst securityContext: {} imagePullSecrets: - name: default-secret affinity: {} schedulerName: default-scheduler volumeClaimTemplates: - metadata: name: sfs-turbo-160024548582479676 namespace: default annotations: {} spec: accessModes: - ReadWriteOnce resources: requests: storage: 10Gi storageClassName: sfsturbo-subpath-sc serviceName: wwww podManagementPolicy: OrderedReady updateStrategy: type: RollingUpdate revisionHistoryLimit: 10 其中： name：创建的工作负载名称。 image：工作负载的镜像。 mountPath：容器内挂载路径，示例中挂载到“/tmp”路径。 “spec.template.spec.containers.volumeMounts.name ”和 “spec.volumeClaimTemplates.metadata.name”有映射关系，必须保持一致。 storageClassName: 填写自建的SC名称。 创建StatefulSet负载。 kubectl create -f statefulset-test.yaml

创建Deployment挂载已有数据卷 新建一个Deployment的YAML文件，例如deployment-test.yaml。 配置示例： apiVersion: apps/v1 kind: Deployment metadata: name: test-turbo-subpath-example namespace: default generation: 1 labels: appgroup: '' spec: replicas: 1 selector: matchLabels: app: test-turbo-subpath-example template: metadata: labels: app: test-turbo-subpath-example spec: containers: - image: nginx:latest name: container-0 volumeMounts: - mountPath: /tmp name: pvc-sfs-turbo-example restartPolicy: Always imagePullSecrets: - name: default-secret volumes: - name: pvc-sfs-turbo-example persistentVolumeClaim: claimName: sfs-turbo-test 其中： name：创建的工作负载名称。 image：工作负载的镜像。 mountPath：容器内挂载路径，示例中挂载到“/tmp”路径。 claimName：已有的PVC名称。 创建Deployment负载。 kubectl create -f deployment-test.yaml

约束与限制 仅支持1.15+集群。 集群必须使用everest插件，插件版本要求1.1.13+。 不支持安全容器。 使用everest 1.2.69之前或2.1.11之前的版本时，使用子目录功能时不能同时并发创建超过10个PVC。推荐使用everest 1.2.69及以上或2.1.11及以上的版本。 subpath类型的卷实际为SFS Turbo的子目录，对该类型的PVC进行扩容仅会调整PVC声明的资源范围，并不会调整SFS Turbo资源的总容量。若SFS Turbo资源总容量不足，subpath类型卷的实际可使用的容量大小也会受限，您需要前往SFS Turbo界面进行扩容。 同理，删除subpath类型的卷也不会实际删除后端的SFS Turbo资源。

通过控制台动态创建SFS Turbo子目录 登录CCE控制台，单击集群名称进入集群。 在左侧导航栏选择“存储”，在右侧选择“存储卷声明”页签。单击右上角“创建存储卷声明”，在弹出的窗口中填写存储卷声明参数。 参数 描述 存储卷声明类型 本文中选择“极速文件存储”。 PVC名称 输入PVC的名称，同一命名空间下的PVC名称需唯一。 创建方式 选择“动态创建子目录”。 存储类 选择极速文件存储对应的存储类为csi-sfsturbo。 访问模式 极速文件存储类型的存储卷仅支持ReadWriteMany，表示存储卷可以被多个节点以读写方式挂载，详情请参见存储卷访问模式。 极速文件存储 单击“选择极速文件存储”，您可以在新页面中勾选满足要求的极速文件存储，并单击“确定”。 子目录 请填写子目录绝对路径，例如/a/b。 子目录回收策略 删除PVC时是否保留子目录，该参数需与PV回收策略配合使用。 保留：当PVC所绑定的PV回收策略为"Delete"时，删除PVC，PV会被删除，但PV关联的子目录会被保留。 删除：当PVC所绑定的PV回收策略为"Delete"时，删除PVC，PV及其关联的子目录均会被删除。 单击“创建”，将同时为您创建存储卷声明和存储卷。 您可以在左侧导航栏中选择“存储”，在“存储卷声明”和“存储卷”页签下查看已经创建的存储卷声明和存储卷。

版本记录 表8 CCE容器存储插件（Everest）版本记录 插件版本 支持的集群版本 更新特性 2.4.8 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 适配CCE v1.29集群 支持GPSSD2和ESSD2类型磁盘 支持DSS专属分布式存储 2.3.23 v1.21 v1.23 v1.25 v1.27 v1.28 支持在SFS Turbo文件系统中创建子目录 2.3.21 v1.21 v1.23 v1.25 v1.27 v1.28 修复部分问题 2.3.14 v1.21 v1.23 v1.25 v1.27 v1.28 适配CCE v1.28版本 2.1.55 v1.19 v1.21 v1.23 v1.25 v1.27 支持增程类型EVS云盘 2.1.54 v1.19 v1.21 v1.23 v1.25 v1.27 修复部分问题 2.1.53 v1.19 v1.21 v1.23 v1.25 v1.27 修复部分问题 2.1.51 v1.19 v1.21 v1.23 v1.25 v1.27 支持HCE OS 2.0系统 2.1.50 v1.19 v1.21 v1.23 v1.25 v1.27 - 2.1.46 v1.19 v1.21 v1.23 v1.25 v1.27 适配CCE v1.27版本 支持创建云硬盘类型存储卷时添加磁盘标签 2.1.38 v1.19 v1.21 v1.23 v1.25 支持插件规格与集群规格联动 2.1.30 v1.19 v1.21 v1.23 v1.25 支持插件实例AZ反亲和配置 obsfs包适配Ubuntu 22.04 2.1.13 v1.19 v1.21 v1.23 v1.25 SFS Turbo存储卷subpath PVC批创性能优化 2.1.9 v1.19 v1.21 v1.23 v1.25 支持controller优雅退出 适配CCE v1.25版本 2.0.9 v1.19 v1.21 v1.23 对 everest 部分代码及架构进行重构，改善代码架构，提高插件的可扩展性和稳定性 支持优雅退出 支持OBS进程监控 1.3.28 v1.19 v1.21 v1.23 支持优雅退出 支持OBS进程监控 1.3.22 v1.19 v1.21 v1.23 修复重复挂盘偶现挂载后读写失败的问题 1.3.20 v1.19 v1.21 v1.23 修复重复挂盘偶现挂载后读写失败的问题 1.3.17 v1.19 v1.21 v1.23 调整everest-csi-driver滚动更新的最大不可用数：从10更新到10% 自定义规格支持Pod反亲和 统计节点上可由csi插件管理的scsi卷个数的上限 支持Driver自定义资源规格部署 1.3.8 v1.23 适配CCE v1.23集群 1.3.6 v1.23 适配CCE v1.23集群 1.2.78 v1.15 v1.17 v1.19 v1.21 支持插件实例AZ反亲和配置 1.2.70 v1.15 v1.17 v1.19 v1.21 SFS Turbo存储卷subpath PVC批创性能优化 1.2.67 v1.15 v1.17 v1.19 v1.21 支持controller优雅退出 支持OBS进程监控 1.2.61 v1.15 v1.17 v1.19 v1.21 支持优雅退出 支持OBS进程监控 1.2.55 v1.15 v1.17 v1.19 v1.21 修复重复挂盘偶现挂载后读写失败的问题 1.2.53 v1.15 v1.17 v1.19 v1.21 修复重复挂盘偶现挂载后读写失败的问题 1.2.51 v1.15 v1.17 v1.19 v1.21 调整everest-csi-driver滚动更新的最大不可用数：从10更新到10% 自定义规格支持Pod反亲和 统计节点上可由csi插件管理的scsi卷个数的上限 1.2.44 v1.15 v1.17 v1.19 v1.21 EVS、OBS存储卷支持选择企业项目 OBS对象桶挂载默认不再使用enable_noobj_cache参数 1.2.42 v1.15 v1.17 v1.19 v1.21 EVS、OBS存储卷支持选择企业项目 OBS对象桶挂载默认不再使用enable_noobj_cache参数 1.2.30 v1.15 v1.17 v1.19 v1.21 CCE支持EmptyDir 1.2.28 v1.15 v1.17 v1.19 v1.21 适配CCE v1.21集群 1.2.27 v1.15 v1.17 v1.19 v1.21 支持极速型SSD(ESSD)、通用型SSD(GPSSD)类型云硬盘 1.2.13 v1.15 v1.17 v1.19 支持CCE turbo集群裸金属节点挂载云硬盘；支持EulerOS 2.10系统。 1.2.9 v1.15 v1.17 v1.19 增强PV资源生命周期维护的可靠性 支持1.19.10版本集群使用Attach/Detach Controller挂卸卷能力 提高SFS挂载稳定性 新建集群EVS默认创建类型调整为SAS 1.2.5 v1.15 v1.17 v1.19 提升挂载相关能力可靠性 优化了使用OBS存储时的认证功能，需要用户上传密钥 提高everest插件对flexvolume卷的兼容能力 提高插件运行稳定性 1.1.12 v1.15 v1.17 优化和增强everest-csi-controller组件可靠性 1.1.11 v1.15 v1.17 配置安全加固 支持挂载三方OBS存储 切换更优性能的EVS查询接口 默认快照以clone模式创建磁盘 优化和增强Attach和Detach磁盘状态检测和日志输出 增加认证过期判断可靠性 1.1.8 v1.15 v1.17 支持CCE v1.17，v1.13升级到v1.15场景支持接管Flexvolume 1.1.7 v1.15 v1.17 支持CCE v1.17，v1.13升级到v1.15场景支持接管Flexvolume

组件说明 表5 everest组件 容器组件 说明 资源类型 everest-csi-controller 此容器负责存储卷的创建、删除、快照、扩容、attach/detach等功能。若集群版本大于等于1.19，且插件版本为1.2.x，everest-csi-controller组件的Pod还会默认带有一个everest-localvolume-manager容器，此容器负责管理节点上的lvm存储池及localpv的创建。 Deployment everest-csi-driver 此容器负责PV的挂载、卸载、文件系统resize等功能。若插件版本为1.2.x，且集群所在区域支持node-attacher，everest-csi-driver组件的Pod还会带有一个everest-node-attacher的容器，此容器负责分布式attach EVS，该配置项在部分Region开放。 DaemonSet

Prometheus指标采集 everest-csi-controller通过端口3225暴露Prometheus metrics指标。您可以自建Prometheus采集器识别并通过http://{{everest-csi-controllerPodIP}}:3225/metrics路径获取everest-csi-controller相关指标。 Prometheus指标暴露仅支持Everest插件2.4.4及以上版本。 表6 关键指标说明 指标名称 指标类型 描述 Labels 举例 everest_action_result_total counter everest不同功能的调用情况 action：表示不同功能，详情请参见表7 result：表示调用成功或失败 everest_action_result_total{action="create_snapshot:disk.csi.everest.io",result="success"} 2 everest_function_duration_seconds_bucket histogram everest不同功能在不同执行时间下的次数 function：表示不同功能，详情请参见表7 everest_function_duration_seconds_bucket{function="create_snapshot:disk.csi.everest.io",le="10"} 2 everest_function_duration_seconds_sum histogram everest不同功能的调用时间总和 function：表示不同功能，详情请参见表7 everest_function_duration_seconds_sum{function="create:disk.csi.everest.io"} 24.381399053 everest_function_duration_seconds_count histogram everest不同功能的调用次数 function：表示不同功能，详情请参见表7 everest_function_duration_seconds_count{function="attach:disk.csi.everest.io"} 4 action及function表示不同CSI驱动及其功能，表示为：{功能}:{CSI驱动}。例如create:disk.csi.everest.io，表示功能为创建卷、卷类型为云硬盘。 表7 功能说明 功能名称 功能描述 create 创建卷 delete 删除卷 attach 卷挂载 detach 卷卸载 expand 卷扩容 create_snapshot 创建卷快照 delete_snapshot 删除卷快照

安装插件 本插件为系统默认安装，若因特殊情况卸载后，可参照如下步骤重新安装。 登录CCE控制台，单击集群名称进入集群，单击左侧导航栏的“插件中心”，在右侧找到CCE容器存储（Everest）插件，单击“安装”。 在安装插件页面，设置“规格配置”。 表1 everest插件规格配置 参数 参数说明 实例数 插件实例的副本数量。 实例数为1时插件不具备高可用能力，当插件实例所在节点异常时可能导致插件功能无法正常使用，请谨慎选择。 容器 CCE容器存储插件（Everest）包含everest-csi-controller和everest-csi-driver两个组件，详情请参见组件说明。 插件组件规格可根据您的需求自定义调整。其中，插件组件的CPU和内存申请值可根据集群节点规模和PVC数量不同进行调整，配置建议请参见表2。 非典型场景下，限制值一般估算公式如下： everest-csi-controller： CPU限制值：200及以下节点规模设置为250m；1000节点规模设置为350m；2000节点规模设置为500m。 内存限制值 = （200Mi + 节点数 * 1Mi + PVC数 * 0.2Mi）* 1.2 everest-csi-driver： CPU限制值：200及以下节点规模设置为300m；1000节点规模设置为500m；2000节点规模设置为800m。 内存限制值 = 200及以下节点规模设置为300Mi；1000节点规模设置为600Mi；2000节点规模设置为900Mi。 表2 典型场景组件限制值建议 配置场景 everest-csi-controller组件 everest-csi-driver组件 节点数量 PV/PVC数量 插件实例数 CPU（限制值同申请值） 内存（限制值同申请值） CPU（限制值同申请值） 内存（限制值同申请值） 50 1000 2 250m 600Mi 300m 300Mi 200 1000 2 250m 1Gi 300m 300Mi 1000 1000 2 350m 2Gi 500m 600Mi 1000 5000 2 450m 3Gi 500m 600Mi 2000 5000 2 550m 4Gi 800m 900Mi 2000 10000 2 650m 5Gi 800m 900Mi 设置插件支持的“参数配置”。 表3 everest插件参数配置 参数 参数说明 csi_attacher_worker_threads CCE容器存储插件（Everest）中同时处理挂EVS卷的worker数，默认值为“60”。 csi_attacher_detach_worker_threads CCE容器存储插件（Everest）中同时处理卸载EVS卷的worker数，默认值均为“60”。 volume_attaching_flow_ctrl CCE容器存储插件（Everest）在1分钟内可以挂载EVS卷的最大数量，此参数的默认值“0”表示everest插件不做挂卷限制，此时挂卷性能由底层存储资源决定。 cluster_id 集群ID。 default_vpc_id 集群所在VPC的ID。 disable_auto_mount_secret 挂载对象桶/并行文件系统时，是否允许使用默认的AKSK，默认为false。 enable_node_attacher 是否开启agent侧attacher，开启后由attacher负责处理VolumeAttachment。 flow_control 默认为空。用户无需填写。 number_of_reserved_disks 插件版本为2.3.11及以上时支持该参数，用于设置节点上预留的挂盘数，预留出部分盘位供用户自定义挂载云硬盘使用。 假设节点可挂载的云硬盘上限为20，并设置该参数值为6，则在调度挂载云硬盘的工作负载时，实际上节点可挂载的云硬盘为20-6=14。预留的6个挂盘数中，除去节点上已挂载的1块系统盘和1块数据盘后，还可以自定义挂载4块云硬盘，可以作为额外的数据盘或者作为裸盘用于创建本地存储池。 over_subscription 本地存储池（local_storage）的超分比。默认为80，若本地存储池为100G，可以超分为180G使用。 project_id 集群所属项目ID。 CCE容器存储插件（Everest）1.2.26以上版本针对大批量挂EVS卷的性能做了优化，用户可配置如下3个参数： csi_attacher_worker_threads csi_attacher_detach_worker_threads volume_attaching_flow_ctrl 上述三个参数由于存在关联性且与集群所在局点的底层存储资源限制有关，当您对大批量挂卷的性能有要求（大于500EVS卷/分钟）时，请联系客服，在指导下进行配置，否则可能会因为参数配置不合理导致出现everest插件运行不正常的情况。 设置插件实例的“调度策略”。 调度策略对于DaemonSet类型的插件实例不会生效。 设置多可用区部署或节点亲和策略时，需保证集群中存在满足调度策略的节点且拥有足够的资源，否则插件实例将无法运行。 表4 插件调度配置 参数 参数说明 多可用区部署 优先模式：优先将插件的Deployment实例调度到不同可用区的节点上，如集群下节点不满足多可用区，插件实例将调度到单可用区。 均分模式：插件Deployment实例均匀调度到当前集群下各可用区，增加新的可用区后建议扩容插件实例以实现跨可用区高可用部署；均分模式限制不同可用区间插件实例数相差不超过1，单个可用区资源不足会导致后续其他实例无法调度。 强制模式：插件Deployment实例强制调度到不同可用区的节点上，如集群下节点不满足多可用区，插件实例将无法全部运行。 节点亲和 不配置：插件实例不指定节点亲和调度。 指定节点调度：指定插件实例部署的节点。若不指定，将根据集群默认调度策略进行随机调度。 指定节点池调度：指定插件实例部署的节点池。若不指定，将根据集群默认调度策略进行随机调度。 自定义亲和策略：填写期望插件部署的节点标签实现更灵活的调度策略，若不填写将根据集群默认调度策略进行随机调度。 同时设置多条自定义亲和策略时，需要保证集群中存在同时满足所有亲和策略的节点，否则插件实例将无法运行。 容忍策略 容忍策略与节点的污点能力配合使用，允许（不强制）插件的 Deployment 实例调度到带有与之匹配的污点的节点上，也可用于控制插件的 Deployment 实例所在的节点被标记污点后插件的 Deployment 实例的驱逐策略。 插件会对实例添加针对node.kubernetes.io/not-ready和node.kubernetes.io/unreachable污点的默认容忍策略，容忍时间窗为60s。 详情请参见容忍策略。 单击“安装”。

约束与限制 集群版本由v1.13升级到v1.15后，v1.13版本集群中的Flexvolume容器存储插件（storage-driver）能力将由v1.15的CSI插件（everest，插件版本v1.1.6及以上）接管，接管后原有功能保持不变。 插件版本为1.2.0的CCE容器存储插件（Everest）优化了使用OBS存储时的密钥认证功能，低于该版本的插件在升级完成后，需要重启集群中使用OBS存储的全部工作负载，否则工作负载使用存储的能力将受影响。 v1.15及以上版本的集群默认安装本插件，v1.13及以下版本集群创建时默认安装storage-driver插件。 Huawei Cloud EulerOS 1.1系统的节点支持2.x.x版本（2.1.9及以上）和1.2.x版本（1.2.70及以上）的CCE容器存储插件（Everest），不支持1.3.x版本的插件。

注意事项 重置节点功能不会重置控制节点，仅能对工作节点进行重置操作，如果重置后节点仍然不可用，请删除该节点重新创建。 重置节点将对节点操作系统进行重置安装，推荐您在重置节点之前为节点排水，将容器优雅驱逐至其他可用节点，同时建议在业务低峰期操作。 节点重置后系统盘和数据盘将会被清空，如有重要数据请事先备份。 工作节点如自行挂载了数据盘，重置完后会清除挂载信息，重置完成后请重新执行挂载行为，数据不会丢失。 节点上的工作负载实例的IP会发生变化，但是不影响容器网络通信。 云硬盘必须有剩余配额。 操作过程中，后台会把当前节点设置为不可调度状态。 节点重置会清除用户单独添加的 K8S 标签和污点（通过节点池编辑功能添加的标签、污点不会丢失），可能导致与节点有绑定关系的资源（本地存储，指定调度节点的负载等）无法提供服务。 重置节点会导致与节点关联的本地持久卷类型的PVC/PV数据丢失，无法恢复，且PVC/PV无法再正常使用。重置节点时使用了本地持久存储卷的Pod会从重置的节点上驱逐，并重新创建Pod，Pod会一直处于pending状态，因为Pod使用的PVC带有节点标签，由于冲突无法调度成功。节点重置完成后，Pod可能调度到重置好的节点上，此时Pod会一直处于creating状态，因为PVC对应的底层逻辑卷已经不存在了。