华为云用户手册

集群控制节点指定可用区 集群控制节点所处的可用区，以下两个参数不可同时指定。 参数名 取值范围 默认值 是否允许修改 作用范围 masters availabilityZone列表，用于指定master节点的可用区，该列表长度与集群的master节点数有关。例如3个master节点的集群示例如下： [ {"availabilityZone": "AZ1"}, {"availabilityZone": "AZ2"}, {"availabilityZone": "AZ3"} ] 无 支持初始化时配置，不支持后续修改 CCE Standard/CCE Turbo clusterAZ multi_az：随机多可用区，仅使用高可用集群时才可以配置多可用区。 指定AZ名称：例如“cn-east-3a”，表示将全部控制节点创建在该可用区下。 无 允许 CCE Standard/CCE Turbo

企业项目 集群所归属的企业项目。企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。 参数名 取值范围 默认值 是否允许修改 作用范围 enterpriseProjectId 租户下已存在的企业项目ID default 在企业项目管理界面支持变更 CCE Standard/CCE Turbo 用户需要开通企业项目功能后才可配置企业项目。 集群所属的企业项目与集群下所关联的其他云服务资源所属的企业项目尽量保持一致 配置建议： 与资源标签用途类似，用户可以按照管理需求，将不同归属的集群规划到不同企业项目下进行治理，常见的划分维度包括业务领域、部门、环境归属（生产环境、测试环境）等

集群资源标签 为集群添加TMS资源标签，便于按照相应维度对集群资源和其他云服务资源进行统一检索和管理 参数名 取值范围 默认值 是否允许修改 作用范围 clusterTags 标签以key=value的形式赋值，其中key：最大长度36字符，由小写字母、数字、中划线(-)、下划线（_）组成 value：最大长度43字符，由小写字母、数字、中划线(-)、下划线（_）组成 无 允许 CCE Standard/CCE Turbo 每个集群最多支持添加20个标签 配置建议： 用户可以按照管理需求，将资源划分的维度以标签形式进行抽象，常见的划分维度包括业务领域、部门、环境归属（生产环境、测试环境）等

容器网络固定IP池掩码位数 容器网络固定IP池掩码位数，仅vpc-router网络支持。 该参数决定节点可分配容器IP数量，与创建节点时设置的maxPods参数共同决定节点最多可以创建多少个Pod 参数名 取值范围 默认值 是否允许修改 作用范围 alpha.cce/fixPoolMask 24 ~ 28 无 允许 CCE Standard/CCE Turbo 容器网络固定IP池掩码位数，仅vpc-router网络支持。 该参数决定节点可分配容器IP数量，与创建节点时设置的maxPods参数共同决定节点最多可以创建多少个Pod

计费模式 包年包月是预付费模式，按订单的购买周期计费，适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。 按需计费是后付费模式，按资源的实际使用时长计费，可以随时开通/删除资源。 参数名 取值范围 默认值 是否允许修改 作用范围 billingMode 0: 按需计费 1: 包周期 0 按需计费的集群支持变更为包周期集群，包周期集群无法变更为按需计费模式。 CCE Standard/CCE Turbo 集群转包时支持勾选归属集群的计算节点一并转包；同时，发起转包后需要完成订单付费操作才能生效，请按照前端引导进行操作 配置建议： 长期稳定使用的集群可以考虑选择包周期模式，有助于降低成本

自定义集群API Server证书SAN 集群的API Server服务端证书中的自定义SAN（Subject Alternative Name）字段，遵从SSL标准X509定义的格式规范。 参数名 取值范围 默认值 是否允许修改 作用范围 customSan 不允许出现同名重复。 格式符合IP和域名格式。 无 允许 CCE Standard/CCE Turbo SAN通常在TLS握手阶段被用于客户端校验服务端的合法性：服务端证书是否被客户端信任的CA所签发，且证书中的SAN是否与客户端实际访问的IP地址或DNS域名匹配。 当客户端无法直接访问集群内网私有IP地址或者公网弹性IP地址时，您可以将客户端可直接访问的IP地址或者DNS域名签入集群服务端证书，以支持客户端开启双向认证，提高安全性。典型场景例如DNAT访问、域名访问等特殊场景。 配置建议： 域名访问场景的典型使用方式如下： 客户端配置Host域名指定DNS域名地址，或者客户端主机配置/etc/hosts，添加响应域名映射。 云上内网使用，云解析服务DNS支持配置集群弹性IP与自定义域名的映射关系。后续更新弹性IP可以继续使用双向认证+自定义域名访问集群，无需重新下载kubeconfig.json配置文件。 自建DNS服务器，自行添加A记录。

集群平台版本号 CCE集群平台版本号，表示集群版本(version)下的内部版本。用于跟踪某一集群版本内的迭代，集群版本内唯一，跨集群版本重新计数。不支持用户指定，集群创建时自动选择对应集群版本的最新平台版本。 参数名 取值范围 默认值 是否允许修改 作用范围 platformVersion platformVersion格式为：cce.X.Y X: 表示内部特性版本。集群版本中特性或者补丁修复，或者OS支持等变更场景。其值从1开始单调递增。 Y: 表示内部特性版本的补丁版本。仅用于特性版本上线后的软件包更新，不涉及其他修改。其值从0开始单调递增。 无 允许 CCE Standard/CCE Turbo CCE集群平台版本号，表示集群版本(version)下的内部版本。用于跟踪某一集群版本内的迭代，集群版本内唯一，跨集群版本重新计数。不支持用户指定，集群创建时自动选择对应集群版本的最新平台版本。 配置建议： 推荐使用最新的集群小版本

集群显示名称 集群显示名称 参数名 取值范围 默认值 是否允许修改 作用范围 alias 以小写字母开头，由小写字母、数字、中划线(-)组成，长度范围4-128位，且不能以中划线(-)结尾 集群显示名不指定时，默认继承集群名称的取值 更新集群时支持修改 CCE Standard/CCE Turbo 集群显示名，用于在 CCE 界面显示，该名称创建后可修改 配置建议： 按照集群资源归属（如一般集群还是GPU集群）、应用场景（测试集群还是生产集群）等维度命名，方便区分和管理

集群版本 集群版本，与Kubernetes社区基线版本保持一致，建议选择最新版本。 参数名 取值范围 默认值 是否允许修改 作用范围 version 在维版本 最新的商用版本 仅支持创建集群时自定义版本，集群创建完成后不支持修改，此时可以通过升级集群变更版本号 CCE Standard/CCE Turbo 若不配置，默认创建最新版本的集群。 若指定集群基线版本但是不指定具体r版本，则系统默认选择对应集群版本的最新r版本。建议不指定具体r版本由系统选择最新版本。 Turbo集群支持1.19及以上版本商用。 配置建议： 推荐使用最新的商用版本。

集群类别 集群类别 参数名 取值范围 默认值 是否允许修改 作用范围 category CCE：表示CCE Standard集群 Turbo：表示CCE Turbo集群 无 支持初始化时配置，不支持后续修改 CCE Standard/CCE Turbo CCE：CCE Standard集群。CCE Standard集群支持虚拟机与裸金属服务器混合、GPU、NPU等异构节点的混合部署，基于高性能网络模型提供全方位、多场景、安全稳定的容器运行环境。 Turbo: CCE Turbo集群。 全面基于云原生基础设施构建的云原生2.0的容器引擎服务，具备软硬协同、网络无损、安全可靠、调度智能的优势，为用户提供一站式、高性价比的全新容器服务体验。

负载均衡器IP 服务对接的负载均衡器实例EIP地址 参数名 取值范围 默认值 是否允许修改 作用范围 k8s annotation: kubernetes.io/elb.ip 无 无 允许 CCE Standard/CCE Turbo 指定使用已有的ELB实例IP，若已填写kubernetes.io/elb.id，则以id为准；若只填写了此字段，elb.id会由系统自动填充 配置建议： 建议配置正确的elb的IP信息

ELB企业项目ID 服务对接的负载均衡实例所属的企业项目ID 参数名 取值范围 默认值 是否允许修改 作用范围 k8s annotation: kubernetes.io/elb.enterpriseID 无 无 允许 CCE Standard/CCE Turbo 仅自动创建ELB的场景：选填。 v1.15及以上版本的集群支持此字段，v1.15以下版本默认创建到default项目下。 为ELB企业项目ID，选择后可以直接创建在具体的ELB企业项目下。 该字段不传（或传为字符串'0'），则将资源绑定给默认企业项目。

负载均衡器类型 服务对接的负载均衡器类型，支持对接共享型ELB实例和独享性ELB实例，并且支持自动创建ELB实例 参数名 取值范围 默认值 是否允许修改 作用范围 k8s annotation: kubernetes.io/elb.class 支持elbv3局点：performance 不支持elbv3局点：union performance 允许 CCE Standard/CCE Turbo 请根据不同的应用场景和功能需求选择合适的负载均衡器类型。 取值如下： union：共享型负载均衡。 performance：独享型负载均衡，仅支持1.17及以上集群(推荐) 配置建议： 推荐配置为performance，独享性ELB实例支持原地址保持，直通容器等高级特性 共享型ELB不支持源地址保持，在CCE Turbo场景下不支持直通网络，只支持对接nodeport类型服务

终止状态pod触发回收的数量阈值 集群中可保留的终止状态Pod数量，超出该数量终止状态Pod将会被删除回收 参数名 取值范围 默认值 是否允许修改 作用范围 terminated-pod-gc-threshold 10-12500 集群版本为v1.21.11-r40、v1.23.8-r0、v1.25.6-r0、v1.27.3-r0及以上时，取值范围调整为0-100000 说明： 该参数设置为0时，表示保留所有终止状态的Pod。 1000 允许 CCE Standard/CCE Turbo 配置建议： 1000 配置过大集群可能存在大量终止状态的Pod，影响相关List查询请求性能，产生集群过载风险

计费项 使用UCS服务时，会产生UCS服务管理费用，具体内容如表1所示。 表1 UCS计费项 计费项 说明 适用的计费模式 计费公式 UCS集群管理服务 UCS集群管理服务费用由集群类型（包括华为云集群、本地集群、附着集群、多云集群和伙伴云集群）、集群vCPU容量和购买时长决定。 UCS服务管理费用不包括任何资源（例如计算节点、网络服务等）相关的费用。 包年/包月、按需计费 集群规模 *规格单价 *购买时长 具体定价请参见UCS价格详情。

计费模式 UCS提供包年/包月和按需计费两种计费模式，以满足不同场景下的用户需求。 包年/包月：一种预付费模式，即先付费再使用，按照订单的购买周期进行结算。购买周期越长，享受的折扣越大。一般适用于接入集群规模长期稳定的成熟业务。 按需计费：一种后付费模式，即先使用再付费，按照UCS实际使用时长计费，按小时结算。按需计费模式允许您根据实际业务需求灵活地调整服务使用，无需提前购买付费，灵活性高。一般适用于接入集群规模较小的业务场景。

如何获取访问密钥AK/SK？ 在注册多云集群时，您需要获取访问密钥AK/SK（Access Key ID/Secret Access Key），以便在AWS账户中创建与多云集群相关的资源（如EC2实例、安全组、弹性IP和负载均衡器等）。本文将为您提供获取访问密钥AK/SK的方法。 该密钥将被加密妥善保存，您无需担心信息泄露的风险。 使用AWS 账户 ID 或账户别名、您的 IAM 用户名和密码登录到 IAM 控制台。 要获取 AWS 账户 ID，请联系您 AWS 账户的管理员。 在右上角的导航栏中，选择您的用户名，然后选择“安全凭据”。 图1 选择“安全凭据” 在“访问密钥”区域中，单击“创建访问密钥”。如果您已经有两个访问密钥，则此按钮将被停用，您必须先删除一个访问密钥，然后才能创建新的访问密钥。您也可以使用已有的密钥来创建UCS on AWS集群。 图2 创建访问密钥 在“检索访问密钥”页面上，单击“显示”获取用户的秘密访问密钥的值，或单击“下载 .csv 文件”按钮。这是您保存秘密访问密钥的唯一机会。将秘密访问密钥保存在安全位置后，请单击“完成”。 图3 获取秘密访问密钥 在您使用UCS on AWS期间，在对应的集群被删除之前，请不要轮转、停用或者删除该密钥，否则会影响集群的后续更新和删除操作。 父主题： 多云集群

解决方案 管理员需要为用户授予UCS控制台各功能的权限，通过IAM系统策略（包括UCS FullAccess、UCS CommonOperations、UCS CIAOperations和UCS ReadOnlyAccess）来界定用户的权限范围。 表1 UCS系统权限 系统角色/策略名称 描述 类别 UCS FullAccess UCS服务管理员权限，拥有该权限的用户拥有服务的所有权限（包含制定权限策略、安全策略等）。 系统策略 UCS CommonOperations UCS服务基本操作权限，拥有该权限的用户可以执行创建工作负载、流量分发等操作。 系统策略 UCS CIAOperations UCS服务容器智能分析管理员权限。 系统策略 UCS ReadOnlyAccess UCS服务只读权限（除容器智能分析只读权限）。 系统策略 另外，华为云各服务之间存在业务交互关系，UCS也依赖其他云服务实现一些功能（如镜像仓库、域名解析），因此，上述几种系统策略经常和其他云服务的角色或策略结合使用，以达到精细化授权的目的。管理员在为IAM用户授权时，应该遵循权限最小化的安全实践原则，表2列举了UCS各功能管理员、操作、只读权限所需要的最小权限。 授予用户IAM系统策略的详细操作请参见UCS服务资源权限；授予用户UCS RBAC权限的详细操作请参见集群中Kubernetes资源权限。 表2 UCS功能所需的最小权限 功能 权限类型 权限范围 最小权限 容器舰队 管理员权限 创建、删除舰队 注册华为云集群（CCE集群、CCE Turbo集群）、本地集群或附着集群 注销集群 将集群加入、移出舰队 为集群或舰队关联权限 开通集群联邦、联邦管理相关操作（如创建联邦工作负载、创建域名访问等） UCS FullAccess 只读权限 查询集群、舰队的列表或详情 UCS ReadOnlyAccess 华为云集群 管理员权限 对华为云集群及集群下所有Kubernetes资源对象（包含节点、工作负载、任务、服务等）的读写权限。 UCS FullAccess + CCE Administrator 操作权限 对华为云集群及集群下大多数Kubernetes资源对象的读写权限，对命名空间、资源配额等Kubernetes资源对象的只读权限。 UCS CommonOperations + CCE Administrator 只读权限 对华为云集群及集群下所有Kubernetes资源对象（包含节点、工作负载、任务、服务等）的只读权限。 UCS ReadOnlyAccess + CCE Administrator 本地/附着/多云/伙伴云集群 管理员权限 本地/附着/多云/伙伴云集群及集群下所有Kubernetes资源对象（包含节点、工作负载、任务、服务等）的读写权限。 UCS FullAccess 操作权限 本地/附着/多云/伙伴云集群及集群下大多数Kubernetes资源对象的读写权限，对命名空间、资源配额等Kubernetes资源对象的只读权限。 UCS CommonOperations + UCS RBAC权限（需要包含namespaces资源对象的list权限） 只读权限 本地/附着/多云/伙伴云集群及集群下所有Kubernetes资源对象（包含节点、工作负载、任务、服务等）的只读权限。 UCS ReadOnlyAccess + UCS RBAC权限（需要包含namespaces资源对象的list权限） 镜像仓库 管理员权限 容器镜像服务的所有权限，包括创建组织、上传镜像、查看镜像列表或详情、下载镜像等操作。 SWR Administrator 权限管理 管理员权限 创建、删除权限 查看权限列表或详情 说明： 创建权限需要同时授予子用户IAM ReadOnlyAccess权限（IAM服务的只读权限），用于获取IAM用户列表。 UCS FullAccess + IAM ReadOnlyAccess 只读权限 查看权限列表或详情 UCS ReadOnlyAccess + IAM ReadOnlyAccess 策略中心 管理员权限 启用策略中心 创建、停用策略实例 查看策略列表 查看策略实施详情 UCS FullAccess 只读权限 对于已启用策略中心的舰队和集群，拥有该权限的用户可以查看策略列表和查看策略实施详情。 UCS CommonOperations 或 UCS ReadOnlyAccess 服务网格 管理员权限 应用服务网格的所有权限，包括创建网格、添加集群、sidecar注入、查看网格列表或详情、卸载网格等。 CCE Administrator 流量分发 管理员权限 创建流量策略、暂停调度策略、删除调度策略等操作。 （推荐）UCS CommonOperations + DNS Administrator 或 UCS FullAccess + DNS Administrator 只读权限 查看流量策略列表或详情 UCS ReadOnlyAccess + DNS Administrator 容器智能分析 管理员权限 接入、取消接入集群 查看基础设施、应用负载等多维度监控数据 UCS CIAOperations 云原生服务中心 管理员权限 云原生服务中心的所有权限，包括订阅服务、查看服务列表或详情、创建服务实例、查看实例列表或详情、删除服务实例、退订服务等操作。 UCS FullAccess 只读权限 云原生服务中心的只读权限，包括查看服务列表或详情、查看实例列表或详情等操作。 UCS ReadOnlyAccess

现象一：提示clusterrole、clusterrolebinding已存在 问题原因：一个集群不能同时加入两个或两个以上的联邦。有这个报错提示，说明当前集群已经添加到联邦中，或者曾经加入过联邦但是存在资源残留。 解决方案：手工清理残留资源。 操作步骤： 获取报错集群的kubeconfig配置文件，并准备kubectl及运行节点，将kubeconfig文件放在运行节点/tmp目录。 执行如下命令，清理残留资源。 alias kubectl='kubectl --kubeconfig=/tmp/kubeconfig' kubectl delete clusterrolebinding `kubectl get clusterrolebinding |grep karmada-controller-manager | awk '{print $1}'` kubectl delete clusterrole `kubectl get clusterrole |grep karmada-controller-manager | awk '{print $1}'` kubectl delete namespace `kubectl get namespace |egrep 'karmada-[0-9a-f]{8}-([0-9a-f]{4}-){3}[0-9a-f]{12}' |awk '{print $1}'`

现象三：CCE集群已绑定EIP，集群加入联邦仍失败，报错：network in cluster is stable, please retry it later 问题原因：联邦需要访问CCE集群的5443端口，但是CCE集群的控制面安全组入方向规则不允许124.70.21.61（源地址）访问CCE集群的5443端口。 解决方案：修改CCE控制面入方向安全组，允许124.70.21.61（源地址）访问CCE集群的5443端口。

操作步骤 使用管理员账号登录IAM控制台。 在左侧导航栏选择“委托”。 选择“ucs_admin_trust”委托，单击操作列的“删除”，在弹出的确认窗口中单击“是”。 在左侧导航栏选择“委托”。 ucs_admin_trust委托已经删除的情况下不需要执行本步骤。其他误修改的操作（例如删除了其中的Tenant Administrator权限）均需要删除当前委托，以便创建新的委托。 进入UCS控制台，在弹出的“授权说明”对话框，单击“确认”，UCS会重新创建ucs_admin_trust委托，恢复业务。

如何使用Istio API配置网关路由规则 ASM支持使用Istio API（Gateway, VirtualService, DestinationRule）配置网关、路由规则策略。本文介绍如何通过YAML创建资源对象启用该能力。 使用以下内容，保存为deployment.yaml文件，创建istio-ingressgateway deployment工作负载。 kind: Deployment apiVersion: apps/v1 metadata: name: istio-ingressgateway namespace: default # 命名空间名称，按需替换 spec: replicas: 1 # 工作负载实例数，按需替换 selector: matchLabels: app: istio-ingressgateway istio: ingressgateway template: metadata: labels: app: istio-ingressgateway istio: ingressgateway istio.io/rev: default service.istio.io/canonical-name: istio-ingressgateway service.istio.io/canonical-revision: latest sidecar.istio.io/inject: 'false' annotations: sidecar.istio.io/inject: 'false' spec: volumes: - name: workload-socket emptyDir: {} - name: credential-socket emptyDir: {} - name: workload-certs emptyDir: {} - name: istiod-ca-cert configMap: name: istio-ca-root-cert defaultMode: 384 - name: podinfo downwardAPI: items: - path: labels fieldRef: apiVersion: v1 fieldPath: metadata.labels - path: annotations fieldRef: apiVersion: v1 fieldPath: metadata.annotations defaultMode: 416 - name: istio-envoy emptyDir: {} - name: istio-data emptyDir: {} - name: istio-token secret: defaultMode: 420 optional: false secretName: cp-access-default - name: config-volume configMap: name: istio defaultMode: 416 optional: true - name: ingressgateway-certs secret: secretName: istio-ingressgateway-certs defaultMode: 384 optional: true - name: ingressgateway-ca-certs secret: secretName: istio-ingressgateway-ca-certs defaultMode: 384 optional: true containers: - name: istio-proxy image: swr.cn-north-7.myhuaweicloud.com/asm/proxyv2:1.15.5-r1-20230719152011 # proxyv2镜像地址替换 args: - proxy - router - '--domain' - $(POD_NAMESPACE).svc.cluster.local - '--proxyLogLevel=warning' - '--proxyComponentLogLevel=misc:error' - '--log_output_level=default:info' ports: - containerPort: 15021 protocol: TCP - containerPort: 8080 protocol: TCP - containerPort: 8443 protocol: TCP - name: http-envoy-prom containerPort: 15090 protocol: TCP env: - name: JWT_POLICY value: third-party-jwt - name: PILOT_CERT_PROVIDER value: istiod - name: CA_ADDR value: asm-mesh.kube-system.svc.cluster.local:15012 - name: NODE_NAME valueFrom: fieldRef: apiVersion: v1 fieldPath: spec.nodeName - name: POD_NAME valueFrom: fieldRef: apiVersion: v1 fieldPath: metadata.name - name: POD_NAMESPACE valueFrom: fieldRef: apiVersion: v1 fieldPath: metadata.namespace - name: INSTANCE_IP valueFrom: fieldRef: apiVersion: v1 fieldPath: status.podIP - name: PROXY_CONFIG value: | {"discoveryAddress":"asm-mesh.kube-system.svc.cluster.local:15012"} - name: HOST_IP valueFrom: fieldRef: apiVersion: v1 fieldPath: status.hostIP - name: SERVICE_ACCOUNT valueFrom: fieldRef: apiVersion: v1 fieldPath: spec.serviceAccountName - name: ISTIO_META_WORKLOAD_NAME value: istio-ingressgateway - name: ISTIO_META_OWNER value: kubernetes://apis/apps/v1/namespaces/default/deployments/istio-ingressgateway # default替换为对应的命名空间名称 - name: ISTIO_META_MESH_ID value: whtest # 替换为实际的网格名称 - name: TRUST_DOMAIN value: cluster.local - name: ISTIO_META_UNPRIVILEGED_POD value: 'true' - name: ISTIO_ADDITIONAL_METADATA_EXCHANGE_KEYS value: ASM_MESH_ID,ASM_CLUSTER_ID - name: ISTIO_META_ASM_CLUSTER_ID value: 92311000-df43-11ed-b108-0255ac1001bb # 替换为实际的集群ID - name: ISTIO_META_ASM_MESH_ID value: a8653674-3fd2-11ee-9e48-0255ac100695 # 替换为实际的网格ID - name: ISTIO_META_CLUSTER_ID value: mesh-test # 替换为实际的集群名称 resources: limits: cpu: '2' memory: 1Gi requests: cpu: 100m memory: 128Mi volumeMounts: - name: workload-socket mountPath: /var/run/secrets/workload-spiffe-uds - name: credential-socket mountPath: /var/run/secrets/credential-uds - name: workload-certs mountPath: /var/run/secrets/workload-spiffe-credentials - name: istio-envoy mountPath: /etc/istio/proxy - name: config-volume mountPath: /etc/istio/config - name: istiod-ca-cert mountPath: /var/run/secrets/istio - name: istio-token readOnly: true mountPath: /var/run/secrets/tokens - name: istio-data mountPath: /var/lib/istio/data - name: podinfo mountPath: /etc/istio/pod - name: ingressgateway-certs readOnly: true mountPath: /etc/istio/ingressgateway-certs - name: ingressgateway-ca-certs readOnly: true mountPath: /etc/istio/ingressgateway-ca-certs readinessProbe: httpGet: path: /healthz/ready port: 15021 scheme: HTTP initialDelaySeconds: 1 timeoutSeconds: 1 periodSeconds: 2 successThreshold: 1 failureThreshold: 30 terminationMessagePath: /dev/termination-log terminationMessagePolicy: File imagePullPolicy: IfNotPresent securityContext: capabilities: drop: - ALL privileged: false readOnlyRootFilesystem: true allowPrivilegeEscalation: false restartPolicy: Always terminationGracePeriodSeconds: 30 dnsPolicy: ClusterFirst securityContext: runAsUser: 1337 runAsGroup: 1337 runAsNonRoot: true fsGroup: 1337 seccompProfile: type: RuntimeDefault affinity: nodeAffinity: preferredDuringSchedulingIgnoredDuringExecution: - weight: 1 preference: matchExpressions: - key: istio operator: In values: - master podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: app operator: In values: - istio-ingressgateway topologyKey: kubernetes.io/hostname schedulerName: default-scheduler tolerations: - key: istio operator: Exists effect: NoExecute strategy: type: RollingUpdate rollingUpdate: maxUnavailable: 1 maxSurge: 10% revisionHistoryLimit: 10 progressDeadlineSeconds: 600 执行以下命令，在当前集群中创建网关工作负载。 kubectl create -f deployment.yaml 使用以下内容，保存为svc.yaml文件，创建istio-ingressgateway loadbalancer service。 apiVersion: v1 kind: Service metadata: name: gw-svc1 namespace: default # 命名空间名称，按需替换 annotations: kubernetes.io/elb.class: union # elb实例类型，union共享型，performance独享型 kubernetes.io/elb.id: 73febb1c-b191-4fd9-832e-138b2657d3b1 # elb实例ID，可通过在cce服务发现创建负载均衡类型服务页查看可选择的elb实例 spec: ports: - name: http-gw-svc1-port1 # 端口名称，注意以服务协议打头 protocol: TCP port: 707 # 对外访问端口 targetPort: 1026 # 容器端口，必须大于1024，且不能与网格内其他网关服务使用的targetPort端口重复 selector: app: istio-ingressgateway istio: ingressgateway type: LoadBalancer sessionAffinity: None externalTrafficPolicy: Cluster ipFamilies: - IPv4 ipFamilyPolicy: SingleStack allocateLoadBalancerNodePorts: true internalTrafficPolicy: Cluster 执行以下命令，在当前集群中创建网关工作负载对应的loadbalancer service。 kubectl create -f svc.yaml 以上步骤1、2使用的kubectl连接的是当前集群。 使用以下内容，保存为gw.yaml文件，创建Istio Gateway配置。 apiVersion: networking.istio.io/v1beta1 kind: Gateway metadata: name: my-gateway namespace: default # 命名空间名称，按需替换 spec: selector: istio: ingressgateway servers: - hosts: - 100.85.115.86 # 使用的elb实例公网IP port: name: http-48382bd9 number: 1026 # 同上lb svc的targetPort protocol: http 执行以下命令，在网格控制面中创建网关Gateway资源对象。 kubectl create -f gw.yaml 使用以下内容，保存为vs.yaml文件，创建Istio VirtualService配置。 apiVersion: networking.istio.io/v1beta1 kind: VirtualService metadata: name: nginx namespace: default # 命名空间名称，按需替换 spec: hosts: - 100.95.150.38 # 使用的elb实例公网IP gateways: - default/my-gateway # 使用步骤3的gw的命名空间、名称 http: - match: - headers: cookie: exact: "user=dev-123" route: - destination: port: number: 1234 host: nginx.default.svc.cluster.local 执行以下命令，在网格控制面中创建VirtualService资源对象。 kubectl create -f vs.yaml 以上步骤3、4使用的kubectl连接的是网格控制面，如何配置网格kubectl，请参考使用kubectl连接网格控制面。 结果验证。执行以下命令，访问nginx服务成功。 父主题： 服务网格

可能原因 当前，UCS集群联邦API Server版本为v1.25，因此HPA对象有autoscaling/v2和autoscaling/v1两个版本。然而，不论您创建的HPA版本为autoscaling/v2还是autoscaling/v1，联邦均会以autoscaling/v2版本进行分发。版本低于v1.23的集群不支持autoscaling/v2版本的HPA对象，因此HPA无法分发到该集群。查看HPA对应的resourceBinding，可以在其conditions中得到如下报错：cluster(s) did not have the API resource。

解决方案 您可以在分发HPA前，将成员集群版本升级至v1.23及以上的版本，该版本默认支持autoscaling/v2的HPA。 若您仍想分发autoscaling/v1版本的HPA到成员集群，您的PropagationPolicy对象中的resourceSelectors[i].apiVersion字段应配置为autoscaling/v2，如示例YAML所示。分发成功后，您可以在成员集群中查询到autoscaling/v1版本的HPA。 apiVersion: autoscaling/v1 kind: HorizontalPodAutoscaler metadata: name: test-hpa spec: maxReplicas: 5 minReplicas: 1 scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: nginx targetCPUUtilizationPercentage: 10 --- apiVersion: policy.karmada.io/v1alpha1 kind: PropagationPolicy metadata: name: test-hpa-pp spec: placement: clusterAffinity: clusterNames: - member1 resourceSelectors: - apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler name: test-hpa namespace: default

背景信息 线下购买云服务License后，需要在华为乾坤激活线下订单。本服务配套的天关或防火墙型号，如表1所示。 表1 设备型号 设备型号 激活方式 USG6000E-C天关 请参见操作步骤。 USG6000F-C天关 USG6000E防火墙 USG6000F防火墙 USG12000防火墙 当前可开通边界防护与响应服务，并指定租户可以使用的版本（边界防护标准版、边界防护专业版）。 边界防护标准版、边界防护专业版的功能差异如表2所示。 表2 边界防护各版本差异 关键能力 能力描述 标准版 标准版+自动阻断 专业版 入侵检测防御 基于已知攻击防护签名拦截来自外网的攻击，阻拦恶意软件（如病毒、木马）的传输行为，发现内网问题主机并切断问题主机外联行为，有效保护用户业务的安全性和稳定性。 √ √ √ 事件自动分析 利用智能分析能力对设备检测到的安全事件进行分析确认，保障攻击拦截以及安全告警的准确性，及时优化攻击检测规则，提升现网防护效果。 √ √ √ 事件紧急通知 基于安全防护事件提取紧急通知，同时通过短信、邮件多种方式通知用户。 √ √ √ 黑白名单功能 用户可基于Portal快速人工完成黑白名单设置，快速阻断威胁。 √ √ √ 定期安全报告 基于安全防护事件，定期生成周报、月报，并通过邮件发送至用户邮箱。 √ √ √ 基础安全大屏 通过对安全事件的综合分析，实时呈现TOP威胁类型、失陷类型、最新威胁事件等信息，帮助用户快速感知综合安全态势。 √ √ √ 威胁自动阻断 基于安全事件分析结果，对外部高危攻击源进行黑名单自动下发，直接阻断其后续的攻击行为。 基于DNS日志实现DGA、挖矿、恶意软件、远控、勒索等高级威胁检测，识别恶意域名访问行为，并对恶意域名实现自动化封禁。 × √ √ 专业态势大屏 支持差异化大屏组件功能，用户可使用大屏自定义能力快速定制专业化安全态势大屏。 × × √ 互联网暴露面风险监测 通过对租户网络出口网关设备的IP的监测，帮助租户统计网关设备暴露在公网中的IP，并识别其中存在暴露风险的端口或服务。 × × √

后续操作 方案管理页面显示了方案名称、状态、创建时间等信息，支持搜索、编辑、删除、分享等操作。 快速搜索方案。输入方案关键词，单击左侧或按回车键搜索。 不同状态下方案支持的操作不同，具体如表4所示。 表4 不同状态支持的操作 状态 说明 支持的操作 草稿 方案未设计完成 编辑：单击方案列表中按钮，跳转到上次方案编辑的页面。 删除：单击方案列表中，删除一条方案记录。 待开局 已生成网规方案且可预览，在等待方案部署 分享：单击方案列表中，选择待分享的租户，单击“确定”。方案分享1次后，方案名称左上角会打上“多次分享”标签。 编辑：单击方案列表中，跳转到上次方案编辑的页面。 删除：单击方案列表中，删除一条方案记录。

日志查看 前提条件 成功登录华为乾坤控制台，并拥有“审计日志服务”相关权限。 背景信息 日志系统是华为乾坤提供的能够帮助用户快速了解服务运行状态、操作等信息的系统。 目前系统支持查看操作日志和安全日志，可查看6个月内的日志，超过6个月但不超过1年的日志仅支持下载到本地查看。 操作日志记录用户进行失陷主机处置、威胁事件处置、设备管理等相关操作。 安全日志记录用户登录、创建下级工作组帐号等安全相关操作。 操作步骤 单击控制台页面右上角帐号，选择“日志”进入日志详情页面。 支持查看操作日志和安全日志，其操作流程基本一致，以操作日志为例： 选择“操作日志”页签，查看日志列表，包含当前帐号的操作名称、对象、结果等信息。 图1 日志列表 单击日志列表的“详细信息”栏中任意一项，可以查看日志的详细记录。 图2 日志详情 单击日志列表上方“高级搜索”，根据表1设置筛选条件，单击“搜索”即可。 表1 筛选条件参数表 参数 说明 时间 设置起始时间，筛选该时间段内的日志。 操作名称 操作行为。 级别 日志级别分为紧急、报警、严重、错误、警告、通知、提示、调试，程度递减。 操作用户 操作行为对应的帐号。 详细信息 操作行为的具体描述。 操作对象 操作行为的具体对象，如套餐、设备、站点等。 操作结果 日志操作结果分为成功、失败、部分成功。 来源 日志来源模块。 如果单击“重置”，日志筛选条件恢复成默认条件： 最近48小时内的记录。 所有日志级别类型。 所有操作结果类型。 下载日志。 日志界面可查看6个月内的日志，超过6个月但不超过1年的日志可单击右上方“点击此处”下载。

首页介绍 图1 运营工作台首页 整体信息概览：页面上方可以查看当前帐号下客户信息概览，支持按月度、季度和年度查看。 健康状态分布：查看当前租户健康状态分布情况。 客户分级统计：查看当前高端客户、大客户、中客户、小客户等分级统计情况。 客户数统计：查看当前待续费客户、已流失客户、待转商客户和未转商用户的客户数量。 我的客户： 创建租户：单击租户列表右上方“创建”，可创建自建租户。具体操作请参见创建租户帐号。 搜索租户：在租户列表上方搜索框内输入租户/公司名称，单击图标或按回车键搜索。或单击租户列表上“高级搜索”按条件搜索租户。 申请试用：单击租户列表右上方“申请试用”，填写租户名称、试用产品、企业名称、申请人姓名、申请人电话、申请原因等，单击“确定”完成试用申请。 导出客户：单击租户列表右上方“导出全部”，会自动下载当前所有租户信息。 查看客户信息：单击租户列表右上方“全部客户”，可以查看当前全部客户信息，详细信息请参见客户中心。 查看租户详情：单击租户列表中租户名，可查看当前租户标签和详情信息。 图2 租户详情 客户概览：支持查看客户健康度、工单统计、客户信息、未完成任务、跟进记录、联系人和服务小组。 编辑客户信息：单击页面右上角“编辑”，可修改当前客户信息，包括客户分类、服务状态、对接情况等。 未完成任务：支持新建、查看任务，详细信息请参见任务管理。 跟进记录：单击页面右上角“添加跟进记录”或单击“跟进记录”页面上“新建”，填写跟进方式、业务主题和跟进内容，单击“确定”添加记录。 服务小组：单击任务页面“服务小组”，支持设置“负责人”、“客户成功经理”和“销售人员”。 资源信息：支持查看当前客户设备信息，包括设备实时状态、设备类型分布和设备列表。 产品信息：支持查看当前客户订单相关信息，包括订单与产品统计、套餐统计和套餐列表。 联系人：支持查看当前联系人信息。 新增联系人：单击页面上“新增联系人”，填写名称、电话等信息，单击“确定”完成联系人创建。 编辑联系人：鼠标悬停在已有联系人上，单击“编辑”，可修改当前联系人名称、电话等信息。 删除联系人：鼠标悬停在已有联系人上，单击“删除”，可删除当前联系人。 时间轴：显示当前事件，包括租户创建、申请试用、申请商用、健康值变化、任务管理等事件类型。 任务管理：页面右侧展示任务管理页面。 新建任务：单击页面上“新建”，填写业务主题、任务标题、执行人、截止时间、优先级等相关信息，单击“确定”完成任务创建。 任务管理：单击页面上“全部任务”，可以查看当前全部任务以及自己名下的任务。 任务搜索：在列表上方输入客户/执行人名称，单击图标或回车键进行搜索。或单击页面上“高级搜索”按条件搜索任务。 任务详情：单击任务列表中任务名称，可以查看当前任务详情，包括优先级、截止时间、执行人等信息。 添加跟进：单击列表中“添加跟进”，可添加跟进记录。 完成任务：单击列表中“完成任务”标记已完成任务。 服务小组：单击任务页面“服务小组”，支持设置“负责人”、“客户成功经理”和“销售人员”。 只有加到团队管理下客户成功和销售团队的成员，才能设置为负责人、参与人。

租户管理 前提条件 成功登录华为乾坤控制台，并拥有“用户租户服务”中租户管理权限。 背景信息 华为乾坤为MSP提供了租户信息管理功能。MSP可以快速创建、查询、修改、导出租户信息。 一级MSP工作组用户以及下层MSP工作组用户均可创建租户。 操作步骤 单击控制台页面右上方“租户”，进入租户管理页面。 创建租户帐号。 选择“自建租户”，单击租户列表右上角“创建”。 填写租户信息后单击“下一步”。 图1 自建租户信息 创建租户时，授权MSP开关默认为“否”不开启，开启后需要选择委托时间以及勾选风险告知协议。 创建租户时，屏蔽本MSP信息开关默认为“否”不开启，开启后租户不感知当前MSP信息。 默认自动委托当前新建租户的所有角色。租户创建完成后，租户因新购买的服务而产生的服务类角色会自动委托给MSP。 设置租户管理员信息，密码设置请参考密码设置规范，单击“完成”。 图2 自建租户管理员信息 （可选）创建租户标签。 在“代维租户”界面，单击租户列表左上方，进入“标签管理”页面。 图3 标签管理 单击列表中“租户数量”数字，支持给多个租户设置该标签。 在“标签管理”页面单击“创建”，支持为租户创建标签。 图4 创建标签 在“打标签”页面输入标签名称，选择租户，单击“确定”。 单击用户名后可为单个用户设置用户标签，列表中该租户名下展示该标签。 一个标签下最多支持100个租户，一个MSP帐号下最多可以有100个标签。 单个租户最多支持打5个标签。 后续处理 按标签过滤租户。选择“代维租户”，单击租户列表左上方，可以按标签过滤代维租户。 设置租户标签：单击租户名后可为单个租户设置租户标签，在弹框中单击“+添加标签”，可以为当前租户添加标签，最多可添加5个。 图5 设置标签 删除租户标签：如果不需要该标签，可以单击标签名后的“删除”。 搜索租户信息。选择“自建租户”或“代维租户”，在租户列表左上方输入关键信息，单击图标或按回车键搜索。 导出租户信息。选择“自建租户”或“代维租户”，单击租户列表右上方“导出全部”。 注意，导出的EXCEL文件中包含用户名、用户帐号等个人隐私数据，请妥善保存。 自建租户支持按创建时间排序。单击自建租户列表中创建时间后的，可以将租户按创建时间排序。 修改自建租户信息。单击自建租户列表里“修改”，可以修改租户名称、手机号、邮箱等。 代替租户申请试用。单击自建租户列表里“申请试用”，填写试用产品、企业名称、联系人姓名、电话及申请原因后，可以为租户申请试用1个或多个产品，待运营专员通过审批后即可试用。 当MSP为租户申请边界防护与响应服务产品试用时，系统会自动判断该租户是否可申请威胁自动阻断套餐试用。 图6 申请试用 代建帐号初始密码修改。租户使用MSP代建帐号首次登录华为乾坤控制台时，需要立即修改密码，具体参见《华为乾坤租户操作指南》。

MSP职责介绍 面向普通租户： 当普通租户购买华为乾坤后，发现本身不具备完备的网络建设、业务管理、安全运维能力时，可以委托专业的MSP管理，以降低企业人力和资金的投入。 面向华为乾坤运营人员： 华为乾坤运营人员主要负责华为乾坤拉新促活工作。 MSP是华为乾坤运营团队的重要合作伙伴，协助其推广和销售华为乾坤产品。 因此，MSP经常被称为华为乾坤的代理商。 MSP、普通租户、华为乾坤运营人员之间有密切的联系，详细关系和职责如表1所示。 表1 用户职责和关系表 用户分类 由谁来创建 主要职责 租户（Tenant） 支持自注册 MSP管理员创建 根据具备的IT能力分为2种： 租户管理员自行完成设备上线、网络部署、服务运维等，即租户自建自维。 租户管理员向MSP申请代建代维服务，即MSP代建代维。 管理服务提供商（MSP） 平台运营人员审批和创建 代建：MSP帮助租户设备上线、网络部署。 代维：租户委托MSP后，MSP可以对委托业务进行日常状态查看、定期巡检，发现并处理业务运行中存在的异常和问题，同时给出风险评估和事件处置方法。 推广和销售华为乾坤。 说明： 部分服务可以通过MSP线下购买，如边界防护与响应服务，具体购买流程请参考对应的服务文档。 华为乾坤运营人员（Operator） 安装华为乾坤平台后自行创建 负责华为乾坤拉新促活，开展营销工作。 管理和创建MSP。