华为云用户手册

注意事项 集群快照会导致CPU、磁盘IO上升等影响，建议在业务低峰期进行操作。 快照存储在OBS桶中需要额外收费，具体收费以对象存储服务为准。 如果OBS桶已经存储了快照，OBS无法变更，您可以使用这个方法修改：首先关闭快照功能，然后再开启快照功能，指定新的OBS桶。一旦关闭快照功能，之前创建的快照将无法用于恢复集群。 当集群处于“不可用”状态时，快照功能中，除了恢复快照功能外，其他快照信息或功能只能查看，无法进行编辑。 备份与恢复过程中，支持集群扩容、访问Kibana、查看监控、删除其他快照的操作。不支持重启此集群、删除此集群、删除正在创建或恢复的快照、再次创建或恢复快照的操作。补充说明，当此集群正在进行创建快照或者恢复快照时，此时，自动创建快照任务将被取消。 快照在恢复过程中不可查询集群数据。 CSS集群快照恢复到另一个集群会覆盖标集群中的同名索引，不同名的索引不会覆盖。如果两个集群的shard不一样，则同名的索引不会被覆盖。 用于恢复的目的集群版本不得低于源端集群，一般保持一致版本即可。

前提条件 为方便操作，建议采用Linux操作系统的机器部署Logstash。 Logstash的下载路径为：https://www.elastic.co/cn/downloads/logstash-oss Logstash要求使用OSS版本，选择和CSS一致版本。 安装完Logstash后，再根据如下步骤导入数据。安装Logstash的操作指导，请参见：https://www.elastic.co/guide/en/logstash/current/installing-logstash.html 安装Logstash之前，需要先安装JDK。在Linux操作系统中，您可以执行yum -y install java-1.8.0命令直接安装1.8.0版本JDK。在Windows操作系统中，您可以访问JDK官网，下载符合操作系统版本的JDK，并根据指导安装。 在“Logstash部署在弹性云服务器上时导入数据”场景中，请确保此弹性云服务器与接入的Elasticsearch集群在同一个VPC下。

背景信息 自定义词库使用的分词器包括IK分词器和同义词分词器。 IK分词器配备主词词库和停词词库；同义词分词器配备同义词词库。配置自定义词库需要提前准备词库文件并上传至OBS，详情请见上传词库文件至OBS。 其中，IK分词器包含ik_max_word和ik_smart分词策略。同义词分词器使用的是ik_synonym分词策略。 ik_max_word：会将文本做最细粒度的拆分，比如会将“昨夜西风吹折千林梢”拆分为“昨夜西风,昨夜,西风,吹折千林梢,吹折,千林梢,千,林,折千林,千林,吹”，会穷尽各种可能的分词组合。 ik_smart：会做最粗粒度的拆分，比如会将“昨夜西风吹折千林梢”拆分为“昨夜西风,吹折千林梢”。

上传词库文件至OBS 配置自定义词库需要提前将词库上传至OBS桶。 按表1要求准备词库文件。 表1 词库说明 词库类型 概述 文件要求 主词词库 主词为用户希望进行分词的特殊词语，如上文场景中的“智能手机”和“喜大普奔”。主词库则是这些特殊词语的集合。 UTF-8无BOM格式编码的文本文件，且文件中每一行为一个分词。如果涉及单词，必须改成小写字母。主词库文件最大支持100M。 停词词库 停词为用户不希望进行分词或者关注的词语，如“的”、“什么”、“怎么”等。停词词库是停词词语的集合。 UTF-8无BOM格式编码的文本文件，且文件中每一行为一个分词。停词词库文件最大支持80M。 同义词词库 同义词为意义相同的一组词语，如“开心”和“高兴”。同义词词库是同义词词语的集合。 UTF-8无BOM格式编码的文本文件，且文件中每一行为一组同义词，同义词之间用英文逗号隔开。同义词词库文件最大支持80MB。 上传词库文件至OBS桶，详细操作步骤请参见上传文件。上传的OBS桶必须和集群所在“区域”相同。

背景信息 如果您要以按需计费或者包年包月方式使用集群，则直接创建集群。 新建集群时，当设置不同节点类型时支持的节点数量区间会有区别，具体情况请参考表1。 表1 不同节点类型的节点数量说明 集群包含的节点类型 节点数量的取值范围 ess ess：1~32 ess、ess-master ess：1~200 ess-master：3~9的奇数 ess、ess-client ess：1~32 ess-client：1~32 ess、ess-cold ess：1~32 ess-cold：1~32 ess、ess-master、ess-client ess：1~200 ess-master：3~9的奇数 ess-client：1~32 ess、ess-master、ess-cold ess：1~200 ess-master：3~9的奇数 ess-cold：1~32 ess、ess-client、ess-cold ess：1~32 ess-client：1~32 ess-cold：1~32 ess、ess-master、ess-client、ess-cold ess：1~200 ess-master：3~9的奇数 ess-client：1~32 ess-cold：1~32 四种节点类型的说明： ess：默认节点类型，即创建集群时必选的数据节点类型，其他3种节点类型都是基于业务需要可选的类型。 ess-master：Master节点 ess-client：Client节点 ess-cold：冷数据节点

检测项 检测任务会从如下项目对集群进行检测，如存在风险，可在智能运维列表查看风险项。 检查当前时刻集群的健康状态，其中red表示有主分片未分配，yellow表示有副分片未分配，green表示所有分片均已分配。 检测集群节点数与AZ(可用区)数，判定Elasticsearch分布式集群的高可用性。 检测集群索引是否开启副本，未设置副本的索引在节点发生故障后可能导致索引不可用，本地盘集群未设置副本会有数据丢失的风险。 检测集群是否存在kibana索引冲突。 检测节点磁盘用量百分比，节点磁盘存储过大可能导致节点无法分配新索引分片并影响集群性能。 检测集群数据节点/冷数据节点的存储用量是否均衡，不均衡的存储用量分布可能导致集群负载不均，读写延迟增加。 连续5分钟检测当前集群是否有节点脱离或不可用。 检测节点分片数量是否过多，单节点分片数量过多会消耗大量节点资源，读写请求时延增加，集群元数据更新缓慢等。 检测所有分片大小，分片太大可能导致查询性能下降，节点内存消耗增加，影响扩缩容以及节点故障时分片的恢复速率等。 检测当前集群是否存在可升级的版本。 检测集群7天内是否有快照备份失败，或7天内无快照备份记录。

注意事项 第一次备份时，建议将所有索引数据进行备份。 集群快照会导致CPU、磁盘IO上升等影响，建议在业务低峰期进行操作。 创建快照之前，您需要进行基础配置，包含存储快照的OBS桶、快照的备份路径及安全认证使用的IAM委托。 集群快照存储的OBS桶，在首次设置后，不管自动创建快照还是手动创建快照，如果快照列表中已有可用的快照，则OBS桶将无法再变更，请谨慎选择存储OBS桶。 快照存储在OBS桶中需要额外收费，具体收费以对象存储服务为准。 如果OBS桶已经存储了快照，OBS无法变更，您可以使用这个方法修改：首先关闭快照功能，然后再开启快照功能，指定新的OBS桶。一旦关闭快照功能，之前创建的快照将无法用于恢复集群。 当集群处于“不可用”状态时，快照功能中，除了恢复快照功能外，其他快照信息或功能只能查看，无法进行编辑。 备份与恢复过程中，支持集群扩容、访问Kibana、查看监控、删除其他快照的操作。不支持重启此集群、删除此集群、删除正在创建或恢复的快照、再次创建或恢复快照的操作。补充说明，当此集群正在进行创建快照或者恢复快照时，此时，自动创建快照任务将被取消。 CSS集群第一次快照是全量，后面再备份快照是在之前的快照基础上增量，CSS是增量快照逻辑，快照之间的文件会相互依赖。

创建集群时配置Kibana公网访问 登录云搜索服务管理控制台。 单击右上角的“创建集群”，进入创建集群页面。 在创建集群页面，开启“安全模式”。 “高级配置”选择“自定义”后，开启Kibana公网访问，配置相关参数。 表1 Kibana公网访问参数说明 参数 说明 带宽 设置公网访问的带宽。 取值范围：1-100。 单位：Mbit/s。 访问控制开关 如果关闭访问控制开关，则允许任何IP通过公网IP访问集群Kibana。如果开启访问控制开关，则只允许白名单列表中的IP通过公网IP访问集群Kibana。 白名单 设置允许访问的IP地址或网段，中间用英文逗号隔开。仅当打开“访问控制开关”时才需要配置。 建议开启白名单。 集群创建成功后，单击集群名称，进入集群基本信息页面，在“Kibana公网访问”页签，可以查看kibana公网访问地址。

自建Kibana接入Elasticsearch集群 自建Kibana对接云搜索服务Elasticsearch集群，需满足如下条件： 本地环境需要支持外网访问。 通过同vpc下ECS服务搭建Kibana，本地公网访问Kibana即可。 只支持OSS版本的Kibana镜像连接到云搜索服务的Elasticsearch。 Kibana配置文件参考： 安全模式： elasticsearch.username: "***" elasticsearch.password: "***" elasticsearch.ssl.verificationMode: none server.ssl.enabled: false server.rewriteBasePath: false server.port: 5601 logging.dest: /home/Ruby/log/kibana.log pid.file: /home/Ruby/run/kibana.pid server.host: 192.168.xxx.xxx elasticsearch.hosts: https://10.0.0.xxx:9200 elasticsearch.requestHeadersWhitelist: ["securitytenant","Authorization"] opendistro_security.multitenancy.enabled: true opendistro_security.multitenancy.tenants.enable_global: true opendistro_security.multitenancy.tenants.enable_private: true opendistro_security.multitenancy.tenants.preferred: ["Private", "Global"] opendistro_security.multitenancy.enable_filter: false 安全模式需要安装插件opendistro_security_kibana，详细请参考https://github.com/opendistro-for-elasticsearch/security-kibana-plugin/tags?after=v1.3.0.0。 安装的插件版本需要和集群版本保持一致，可通过GET _cat/plugins获取到集群安全插件的版本号。 非安全模式： server.port: 5601 logging.dest: /home/Ruby/log/kibana.log pid.file: /home/Ruby/run/kibana.pid server.host: 192.168.xxx.xxx elasticsearch.hosts: http://10.0.0.xxx:9200 父主题： Kibana可视化平台

基础配置 登录云搜索服务管理控制台。 在“集群管理”页面选择已创建的从集群，单击操作列“Kibana”，登录Kibana界面。 单击左侧导航栏的“Dev Tools”，执行如下操作： 配置主集群信息 PUT /_cluster/settings { "persistent" : { "cluster" : { "remote.rest" : { "leader1" : { "seeds" : [ "http://10.0.0.1:9200", "http://10.0.0.2:9200", "http://10.0.0.3:9200" ] , "username": "elastic", "password": "*****" } } } } } 从集群必须能访问主集群的REST接口（默认端口为9200）。 leader1是主集群配置的名称，可以修改。 seeds的值为主集群的REST地址，可以填写多个值。开启https访问时URI schema需要对应改为https。 username和password仅当主集群开启安全模式时才需要填写。 配置完成后可以通过GET _remote/rest/info接口获取与主集群的连接状况。 父主题： 使用说明

场景描述 云搜索服务默认安装了开源的OpenDistro告警插件（opendistro_alerting），用于提供数据满足特定条件时的通知功能。该插件包含Dashboard、Monitors、Destinations三个组件，CSS服务在Destinations组件中适配了消息通知服务SMN，且仅支持通过SMN服务作为目的端（Destination）进行告警消息发送。 本文主要介绍如何在Kibana中通过OpenDistro告警插件设置Elasticsearch集群的SMN告警功能。 开源OpenDistro告警插件Opendistro Alerting的官方指导文档请参见：OpenDistro-Monitors。

为用户配置角色 创建好角色并为角色授予权限后，需要将角色映射到用户，用户才会获得被映射的角色所拥有的权限。 在“Security”中选择“Role Mappings”，进入Role Mappings页面，进行角色映射。 图10 角色映射 在Role Mappings页面，单击，选择角色“Role”，添加用户“Users”。 “Role”：选择待映射的角色名称。 “Users”：单击“Add User”，输入被映射角色的用户名称。 图11 用户和角色映射 添加完成后，单击“Submit”。 配置完成后，可以在Kibana中进行验证是否生效。

创建角色并授权 在Security页面创建角色，并为角色授权。 在“Security”中选择“Roles”，进入Open Distro Security Roles页面。 图6 添加角色 在Open Distro Security Roles页面，单击添加角色权限。 在Overview页签设置角色名“Role name”。 图7 添加角色名称 在“Cluster Permissions”页签设置CSS集群权限。根据业务需要选择相应的集群权限，不配置时表示角色不具有任何集群级别的权限。 “Permissions: Action Groups”：单击“Add Action Group”，可以设置集群权限。例如，集群只读权限选择read，表示仅可查看集群状态、集群节点等信息。 “Permissions: Single Permissions”：勾选Show Advanced后，单击“Add Single Permission”可以针对集群设置更精细的权限。例如设置为indices:data/read，表示仅指定索引的读取权限。 图8 Cluster Permissions页面 在“Index Permissions”页面设置索引权限。 “Index patterns”：单击“Add index permissions”配置为需要设置权限的索引名称，例如，索引模板名称为my_store。 建议索引名称和创建的用户名不要相同。 “Permissions: Action Groups”：单击“Add Action Group”，根据需要开通的权限设置。例如，只读权限选择Search。 “Tenant Permissions”页面设置角色权限，根据业务需要配置。 “Global permissions”：单击“Add Field”，设置角色的kibana读写权限，例如kibana_all_read或kibana_all_write权限。 “Tenant permissions”：单击“Add tenant pattern”，自行添加租户模式，并且为新增的租户模式设置kibana_all_read或kibana_all_write权限。 图9 Tenant Permissions页面 单击“Save Role Definition”，保存角色设置，即可看到设置的角色。

最佳实践 本小节给出当主集群出现故障时进行主从切换的步骤： 假设主从集群已经建立了指定索引同步的关系： (1) 在从集群上调用停止索引同步接口，此时可以将读写流量切换到从集群 (2) 等待主集群恢复后，调用索引同步接口将从集群数据向主集群同步，完成了主从切换 假设主从集群已经建立了匹配索引同步的关系： （1）在从集群上调用删除已创建的模式接口，删除匹配索引同步对应的模式 （2）在从集群上调用停止索引同步接口（使用*匹配），此时可以将读写流量切换到从集群 （3）等待主集群恢复后，调用索引同步接口将从集群数据向主集群同步，完成了主从切换 父主题： 读写分离

约束限制 要确保缩容之后的磁盘使用量小于80%，且集群每个节点类型中每个AZ的节点数至少为1。 关于跨AZ的集群，在不同AZ中同类型节点个数的差值要小于等于1。 关于没有Master节点的集群，每次缩容的数据节点和冷数据节点个数之和要小于缩容前数据节点和冷数据节点个数之和的一半，缩容后的数据节点和冷数据节点个数之和要大于索引的最大副本个数。 关于有Master节点的集群，每次缩容的Master节点个数要小于当前Master节点总数的一半，缩容后的Master节点个数必须是奇数且不小于3。

约束限制 如果集群已经具有Master节点和Client节点，则“形态变更”页面将不存在“添加Master/Client节点”页签。如此时需要添加Master节点和Client节点，可以执行扩容任务。 添加Master节点或Client节点时，不同节点类型的可配置节点数量不同，具体情况请参考表1。 表1 不同节点类型的节点数量说明 节点类型 节点数量的取值范围 Master节点 3~9的奇数 Client节点 1~32

约束限制 缩容操作仅支持修改“节点数量”，不支持修改“节点规格”和“节点存储容量”。修改“节点规格”请执行变更规格操作。修改“节点存储容量”请执行扩容操作。 缩容什么节点类型的“节点数量”，缩容完成后只生效新该节点类型的“节点数量”，其他节点类型的“节点数量”保持不变。 要确保缩容之后的磁盘使用量小于80%，且集群每个节点类型中每个AZ的节点数至少为1。 缩容过程会涉及数据迁移，将要下线的节点数据迁移到其他节点上，数据迁移的超时阈值为5小时。当超过5小时数据还未迁移完成，那么缩容会失败。建议在集群数据量较大的情况下，分多次进行缩容。 如果集群没有启用Master节点，缩容后剩余的数据节点个数（包含冷数据节点和其他类型节点）须大于之前的一半，并大于索引的最大副本个数。 关于有Master节点的集群，每次缩容的Master节点个数要小于当前Master节点总数的一半，缩容后的Master节点个数必须是奇数且不小于3。 两个节点的集群暂不支持缩容，可使用单节点重新创建集群，使用备份与恢复迁移集群数据至新集群中。 当集群包含的节点类型不同时，缩容的节点数量区间会有区别，具体情况请参考表1。 表1 不同节点类型的节点数量说明 集群包含的节点类型 节点数量的取值范围 ess ess：1~32 ess、ess-master ess：1~200 ess-master：3~9的奇数 ess、ess-client ess：1~32 ess-client：1~32 ess、ess-cold ess：1~32 ess-cold：1~32 ess、ess-master、ess-client ess：1~200 ess-master：3~9的奇数 ess-client：1~32 ess、ess-master、ess-cold ess：1~200 ess-master：3~9的奇数 ess-cold：1~32 ess、ess-client、ess-cold ess：1~32 ess-client：1~32 ess-cold：1~32 ess、ess-master、ess-client、ess-cold ess：1~200 ess-master：3~9的奇数 ess-client：1~32 ess-cold：1~32 四种节点类型的说明： ess：默认节点类型，即创建集群时必选的数据节点类型，其他3种节点类型都是基于业务需要可选的类型。 ess-master：Master节点 ess-client：Client节点 ess-cold：冷数据节点

特性介绍 云搜索服务支持读写分离特性，写入主集群（Leader）的数据能被自动同步到从集群（Follower），从而让主集群承担写入任务，从集群承担查询任务。这样不但可以将读写压力分开，从而提高查询的性能（如图1左），还能支持在主集群无法提供服务时降级，使用从集群提供写入和查询服务（如图图1右）。 图1 读写分离特性的两种使用场景 目前仅7.6.2和7.10.2版本集群支持读写分离特性。主集群与从集群版本必须保持一致。 父主题： 读写分离

约束限制 如果集群已经具有Master节点和Client节点，则“形态变更”页面将不存在“添加Master/Client节点”页签。如此时需要添加Master节点和Client节点，可以执行扩容任务。 添加Master节点或Client节点时，不同节点类型的可配置节点数量不同，具体情况请参考表1。 表1 不同节点类型的节点数量说明 节点类型 节点数量的取值范围 Master节点 3~9的奇数 Client节点 1~32

日志信息 日志备份成功后，用户可以单击“OBS桶”，进入到OBS控制台，找到备份路径查看备份的日志信息。 图1 进入OBS 云搜索服务备份的日志信息主要包括废弃操作日志、运行日志、慢索引日志、慢查询日志。在OBS桶中的存储类型如表2所示。 表2 日志类型信息 日志名称 描述 clustername_deprecation.log 弃用操作的日志记录。 clustername_index_indexing_slowlog.log 慢索引日志。 clustername_index_search_slowlog.log 慢索引查询日志。 clustername.log Elasticsearch运行日志。 clustername_access.log 接入日志。

新建集群的标签管理 登录云搜索服务管理控制台。 单击右上角的“创建集群”，进入创建集群页面。 在创建集群页面，“高级配置”选择“自定义”后，为集群添加标签。 您可以选择预定义标签，并为此标签设置“标签值”。您可以单击“查看预定义标签”，进入“标签管理服务”，了解此用户下已有的标签。 您也可以自定义“标签键”和“标签值”。 图1 创建集群时添加标签 云搜索服务的每个集群最多可以设置20个标签。当设置不正确时，可单击标签右侧的“删除”按钮，删除此标签。当不设置标签时，可保持为空。 表1 标签命名规则 参数 说明 标签键 对于同一个集群，标签键值唯一。 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符_ . : = + - @。不能以空格开头和结尾。 不能为空。 标签值 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符_ . : = + - @/。不能以空格开头和结尾。 不能为空。

约束限制 一次只能选择一个节点进行替换。 节点替换过程会按照原节点的ID、IP地址、规格、AZ等信息重建节点。 节点替换过程中不会保留手动操作。例如被替换的节点手动加过回程路由，那么节点替换完成后，需要重新添加回程路由。 如果替换的是数据节点（ess）或冷数据节点（ess-cold），需要确认集群/节点是否满足以下条件： 替换数据节点或冷数据节点的过程中，会先将被替换节点的数据迁移到其他数据节点，因此集群中每个索引的副本数和主分片数之和的最大值要小于集群的数据节点个数之和（含ess和ess-cold）。替换过程耗时跟数据迁移到其他节点的耗时强相关。 被替换的数据节点或冷数据节点所在的AZ需要有两个及以上的数据节点（含ess和ess-cold）。 如果替换的数据节点或冷数据节点所在集群不存在Master节点（ess-master），则集群中可用的数据节点（含ess和ess-cold）个数要大于等于3。 如果替换的是Master节点（ess-master）或Client节点（ess-client），则不受以上四条约束。 如果替换的是故障节点，不管什么类型都不受以上四条约束。因为故障节点不包含在“_cat/nodes”中。

前提条件 目的端集群（Es-2）和源端集群（Es-1）处于可用状态。建议在业务空闲期进行集群迁移。 确认目的端集群（Es-2）和源端集群（Es-1）在同一个Region下。 确认目的端集群（Es-2）的版本大于等于源端集群（Es-1）的版本。 确认目的端集群（Es-2）的节点数大于源端集群（Es-1）的节点数的一半。 确认目的端集群（Es-2）的节点数大于等于源端集群（Es-1）的shard副本数。 确认目的端集群（Es-2）的CPU、MEM和Disk配置大于等于源端集群（Es-1）。

约束限制 为了保证业务的连续性，集群中数据节点和冷数据节点的个数之和要不小于3。 切换过程中会逐一下线节点再新建节点，需要保证单节点下线后，其余节点的磁盘容量能够接纳该节点的所有数据。 集群中索引的最大主备分片数能够被分配到剩余数据节点和冷数据节点中，防止切换过程中出现节点下线后副本无法分配的情况。即“索引的主备分片数的最大值+1 ≤ 切换前的数据节点数和冷数据节点之和”。 切换前建议做好数据备份，防止升级故障数据丢失。 当集群处于切换可用区过程中，部分节点的AZ属性可能已经更改，此时节点的可用区可能会显示出中间状态，等待任务结束后，集群的可用区显示将恢复正常状态。 可用区高可用改造是基于原可用区进行扩展，切换时必须保留原可用区。如果是单AZ改造成两AZ或单AZ改造成三AZ的场景，必须所有节点一起改造；如果是两AZ改造成三AZ的场景，则既支持同时操作集群中所有类型的节点，也支持单独操作集群中某一类型的节点（例如，在已有两AZ的集群中，可以只对Master节点进行切换可用区，将Master节点形变为三AZ，而其他节点依旧是两AZ）。高可用改造会尽可能挪动最小的节点重建集群，改造完成后，因未挪动节点的yml配置更新，需要重启集群才能生效。 可用区平移切换一次只能迁移一个可用区，切换时选择的可用区只能有一个不同。平移切换支持同时操作集群中所有类型的节点，或者单独操作集群中某一类型的节点（例如，在已有两AZ的集群中，可以只对Master节点进行平移切换，将Master节点从当前AZ迁移到另一个AZ，而其他节点依旧在当前AZ）。除了单AZ平移切换场景，其他的多AZ平移切换场景均需要重启集群生效。

注意事项 第一次备份时，建议将所有索引数据进行备份。 集群快照会导致CPU、磁盘IO上升等影响，建议在业务低峰期进行操作。 创建快照之前，您需要进行基础配置，包含存储快照的OBS桶、快照的备份路径及安全认证使用的IAM委托。 集群快照存储的OBS桶，在首次设置后，不管自动创建快照还是手动创建快照，如果快照列表中已有可用的快照，则OBS桶将无法再变更，请谨慎选择存储OBS桶。 快照存储在OBS桶中需要额外收费，具体收费以对象存储服务为准。 如果OBS桶已经存储了快照，OBS无法变更，您可以使用这个方法修改：首先关闭快照功能，然后再开启快照功能，指定新的OBS桶。一旦关闭快照功能，之前创建的快照将无法用于恢复集群。 当集群处于“不可用”状态时，快照功能中，除了恢复快照功能外，其他快照信息或功能只能查看，无法进行编辑。 备份与恢复过程中，支持集群扩容、访问Kibana、查看监控、删除其他快照的操作。不支持重启此集群、删除此集群、删除正在创建或恢复的快照、再次创建或恢复快照的操作。补充说明，当此集群正在进行创建快照或者恢复快照时，此时，自动创建快照任务将被取消。 CSS集群第一次快照是全量，后面再备份快照是在之前的快照基础上增量，CSS是增量快照逻辑，快照之间的文件会相互依赖。

自定义Visualizations图表 索引监控定期把index/stats信息存储到monitoring-eys-css索引中，通过使用kibana图表功能可以绘制自定义的图表。 下面以文档数据为例介绍通过图表查看文档数量的变化趋势的操作步骤： 登录云搜索服务管理控制台。 选择已创建的集群，单击操作列“Kibana”，登录Kibana界面。 选择左侧的“Visualize”进入图形列表。 单击“Create visualization”，选择“TSVB” ，进入TSVB绘图页面。 设置图表参数，查看Visualizations。 如图所示，在“Data”页签，选择“index_stats.primaries.docs.count”表示主分片的文档数量；选择“Derivative”表示聚合桶之间的差异；“Unit”设置为“1s”表示使用每秒代替速率；选择“Positive only”避免数字重置后出现负数。如果需要区分不同索引的情况，将“Group by”设置为“Terms”，“By”设置为“index_stats.index”，最终得到的聚合结果将按照索引名称区分。 图2 TSVB绘图页面 如果需要查看不同时间段的数据，则需要将时间聚合间隔设置好，否则将导致数据显示不完整。在“Panel options”页签，将“Interval”设置为“1m”或“30m”，即可调整“timestamp”的时间间隔。 图3 设置时间间隔

查看Dashboard图表 登录云搜索服务管理控制台。 在“集群管理”页面，选择已创建的集群，单击操作列“Kibana”，登录Kibana界面。 单击左侧导航栏的“Dashboard”，打开dashboard界面。 单击 “[Monitoring] Index monitoring Dashboard”查看预置dashboard。 图1 预置dashboard图表 预置dashboard展示集群的每秒读写数量和每秒读写数量前10的索引情况。 表1 预置图表说明 图表名称 说明 [monitoring] markdown Markdown图表，简单说明dashboard表达的内容。 [monitoring] Indexing Rate (/s) 集群每秒写入文档数。 [monitoring] Search Rate (/s) 集群每秒查询次数。 [monitoring] indexing rate of index for top10 每秒写入文档数最多的Top10索引。 [monitoring] search rate of index for top10 每秒查询次数最多的Top10索引。 [monitoring] total docs count 集群总文档数量变化。 [monitoring] total docs delete 集群总的删除文档数量变化。 [monitoring] total store size in bytes 集群总文档所占用的存储空间变化。 [monitoring] indices store_size for top10 占用存储空间最多的Top10索引。 [monitoring] indices docs_count for top10 文档数量最多的Top10索引。 [monitoring] indexing time in millis of index for top10(ms) 单位时间内文档写入时延最大的Top10索引（ms）。 [monitoring] search query time in millis of index for top10(ms) 单位时间内索引查询时间最大的Top10索引（ms）。 [monitoring] segment count of index for top10 索引Segment数量最多的Top10索引。 [monitoring] segment memory in bytes of index for top10 索引Segment占用堆内存最大的Top10索引。 索引监控不允许删除monitoring-eye-css-* 的index pattern，否则会导致监控图表异常。

约束限制 要确保缩容之后的磁盘使用量小于80%，且集群每个节点类型中每个AZ的节点数至少为1。 关于跨AZ的集群，在不同AZ中同类型节点个数的差值要小于等于1。 关于没有Master节点的集群，每次缩容的数据节点和冷数据节点个数之和要小于缩容前数据节点和冷数据节点个数之和的一半，缩容后的数据节点和冷数据节点个数之和要大于索引的最大副本个数。 关于有Master节点的集群，每次缩容的Master节点个数要小于当前Master节点总数的一半，缩容后的Master节点个数必须是奇数且不小于3。

检测项 检测任务会从如下项目对集群进行检测，如存在风险，可在智能运维列表查看风险项。 检查当前时刻集群的健康状态，其中red表示有主分片未分配，yellow表示有副分片未分配，green表示所有分片均已分配。 检测集群节点数与AZ(可用区)数，判定Elasticsearch分布式集群的高可用性。 检测集群索引是否开启副本，未设置副本的索引在节点发生故障后可能导致索引不可用，本地盘集群未设置副本会有数据丢失的风险。 检测集群是否存在kibana索引冲突。 检测节点磁盘用量百分比，节点磁盘存储过大可能导致节点无法分配新索引分片并影响集群性能。 检测集群数据节点/冷数据节点的存储用量是否均衡，不均衡的存储用量分布可能导致集群负载不均，读写延迟增加。 连续5分钟检测当前集群是否有节点脱离或不可用。 检测节点分片数量是否过多，单节点分片数量过多会消耗大量节点资源，读写请求时延增加，集群元数据更新缓慢等。 检测所有分片大小，分片太大可能导致查询性能下降，节点内存消耗增加，影响扩缩容以及节点故障时分片的恢复速率等。 检测当前集群是否存在可升级的版本。 检测集群7天内是否有快照备份失败，或7天内无快照备份记录。

推荐配置的监控指标 监控集群的cpu、jvm使用情况，推荐重点配置如下监控指标：平均JVM堆使用率、最大JVM堆使用率、平均CPU使用率、最大CPU利用率 监控集群的写入、查询延迟和吞吐量情况，推荐重点配置如下监控指标：平均索引延迟、平均索引速率、平均查询延迟、平均查询速率 监控集群的写入、查询的排队队列和拒绝情况，推荐重点配置如下监控指标：Write队列中总排队任务数、Search队列中总排队任务数、Write队列中总的已拒绝任务数、Search队列中总的已拒绝任务数