华为云用户手册

约束限制 缩容操作仅支持修改“节点数量”，不支持修改“节点规格”和“节点存储容量”。修改“节点规格”请执行变更规格操作。修改“节点存储容量”请执行扩容操作。 缩容什么节点类型的“节点数量”，缩容完成后只生效新该节点类型的“节点数量”，其他节点类型的“节点数量”保持不变。 要确保缩容之后的磁盘使用量小于80%，且集群每个节点类型中每个AZ的节点数至少为1。 缩容过程会涉及数据迁移，将要下线的节点数据迁移到其他节点上，数据迁移的超时阈值为5小时。当超过5小时数据还未迁移完成，那么缩容会失败。建议在集群数据量较大的情况下，分多次进行缩容。 如果集群没有启用Master节点，缩容后剩余的数据节点个数（包含冷数据节点和其他类型节点）须大于之前的一半，并大于索引的最大副本个数。 关于有Master节点的集群，每次缩容的Master节点个数要小于当前Master节点总数的一半，缩容后的Master节点个数必须是奇数且不小于3。 两个节点的集群暂不支持缩容，可使用单节点重新创建集群，使用备份与恢复迁移集群数据至新集群中。 当集群包含的节点类型不同时，缩容的节点数量区间会有区别，具体情况请参考表1。 表1 不同节点类型的节点数量说明 集群包含的节点类型 节点数量的取值范围 ess ess：1~32 ess、ess-master ess：1~200 ess-master：3~9的奇数 ess、ess-client ess：1~32 ess-client：1~32 ess、ess-cold ess：1~32 ess-cold：1~32 ess、ess-master、ess-client ess：1~200 ess-master：3~9的奇数 ess-client：1~32 ess、ess-master、ess-cold ess：1~200 ess-master：3~9的奇数 ess-cold：1~32 ess、ess-client、ess-cold ess：1~32 ess-client：1~32 ess-cold：1~32 ess、ess-master、ess-client、ess-cold ess：1~200 ess-master：3~9的奇数 ess-client：1~32 ess-cold：1~32 四种节点类型的说明： ess：默认节点类型，即创建集群时必选的数据节点类型，其他3种节点类型都是基于业务需要可选的类型。 ess-master：Master节点 ess-client：Client节点 ess-cold：冷数据节点

特性介绍 云搜索服务支持读写分离特性，写入主集群（Leader）的数据能被自动同步到从集群（Follower），从而让主集群承担写入任务，从集群承担查询任务。这样不但可以将读写压力分开，从而提高查询的性能（如图1左），还能支持在主集群无法提供服务时降级，使用从集群提供写入和查询服务（如图图1右）。 图1 读写分离特性的两种使用场景 目前仅7.6.2和7.10.2版本集群支持读写分离特性。主集群与从集群版本必须保持一致。 父主题： 读写分离

约束限制 如果集群已经具有Master节点和Client节点，则“形态变更”页面将不存在“添加Master/Client节点”页签。如此时需要添加Master节点和Client节点，可以执行扩容任务。 添加Master节点或Client节点时，不同节点类型的可配置节点数量不同，具体情况请参考表1。 表1 不同节点类型的节点数量说明 节点类型 节点数量的取值范围 Master节点 3~9的奇数 Client节点 1~32

日志信息 日志备份成功后，用户可以单击“OBS桶”，进入到OBS控制台，找到备份路径查看备份的日志信息。 图1 进入OBS 云搜索服务备份的日志信息主要包括废弃操作日志、运行日志、慢索引日志、慢查询日志。在OBS桶中的存储类型如表2所示。 表2 日志类型信息 日志名称 描述 clustername_deprecation.log 弃用操作的日志记录。 clustername_index_indexing_slowlog.log 慢索引日志。 clustername_index_search_slowlog.log 慢索引查询日志。 clustername.log Elasticsearch运行日志。 clustername_access.log 接入日志。

新建集群的标签管理 登录云搜索服务管理控制台。 单击右上角的“创建集群”，进入创建集群页面。 在创建集群页面，“高级配置”选择“自定义”后，为集群添加标签。 您可以选择预定义标签，并为此标签设置“标签值”。您可以单击“查看预定义标签”，进入“标签管理服务”，了解此用户下已有的标签。 您也可以自定义“标签键”和“标签值”。 图1 创建集群时添加标签 云搜索服务的每个集群最多可以设置20个标签。当设置不正确时，可单击标签右侧的“删除”按钮，删除此标签。当不设置标签时，可保持为空。 表1 标签命名规则 参数 说明 标签键 对于同一个集群，标签键值唯一。 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符_ . : = + - @。不能以空格开头和结尾。 不能为空。 标签值 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符_ . : = + - @/。不能以空格开头和结尾。 不能为空。

约束限制 一次只能选择一个节点进行替换。 节点替换过程会按照原节点的ID、IP地址、规格、AZ等信息重建节点。 节点替换过程中不会保留手动操作。例如被替换的节点手动加过回程路由，那么节点替换完成后，需要重新添加回程路由。 如果替换的是数据节点（ess）或冷数据节点（ess-cold），需要确认集群/节点是否满足以下条件： 替换数据节点或冷数据节点的过程中，会先将被替换节点的数据迁移到其他数据节点，因此集群中每个索引的副本数和主分片数之和的最大值要小于集群的数据节点个数之和（含ess和ess-cold）。替换过程耗时跟数据迁移到其他节点的耗时强相关。 被替换的数据节点或冷数据节点所在的AZ需要有两个及以上的数据节点（含ess和ess-cold）。 如果替换的数据节点或冷数据节点所在集群不存在Master节点（ess-master），则集群中可用的数据节点（含ess和ess-cold）个数要大于等于3。 如果替换的是Master节点（ess-master）或Client节点（ess-client），则不受以上四条约束。 如果替换的是故障节点，不管什么类型都不受以上四条约束。因为故障节点不包含在“_cat/nodes”中。

前提条件 目的端集群（Es-2）和源端集群（Es-1）处于可用状态。建议在业务空闲期进行集群迁移。 确认目的端集群（Es-2）和源端集群（Es-1）在同一个Region下。 确认目的端集群（Es-2）的版本大于等于源端集群（Es-1）的版本。 确认目的端集群（Es-2）的节点数大于源端集群（Es-1）的节点数的一半。 确认目的端集群（Es-2）的节点数大于等于源端集群（Es-1）的shard副本数。 确认目的端集群（Es-2）的CPU、MEM和Disk配置大于等于源端集群（Es-1）。

约束限制 为了保证业务的连续性，集群中数据节点和冷数据节点的个数之和要不小于3。 切换过程中会逐一下线节点再新建节点，需要保证单节点下线后，其余节点的磁盘容量能够接纳该节点的所有数据。 集群中索引的最大主备分片数能够被分配到剩余数据节点和冷数据节点中，防止切换过程中出现节点下线后副本无法分配的情况。即“索引的主备分片数的最大值+1 ≤ 切换前的数据节点数和冷数据节点之和”。 切换前建议做好数据备份，防止升级故障数据丢失。 当集群处于切换可用区过程中，部分节点的AZ属性可能已经更改，此时节点的可用区可能会显示出中间状态，等待任务结束后，集群的可用区显示将恢复正常状态。 可用区高可用改造是基于原可用区进行扩展，切换时必须保留原可用区。如果是单AZ改造成两AZ或单AZ改造成三AZ的场景，必须所有节点一起改造；如果是两AZ改造成三AZ的场景，则既支持同时操作集群中所有类型的节点，也支持单独操作集群中某一类型的节点（例如，在已有两AZ的集群中，可以只对Master节点进行切换可用区，将Master节点形变为三AZ，而其他节点依旧是两AZ）。高可用改造会尽可能挪动最小的节点重建集群，改造完成后，因未挪动节点的yml配置更新，需要重启集群才能生效。 可用区平移切换一次只能迁移一个可用区，切换时选择的可用区只能有一个不同。平移切换支持同时操作集群中所有类型的节点，或者单独操作集群中某一类型的节点（例如，在已有两AZ的集群中，可以只对Master节点进行平移切换，将Master节点从当前AZ迁移到另一个AZ，而其他节点依旧在当前AZ）。除了单AZ平移切换场景，其他的多AZ平移切换场景均需要重启集群生效。

注意事项 第一次备份时，建议将所有索引数据进行备份。 集群快照会导致CPU、磁盘IO上升等影响，建议在业务低峰期进行操作。 创建快照之前，您需要进行基础配置，包含存储快照的OBS桶、快照的备份路径及安全认证使用的IAM委托。 集群快照存储的OBS桶，在首次设置后，不管自动创建快照还是手动创建快照，如果快照列表中已有可用的快照，则OBS桶将无法再变更，请谨慎选择存储OBS桶。 快照存储在OBS桶中需要额外收费，具体收费以对象存储服务为准。 如果OBS桶已经存储了快照，OBS无法变更，您可以使用这个方法修改：首先关闭快照功能，然后再开启快照功能，指定新的OBS桶。一旦关闭快照功能，之前创建的快照将无法用于恢复集群。 当集群处于“不可用”状态时，快照功能中，除了恢复快照功能外，其他快照信息或功能只能查看，无法进行编辑。 备份与恢复过程中，支持集群扩容、访问Kibana、查看监控、删除其他快照的操作。不支持重启此集群、删除此集群、删除正在创建或恢复的快照、再次创建或恢复快照的操作。补充说明，当此集群正在进行创建快照或者恢复快照时，此时，自动创建快照任务将被取消。 CSS集群第一次快照是全量，后面再备份快照是在之前的快照基础上增量，CSS是增量快照逻辑，快照之间的文件会相互依赖。

查看Dashboard图表 登录云搜索服务管理控制台。 在“集群管理”页面，选择已创建的集群，单击操作列“Kibana”，登录Kibana界面。 单击左侧导航栏的“Dashboard”，打开dashboard界面。 单击 “[Monitoring] Index monitoring Dashboard”查看预置dashboard。 图1 预置dashboard图表 预置dashboard展示集群的每秒读写数量和每秒读写数量前10的索引情况。 表1 预置图表说明 图表名称 说明 [monitoring] markdown Markdown图表，简单说明dashboard表达的内容。 [monitoring] Indexing Rate (/s) 集群每秒写入文档数。 [monitoring] Search Rate (/s) 集群每秒查询次数。 [monitoring] indexing rate of index for top10 每秒写入文档数最多的Top10索引。 [monitoring] search rate of index for top10 每秒查询次数最多的Top10索引。 [monitoring] total docs count 集群总文档数量变化。 [monitoring] total docs delete 集群总的删除文档数量变化。 [monitoring] total store size in bytes 集群总文档所占用的存储空间变化。 [monitoring] indices store_size for top10 占用存储空间最多的Top10索引。 [monitoring] indices docs_count for top10 文档数量最多的Top10索引。 [monitoring] indexing time in millis of index for top10(ms) 单位时间内文档写入时延最大的Top10索引（ms）。 [monitoring] search query time in millis of index for top10(ms) 单位时间内索引查询时间最大的Top10索引（ms）。 [monitoring] segment count of index for top10 索引Segment数量最多的Top10索引。 [monitoring] segment memory in bytes of index for top10 索引Segment占用堆内存最大的Top10索引。 索引监控不允许删除monitoring-eye-css-* 的index pattern，否则会导致监控图表异常。

自定义Visualizations图表 索引监控定期把index/stats信息存储到monitoring-eys-css索引中，通过使用kibana图表功能可以绘制自定义的图表。 下面以文档数据为例介绍通过图表查看文档数量的变化趋势的操作步骤： 登录云搜索服务管理控制台。 选择已创建的集群，单击操作列“Kibana”，登录Kibana界面。 选择左侧的“Visualize”进入图形列表。 单击“Create visualization”，选择“TSVB” ，进入TSVB绘图页面。 设置图表参数，查看Visualizations。 如图所示，在“Data”页签，选择“index_stats.primaries.docs.count”表示主分片的文档数量；选择“Derivative”表示聚合桶之间的差异；“Unit”设置为“1s”表示使用每秒代替速率；选择“Positive only”避免数字重置后出现负数。如果需要区分不同索引的情况，将“Group by”设置为“Terms”，“By”设置为“index_stats.index”，最终得到的聚合结果将按照索引名称区分。 图2 TSVB绘图页面 如果需要查看不同时间段的数据，则需要将时间聚合间隔设置好，否则将导致数据显示不完整。在“Panel options”页签，将“Interval”设置为“1m”或“30m”，即可调整“timestamp”的时间间隔。 图3 设置时间间隔

约束限制 要确保缩容之后的磁盘使用量小于80%，且集群每个节点类型中每个AZ的节点数至少为1。 关于跨AZ的集群，在不同AZ中同类型节点个数的差值要小于等于1。 关于没有Master节点的集群，每次缩容的数据节点和冷数据节点个数之和要小于缩容前数据节点和冷数据节点个数之和的一半，缩容后的数据节点和冷数据节点个数之和要大于索引的最大副本个数。 关于有Master节点的集群，每次缩容的Master节点个数要小于当前Master节点总数的一半，缩容后的Master节点个数必须是奇数且不小于3。

检测项 检测任务会从如下项目对集群进行检测，如存在风险，可在智能运维列表查看风险项。 检查当前时刻集群的健康状态，其中red表示有主分片未分配，yellow表示有副分片未分配，green表示所有分片均已分配。 检测集群节点数与AZ(可用区)数，判定Elasticsearch分布式集群的高可用性。 检测集群索引是否开启副本，未设置副本的索引在节点发生故障后可能导致索引不可用，本地盘集群未设置副本会有数据丢失的风险。 检测集群是否存在kibana索引冲突。 检测节点磁盘用量百分比，节点磁盘存储过大可能导致节点无法分配新索引分片并影响集群性能。 检测集群数据节点/冷数据节点的存储用量是否均衡，不均衡的存储用量分布可能导致集群负载不均，读写延迟增加。 连续5分钟检测当前集群是否有节点脱离或不可用。 检测节点分片数量是否过多，单节点分片数量过多会消耗大量节点资源，读写请求时延增加，集群元数据更新缓慢等。 检测所有分片大小，分片太大可能导致查询性能下降，节点内存消耗增加，影响扩缩容以及节点故障时分片的恢复速率等。 检测当前集群是否存在可升级的版本。 检测集群7天内是否有快照备份失败，或7天内无快照备份记录。

推荐配置的监控指标 监控集群的cpu、jvm使用情况，推荐重点配置如下监控指标：平均JVM堆使用率、最大JVM堆使用率、平均CPU使用率、最大CPU利用率 监控集群的写入、查询延迟和吞吐量情况，推荐重点配置如下监控指标：平均索引延迟、平均索引速率、平均查询延迟、平均查询速率 监控集群的写入、查询的排队队列和拒绝情况，推荐重点配置如下监控指标：Write队列中总排队任务数、Search队列中总排队任务数、Write队列中总的已拒绝任务数、Search队列中总的已拒绝任务数

配置监控对象 参考云监控服务CES的创建监控面板，创建一个监控面板。如果已有监控面板，可以跳过该步骤。 参考云监控服务CES的添加监控视图，添加CSS监控视图。 其中，“资源类型”和“维度”参数的填写说明请参见表2，其他参数可以根据CES服务的参数说明自定义。 表2 监控视图的配置说明 参数 参数解释 配置说明 资源类型 添加监控视图的服务名称。 选择云搜索服务。 维度 指定监控的维度名称。 CSS支持2个维度，根据实际需要选择维度。 CSS集群：以集群维度监控。 CSS集群 - 云服务节点：以集群中的某个节点维度监控。

GET _frozen_stats/obs_rate接口 计算方式：每5秒计算一次，查询前5秒内的平均OBS操作速率。 请求示例： GET _frozen_stats/obs_rate GET _frozen_stats/obs_rate/{nodeId} “{nodeId}”为需要查询OBS操作速率的节点ID。 响应示例： { "_nodes" : { "total" : 1, "successful" : 1, "failed" : 0 }, "cluster_name" : "elasticsearch", "nodes" : { "dflDvcSwTJ-fkiIlT2zE3A" : { "name" : "node-1", "transport_address" : "127.0.0.1:9300", "host" : "127.0.0.1", "ip" : "127.0.0.1", "update_time" : 1671777600482, // 当前统计值的更新时间。 "obs_rate" : { "list_op_rate" : 0.0, // obs list操作的速率，单位：次/秒。 "get_meta_op_rate" : 0.0, // obs get meta操作的速率，单位：次/秒。 "get_obj_op_rate" : 0.0, // obs get操作的速率，单位：次/秒。 "put_op_rate" : 0.0, // obs put操作的速率，单位：次/秒。 "obs_total_op_rate" : 0.0, // obs所有操作的速率，单位：次/秒。 "obs_upload_rate" : "0.0 MB/s", // obs上传数据的速率，MB/秒。 "obs_download_rate" : "0.0 MB/s" // obs下载数据的速率，MB/秒。 } } } }

通过Curl命令接入集群 通过执行如下命令，测试独享型负载均衡器是否能够正常接入集群。 表3 不同集群的接入命令 集群安全模式 ELB最终对外提供的服务形态 接入集群的Curl命令 非安全 无认证 curl http://IP:9200 单向认证 curl -k --cert ./client.crt --key ./client.key https://IP:9200 双向认证 curl --cacert ./ca.crt --cert ./client.crt --key ./client.key https://IP:9200 安全+HTTP 密码认证 curl http://IP:9200 -u user:pwd 单向认证+密码认证 curl -k --cert ./client.crt --key ./client.key https://IP:9200 -u user:pwd 双向认证+密码认证 curl --cacert ./ca.crt --cert ./client.crt --key ./client.key https://IP:9200 -u user:pwd 安全+HTTPS 单向认证+密码认证 curl -k --cert ./client.crt --key ./client.key https://IP:9200 -u user:pwd 双向认证+密码认证 curl --cacert ./ca.crt --cert ./client.crt --key ./client.key https://IP:9200 -u user:pwd 表4 变量说明 变量名 说明 IP 弹性负载均衡的IP地址。 user 访问CSS集群的用户名。 pwd 用户名对应的密码。 当正常返回Elasticsearch集群信息时，表示连接成功，例如安全模式+HTTPS协议的集群对接ELB双向认证模式的返回信息如图4所示。 图4 接入集群

创建独享型负载均衡器 登录弹性负载均衡管理控制台。 参考创建独享型负载均衡器，创建独享型负载均衡器。CSS集群对接独享型负载均衡器所需要关注的参数如表1所示，其他参数请根据实际需要填写。 表1 独享型负载均衡器的配置说明 参数 配置说明 取值样例 实例类型 选择“独享型”。 独享型 计费模式 性能独享型负载均衡器的收费类型。 按需计费 区域 选择CSS集群所在的区域。 - 跨VPC后端 开启跨VPC后端才能连接CSS集群。 开启 网络类型 负载均衡器对外提供服务所使用的网络类型。 IPv4私网 所属VPC 所属虚拟私有云。无论选择哪种网络类型，均需配置此项。 需要选择和CSS集群同一VPC。 - 子网 选择创建负载均衡实例的子网。无论选择哪种网络类型，均需配置此项。 需要选择和CSS集群同一子网。 - 规格 建议选择功能和性能更优的应用型规格。 应用型(HTTP/HTTPS) 小型 I

背景信息 CSS服务支持创建多种安全模式的集群，不同安全模式的差异请参见表1。 表1 集群安全模式对比 集群安全模式 适用场景 优点 缺点 非安全模式 适合内网业务，用于测试场景。 简单，接入集群容易。 安全性差，谁都可以访问集群。 安全模式+HTTP协议 可以实现用户权限隔离，适用于对集群性能敏感的场景。 访问集群需要安全认证，提升了集群安全性，且通过HTTP协议访问集群能保留集群的高性能。 无法公网访问集群。 安全模式+HTTPS协议 有非常高的安全要求，且需要公网访问集群的场景。 访问集群需要安全认证，提升了集群安全性，且HTTPS协议的通讯加密可以实现集群公网访问功能。 通过HTTPS协议访问集群，集群性能相对HTTP协议来说，会下降20%左右。

约束限制 一次只能选择一个节点进行替换。 节点替换过程会按照原节点的ID、IP地址、规格、AZ等信息重建节点。 节点替换过程中不会保留手动操作。例如被替换的节点手动加过回程路由，那么节点替换完成后，需要重新添加回程路由。 如果替换的是数据节点（ess）或冷数据节点（ess-cold），需要确认集群/节点是否满足以下条件： 替换数据节点或冷数据节点的过程中，会先将被替换节点的数据迁移到其他数据节点，因此集群中每个索引的副本数和主分片数之和的最大值要小于集群的数据节点个数之和（含ess和ess-cold）。替换过程耗时跟数据迁移到其他节点的耗时强相关。 版本号在7.6.2以前的集群，不能有close的索引，否则不支持替换数据节点或冷数据节点。 被替换的数据节点或冷数据节点所在的AZ需要有两个及以上的数据节点（含ess和ess-cold）。 如果替换的数据节点或冷数据节点所在集群不存在Master节点（ess-master），则集群中可用的数据节点（含ess和ess-cold）个数要大于等于3。 如果替换的是Master节点（ess-master）或Client节点（ess-client），则不受以上四条约束。 如果替换的是故障节点，不管什么类型都不受以上四条约束。因为故障节点不包含在“_cat/nodes”中。

约束限制 扩容操作不支持修改“节点规格”。 扩容什么节点类型的“节点数量”和“节点存储容量”，扩容完成后只生效该节点类型的“节点数量”和“节点存储容量”，其他节点类型的“节点数量”和“节点存储容量”保持不变。 包周期集群不支持同时扩容“节点数量”和“节点存储容量”。 当集群包含的节点类型不同时，扩容的节点数量区间会有区别，具体情况请参考表1。 表1 不同节点类型的节点数量说明 集群包含的节点类型 节点数量的取值范围 ess ess：1~32 ess、ess-master ess：1~200 ess-master：3~9的奇数 ess、ess-client ess：1~32 ess-client：1~32 ess、ess-cold ess：1~32 ess-cold：1~32 ess、ess-master、ess-client ess：1~200 ess-master：3~9的奇数 ess-client：1~32 ess、ess-master、ess-cold ess：1~200 ess-master：3~9的奇数 ess-cold：1~32 ess、ess-client、ess-cold ess：1~32 ess-client：1~32 ess-cold：1~32 ess、ess-master、ess-client、ess-cold ess：1~200 ess-master：3~9的奇数 ess-client：1~32 ess-cold：1~32 四种节点类型的说明： ess：默认节点类型，即创建集群时必选的数据节点类型，其他3种节点类型都是基于业务需要可选的类型。 ess-master：Master节点 ess-client：Client节点 ess-cold：冷数据节点

参数说明 表1 kibana创建用户和授权 参数 描述 Permission 单个动作，例如创建索引（例如indices:admin/create）。 Action group 操作组 一组权限。例如，预定义的SEARCH操作组授权角色使用_search和_msearchAPI。 Role 角色 角色定义为权限或操作组的组合，包括对集群，索引，文档或字段的操作权限。 Backend role 后端角色 （可选）来自授权后端的其他外部角色（例如LDAP / Active Directory）。 User 用户 用户可以向Elasticsearch集群发出操作请求。用户具有凭证（例如，用户名和密码）、零个或多个后端角色以及零个或多个自定义属性。 Role mapping 角色映射 用户在成功进行身份验证后会担任角色。角色映射，就是将角色映射到用户（或后端角色）。例如，kibana_user（角色）到jdoe（用户）的映射意味着John Doe在获得kibana_user身份验证后获得了所有权限。同样，all_access（角色）到admin（后端角色）的映射意味着具有后端角色admin（来自LDAP / Active Directory服务器）的任何用户都获得了all_access身份验证后的所有权限。您可以将每个角色映射到许多用户和/或后端角色。 OpenSearch Dashboard中可以自定义用户名、角色名、租户名等，但不能包含中文字符。

注意事项 第一次备份时，建议将所有索引数据进行备份。 集群快照会导致CPU、磁盘IO上升等影响，建议在业务低峰期进行操作。 创建快照之前，您需要进行基础配置，包含存储快照的OBS桶、快照的备份路径及安全认证使用的IAM委托。 集群快照存储的OBS桶，在首次设置后，不管自动创建快照还是手动创建快照，如果快照列表中已有可用的快照，则OBS桶将无法再变更，请谨慎选择存储OBS桶。 快照存储在OBS桶中需要额外收费，具体收费以对象存储服务为准。 如果OBS桶已经存储了快照，OBS无法变更，您可以使用这个方法修改：首先关闭快照功能，然后再开启快照功能，指定新的OBS桶。一旦关闭快照功能，之前创建的快照将无法用于恢复集群。 当集群处于“不可用”状态时，快照功能中，除了恢复快照功能外，其他快照信息或功能只能查看，无法进行编辑。 备份与恢复过程中，支持集群扩容、访问Kibana、查看监控、删除其他快照的操作。不支持重启此集群、删除此集群、删除正在创建或恢复的快照、再次创建或恢复快照的操作。补充说明，当此集群正在进行创建快照或者恢复快照时，此时，自动创建快照任务将被取消。 CSS集群第一次快照是全量，后面再备份快照是在之前的快照基础上增量，CSS是增量快照逻辑，快照之间的文件会相互依赖。

匹配索引同步 请求URL和请求体参数如下： PUT auto_sync/pattern/{pattern_name} 表1 请求体参数说明 参数名 说明 remote_cluster 主集群名称，通过“配置主集群信息”设置，具体值如上文的“leader1”。 remote_index_patterns 主集群待同步索引模式，支持通配符“*”。 local_index_pattern 从集群同步索引模式，支持模板替换。例如取值为{{remote_index}}-sync时，待同步索引为log1，同步过来的索引为log1-sync。 apply_exist_index 是否同步主集群上已存在的索引，默认为“true”。 settings 同步索引的索引设置。 以下给出使用示例 将主集群的单个索引同步到从集群： PUT auto_sync/pattern/pattern1 { "remote_cluster": "leader1", "remote_index_patterns": "log*", "local_index_pattern": "{{remote_index}}-sync", "apply_exist_index": true } 将主集群的单个索引同步到从集群，并修改部分索引配置： PUT auto_sync/pattern/pattern1 { "remote_cluster": "leader1", "remote_index_patterns": "log*", "local_index_pattern": "{{remote_index}}-sync", "apply_exist_index": true, "settings": { "number_of_replicas": 4 } } 注意以下索引配置无法修改： number_of_shards version.created uuid creation_date soft_deletes.enabled 父主题： 使用说明

启动配置文件 配置文件创建完成后，在配置中心页面可以看到创建成功的配置文件。 选择需要启动的配置文件，单击左上角的“启动”。 配置文件可以同时选择多个进行启动，一次不能超过50个。 在“启动Logstash服务”对话框中，根据业务需要，选择“是否保持常驻”。 开启“保持常驻”适用于需要长期运行的业务，开启“保持常驻”以后，将会在每个节点上面配置一个守护进程，当logstash服务出现故障的时候，会主动拉起并修复。“保持常驻”不适用于短期运行的业务，短期业务开启保持常驻，如果源端无数据，会导致任务失败。 单击“确定”，开始启动配置文件。 可以在管道列表看到启动的配置文件。 您也可以单击“操作记录”或“运行日志”，查看配置文件的相关操作记录和运行日志信息。

热启动配置文件 Logstash服务已在运行时，可以选择热启动功能增加管道。 使用logstash stdin插件的配置文件禁止使用热启动功能。 使用热启动功能时，如果配置文件热启动失败且导致logstash进程异常退出，会进行恢复机制重新启动原logstash进程，请谨慎操作。 只能选择一个配置文件进行热启动，且在管道列表中状态为“工作中”的配置数量小于20个。 选择一个需要热启动的配置文件，单击左上角的“热启动”。 对话框中“是否保持常驻”的值默认与管道列表中的“是否保持常驻”值保持一致。 单击“确定”，开始热启动配置文件。 可以在管道列表看到热启动的配置文件。

创建配置文件 登录云搜索服务管理控制台。 在“集群管理”页面，选择Logstash类型集群，单击需要配置数据导入导出文件的集群名称，进入集群基本信息页面，选择“配置中心”页签，进入配置中心页面；或者直接单击目标集群操作列的“配置中心”，进入配置中心页面。 单击右上角“创建”，进入创建配置文件页面。 您可以选择系统模板或者自定义模板方式创建，也可以直接进行创建配置文件。 如果选择模板方式，可以直接单击对应的模板操作列的“应用”，然后在“名称”、“配置文件内容”和“隐藏内容列表”中进行命名和修改。 目前支持的系统模板类型有： redis： 从redis数据库导入数据到Elasticsearch类型集群。 elasticsearch：从Elasticsearch类型集群导入数据到Elasticsearch类型集群。 jdbc：从jdbc导入数据到Elasticsearch类型集群。 kafka：从kafka导入数据到Elasticsearch类型集群。 beats：从beats导入数据到Elasticsearch类型集群。 dis：从dis导入数据到Elasticsearch类型集群。 各个模板的参数配置请参考系统模板配置参数说明。 如果直接创建配置文件，在“名称”和“配置文件内容”参数中直接输入对应内容即可。创建的配置文件内容大小不能超过100k。支持创建配置文件个数不超过50个。 隐藏内容列表：输入需要隐藏的敏感字串列表，按Enter创建；配置隐藏字符串列表后，在返回的配置内容中，会将所有在列表中的字串隐藏为***（列表最大支持20条，单个字串最大长度512字节）。 配置完成后，单击“下一页”，配置参数。 配置文件在迁移数据时管道中的配置。 表1 参数说明 参数 说明 pipeline.workers 并行执行管道的Filters+Outputs阶段的工作线程数，默认值为CPU核数，建议取值为1-20之间。 pipeline.batch.size 单个工作线程在尝试执行其Filters和Outputs之前将从inputs收集的最大事件数，该值较大通常更有效，但会增加内存开销，默认为125。 pipeline.batch.delay 创建管道事件批时，在将过小的批调度到管道工作线程之前，等待每个事件的时间（以毫秒为单位），默认值为50。 queue.type 用于事件缓冲的内部队列模型。memory为基于内存的传统队列，persisted为基于磁盘的ACKed持久化队列，默认值为memory。 queue.checkpoint.writes 如果使用持久化队列，则表示强制执行检查点之前写入的最大事件数，默认值为1024。 queue.max_bytes 如果使用持久化队列，则表示持久化队列的总容量，确保磁盘的容量大于该值，默认值为1024。 单位：MB。 配置完成后，单击“创建”。 在配置中心页面可以看到创建的配置文件，状态为“可用”，表示创建成功。您还可以在操作列对创建的配置文件进行编辑、添加到自定义模板、删除等操作。 编辑：单击操作列的“编辑”，可以修改配置文件的内容及配置参数。 添加到自定义模板：可以将当前创建的配置文件，作为模板添加到自定义模板中，方便下次创建配置文件时使用。 删除：如果不需要此配置文件，可以通过操作列进行删除。

连通性测试 在使用Logstash集群迁移数据时，可以先测试下数据源和Logstash集群的网络是否连通。用户也可以输入数据输出端（output）的IP地址或域名和端口号，测试该Logstash集群和数据输出端的网络是否连通。 登录云搜索服务管理控制台。 在“集群管理”页面，选择Logstash类型集群，单击需要配置数据导入导出文件的集群名称，进入集群基本信息页面，选择“配置中心”，或者直接单击目标集群操作列的“配置中心”，进入配置中心页面。 在配置中心页面，选择“连通性测试”。 输入数据来源的IP地址或域名和端口号，单击“测试”。 图1 连通性测试 连通性测试最多可一次性测试10个IP地址或域名。您可以单击“继续添加”，添加多个IP地址或域名，然后单击“批量测试”，进行一次性测试多个IP地址或域名的连通性。

背景信息 如果您要以按需计费或者包年包月方式使用集群，则直接创建集群。 新建集群时，当设置不同节点类型时支持的节点数量区间会有区别，具体情况请参考表1。 表1 不同节点类型的节点数量说明 集群包含的节点类型 节点数量的取值范围 ess ess：1~32 ess、ess-master ess：1~200 ess-master：3~9的奇数 ess、ess-client ess：1~32 ess-client：1~32 ess、ess-cold ess：1~32 ess-cold：1~32 ess、ess-master、ess-client ess：1~200 ess-master：3~9的奇数 ess-client：1~32 ess、ess-master、ess-cold ess：1~200 ess-master：3~9的奇数 ess-cold：1~32 ess、ess-client、ess-cold ess：1~32 ess-client：1~32 ess-cold：1~32 ess、ess-master、ess-client、ess-cold ess：1~200 ess-master：3~9的奇数 ess-client：1~32 ess-cold：1~32 四种节点类型的说明： ess：默认节点类型，即创建集群时必选的数据节点类型，其他3种节点类型都是基于业务需要可选的类型。 ess-master：Master节点 ess-client：Client节点 ess-cold：冷数据节点

约束限制 缩容操作仅支持修改“节点数量”，不支持修改“节点规格”和“节点存储容量”。修改“节点规格”请执行变更规格操作。修改“节点存储容量”请执行扩容操作。 缩容什么节点类型的“节点数量”，缩容完成后只生效新该节点类型的“节点数量”，其他节点类型的“节点数量”保持不变。 要确保缩容之后的磁盘使用量小于80%，且集群每个节点类型中每个AZ的节点数至少为1。 缩容过程会涉及数据迁移，将要下线的节点数据迁移到其他节点上，数据迁移的超时阈值为5小时。当超过5小时数据还未迁移完成，那么缩容会失败。建议在集群数据量较大的情况下，分多次进行缩容。 如果集群没有启用Master节点，缩容后剩余的数据节点个数（包含冷数据节点和其他类型节点）须大于之前的一半，并大于索引的最大副本个数。 关于有Master节点的集群，每次缩容的Master节点个数要小于当前Master节点总数的一半，缩容后的Master节点个数必须是奇数且不小于3。 两个节点的集群暂不支持缩容，可使用单节点重新创建集群，使用备份与恢复迁移集群数据至新集群中。 当集群包含的节点类型不同时，缩容的节点数量区间会有区别，具体情况请参考表1。 表1 不同节点类型的节点数量说明 集群包含的节点类型 节点数量的取值范围 ess ess：1~32 ess、ess-master ess：1~200 ess-master：3~9的奇数 ess、ess-client ess：1~32 ess-client：1~32 ess、ess-cold ess：1~32 ess-cold：1~32 ess、ess-master、ess-client ess：1~200 ess-master：3~9的奇数 ess-client：1~32 ess、ess-master、ess-cold ess：1~200 ess-master：3~9的奇数 ess-cold：1~32 ess、ess-client、ess-cold ess：1~32 ess-client：1~32 ess-cold：1~32 ess、ess-master、ess-client、ess-cold ess：1~200 ess-master：3~9的奇数 ess-client：1~32 ess-cold：1~32 四种节点类型的说明： ess：默认节点类型，即创建集群时必选的数据节点类型，其他3种节点类型都是基于业务需要可选的类型。 ess-master：Master节点 ess-client：Client节点 ess-cold：冷数据节点