华为云用户手册

  • 配置监控对象 参考云监控服务CES的创建监控面板,创建一个监控面板。如果已有监控面板,可以跳过该步骤。 参考云监控服务CES的添加监控视图,添加CSS监控视图。 其中,“资源类型”和“维度”参数的填写说明请参见表2,其他参数可以根据CES服务的参数说明自定义。 表2 监控视图的配置说明 参数 参数解释 配置说明 资源类型 添加监控视图的服务名称。 选择云搜索服务。 维度 指定监控的维度名称。 CSS支持2个维度,根据实际需要选择维度。 CSS集群:以集群维度监控。 CSS集群 - 云服务节点:以集群中的某个节点维度监控。
  • GET _frozen_stats/obs_rate接口 计算方式:每5秒计算一次,查询前5秒内的平均OBS操作速率。 请求示例: GET _frozen_stats/obs_rate GET _frozen_stats/obs_rate/{nodeId} “{nodeId}”为需要查询OBS操作速率的节点ID。 响应示例: { "_nodes" : { "total" : 1, "successful" : 1, "failed" : 0 }, "cluster_name" : "elasticsearch", "nodes" : { "dflDvcSwTJ-fkiIlT2zE3A" : { "name" : "node-1", "transport_address" : "127.0.0.1:9300", "host" : "127.0.0.1", "ip" : "127.0.0.1", "update_time" : 1671777600482, // 当前统计值的更新时间。 "obs_rate" : { "list_op_rate" : 0.0, // obs list操作的速率,单位:次/秒。 "get_meta_op_rate" : 0.0, // obs get meta操作的速率,单位:次/秒。 "get_obj_op_rate" : 0.0, // obs get操作的速率,单位:次/秒。 "put_op_rate" : 0.0, // obs put操作的速率,单位:次/秒。 "obs_total_op_rate" : 0.0, // obs所有操作的速率,单位:次/秒。 "obs_upload_rate" : "0.0 MB/s", // obs上传数据的速率,MB/秒。 "obs_download_rate" : "0.0 MB/s" // obs下载数据的速率,MB/秒。 } } } }
  • 通过Curl命令接入集群 通过执行如下命令,测试独享型负载均衡器是否能够正常接入集群。 表3 不同集群的接入命令 集群安全模式 ELB最终对外提供的服务形态 接入集群的Curl命令 非安全 无认证 curl http://IP:9200 单向认证 curl -k --cert ./client.crt --key ./client.key https://IP:9200 双向认证 curl --cacert ./ca.crt --cert ./client.crt --key ./client.key https://IP:9200 安全+HTTP 密码认证 curl http://IP:9200 -u user:pwd 单向认证+密码认证 curl -k --cert ./client.crt --key ./client.key https://IP:9200 -u user:pwd 双向认证+密码认证 curl --cacert ./ca.crt --cert ./client.crt --key ./client.key https://IP:9200 -u user:pwd 安全+HTTPS 单向认证+密码认证 curl -k --cert ./client.crt --key ./client.key https://IP:9200 -u user:pwd 双向认证+密码认证 curl --cacert ./ca.crt --cert ./client.crt --key ./client.key https://IP:9200 -u user:pwd 表4 变量说明 变量名 说明 IP 弹性负载均衡的IP地址。 user 访问CSS集群的用户名。 pwd 用户名对应的密码。 当正常返回Elasticsearch集群信息时,表示连接成功,例如安全模式+HTTPS协议的集群对接ELB双向认证模式的返回信息如图4所示。 图4 接入集群
  • 创建独享型负载均衡器 登录弹性负载均衡管理控制台。 参考创建独享型负载均衡器,创建独享型负载均衡器。CSS集群对接独享型负载均衡器所需要关注的参数如表1所示,其他参数请根据实际需要填写。 表1 独享型负载均衡器的配置说明 参数 配置说明 取值样例 实例类型 选择“独享型”。 独享型 计费模式 性能独享型负载均衡器的收费类型。 按需计费 区域 选择CSS集群所在的区域。 - 跨VPC后端 开启跨VPC后端才能连接CSS集群。 开启 网络类型 负载均衡器对外提供服务所使用的网络类型。 IPv4私网 所属VPC 所属虚拟私有云。无论选择哪种网络类型,均需配置此项。 需要选择和CSS集群同一VPC。 - 子网 选择创建负载均衡实例的子网。无论选择哪种网络类型,均需配置此项。 需要选择和CSS集群同一子网。 - 规格 建议选择功能和性能更优的应用型规格。 应用型(HTTP/HTTPS) 小型 I
  • 背景信息 CSS服务支持创建多种安全模式的集群,不同安全模式的差异请参见表1。 表1 集群安全模式对比 集群安全模式 适用场景 优点 缺点 非安全模式 适合内网业务,用于测试场景。 简单,接入集群容易。 安全性差,谁都可以访问集群。 安全模式+HTTP协议 可以实现用户权限隔离,适用于对集群性能敏感的场景。 访问集群需要安全认证,提升了集群安全性,且通过HTTP协议访问集群能保留集群的高性能。 无法公网访问集群。 安全模式+HTTPS协议 有非常高的安全要求,且需要公网访问集群的场景。 访问集群需要安全认证,提升了集群安全性,且HTTPS协议的通讯加密可以实现集群公网访问功能。 通过HTTPS协议访问集群,集群性能相对HTTP协议来说,会下降20%左右。
  • 约束限制 一次只能选择一个节点进行替换。 节点替换过程会按照原节点的ID、IP地址、规格、AZ等信息重建节点。 节点替换过程中不会保留手动操作。例如被替换的节点手动加过回程路由,那么节点替换完成后,需要重新添加回程路由。 如果替换的是数据节点(ess)或冷数据节点(ess-cold),需要确认集群/节点是否满足以下条件: 替换数据节点或冷数据节点的过程中,会先将被替换节点的数据迁移到其他数据节点,因此集群中每个索引的副本数和主分片数之和的最大值要小于集群的数据节点个数之和(含ess和ess-cold)。替换过程耗时跟数据迁移到其他节点的耗时强相关。 版本号在7.6.2以前的集群,不能有close的索引,否则不支持替换数据节点或冷数据节点。 被替换的数据节点或冷数据节点所在的AZ需要有两个及以上的数据节点(含ess和ess-cold)。 如果替换的数据节点或冷数据节点所在集群不存在Master节点(ess-master),则集群中可用的数据节点(含ess和ess-cold)个数要大于等于3。 如果替换的是Master节点(ess-master)或Client节点(ess-client),则不受以上四条约束。 如果替换的是故障节点,不管什么类型都不受以上四条约束。因为故障节点不包含在“_cat/nodes”中。
  • 约束限制 扩容操作不支持修改“节点规格”。 扩容什么节点类型的“节点数量”和“节点存储容量”,扩容完成后只生效该节点类型的“节点数量”和“节点存储容量”,其他节点类型的“节点数量”和“节点存储容量”保持不变。 包周期集群不支持同时扩容“节点数量”和“节点存储容量”。 当集群包含的节点类型不同时,扩容的节点数量区间会有区别,具体情况请参考表1。 表1 不同节点类型的节点数量说明 集群包含的节点类型 节点数量的取值范围 ess ess:1~32 ess、ess-master ess:1~200 ess-master:3~9的奇数 ess、ess-client ess:1~32 ess-client:1~32 ess、ess-cold ess:1~32 ess-cold:1~32 ess、ess-master、ess-client ess:1~200 ess-master:3~9的奇数 ess-client:1~32 ess、ess-master、ess-cold ess:1~200 ess-master:3~9的奇数 ess-cold:1~32 ess、ess-client、ess-cold ess:1~32 ess-client:1~32 ess-cold:1~32 ess、ess-master、ess-client、ess-cold ess:1~200 ess-master:3~9的奇数 ess-client:1~32 ess-cold:1~32 四种节点类型的说明: ess:默认节点类型,即创建集群时必选的数据节点类型,其他3种节点类型都是基于业务需要可选的类型。 ess-master:Master节点 ess-client:Client节点 ess-cold:冷数据节点
  • 参数说明 表1 kibana创建用户和授权 参数 描述 Permission 单个动作,例如创建索引(例如indices:admin/create)。 Action group 操作组 一组权限。例如,预定义的SEARCH操作组授权角色使用_search和_msearchAPI。 Role 角色 角色定义为权限或操作组的组合,包括对集群,索引,文档或字段的操作权限。 Backend role 后端角色 (可选)来自授权后端的其他外部角色(例如LDAP / Active Directory)。 User 用户 用户可以向Elasticsearch集群发出操作请求。用户具有凭证(例如,用户名和密码)、零个或多个后端角色以及零个或多个自定义属性。 Role mapping 角色映射 用户在成功进行身份验证后会担任角色。角色映射,就是将角色映射到用户(或后端角色)。例如,kibana_user(角色)到jdoe(用户)的映射意味着John Doe在获得kibana_user身份验证后获得了所有权限。同样,all_access(角色)到admin(后端角色)的映射意味着具有后端角色admin(来自LDAP / Active Directory服务器)的任何用户都获得了all_access身份验证后的所有权限。您可以将每个角色映射到许多用户和/或后端角色。 OpenSearch Dashboard中可以自定义用户名、角色名、租户名等,但不能包含中文字符。
  • 注意事项 第一次备份时,建议将所有索引数据进行备份。 集群快照会导致CPU、磁盘IO上升等影响,建议在业务低峰期进行操作。 创建快照之前,您需要进行基础配置,包含存储快照的OBS桶、快照的备份路径及安全认证使用的IAM委托。 集群快照存储的OBS桶,在首次设置后,不管自动创建快照还是手动创建快照,如果快照列表中已有可用的快照,则OBS桶将无法再变更,请谨慎选择存储OBS桶。 快照存储在OBS桶中需要额外收费,具体收费以对象存储服务为准。 如果OBS桶已经存储了快照,OBS无法变更,您可以使用这个方法修改:首先关闭快照功能,然后再开启快照功能,指定新的OBS桶。一旦关闭快照功能,之前创建的快照将无法用于恢复集群。 当集群处于“不可用”状态时,快照功能中,除了恢复快照功能外,其他快照信息或功能只能查看,无法进行编辑。 备份与恢复过程中,支持集群扩容、访问Kibana、查看监控、删除其他快照的操作。不支持重启此集群、删除此集群、删除正在创建或恢复的快照、再次创建或恢复快照的操作。补充说明,当此集群正在进行创建快照或者恢复快照时,此时,自动创建快照任务将被取消。 CSS集群第一次快照是全量,后面再备份快照是在之前的快照基础上增量,CSS是增量快照逻辑,快照之间的文件会相互依赖。
  • 匹配索引同步 请求URL和请求体参数如下: PUT auto_sync/pattern/{pattern_name} 表1 请求体参数说明 参数名 说明 remote_cluster 主集群名称,通过“配置主集群信息”设置,具体值如上文的“leader1”。 remote_index_patterns 主集群待同步索引模式,支持通配符“*”。 local_index_pattern 从集群同步索引模式,支持模板替换。例如取值为{{remote_index}}-sync时,待同步索引为log1,同步过来的索引为log1-sync。 apply_exist_index 是否同步主集群上已存在的索引,默认为“true”。 settings 同步索引的索引设置。 以下给出使用示例 将主集群的单个索引同步到从集群: PUT auto_sync/pattern/pattern1 { "remote_cluster": "leader1", "remote_index_patterns": "log*", "local_index_pattern": "{{remote_index}}-sync", "apply_exist_index": true } 将主集群的单个索引同步到从集群,并修改部分索引配置: PUT auto_sync/pattern/pattern1 { "remote_cluster": "leader1", "remote_index_patterns": "log*", "local_index_pattern": "{{remote_index}}-sync", "apply_exist_index": true, "settings": { "number_of_replicas": 4 } } 注意以下索引配置无法修改: number_of_shards version.created uuid creation_date soft_deletes.enabled 父主题: 使用说明
  • 启动配置文件 配置文件创建完成后,在配置中心页面可以看到创建成功的配置文件。 选择需要启动的配置文件,单击左上角的“启动”。 配置文件可以同时选择多个进行启动,一次不能超过50个。 在“启动Logstash服务”对话框中,根据业务需要,选择“是否保持常驻”。 开启“保持常驻”适用于需要长期运行的业务,开启“保持常驻”以后,将会在每个节点上面配置一个守护进程,当logstash服务出现故障的时候,会主动拉起并修复。“保持常驻”不适用于短期运行的业务,短期业务开启保持常驻,如果源端无数据,会导致任务失败。 单击“确定”,开始启动配置文件。 可以在管道列表看到启动的配置文件。 您也可以单击“操作记录”或“运行日志”,查看配置文件的相关操作记录和运行日志信息。
  • 热启动配置文件 Logstash服务已在运行时,可以选择热启动功能增加管道。 使用logstash stdin插件的配置文件禁止使用热启动功能。 使用热启动功能时,如果配置文件热启动失败且导致logstash进程异常退出,会进行恢复机制重新启动原logstash进程,请谨慎操作。 只能选择一个配置文件进行热启动,且在管道列表中状态为“工作中”的配置数量小于20个。 选择一个需要热启动的配置文件,单击左上角的“热启动”。 对话框中“是否保持常驻”的值默认与管道列表中的“是否保持常驻”值保持一致。 单击“确定”,开始热启动配置文件。 可以在管道列表看到热启动的配置文件。
  • 创建配置文件 登录云搜索服务管理控制台。 在“集群管理”页面,选择Logstash类型集群,单击需要配置数据导入导出文件的集群名称,进入集群基本信息页面,选择“配置中心”页签,进入配置中心页面;或者直接单击目标集群操作列的“配置中心”,进入配置中心页面。 单击右上角“创建”,进入创建配置文件页面。 您可以选择系统模板或者自定义模板方式创建,也可以直接进行创建配置文件。 如果选择模板方式,可以直接单击对应的模板操作列的“应用”,然后在“名称”、“配置文件内容”和“隐藏内容列表”中进行命名和修改。 目前支持的系统模板类型有: redis: 从redis数据库导入数据到Elasticsearch类型集群。 elasticsearch:从Elasticsearch类型集群导入数据到Elasticsearch类型集群。 jdbc:从jdbc导入数据到Elasticsearch类型集群。 kafka:从kafka导入数据到Elasticsearch类型集群。 beats:从beats导入数据到Elasticsearch类型集群。 dis:从dis导入数据到Elasticsearch类型集群。 各个模板的参数配置请参考系统模板配置参数说明。 如果直接创建配置文件,在“名称”和“配置文件内容”参数中直接输入对应内容即可。创建的配置文件内容大小不能超过100k。支持创建配置文件个数不超过50个。 隐藏内容列表:输入需要隐藏的敏感字串列表,按Enter创建;配置隐藏字符串列表后,在返回的配置内容中,会将所有在列表中的字串隐藏为***(列表最大支持20条,单个字串最大长度512字节)。 配置完成后,单击“下一页”,配置参数。 配置文件在迁移数据时管道中的配置。 表1 参数说明 参数 说明 pipeline.workers 并行执行管道的Filters+Outputs阶段的工作线程数,默认值为CPU核数,建议取值为1-20之间。 pipeline.batch.size 单个工作线程在尝试执行其Filters和Outputs之前将从inputs收集的最大事件数,该值较大通常更有效,但会增加内存开销,默认为125。 pipeline.batch.delay 创建管道事件批时,在将过小的批调度到管道工作线程之前,等待每个事件的时间(以毫秒为单位),默认值为50。 queue.type 用于事件缓冲的内部队列模型。memory为基于内存的传统队列,persisted为基于磁盘的ACKed持久化队列,默认值为memory。 queue.checkpoint.writes 如果使用持久化队列,则表示强制执行检查点之前写入的最大事件数,默认值为1024。 queue.max_bytes 如果使用持久化队列,则表示持久化队列的总容量,确保磁盘的容量大于该值,默认值为1024。 单位:MB。 配置完成后,单击“创建”。 在配置中心页面可以看到创建的配置文件,状态为“可用”,表示创建成功。您还可以在操作列对创建的配置文件进行编辑、添加到自定义模板、删除等操作。 编辑:单击操作列的“编辑”,可以修改配置文件的内容及配置参数。 添加到自定义模板:可以将当前创建的配置文件,作为模板添加到自定义模板中,方便下次创建配置文件时使用。 删除:如果不需要此配置文件,可以通过操作列进行删除。
  • 连通性测试 在使用Logstash集群迁移数据时,可以先测试下数据源和Logstash集群的网络是否连通。用户也可以输入数据输出端(output)的IP地址或域名和端口号,测试该Logstash集群和数据输出端的网络是否连通。 登录云搜索服务管理控制台。 在“集群管理”页面,选择Logstash类型集群,单击需要配置数据导入导出文件的集群名称,进入集群基本信息页面,选择“配置中心”,或者直接单击目标集群操作列的“配置中心”,进入配置中心页面。 在配置中心页面,选择“连通性测试”。 输入数据来源的IP地址或域名和端口号,单击“测试”。 图1 连通性测试 连通性测试最多可一次性测试10个IP地址或域名。您可以单击“继续添加”,添加多个IP地址或域名,然后单击“批量测试”,进行一次性测试多个IP地址或域名的连通性。
  • 背景信息 如果您要以按需计费或者包年包月方式使用集群,则直接创建集群。 新建集群时,当设置不同节点类型时支持的节点数量区间会有区别,具体情况请参考表1。 表1 不同节点类型的节点数量说明 集群包含的节点类型 节点数量的取值范围 ess ess:1~32 ess、ess-master ess:1~200 ess-master:3~9的奇数 ess、ess-client ess:1~32 ess-client:1~32 ess、ess-cold ess:1~32 ess-cold:1~32 ess、ess-master、ess-client ess:1~200 ess-master:3~9的奇数 ess-client:1~32 ess、ess-master、ess-cold ess:1~200 ess-master:3~9的奇数 ess-cold:1~32 ess、ess-client、ess-cold ess:1~32 ess-client:1~32 ess-cold:1~32 ess、ess-master、ess-client、ess-cold ess:1~200 ess-master:3~9的奇数 ess-client:1~32 ess-cold:1~32 四种节点类型的说明: ess:默认节点类型,即创建集群时必选的数据节点类型,其他3种节点类型都是基于业务需要可选的类型。 ess-master:Master节点 ess-client:Client节点 ess-cold:冷数据节点
  • 约束限制 缩容操作仅支持修改“节点数量”,不支持修改“节点规格”和“节点存储容量”。修改“节点规格”请执行变更规格操作。修改“节点存储容量”请执行扩容操作。 缩容什么节点类型的“节点数量”,缩容完成后只生效新该节点类型的“节点数量”,其他节点类型的“节点数量”保持不变。 要确保缩容之后的磁盘使用量小于80%,且集群每个节点类型中每个AZ的节点数至少为1。 缩容过程会涉及数据迁移,将要下线的节点数据迁移到其他节点上,数据迁移的超时阈值为5小时。当超过5小时数据还未迁移完成,那么缩容会失败。建议在集群数据量较大的情况下,分多次进行缩容。 如果集群没有启用Master节点,缩容后剩余的数据节点个数(包含冷数据节点和其他类型节点)须大于之前的一半,并大于索引的最大副本个数。 关于有Master节点的集群,每次缩容的Master节点个数要小于当前Master节点总数的一半,缩容后的Master节点个数必须是奇数且不小于3。 两个节点的集群暂不支持缩容,可使用单节点重新创建集群,使用备份与恢复迁移集群数据至新集群中。 当集群包含的节点类型不同时,缩容的节点数量区间会有区别,具体情况请参考表1。 表1 不同节点类型的节点数量说明 集群包含的节点类型 节点数量的取值范围 ess ess:1~32 ess、ess-master ess:1~200 ess-master:3~9的奇数 ess、ess-client ess:1~32 ess-client:1~32 ess、ess-cold ess:1~32 ess-cold:1~32 ess、ess-master、ess-client ess:1~200 ess-master:3~9的奇数 ess-client:1~32 ess、ess-master、ess-cold ess:1~200 ess-master:3~9的奇数 ess-cold:1~32 ess、ess-client、ess-cold ess:1~32 ess-client:1~32 ess-cold:1~32 ess、ess-master、ess-client、ess-cold ess:1~200 ess-master:3~9的奇数 ess-client:1~32 ess-cold:1~32 四种节点类型的说明: ess:默认节点类型,即创建集群时必选的数据节点类型,其他3种节点类型都是基于业务需要可选的类型。 ess-master:Master节点 ess-client:Client节点 ess-cold:冷数据节点
  • 场景描述 云搜索服务默认安装了开源的OpenSearch告警插件(opensearch-alerting),用于提供数据满足特定条件时的通知功能。该插件包含Alerts、Monitors、Destinations三个组件,CSS服务在Destinations组件中适配了消息通知服务SMN,且仅支持通过SMN服务作为目的端(Destination)进行告警消息发送。 本文主要介绍如何在OpenSearch Dashboards中设置OpenSearch集群的SMN告警功能。 开源OpenSearch告警插件OpenSearch Alerting的官方指导文档请参见:Alerting - OpenSearch Documentation 。
  • 约束限制 缩容操作仅支持修改“节点数量”,不支持修改“节点规格”和“节点存储容量”。 缩容什么节点类型的“节点数量”,缩容完成后只生效新该节点类型的“节点数量”,其他节点类型的“节点数量”保持不变。 要确保缩容之后的磁盘使用量小于80%,且集群每个节点类型中每个AZ的节点数至少为1。 缩容过程会涉及数据迁移,将要下线的节点数据迁移到其他节点上,数据迁移的超时阈值为5小时。当超过5小时数据还未迁移完成,那么缩容会失败。建议在集群数据量较大的情况下,分多次进行缩容。 当集群包含的节点类型不同时,缩容的节点数量区间会有区别,具体情况请参考表1。 表1 不同节点类型的节点数量说明 集群包含的节点类型 节点数量的取值范围 ess ess:1~32 ess、ess-master ess:1~200 ess-master:3~9的奇数 ess、ess-client ess:1~32 ess-client:1~32 ess、ess-cold ess:1~32 ess-cold:1~32 ess、ess-master、ess-client ess:1~200 ess-master:3~9的奇数 ess-client:1~32 ess、ess-master、ess-cold ess:1~200 ess-master:3~9的奇数 ess-cold:1~32 ess、ess-client、ess-cold ess:1~32 ess-client:1~32 ess-cold:1~32 ess、ess-master、ess-client、ess-cold ess:1~200 ess-master:3~9的奇数 ess-client:1~32 ess-cold:1~32 四种节点类型的说明: ess:默认节点类型,即创建集群时必选的数据节点类型,其他3种节点类型都是基于业务需要可选的类型。 ess-master:Master节点 ess-client:Client节点 ess-cold:冷数据节点
  • 变更索引策略 您可以更改任何托管索引策略,但是ISM有一些约束条件可以确保策略更改不会破坏索引。 如果索引卡在其当前状态,永不进行,并且您想立即更新其策略,请确保新策略包括与旧策略相同的状态(名称,操作,顺序相同)。在这种情况下,即使策略处于执行操作中,ISM也会应用新策略。 如果在不包含相同状态的情况下更新策略,则ISM仅在当前状态下的所有操作执行完成后才更新策略。或者,您可以在旧策略中选择特定状态,然后让新策略生效。 在OpenSearch Dashboard中更改更改政策,操作步骤如下: 在OpenSearch Dashboard的“Index Management”页面,选择需要更换新策略的索引。 单击右上角的Change policy,进入在Choose managed indices和Choose new policy区域,选择更换新策略的相关信息 。 图1 变更索引策略 表1 更换索引策略参数信息 参数 说明 Managed indices 选择需要更换策略的索引名称。支持选择多个索引。 State filters 选择索引状态。选择后,会将新策略附加到处于特定状态的索引。 New policy 选择新策略。 选择完成后,单击Change。 父主题: 管理索引
  • 通过公网IP接入集群 公网访问配置完成后,集群将会获得一个“公网访问”的IP地址,用户可以通过公网IP地址和端口接入集群。 例如,查看集群中的索引信息,集群中某一个节点的公网访问地址为“10.62.179.32”,端口为“9200”,使用curl执行如下命令。 如果接入集群未启用安全模式,接入方式为: curl 'http://10.62.179.32:9200/_cat/indices' 如果接入集群已启用安全模式,则需要使用https方式访问,并附加用户名和密码,在curl命令中添加-u选项。 curl -u username:password -k 'https://10.62.179.32:9200/_cat/indices'
  • 创建集群时配置公网访问 登录云搜索服务管理控制台。 在创建集群页面,开启“安全模式”。设置管理员密码,并启用HTTPS访问。 “公网访问”选择“自动绑定”,配置公网访问相关参数。 图1 创建集群时配置公网访问 表1 公网访问参数说明 参数 说明 带宽 设置公网访问的带宽。 访问控制开关 如果关闭访问控制开关,则允许任何IP通过公网IP访问集群。如果开启访问控制开关,则只允许白名单列表中的IP通过公网IP访问集群。 白名单 设置允许访问的IP地址或网段,中间用英文逗号隔开。仅当打开“访问控制开关”时才需要配置。
  • 已有集群公网访问管理 您可以对已经创建集群的公网访问进行修改,查看,解绑,也可以配置公网访问。 登录云搜索服务管理控制台。 在集群管理页面,单击需要配置公网访问的集群名称,进入集群基本信息页面,管理公网访问相关配置。 图2 修改公网访问相关配置 配置公网访问 如果创建安全集群时,开启了HTTPS访问但未配置公网访问,集群创建成功后,可以在集群基本信息页面配置公网访问。 单击“公网访问”参数右侧的“绑定”,设置访问带宽后,单击“确定”。 如果绑定失败,用户可以等待几分钟后,再次尝试重新绑定公网访问。 修改 对已经配置了公网访问的集群,可以通过单击“带宽”参数右侧的“修改”,修改带宽大小,也可以通过单击“访问控制”右侧的“设置”,设置访问控制开关和访问白名单。 查看 在“基本信息”页面,可以查看当前集群绑定的公网IP地址。 解绑 对于已经绑定的公网IP,可以通过单击“公网访问”参数右侧的“解绑”,解绑公网IP。
  • 修改回程路由 Logtsash服务为托管服务,创建集群选择的子网并不是logstash节点的主网卡,所以还需要给集群的每个节点添加一个指向目标IP(指源数据所在的服务器)的回程路由。 单击集群名称,进入集群详情页面。 单击“集群路由”后面的“修改”。 图1 配置集群路由 修改集群路由信息。 图2 修改集群路由 IP地址:源数据所在的服务器IP,取前16位或者24位,如源IP为192.168.1.1,可以填192.168.0.0。 子网掩码:如果上面取的是16位,子网掩码可以填255.255.0.0,24位的话子网掩码填255.255.255.0。 子网掩码必须要覆盖IP网段,即子网掩码和IP地址转换为二进制后,IP地址最后的0个数一定要比子网掩码的最后为0的个数多。 更改类型:可选择“添加”或“删除”。 单击“确定”。
  • 注意事项 第一次备份时,建议将所有索引数据进行备份。 集群快照会导致CPU、磁盘IO上升等影响,建议在业务低峰期进行操作。 创建快照之前,您需要进行基础配置,包含存储快照的OBS桶、快照的备份路径及安全认证使用的IAM委托。 集群快照存储的OBS桶,在首次设置后,不管自动创建快照还是手动创建快照,如果快照列表中已有可用的快照,则OBS桶将无法再变更,请谨慎选择存储OBS桶。 快照存储在OBS桶中需要额外收费,具体收费以对象存储服务为准。 如果OBS桶已经存储了快照,OBS无法变更,您可以使用这个方法修改:首先关闭快照功能,然后再开启快照功能,指定新的OBS桶。一旦关闭快照功能,之前创建的快照将无法用于恢复集群。 当集群处于“不可用”状态时,快照功能中,除了恢复快照功能外,其他快照信息或功能只能查看,无法进行编辑。 备份与恢复过程中,支持集群扩容、访问Kibana、查看监控、删除其他快照的操作。不支持重启此集群、删除此集群、删除正在创建或恢复的快照、再次创建或恢复快照的操作。补充说明,当此集群正在进行创建快照或者恢复快照时,此时,自动创建快照任务将被取消。 CSS集群第一次快照是全量,后面再备份快照是在之前的快照基础上增量,CSS是增量快照逻辑,快照之间的文件会相互依赖。
  • 使用限制 单账号跟踪的事件可以通过云审计控制台查询。多账号的事件只能在账号自己的事件列表页面去查看,或者到组织追踪器配置的OBS桶中查看,也可以到组织追踪器配置的CTS/system日志流下面去查看。 用户通过云审计控制台只能查询最近7天的操作记录。如果需要查询超过7天的操作记录,您必须配置转储到对象存储服务(OBS),才可在OBS桶里面查看历史文件。否则,您将无法追溯7天以前的操作记录。 云上操作后,1分钟内可以通过云审计控制台查询管理类事件操作记录,5分钟后才可通过云审计控制台查询数据类事件操作记录。
  • 创建索引策略 登录Kibana,在左侧选择或“Index Management”,进入索引管理页面 。 右侧单击Create policy,创建索引策略。 在Configuration method对话框中,选择JSON editor,单击Continue进入创建索引策略页面。 在Policy ID部分输入策略ID,Define policy部分输入您的策略。 图1 配置策略 单击Create完成索引策略的创建。
  • 管理索引策略 在OpenSearch Dashboard的“Index Management”页面,选择Managed Indices。 如果您要更改策略,可以选择Change policy,详情请参考变更策略。 图5 变更策略 如果您要删除策略,请选择您的策略,然后选择Remove policy。 如果您要重试策略,请选择您的策略,然后选择Retry policy。 具体使用可参考索引管理官方介绍。
  • 创建集群时开启终端节点服务 登录云搜索服务管理控制台。 在右上方单击“创建集群”。 在创建集群页面,“高级配置”选择“自定义”后,开启终端节点服务。 图1 开启终端节点服务 “创建内网域名”:如果开启,系统将会自动为用户创建一个内网域名,可以通过内网域名访问集群。 “终端节点服务白名单”:您可以在“终端节点服务白名单”中添加需要授权的账号ID,只要其账号ID被添加到终端节点服务白名单中,就可以通过内网域名或者节点IP访问集群。 单击“添加”可以添加多个账号。 单击“操作”列的“删除”,可以删除不允许访问的账号。 授权账号ID配置成*,则表示允许全部用户访问该集群。 需要授权的账号ID可在“我的凭证”中进行查看。 集群开启终端节点服务之后,终端节点将按需进行收费,终端节点的费用将由用户进行支付,详细的计费方式请参考终端节点计费说明。
  • 通过内网域名或节点IP访问集群 获取内网域名或者节点IP。 登录云搜索服务控制台,进入集群列表,单击集群名称,进入集群“基本信息”页面,选择“终端节点服务”,查看内网域名。 图3 查看节点IP和内网域名信息 在弹性云服务器中,直接通过curl执行API或者开发程序调用API并执行程序即可使用集群。Elasticsearch操作和接口请参见《Elasticsearch:权威指南》。 弹性云服务器需要满足如下要求: 为弹性云服务分配足够的磁盘空间。 此弹性云服务器的VPC需要与集群在同一个VPC中,开通终端节点服务后,可以实现跨VPC访问。 此弹性云服务器的安全组需要和集群的安全组相同。 如果不同,请修改弹性云服务器安全组或配置弹性云服务器安全组的出入规则允许集群所有安全组的访问。修改操作请参见配置安全组规则。 待接入的CSS集群,其安全组的出方向和入方向需允许TCP协议及9200端口,或者允许端口范围包含9200端口。 例如,使用curl执行如下命令,查看集群中的索引信息,集群中的内网访问地址为“vpcep-7439f7f6-2c66-47d4-b5f3-790db4204b8d.region01.huaweicloud.com”,端口为“9200”。 如果接入集群未启用安全模式,接入方式为: curl 'http://vpcep-7439f7f6-2c66-47d4-b5f3-790db4204b8d.region01.huaweicloud.com:9200/_cat/indices' 如果接入集群已启用安全模式,则需要使用https方式访问,并附加用户名和密码,在curl命令中添加-u选项。 curl -u username:password -k 'https://vpcep-7439f7f6-2c66-47d4-b5f3-790db4204b8d.region01.huaweicloud.com:9200/_cat/indices'
  • 已有集群终端节点服务管理 如果创建集群时未开启终端节点服务,集群创建成功后,可以通过如下步骤进行开启。 登录云搜索服务管理控制台。 在集群管理页面,单击需要开启终端节点服务的集群名称,进入集群基本信息页面。 选择“终端节点服务”,在“终端节点服务”右侧单击开关,打开集群的终端节点服务功能。 在弹出的提示框中,您可以根据需求,选择是否创建内网域名。单击“是”,开启终端节点服务。 开启终端节点服务后,您可以通过终端节点产生的“内网域名”或者“节点IP”访问此集群。详细请参考通过内网域名或节点IP访问集群。 关闭终端节点服务功能后,所有的用户将不能通过内网域名访问此集群。 (可选)打开终端节点服务后,您可以单击“终端节点服务白名单”后面的“修改”,更新已有的白名单。 管理终端节点。 在终端节点服务页面下,显示所有连接当前终端节点服务的终端节点。 图2 管理终端节点 单击操作列的“接受”或者“拒绝”可以修改节点的“状态”。如果对某个终端节点“拒绝”操作之后,其生成的内网域名将不能再访问到当前集群。
共100000条