华为云用户手册

  • 请求消息体 请求消息体通常以结构化格式发出,与请求消息头中Content-type对应,传递除请求消息头之外的内容。若请求消息体中参数支持中文,则中文字符必须为UTF-8编码。 每个接口的请求消息体内容不同,也并不是每个接口都需要有请求消息体(或者说消息体为空),GET、DELETE操作类型的接口就不需要消息体,消息体具体内容需要根据具体接口而定。 对于获取用户Token接口,您可以从接口的请求部分看到所需的请求参数及参数说明。将消息体加入后的请求如下所示,加粗的斜体字段需要根据实际值填写,其中username为用户名,domainname为用户所属的账号名称,********为用户登录密码,xxxxxxxxxxxxxxxxxx为project的ID,获取方法请参见获取项目ID。 scope参数定义了Token的作用域,下面示例中获取的Token仅能访问project下的资源。您还可以设置Token作用域为某个账号下所有资源或账号的某个project下的资源,详细定义请参见获取用户Token。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 POST https://iam.cn-north-1.myhuaweicloud.com/v3/auth/tokens Content-Type: application/json { "auth": { "identity": { "methods": [ "password" ], "password": { "user": { "name": "username", "password": "********", "domain": { "name": "domainname" } } } }, "scope": { "project": { "id": "xxxxxxxxxxxxxxxxxx" } } } } 到这里为止这个请求需要的内容就具备齐全了,您可以使用curl、Postman或直接编写代码等方式发送请求调用API。对于获取用户Token接口,返回的响应消息头中“x-subject-token”就是需要获取的用户Token。有了Token之后,您就可以使用Token认证调用其他API。
  • 请求方法 HTTP请求方法(也称为操作或动词),它告诉服务你正在请求什么类型的操作。 GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分内容。当资源不存在的时候,PATCH可能会去创建一个新的资源。 在获取用户Token的URI部分,您可以看到其请求方法为“POST”,则其请求为: 1 POST https://iam.cn-north-1.myhuaweicloud.com/v3/auth/tokens
  • 请求消息头 附加请求头字段,如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”,请求鉴权信息等。 如下公共消息头需要添加到请求中。 Content-Type:消息体的类型(格式),必选,默认取值为“application/json”,有其他取值时会在具体接口中专门说明。 X-Auth-Token:用户Token,可选,当使用Token方式认证时,必须填充该字段。用户Token也就是调用获取用户Token接口的响应值,该接口是唯一不需要认证的接口。 对于获取用户Token接口,由于不需要认证,所以只添加“Content-Type”即可,添加消息头后的请求如下所示。 1 2 POST https://iam.cn-north-1.myhuaweicloud.com/v3/auth/tokens Content-Type: application/json
  • 请求URI 请求URI由如下部分组成。 {URI-scheme} :// {Endpoint} / {resource-path} ? {query-string} 尽管请求URI包含在请求消息头中,但大多数语言或框架都要求您从请求消息中单独传递它,所以在此单独强调。 URI-scheme: 表示用于传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint: 指定承载REST服务端点的服务器域名或IP,不同服务不同区域的Endpoint不同,您可以从表1 地区和终端节点获取。 例如:可信存证服务tde在“华北-北京四”区域的Endpoint为“tde.cn-north-4.myhuaweicloud.com”。 resource-path: 资源路径,也即API访问路径。从具体API的URI模块获取,例如“获取用户Token”API的resource-path为“/v3/auth/tokens”。 query-string: 查询参数,是可选部分,并不是每个API都有查询参数。查询参数前面需要带一个“?”,形式为“参数名=参数取值”,例如“limit=10”,表示查询不超过10条数据。 例如您需要获取IAM在“华北-北京一”区域的Token,则需使用“华北-北京一”区域的Endpoint(iam.cn-north-1.myhuaweicloud.com),并在获取用户Token的URI部分找到resource-path(/v3/auth/tokens),拼接起来如下所示。 1 https://iam.cn-north-1.myhuaweicloud.com/v3/auth/tokens 图1 URI示意图 为查看方便,在每个具体API的URI部分,只给出resource-path部分,并将请求方法写在一起。这是因为URI-scheme都是HTTPS,而Endpoint在同一个区域也相同,所以简洁起见将这两部分省略。
  • 响应消息体 响应消息体通常以结构化格式(如JSON或XML)返回,与响应消息头中Content-Type对应,传递除响应消息头之外的内容。 对于获取用户Token接口,返回如下消息体。为篇幅起见,这里只展示部分内容。 1 2 3 4 5 6 7 8 9 10 11 12 { "token": { "expires_at": "2019-02-13T06:52:13.855000Z", "methods": [ "password" ], "catalog": [ { "endpoints": [ { "region_id": "az-01", ...... 当接口调用出错时,会返回错误码及错误信息说明,错误响应的Body体格式如下所示。 { "error_code": "AS.0001" "error_msg": "The format of message is error", } 其中,error_code表示错误码,error_msg表示错误描述信息。
  • 概述 本章提供了可信存证和可信溯源的API调用方式。具体API请参见API。 可信存证(Trustable Digital Evidence,简称TDE)是依托华为云开发联盟链构建的云服务,利用区块链去中心化、不可篡改的特性,支持电子证据可信上链、存证证书下载、证据核验等功能,方便客户基于可信存证进行维权证据固化、版权保护、防伪溯源等场景。 可信溯源是依托华为云区块链服务构建的适用于各种溯源场景的大规模商用溯源服务平台。 在调用可信存证服务API之前,请确保已经充分了解可信存证服务和可信溯源的基本概念与知识。 当前仅“华北-北京四”区域支持可信存证和可信溯源。 父主题: 使用前必读
  • 基本概念 账号 用户注册账号时,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability Zone) 一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,并在子项目中创建资源,然后以子项目为单位进行授权,使得用户仅能访问特定子项目中资源,使得资源的权限控制更加精确。 图1 项目隔离模型 同样在我的凭证下,您可以查看项目ID。 父主题: 使用前必读
  • Token认证 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Token可通过调用获取用户Token接口获取,调用本服务API需要project级别的Token,即调用获取用户Token接口时,请求body中auth.scope的取值需要选择project,如下所示。 { "auth": { "identity": { "methods": [ "password" ], "password": { "user": { "name": "username", "password": "********", "domain": { "name": "domainname" } } } }, "scope": { "project": { "name": "xxxxxxxx" } } } } 获取Token后,再调用其他接口时,您需要在请求消息头中添加“X-Auth-Token”,其值即为Token。例如Token值为“ABCDEFJ....”,则调用接口时将“X-Auth-Token: ABCDEFJ....”加到请求消息头即可,如下所示。 1 2 3 POST https://iam.cn-north-1.myhuaweicloud.com/v3/auth/projects Content-Type: application/json X-Auth-Token: ABCDEFJ....
  • 请求示例 { "productCode" : "9999", "productName" : "9999", "productPhotoUrl" : "https://xxx.xxx.xxx.xxx/petaltrace/6BF050A8AA19BB2F0BFA9F2F0529991C.jpg", "bannerUrl" : "https://xxx.xxx.xxx.xxx/petaltrace/6BF050A8AA19BB2F0BFA9F2F0529991C.jpg", "productOrigin" : "bj", "sweepcodeStatisticsSwitch" : "1", "merchant" : "1759540612045058049" }
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token 最小长度:1 最大长度:65535 表3 请求Body参数 参数 是否必选 参数类型 描述 productCode 是 String 要修改的商品码 最小长度:1 最大长度:13 productName 是 String 商品名称 最小长度:1 最大长度:255 productPhotoUrl 否 String 商品介绍图片url 最小长度:1 最大长度:255 bannerUrl 否 String 横幅url 最小长度:1 最大长度:5000 productOrigin 否 String 商品产地 最小长度:1 最大长度:255 sweepcodeStatisticsSwitch 否 String 商品溯源扫码统计开关(0:关闭;1 打开) 枚举值: 0 1 merchant 是 String 商户ID,不可修改 最小长度:1 最大长度:100
  • 日志告警 本文介绍云日志服务告警的限制。 表1 告警限制说明 类别 限制项 说明 备注 告警监控 告警规则数量 您在1个华为账号下最多可创建200个告警。 如您有更大的使用需求,请提交工单申请。 搜索和分析条件组合个数 关键词搜索为1个,SQL分析个数为1-3个。 不涉及。 查询时间范围 关键词告警:每条查询语句的查询时间跨度不能超过1小时。 不涉及。 SQL告警:每条查询语句的查询时间跨度不能超过24小时。 不涉及。 查询和分析操作一般性限制 查询和分析操作的限制项,关键词告警请参见搜索语法。SQL告警请参见SQL查询语法。 不涉及。 告警通知 通知方式 各个通知方式的使用限制如下所示。超出限制,可能导致您无法接收到告警通知。 邮件 短信 语音 仅支持中国内地手机号码(+86)。如需开通,请提交工单申请。 钉钉 钉钉机器人限制每分钟最多20条消息。 企业微信 企业微信机器人限制每分钟最多20条消息。 飞书 飞书的功能仅针对白名单用户使用,如需开通,请提交工单申请。 不涉及。 通知内容 每个通知方式都存在通知内容长度的限制。为了尽量保证告警通知成功,对于超长的内容,系统可能通过适当的内容截断来避免通知失败。内容截断无法保证内容的完整性以及百分百发送成功,这主要是受限于截断后的内容以及各个通知方式的支持能力,例如截断后的内容是不合法的Markdown或者HTML,则可能导致通知失败。对于短信、语音等纯文本格式的内容,一般内容截断不会导致通知失败。 建议根据通知方式的限制合理配置内容模板,避免内容超长导致通知失败。各个通知方式的限制如下(中文、英文、数字或标点符号都算一个字符): 短信 具体限制请短信发送限制。 语音 通知内容限制为256个字符。 邮件 通知内容限制为5 KB。 钉钉 通知内容限制为5 KB。 企业微信 通知内容限制为5 KB。 不涉及。 消息模板 最多100个模板。 不涉及。 消息模板变量 LTS限制消息内容长度不超过3 KB,超过3 KB部分会被截断。 不涉及。 消息通知方式额度 每个接收人每天最多可接收额度与用户SMN资源配额有关。 不涉及。 父主题: 使用限制
  • 分析 表2 日志SQL分析限制 限制项 说明 备注 操作并发数 您在1个华为账号下日志分析并发数为15个。 如您有更大的使用需求,请提交工单申请。 数据量 单个日志流单次最大分析24GB数据。 如果您的数据量远超LTS提供的分析规格,请您购买DWS服务,配置日志转储DWS,使用数据仓库分析。 开启模式 默认不开启。 不涉及。 数据生效机制 日志结构化只对新增结构化配置之后写入的数据生效。 不涉及。 返回结果 默认最多返回100条数据。 如果需要返回更多数据,可以使用SQL查询语法单独配置返回查询结果。 不涉及。 LIMIT上限为5000条。 不涉及。 字段值大小 结构化字段最大大小为16KB,超过部分不参与分析。 不涉及。 超时时间 分析操作的最大超时时间为30秒。 如果您的数据量远超LTS提供的分析规格,请您购买DWS服务,配置日志转储DWS,使用数据仓库分析。 Double类型的字段值位数 Double类型的字段值最多52位。 如果浮点数编码位数超过52位,会造成精度损失。 不涉及。 IP函数时效性 IP函数是可以分析IP地址所属的国家、省份、城市及对应的网络运营商,该函数依赖的后台数据库每半年更新一次,可能出现少量IP与地理位置映射未及时更新的情况。 不涉及。 SQL分析时间范围 仅支持分析30天内的数据,30天以上的数据不支持SQL分析。 如您有更大的使用需求,请提交工单申请。
  • 搜索 表1 日志搜索限制 限制项 说明 备注 日志采集到搜索时延 从日志产生到日志在控制台能被搜索到的时间间隔小于2分钟(非阻塞情况下)。 不涉及。 关键词个数 关键词,即单次查询时布尔逻辑符外的条件个数。每次查询最多30个。 如您有更大的使用需求,请提交工单申请。 操作并发数 您在1个华为账号下支持的最大查询操作并发数为200个。 如您有更大的使用需求,请提交工单申请。 返回结果 通过控制台查询:默认最多返回250条查询结果。 不涉及。 返回结果 通过API查询:默认最多返回5000条查询结果。 不涉及。 字段值大小 单个字段值最大为2KB,超出部分不参与快速分析,但是可以通过关键词查询。 不涉及。 查询结果排序 默认按照秒级时间从最新开始展示。 不涉及。 模糊查询 在查询语句单个词长度小于255字符 星号(*)或问号(?)不能用在词的开头。 long数据类型和double数据类型不支持使用星号(*)或问号(?)进行模糊查询 不涉及。 搜索时间范围 单次搜索,时间跨度默认不超过30天。 如您有更大的使用需求,请提交工单申请。
  • 查看集群运行状态和存储容量状态 在云搜索服务管理控制台总览页,直接展现当前云搜索服务中已有集群的状态以及集群存储容量状态。 表1 集群状态说明 状态 说明 可用 表示集群服务正常运行中,并为用户提供服务。 异常 表示集群创建失败或不可用。 如果此集群处于“不可用”状态,支持删除集群操作或将集群正常状态时创建的快照恢复至其他集群。无法执行扩容集群、访问Kibana、创建快照或将快照恢复至此集群的操作。建议不要执行导入数据的操作,避免数据丢失。您可以查看监控或重启集群,但根据集群故障情况不同这些操作可能执行失败,当执行失败时,请及时联系技术支持。 处理中 表示集群正处在重启中、扩容中、备份中或恢复中。 创建中 表示集群正处在创建过程中。 表2 集群存储容量状态 状态 说明 正常 表示集群中所有节点存储容量使用率小于50%。 警告 表示集群中任一节点存储容量使用率大于等于50%,小于80%。 危险 表示集群中任一节点存储容量使用率大于等于80%。建议增加集群的存储容量,以便能够正常使用集群进行数据搜索或分析。 异常 表示未能查询到集群的存储容量信息。例如,集群运行故障,状态为“异常”时,此集群的存储容量状态为“异常”。
  • 集群列表概览 集群列表显示云搜索服务所有的集群,集群数量较多时,可采用翻页显示,您可以查看任何状态下的集群。 集群列表默认按时间顺序排列,时间最近的集群显示在最前端。集群列表参数说明如表1所示。 在集群列表右上角,您可以指定集群名称、集群ID、企业项目或私有IP,然后单击进行查找。也可以单击右上角的,刷新集群列表。单击可以下载全量的集群列表信息。 表1 集群列表说明 参数 描述 名称/ID 表示集群的名称和ID。单击集群名称可进入集群“基本信息”页面,展现了集群的基本信息。集群ID是系统自动生成的,是集群在服务中的唯一标示。 集群状态 展示集群当前的状态。集群状态说明请参见查看集群运行状态和存储容量状态。 任务状态 展示重启集群、扩容集群、备份集群、恢复集群等任务的状态。 版本 表示此集群中Elasticsearch的版本号。 创建时间 表示集群的创建时间。 企业项目 表示集群所归属的企业项目。 内网访问地址 集群的内网访问地址和端口号,您可以使用此参数接入集群。集群有多个节点时,此处显示多个节点的内网访问地址和端口号。 计费模式 呈现集群的计费模式,是“按需计费”还是“包年/包月”。 操作 展示集群可执行的操作入口,包含Kibana、监控信息、重启、删除等其他更多操作。当某一操作无法执行时,显示为灰色链接。 父主题: 管理集群
  • 特性原理 在大规模数据集聚合分析场景下,主要的耗时开销集中在对数据分组聚合。提升分组聚合能力依赖几个关键特性: 排序键:数据按照排序键顺序存储。 聚簇键:包含于排序键,数据按照聚簇键聚簇在一起。 聚合增强在数据聚簇的情况下,利用向量化技术,批量处理,从而提升聚合性能。 表1 特性参数 参数 说明 index.search.turbo.enabled 特性开关,默认为true。 index.sort.field 排序键。 index.cluter.field 聚簇键。
  • 冷热数据切换 在创建集群的时候如果选择启用冷数据节点,冷数据节点将会打上“cold”标签,用来表示冷节点。同时其他数据节点将会上升为热节点,会被打上“hot”标签。用户可以通过配置指定索引,将数据分配到冷热节点。 通过设置template,可以通过模板将相应的index存储到指定冷热节点。 如下,登录集群的Kibana Console页面,配置myindex开头的索引,储存在冷节点上面。 这样可以通过模板在创建的时候把myindex*的数据存储在冷数据节点上面。 使用以下命令创建模板: PUT _template/test { "order": 1, "index_patterns": "myindex*", "settings": { "refresh_interval": "30s", "number_of_shards": "3", "number_of_replicas": "1", "routing.allocation.require.box_type": "cold" } } 同时也可以单独对已经创建好的索引进行操作。 PUT myindex/_settings { "index.routing.allocation.require.box_type": "cold" } 也可以去掉冷热数据配置,不受冷热数据标签影响。 PUT myindex/_settings { "index.routing.allocation.require.box_type": null }
  • 监控指标 监控的指标ID、指标名称、指标含义以及取值范围参见表1。 监控的测量对象:CSS集群。本章节介绍Logstash集群的监控指标。Elasticsearch集群所支持的监控指标请见Elasticsearch&OpenSearch集群支持的监控指标。 监控的监控周期(原始指标):1分钟 累计值:从节点启动时开始叠加数值,当节点重启后清零重新累计。 表1 云搜索服务支持的监控指标 指标ID 指标名称 指标含义 取值范围 jvm_heap_usage JVM堆使用率 节点JVM堆内存使用率。 单位:百分比。 0-100% jvm_old_gc_count JVM老年代总GC次数 节点“老年代”垃圾回收的运行次数。 ≥ 0 jvm_old_gc_time JVM老年代总GC时间 节点执行“老年代”垃圾回收所花费的时间。 单位:ms ≥ 0 ms jvm_young_gc_count JVM年轻代总GC次数 节点“年轻代”垃圾回收的运行次数。 ≥ 0 jvm_young_gc_time JVM年轻代总GC时间 节点执行“年轻代”垃圾回收所花费的时间。 单位:ms ≥ 0 ms max_jvm_heap_usage 最大JVM堆使用率 CSS集群中各个节点的JVM堆使用率的最大值。 单位:百分比 0-100% max_jvm_young_gc_time 最大JVM Young GC耗时 CSS集群中各个节点的JVM Young GC耗时累计值的最大值。 单位:ms ≥ 0 ms max_jvm_young_gc_count 最大JVM Young GC次数 CSS集群中各个节点的JVM Young GC次数累计值的最大值。 ≥ 0 max_jvm_old_gc_time 最大JVM Old GC耗时 CSS集群中各个节点的JVM Old GC耗时累计值的最大值。 单位:ms ≥ 0 ms max_jvm_old_gc_count 最大JVM Old GC次数 CSS集群中各个节点的JVM Old GC次数累计值的最大值。 ≥ 0 max_cpu_usage 最大CPU利用率 CSS集群中各个节点的CPU利用率的最大值。 单位:百分比 0-100% cpu_usage CPU利用率 CPU利用率。 0-100% load_average 节点Load值 操作系统中1分钟平均排队任务数。 ≥ 0 max_load_average 最大节点Load值 CSS集群中各个节点在操作系统中1分钟平均排队任务数的最大值。 ≥ 0 avg_cpu_usage 平均CPU使用率 CSS集群中各节点CPU利用率的平均值。 单位:百分比 0-100% avg_load_average 平均节点Load值 CSS集群中各节点在操作系统中1分钟平均排队任务数的平均值。 ≥ 0 avg_jvm_heap_usage 平均JVM堆使用率 CSS集群中各节点JVM堆内存使用率的平均值。 单位:百分比 0-100% avg_jvm_old_gc_count JVM老年代平均GC次数 CSS集群中各个节点“老年代”垃圾回收的运行次数的累计值的平均值。 ≥ 0 avg_jvm_old_gc_time JVM老年代平均GC时间 CSS集群中各个节点执行“老年代”垃圾回收所花费的时间累计值的平均值。 单位:ms ≥ 0 ms avg_jvm_young_gc_count JVM年轻代平均GC次数 CSS集群中各个节点“年轻代”垃圾回收的运行次数的累计值的平均值。 ≥ 0 avg_jvm_young_gc_time JVM年轻代平均GC时间 CSS集群中各个节点执行“年轻代”垃圾回收所花费的时间累计值的平均值。 单位:ms ≥ 0 ms sum_events_in 集群下所有节点经过input插件的数据总数 该指标用于统计所有节点经过input插件的数据总数。 ≥ 0 sum_events_filtered 集群下所有节点经过filtered播件的数据总数 该指标用于统计所有节点经过过滤处理的数据总数。 ≥ 0 sum_events_out 集群下所有节点经过out插件的数据总数 该指标用于统计所有节点经过out插件的数据总数。 ≥ 0 events_in 当前节点经过input插件的数据数 该指标用于统计当前节点经过input插件的数据数。 ≥ 0 events_filtered 当前节点经过filtered插件的数据数 该指标用于统计当前节点过滤处理的数据数。 ≥ 0 events_out 当前节点经过out插件的数据数 该指标用于统计当前节点经过out插件的数据数。 ≥ 0
  • 低基高基字段混合 对于低基字段和高基字段混合的场景,假如有如下查询语句: POST testindex/_search { "size": 0, "aggs": { "groupby_region": { "terms": { "field": "region" }, "aggs": { "groupby_host": { "terms": { "field": "host" }, "aggs": { "groupby_timestamp": { "date_histogram": { "field": "timestamp", "interval": "day" }, "aggs": { "avg_score": { "avg": { "field": "score" } } } } } } } } } } 先对低基字段做分组,然后再对高基字段做直方图,如果要对上述查询使用聚合增强特性,那么设置如下: 聚簇键是排序键的前缀子集。 高基字段必须在排序键中,且高基字段必须在最后一个低基字段后面。 // 索引设置 "settings" : { "index" : { "search" : { "turbo" : { "enabled" : "true" // 开启优化 } }, "sort" : { // 指定排序键 "field" : [ "region", "host", "timestamp", "other" ] }, "cluster" : { "field" : [ // 指定聚簇键 "region", "host" ] } } } 父主题: 聚合增强
  • 示例指导 登录云搜索服务管理控制台。 在左侧导航栏中,选择“集群管理”,进入集群列表页面。 在集群列表中,单击需要使用的集群对应“操作”列的“Kibana”。 如果开启了安全模式,需要输入创建集群时设置的管理员账户名和密码。 在Kibana的左侧导航中选择“Dev Tools”,进入Console界面。 在Console界面,执行如下命令,创建索引“stconvert”,并指定自定义映射来定义数据类型。 PUT /stconvert { "settings": { "number_of_shards": 1, "number_of_replicas": 0, "analysis": { "analyzer": { "ts_ik": { "tokenizer": "ik_smart", "char_filter": [ "tsconvert", "stconvert" ] } }, "char_filter": { "tsconvert": { "type": "stconvert", "convert_type": "t2s" }, "stconvert": { "type": "stconvert", "convert_type": "s2t" } } } }, "mappings": { "properties": { "desc": { "type": "text", "analyzer": "ts_ik" } } } } 返回结果如下所示。 { "acknowledged" : true, "shards_acknowledged" : true, "index" : "stconvert" } 在Console界面,执行如下命令,导入数据到“stconvert”索引中。 POST /stconvert/_doc/1 { "desc": "國際電視臺" } 当返回结果信息中“failed”字段的值为“0”时,表示数据导入成功。 在Console界面,执行如下命令,搜索关键字“国际”,并查看搜索结果。 GET /stconvert/_search { "query": { "match": { "desc": "国际" } } } 搜索结果如下所示。 { "took" : 15, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : 1, "max_score" : 0.5753642, "hits" : [ { "_index" : "stconvert", "_type" : "type", "_id" : "1", "_score" : 0.5753642, "_source" : { "desc" : "國際電視臺" } } ] } }
  • 场景描述 云搜索服务集成了共享型负载均衡器的能力,支持绑定公网访问和开启终端节点服务。相比共享型负载均衡器,独享型负载均衡器功能更丰富、性能更强,本章主要介绍如何使用独享型负载均衡器接入集群。 使用独享型负载均衡器接入集群具有如下优点: 非安全模式集群也支持集成弹性负载均衡服务的能力。 支持用户使用自定义证书进行HTTPS双向认证。 支持7层流量监控及告警配置,方便用户随时查看监控情况。 不同安全模式的集群对接独享型负载均衡器共有8种不同的服务形态,不同服务形态对应的ELB能力如表1所示,8种组合的配置概览如表2所示。 如果ELB绑定公网,则不推荐接入非安全模式的集群。非安全模式的集群使用HTTP通信且不需要安全认证即可访问,如果对外公网访问存在安全风险。 表1 不同集群对应的ELB能力 集群安全模式 ELB最终对外提供的服务形态 ELB负载均衡 ELB流量监控 ELB双向认证 非安全 无认证 支持 支持 不支持 单向认证 双向认证 支持 支持 支持 安全+HTTP 密码认证 支持 支持 不支持 单向认证+密码认证 双向认证+密码认证 支持 支持 支持 安全+HTTPS 单向认证+密码认证 双向认证+密码认证 支持 支持 支持 表2 不同集群对接ELB的配置概览 集群安全模式 ELB最终对外提供的服务形态 ELB监听器 后端服务器组 前端协议 前端端口 SSL解析方式 后端协议 健康检查端口 健康检查路径 非安全 无认证 HTTP 9200 无认证 HTTP 9200 / 单向认证 HTTPS 9200 单向认证 HTTP 9200 双向认证 HTTPS 9200 双向认证 HTTP 9200 安全+HTTP 密码认证 HTTP 9200 无认证 HTTP 9200 /_opendistro/_security/health 单向认证+密码认证 HTTPS 9200 单向认证 HTTP 9200 双向认证+密码认证 HTTPS 9200 双向认证 HTTP 9200 安全+HTTPS 单向认证+密码认证 HTTPS 9200 单向认证 HTTPS 9200 双向认证+密码认证 HTTPS 9200 双向认证 HTTPS 9200 父主题: (可选)对接独享型负载均衡器
  • 删除快照 当快照信息不需要使用时,您可以删除快照释放存储资源。当自动创建快照功能开启时,自动创建的快照无法手动删除,系统会按照设置的策略在半点时刻自动删除超过“保留时间”的快照。当自动创建快照功能关闭,且之前已自动创建的快照并未同步删除时,快照列表中自动创建的快照,可通过删除按钮手动删除。如果未手动删除,且之后用户又重新开启了自动创建快照功能,那么此集群中所有“快照类型”为自动创建的快照(包含开启自动创建快照功能前已存在的自动创建的快照)都无法手动删除,只会被系统自动删除。 快照信息删除后,数据将无法恢复,请谨慎操作。 在快照管理页面中,选择需要删除的快照。 单击“操作”列的“删除”,在弹窗中确认要删除的快照信息后,单击“确定”删除快照。 父主题: 备份与恢复索引
  • 在Kibana查询 登录云搜索服务控制台。 在集群管理列表,选择需要查看插件的集群,单击操作列的“Kibana”登录Kibana界面。 非安全模式的集群:将直接进入Kibana操作界面。 安全模式的集群:需要在登录页面输入用户名和密码,单击“Log In”进入Kibana操作界面。用户名默认为admin,密码为创建集群时设置的管理员密码。 进入Dev Tools,执行如下命令查看集群插件信息: GET _cat/plugins?v 响应体示例如下: name component version css-test-ess-esn-1-1 analysis-dynamic-synonym 7.6.2-xxxx-ei-css-v1.0.1 css-test-ess-esn-1-1 analysis-icu 7.6.2-xxxx-ei-css-v1.1.6 css-test-ess-esn-1-1 analysis-ik 7.6.2-xxxx-ei-css-v1.0.1 ...... “name”是集群的节点名称,“component”是插件名称,“version”是插件版本。
  • 背景信息 重启集群支持快速重启和滚动重启。 快速重启 所有集群都支持。 当选择“节点类型”快速重启时,所选类型的所有节点会一起重启。 当选择“节点名称”快速重启时,一次只能重启一个节点。 快速重启过程中,集群不可用。 滚动重启 仅当集群的节点数量(含Master节点、Client节点和冷数据节点)大于等于3时,才支持滚动重启。 滚动重启只支持根据“节点类型”进行重启。选择节点类型滚动重启时,所选类型的节点会依次重启。 滚动重启过程中,只有正在重启的节点不可用,不在重启过程中的节点可以正常提供服务。 当数据量比较大时,滚动重启耗时较长。
  • 约束限制 最多同时支持20个集群升级,建议在业务低峰期进行升级操作。 待升级的集群不能存在正在进行中的任务。 升级任务一旦启动就无法中止,直到升级任务的“任务状态”显示“失败”或“成功”才结束。 升级过程中,存在节点替换的过程,此时如果有请求发送到替换中的节点,请求可能会失败。为防止该情况出现,建议通过终端节点服务或者独享型负载均衡器接入集群进行访问。 升级过程中会重建Kibana和Cerebro组件,重建过程中,Kibana和Cerebro可能会访问失败。而且,由于不同Kibana版本相互不兼容,升级过程中Kibana还可能因为版本不兼容而无法访问。访问失败的问题,待集群升级成功后会自动恢复。
  • 升级前检查 为了保证升级成功,需要做升级前检查,升级前检查主要包括如下事项: 表2 升级前检查项 检查项 检查方式 描述 正常状态 集群状态 系统检查 升级任务启动后,系统会自动检查集群状态。集群状态为green或者yellow,表示集群可以正常提供服务,不存在未分配的主分片。 “集群状态”为“可用”。 节点个数 系统检查 升级任务启动后,系统会自动检查节点个数。为了保证业务的连续性,集群中数据节点和冷数据节点的个数之和要不小于3。 集群的数据节点和冷数据节点个数之和 ≥ 3 磁盘容量 系统检查 升级任务启动后,系统会自动检查磁盘容量。升级过程中会逐一下线节点再新建节点,需要保证单节点下线后,其余节点的磁盘容量能够接纳该节点的所有数据。 下线单节点后,剩余节点能够包含集群的所有数据。 数据副本 系统检查 检测集群中索引的最大主备分片数是否能够分配到剩余数据节点和冷数据节点中,防止升级过程中出现节点下线后副本无法分配的情况。 索引的主备分片数的最大值+1 ≤ 升级前的数据节点数和冷数据节点之和 数据备份 系统检查 升级前要做好数据备份,防止升级故障数据丢失。在提交升级任务时,可以选择是否需要系统检查全量索引的快照备份。 确认是否存在数据备份。 资源充足 系统检查 升级任务启动后,系统会自动检查资源。升级过程中会新建资源,需要保证有资源可用。 资源可用且配额充足。 自定义插件 系统检查+人工检查 历史版本的集群装有自定义插件才需要进行该项检查。如果集群装有自定义插件,则需要在插件管理界面上传目标版本的所有插件包,升级过程中才能将自定义插件转入新节点中,否则集群升级成功后,自定义插件将丢失。升级任务启动后,系统会自动检查是否已经上传自定义插件包,但是上传的插件包是否正确需要人工检查。 说明: 如果上传的插件包不正确或者不兼容将导致升级过程中无法自动安装插件包,升级任务会失败。如果需要恢复集群,可以终止升级任务,执行指定节点替换操作,修复当前升级失败的节点。 升级完成后,自定义插件对应的“插件状态”将会重置为“已上传”状态。 装有自定义插件的集群已经把对应版本的插件包上传到升级插件列表中。 自定义配置 系统检查 升级过程中,系统会自动同步集群配置文件“elasticsearch.yml”中的内容。 如果集群有自定义的参数配置,升级完成后,配置都未丢失。 非标操作 人工检查 确认是否存在非标操作。非标操作指的是没有被记录下来的手动操作,这些操作在升级过程中无法自动传递,比如“Kibana.yml”配置文件修改、系统配置、回程路由等。 有些非标操作是兼容的,例如安全插件的修改,可以通过元数据保留下来;系统配置修改,可以通过镜像的操作保留下来。但是有些非标操作例如“kibana.yml”文件修改就无法保留,需要提前备份。 兼容性检测 系统检查+人工检查 跨版本升级的升级任务启动后,系统会自动检测集群升级前后两个版本是否有不兼容配置。如果集群装有自定义插件,则自定义插件的版本兼容性需要人工检测。 跨版本升级时,升级前后没有不兼容的配置。
  • 场景描述 升级原理 升级过程采用的是one-by-one的方式,不会中断业务。升级时,先下线一个节点,将该节点的数据迁移到其余节点,再创建一个目标版本的新节点,将已下线节点的网卡port挂载到新节点,以此保留节点IP地址,待新节点加入到集群后,再依次将其余节点进行替换。当集群的数据量很大时,升级耗时将依赖数据迁移耗时。 升级流程 升级前检查 手动创建快照 创建升级任务 版本限制 待升级的集群版本不同,支持升级的目标版本也不同,具体请参见表1。 表1 版本升级的版本限制 当前版本 目标版本 Elasticsearch:6.2.3 Elasticsearch:6.5.4,6.8.23 Elasticsearch:6.5.4 Elasticsearch:6.8.23 Elasticsearch:6.8.23 Elasticsearch:7.6.2,7.10.2 Elasticsearch:7.1.1 Elasticsearch:7.6.2,7.10.2 Elasticsearch:7.6.2 Elasticsearch:7.10.2 Elasticsearch:7.9.3 Elasticsearch:7.10.2 Elasticsearch:7.10.2 OpenSearch:1.3.6 说明: ELasticsearch集群以7.6.2 和7.10.2为主力版本,建议其他版本的集群收编到该版本。实际支持的目标版本请以升级页面中“目标镜像”的可选值为准。 5.x版本的ELasticsearch集群不支持跨版本升级,6.2.3和6.5.4版本Elasticsearch集群可先升级到6.8.23版本,再升级到7.x.x版本。 当前仅支持7.10.2版本Elasticsearch集群跨引擎升级至1.3.6版本OpenSearch集群。
  • 操作步骤 登录云搜索服务管理控制台。 在“集群管理”页面选择目标集群,单击操作列“Kibana”,登录Kibana界面。 单击左侧导航栏的“Dev Tools”,执行命令开启或关闭内存流控。 开启内存流控 PUT /_cluster/settings { "persistent": { "flowcontrol.memory.enabled": true, "flowcontrol.memory.allow_path": "/index/_search", "flowcontrol.memory.heap_limit": "85%" } } 开启单个请求Path的内存流控 基于单个索引和请求Path设置堆内存使用阈值,可以基于此规则做优先级调度。 PUT /_cluster/settings { "persistent": { "flowcontrol.memory.enabled": true, "flowcontrol.memory": { "flowcontrol_search": { "filter_path": "index1/_search", "heap_limit": "50%" }, "flowcontrol_bulk": { "filter_path": "index*/_bulk", "heap_limit": "50%" } } } } 删除单个请求Path的内存流控配置 PUT /_cluster/settings { "persistent": { "flowcontrol.memory.enabled": true, "flowcontrol.memory": { "flowcontrol_search": { "filter_path": null, "heap_limit": null } } } } 关闭集群内存流控 PUT /_cluster/settings { "persistent": { "flowcontrol.memory.enabled": false } }
  • 变更策略 您可以更改任何托管索引策略,但是ISM有一些约束条件可以确保策略更改不会破坏索引。 如果索引卡在其当前状态,永不进行,并且您想立即更新其策略,请确保新策略包括与旧策略相同的状态(名称,操作,顺序相同)。在这种情况下,即使策略处于执行操作中,ISM也会应用新策略。 如果在不包含相同状态的情况下更新策略,则ISM仅在当前状态下的所有操作执行完成后才更新策略。或者,您可以在旧策略中选择特定状态,然后让新策略生效。 在Kibana中更改更改政策,操作步骤如下: 在Managed indices下,选择需要更换新策略的索引。 单击右上角的Change policy,进入Choose managed indices页面,选择更换新策略的相关信息 。 表1 更换索引策略参数信息 参数 说明 Managed indices 选择需要更换策略的索引名称。支持选择多个索引。 State filters 选择索引状态。选择后,会将新策略附加到处于特定状态的索引。 New policy 选择新策略。 选择完成后,单击Change。 父主题: 管理索引
  • 背景信息 重启集群支持快速重启和滚动重启。 快速重启 所有集群都支持。 当选择“节点类型”快速重启时,所选类型的所有节点会一起重启。 当选择“节点名称”快速重启时,一次只能重启一个节点。 快速重启过程中,集群不可用。 滚动重启 仅当集群的节点数量(含Master节点、Client节点和冷数据节点)大于等于3时,才支持滚动重启。 滚动重启只支持根据“节点类型”进行重启。选择节点类型滚动重启时,所选类型的节点会依次重启。 滚动重启过程中,只有正在重启的节点不可用,不在重启过程中的节点可以正常提供服务。 当数据量比较大时,滚动重启耗时较长。
共100000条