华为云用户手册

  • 设置副本 设置副本能有效的利用AZ的高可用能力。 在跨两个可用区的部署中,当其中一个AZ不可用时,剩下的AZ需要继续提供服务,因此索引的副本个数至少为1个。由于Elasticsearch默认副本数为1个,因此如果您对读性能没有特殊要求,可以直接使用默认值。 在跨三个可用区部署中,为了保证其中任意一个AZ不可用时,剩余的AZ需要继续提供服务,因此索引的副本数至少要为1个。为了提高集群的查询能力,也可以设置更多的副本。由于Elasticsearch默认的副本数为1个,因此需要用户修改setting配置来实现修改索引副本个数。 可以通过如下命令修改索引的副本个数,如: curl -XPUT http://ip:9200/{index_name}/_settings -d '{"number_of_replicas":2}' 也可以通过在模板中指定所有索引的副本个数,如: curl -XPUT http://ip:9200/ _template/templatename -d '{ "template": "*", "settings": {"number_of_replicas": 2}}' ip:内网访问地址。 index_name:索引名称。 number_of_replicas:修改后的索引副本个数。命令中的取值表示修改为2个索引副本。
  • 约束限制 扩容操作不支持修改“节点规格”。修改“节点规格”请执行变更规格操作。 扩容什么节点类型的“节点数量”和“节点存储容量”,扩容完成后只生效该节点类型的“节点数量”和“节点存储容量”,其他节点类型的“节点数量”和“节点存储容量”保持不变。 包周期集群不支持同时扩容“节点数量”和“节点存储容量”。 当集群包含的节点类型不同时,扩容的节点数量区间会有区别,具体情况请参考表1。 表1 不同节点类型的节点数量说明 集群包含的节点类型 节点数量的取值范围 ess ess:1~32 ess、ess-master ess:1~200 ess-master:3~9的奇数 ess、ess-client ess:1~32 ess-client:1~32 ess、ess-cold ess:1~32 ess-cold:1~32 ess、ess-master、ess-client ess:1~200 ess-master:3~9的奇数 ess-client:1~32 ess、ess-master、ess-cold ess:1~200 ess-master:3~9的奇数 ess-cold:1~32 ess、ess-client、ess-cold ess:1~32 ess-client:1~32 ess-cold:1~32 ess、ess-master、ess-client、ess-cold ess:1~200 ess-master:3~9的奇数 ess-client:1~32 ess-cold:1~32 四种节点类型的说明: ess:默认节点类型,即创建集群时必选的数据节点类型,其他3种节点类型都是基于业务需要可选的类型。 ess-master:Master节点 ess-client:Client节点 ess-cold:冷数据节点
  • 背景信息 自定义词库使用的分词器包括IK分词器和同义词分词器。 IK分词器配备主词词库和停词词库;同义词分词器配备同义词词库。配置自定义词库需要提前准备词库文件并上传至OBS,详情请见上传词库文件至OBS。 其中,IK分词器包含ik_max_word和ik_smart分词策略。同义词分词器使用的是ik_synonym分词策略。 ik_max_word:会将文本做最细粒度的拆分,比如会将“昨夜西风吹折千林梢”拆分为“昨夜西风,昨夜,西风,吹折千林梢,吹折,千林梢,千,林,折千林,千林,吹”,会穷尽各种可能的分词组合。 ik_smart:会做最粗粒度的拆分,比如会将“昨夜西风吹折千林梢”拆分为“昨夜西风,吹折千林梢”。
  • 上传词库文件至OBS 配置自定义词库需要提前将词库上传至OBS桶。 按表1要求准备词库文件。 表1 词库说明 词库类型 概述 文件要求 主词词库 主词为用户希望进行分词的特殊词语,如上文场景中的“智能手机”和“喜大普奔”。主词库则是这些特殊词语的集合。 UTF-8无BOM格式编码的文本文件,且文件中每一行为一个分词。如果涉及单词,必须改成小写字母。主词库文件最大支持100M。 停词词库 停词为用户不希望进行分词或者关注的词语,如“的”、“什么”、“怎么”等。停词词库是停词词语的集合。 UTF-8无BOM格式编码的文本文件,且文件中每一行为一个分词。停词词库文件最大支持80M。 同义词词库 同义词为意义相同的一组词语,如“开心”和“高兴”。同义词词库是同义词词语的集合。 UTF-8无BOM格式编码的文本文件,且文件中每一行为一组同义词,同义词之间用英文逗号隔开。同义词词库文件最大支持80MB。 上传词库文件至OBS桶,详细操作步骤请参见上传文件。上传的OBS桶必须和集群所在“区域”相同。
  • 配置自定义词库 在云搜索服务管理控制台,在左侧菜单栏选择对应的集群类型,进入集群管理页面。 在“集群管理”页面,单击需要配置自定义词库的集群名称,进入集群基本信息页面。 选择“自定义词库”。 在“自定义词库”页面,您可以单击开关来开启或关闭自定义词库功能。 OBS桶:主词库、停词词库和同义词词库文件存储的OBS桶位置。如果当前没有可用OBS桶,您可以单击“创建桶”进行创建,并将词库导入OBS桶中,详细操作步骤请参见创建桶。创建的OBS桶必须和集群所在“区域”相同。 主词词库对象:主词词库文件必须是UTF-8无BOM格式编码的文本文件,且文件中每一行为一个分词。如果涉及单词,必须改成小写字母。主词库文件最大支持100M。 停词词库对象:停词词库文件必须是UTF-8无BOM格式编码的文本文件,且文件中每一行为一个分词。停词词库文件最大支持80M。 同义词词库对象:同义词词库文件必须是UTF-8无BOM格式编码的文本文件,且文件中每一行为一组同义词,同义词之间用英文逗号隔开。同义词词库文件最大支持80MB。 图1 配置自定义词库 单击“保存”,在“确认”对话框中,单击“确定”。词库信息在下方呈现,此时词库状态为“更新中”。请耐心等待1分钟左右,当词库配置完成后,词库状态变更为“成功”,此时,配置的词库信息已在此集群中生效。
  • 约束限制 变更规格操作不支持修改“节点数量”和“节点存储容量”。增加“节点数量”和“节点存储容量”请执行扩容操作。减少“节点数量”请执行缩容操作。 如果将大规格更改为小规格,集群的处理性能将会降低,将会影响业务能力,请谨慎操作。 当集群包含多种节点类型时,一次只支持变更一种类型的节点规格,且变更完成后只生效所选类型的节点规格。 变更规格过程中,Kibana不可用。 变更规格过程中,会依次对节点进行关机,完成更改后依次开机。是一个滚动的变更过程。
  • 前提条件 集群处于“可用”状态,且无正在进行的任务。 有足够的配额支持集群变更规格。 变更规格时,为了不中断业务,请确认业务数据都有副本。 在Kibana中执行命令GET _cat/indices?v,如果回显的“rep”值大于“0”,则表示有副本;如果“rep”值等于“0”,则表示没有副本,请先为集群手动创建快照再变更规格。 如果数据量比较大的情况下,更改节点规格耗时会比较长,因此,建议在业务低峰期更改节点规格,利于更快完成规格更改。
  • 授权 在kibana使用界面您可以在Security菜单中控制用户在ES集群中的权限,并且可以针对集群、索引、文档和字段四个级别进行分层权限设置。详细操作请参见使用Kibana创建用户并授权。 您可以增删用户,并将用户映射到角色类型设置权限。 图1 用户设置 可以使用角色映射配置角色成员,可使用用户名、后端角色和主机名将用户分配给角色。 图2 角色映射 可以设置每种角色的集群访问权限、索引和文档访问权限以及kibana租户。 图3 角色权限设置 可以设置操作组,并将操作组分配给角色配置角色对索引和文档类型的访问权限。 图4 操作组设置 可以查询集群当前设置的身份验证及授权模块的参数。使用securityadmin命令行可修改相关配置。 图5 集群参数查看 最后,安全模块还为您提供了清除所有安全缓存的功能。 图6 安全缓存清除
  • 通过标签搜索集群 登录云搜索服务管理控制台。 在集群管理页面,单击集群列表右上角的“标签搜索”。 选择或输入需要搜索的标签键和标签值,单击“添加”将标签加入搜索输入框中。 标签键和标签值仅支持从下拉列表中选择,当标签键和标签值全匹配时,系统可以自动查询到目标集群。当有多个标签条件时,会取各个标签的交集,进行集群查询。 系统最多支持10个不同标签的组合搜索。 单击“搜索”。 系统根据标签键和标签值搜索目标集群。
  • 新建集群的标签管理 登录云搜索服务管理控制台。 单击右上角的“创建集群”,进入创建集群页面。 在创建集群页面,“高级配置”选择“自定义”后,为集群添加标签。 您可以选择预定义标签,并为此标签设置“标签值”。您可以单击“查看预定义标签”,进入“标签管理服务”,了解此用户下已有的标签。 您也可以自定义“标签键”和“标签值”。 图1 创建集群时添加标签 云搜索服务的每个集群最多可以设置10个标签。当设置不正确时,可单击标签右侧的“删除”按钮,删除此标签。当不设置标签时,可保持为空。 表1 标签命名规则 参数 说明 标签键 对于同一个集群,标签键值唯一。 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符_ . : = + - @。不能以空格开头和结尾。 不能为空。 标签值 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符_ . : = + - @/。不能以空格开头和结尾。 不能为空。
  • 已有集群的标签管理 您可以对已经创建的集群的标签进行修改,删除,也可以添加标签。 登录云搜索服务管理控制台。 在集群管理页面,单击待管理标签的集群名称。 系统跳转至该集群“基本信息”页面。 左侧菜单栏选择“标签”,在此可以对集群标签进行添加,修改,删除操作。 查看 在“标签”页,可以查看当前集群的标签详情,包括标签个数,以及每个标签的键和值。 添加 单击左上角的“添加标签”,在弹出的“添加标签”窗口,输入新添加标签的键和值,并单击“确定”。 修改 只能修改已有标签的标签值。 单击标签所在行“操作”列下的“编辑”,在弹出的“编辑标签”窗口,输入修改后标签值,并单击“确定”。 删除 单击标签所在行“操作”列下的“删除”,如果确认删除,在弹出的“删除标签”窗口,单击“确定”。
  • 创建集群时开启终端节点服务 登录云搜索服务管理控制台。 在右上方单击“创建集群”。 在创建集群页面,“高级配置”选择“自定义”后,开启终端节点服务。 图1 开启终端节点服务 “创建内网域名”:如果开启,系统将会自动为用户创建一个内网域名,可以通过内网域名访问集群。 “终端节点服务白名单”:您可以在“终端节点服务白名单”中添加需要授权的账号ID,只要其账号ID被添加到终端节点服务白名单中,就可以通过内网域名或者节点IP访问集群。 单击“添加”可以添加多个账号。 单击“操作”列的“删除”,可以删除不允许访问的账号。 授权账号ID配置成*,则表示允许全部用户访问该集群。 需要授权的账号ID可在“我的凭证”中进行查看。 集群开启终端节点服务之后,终端节点将按需进行收费,终端节点的费用将由用户进行支付,详细的计费方式请参考终端节点计费说明。
  • 通过内网域名或节点IP访问集群 获取内网域名或者节点IP。 登录云搜索服务控制台,进入集群列表,单击集群名称,进入集群“基本信息”页面,选择“终端节点服务”,查看内网域名。 图3 查看节点IP和内网域名信息 在弹性云服务器中,直接通过curl执行API或者开发程序调用API并执行程序即可使用集群。Elasticsearch操作和接口请参见《Elasticsearch:权威指南》。 弹性云服务器需要满足如下要求: 为弹性云服务分配足够的磁盘空间。 此弹性云服务器的VPC需要与集群在同一个VPC中,开通终端节点服务后,可以实现跨VPC访问。 此弹性云服务器的安全组需要和集群的安全组相同。 如果不同,请修改弹性云服务器安全组或配置弹性云服务器安全组的出入规则允许集群所有安全组的访问。修改操作请参见配置安全组规则。 待接入的CSS集群,其安全组的出方向和入方向需允许TCP协议及9200端口,或者允许端口范围包含9200端口。 例如,使用curl执行如下命令,查看集群中的索引信息,集群中的内网访问地址为“vpcep-7439f7f6-2c66-47d4-b5f3-790db4204b8d.region01.huaweicloud.com”,端口为“9200”。 如果接入集群未启用安全模式,接入方式为: curl 'http://vpcep-7439f7f6-2c66-47d4-b5f3-790db4204b8d.region01.huaweicloud.com:9200/_cat/indices' 如果接入集群已启用安全模式,则需要使用https方式访问,并附加用户名和密码,在curl命令中添加-u选项。 curl -u username:password -k 'https://vpcep-7439f7f6-2c66-47d4-b5f3-790db4204b8d.region01.huaweicloud.com:9200/_cat/indices'
  • 修改企业项目 针对之前已创建的集群,其绑定的企业项目可根据实际情况进行修改。 登录在云搜索服务管理控制台, 在左侧导航栏,选择对应的集群类型,进入集群管理页面。 在集群列表中,单击集群名称进入集群“基本信息”页面。 在集群“基本信息”页面,单击“企业项目”右侧的企业项目名称,进入项目管理页面。 图1 进入企业项目管理页面 在“资源”页签下,“区域”选项中选择当前集群所在的区域,“服务”选项中选“云搜索服务 CSS”。此时,资源列表将筛选出对应的CSS集群。 图2 筛选CSS集群 勾选需要修改企业项目的集群,然后单击“迁出”。 在“迁出资源”页面,选择“迁出方式”,再选择“请选择要迁入的企业项目”,然后单击“确定”。 迁出完成后,可以在云搜索服务管理控制台集群管理页面,查看修改后的集群企业项目信息。
  • 背景信息 CSS服务支持创建多种安全模式的集群,不同安全模式的差异请参见表1。 表1 集群安全模式对比 集群安全模式 适用场景 优点 缺点 非安全模式 适合内网业务,用于测试场景。 简单,接入集群容易。 安全性差,谁都可以访问集群。 安全模式+HTTP协议 可以实现用户权限隔离,适用于对集群性能敏感的场景。 访问集群需要安全认证,提升了集群安全性,且通过HTTP协议访问集群能保留集群的高性能。 无法公网访问集群。 安全模式+HTTPS协议 有非常高的安全要求,且需要公网访问集群的场景。 访问集群需要安全认证,提升了集群安全性,且HTTPS协议的通讯加密可以实现集群公网访问功能。 通过HTTPS协议访问集群,集群性能相对HTTP协议来说,会下降20%左右。
  • 性能说明 通过Elasticsearch官方提供的benchmark脚本rally1.0.0,对云搜索服务的集群(版本:7.6.2) 进行性能测试。 本次测试采用官方提供的geonames,大小3.2G,11396505个doc。索引采用6个shard(默认为5个)。性能指标说明可以参考官方文档https://esrally.readthedocs.io/en/stable/summary_report.html#summary-report。 节点规格为ess.spec-4u16g、节点数为3的集群性能测试结果如下。 Metric Task Value Unit Cumulative indexing time of primary shards - 11.95073333 min Min cumulative indexing time across primary shards - 0 min Median cumulative indexing time across primary shards - 2.339941667 min Max cumulative indexing time across primary shards - 2.470116667 min Cumulative indexing throttle time of primary shards - 0 min Min cumulative indexing throttle time across primary shards - 0 min Median cumulative indexing throttle time across primary shards - 0 min Max cumulative indexing throttle time across primary shards - 0 min Cumulative merge time of primary shards - 4.21495 min Cumulative merge count of primary shards - 65 - Min cumulative merge time across primary shards - 0 min Median cumulative merge time across primary shards - 0.813216667 min Max cumulative merge time across primary shards - 0.974483333 min Cumulative merge throttle time of primary shards - 0.83345 min Min cumulative merge throttle time across primary shards - 0 min Median cumulative merge throttle time across primary shards - 0.157775 min Max cumulative merge throttle time across primary shards - 0.24605 min Cumulative refresh time of primary shards - 2.164983333 min Cumulative refresh count of primary shards - 291 - Min cumulative refresh time across primary shards - 0 min Median cumulative refresh time across primary shards - 0.425391667 min Max cumulative refresh time across primary shards - 0.450516667 min Cumulative flush time of primary shards - 0.1559 min Cumulative flush count of primary shards - 11 - Min cumulative flush time across primary shards - 0 min Median cumulative flush time across primary shards - 0.0248 min Max cumulative flush time across primary shards - 0.043433333 min Total Young Gen GC - 6.421 s Total Old Gen GC - 0 s Store size - 3.124213032 GB Translog size - 2.790678718 GB Heap used for segments - 15.03110981 MB Heap used for doc values - 0.043689728 MB Heap used for terms - 13.85075188 MB Heap used for norms - 0.077697754 MB Heap used for points - 0.266856194 MB Heap used for stored fields - 0.792114258 MB Segment count - 99 - Min Throughput index-append 92446.94 docs/s Median Throughput index-append 92935.55 docs/s Max Throughput index-append 93217.68 docs/s 50th percentile latency index-append 176.7329985 ms 90th percentile latency index-append 285.5450693 ms 100th percentile latency index-append 333.228537 ms 50th percentile service time index-append 176.7329985 ms 90th percentile service time index-append 285.5450693 ms 100th percentile service time index-append 333.228537 ms error rate index-append 0 % Min Throughput index-stats 90.04 ops/s Median Throughput index-stats 90.06 ops/s Max Throughput index-stats 90.11 ops/s 50th percentile latency index-stats 3.6713165 ms 90th percentile latency index-stats 3.919960223 ms 99th percentile latency index-stats 4.500246093 ms 99.9th percentile latency index-stats 20.14171663 ms 100th percentile latency index-stats 21.36778278 ms 50th percentile service time index-stats 3.604376499 ms 90th percentile service time index-stats 3.8517339 ms 99th percentile service time index-stats 4.36148177 ms 99.9th percentile service time index-stats 20.0748024 ms 100th percentile service time index-stats 21.300971 ms error rate index-stats 0 % Min Throughput node-stats 90.05 ops/s Median Throughput node-stats 90.09 ops/s Max Throughput node-stats 90.32 ops/s 50th percentile latency node-stats 4.056046 ms 90th percentile latency node-stats 4.256959922 ms 99th percentile latency node-stats 7.993649534 ms 99.9th percentile latency node-stats 15.0162469 ms 100th percentile latency node-stats 18.79192022 ms 50th percentile service time node-stats 3.989104 ms 90th percentile service time node-stats 4.1902188 ms 99th percentile service time node-stats 7.39785926 ms 99.9th percentile service time node-stats 14.95028028 ms 100th percentile service time node-stats 15.226284 ms error rate node-stats 0 % Min Throughput default 50.03 ops/s Median Throughput default 50.04 ops/s Max Throughput default 50.09 ops/s 50th percentile latency default 2.890284501 ms 90th percentile latency default 3.054330301 ms 99th percentile latency default 3.41013575 ms 99.9th percentile latency default 4.536945459 ms 100th percentile latency default 5.063877001 ms 50th percentile service time default 2.82345 ms 90th percentile service time default 2.987489999 ms 99th percentile service time default 3.34539951 ms 99.9th percentile service time default 4.466092296 ms 100th percentile service time default 4.996857 ms error rate default 0 % Min Throughput term 150.06 ops/s Median Throughput term 150.09 ops/s Max Throughput term 150.14 ops/s 50th percentile latency term 2.822069666 ms 90th percentile latency term 2.927460233 ms 99th percentile latency term 3.585279107 ms 99.9th percentile latency term 9.586351776 ms 100th percentile latency term 13.36534567 ms 50th percentile service time term 2.755832 ms 90th percentile service time term 2.8613018 ms 99th percentile service time term 3.4037467 ms 99.9th percentile service time term 4.571924473 ms 100th percentile service time term 13.301659 ms error rate term 0 % Min Throughput phrase 149.99 ops/s Median Throughput phrase 150.07 ops/s Max Throughput phrase 150.13 ops/s 50th percentile latency phrase 3.207932333 ms 90th percentile latency phrase 3.514073 ms 99th percentile latency phrase 26.65015757 ms 99.9th percentile latency phrase 38.92041855 ms 100th percentile latency phrase 40.044182 ms 50th percentile service time phrase 3.1409695 ms 90th percentile service time phrase 3.3666699 ms 99th percentile service time phrase 9.39342965 ms 99.9th percentile service time phrase 18.80974216 ms 100th percentile service time phrase 21.417291 ms error rate phrase 0 % Min Throughput country_agg_uncached 4.01 ops/s Median Throughput country_agg_uncached 4.01 ops/s Max Throughput country_agg_uncached 4.01 ops/s 50th percentile latency country_agg_uncached 153.726532 ms 90th percentile latency country_agg_uncached 156.0977097 ms 99th percentile latency country_agg_uncached 167.696362 ms 100th percentile latency country_agg_uncached 198.43754 ms 50th percentile service time country_agg_uncached 153.606521 ms 90th percentile service time country_agg_uncached 155.9869715 ms 99th percentile service time country_agg_uncached 167.5793267 ms 100th percentile service time country_agg_uncached 198.325432 ms error rate country_agg_uncached 0 % Min Throughput country_agg_cached 100.04 ops/s Median Throughput country_agg_cached 100.05 ops/s Max Throughput country_agg_cached 100.07 ops/s 50th percentile latency country_agg_cached 2.7020445 ms 90th percentile latency country_agg_cached 2.783604899 ms 99th percentile latency country_agg_cached 3.03382523 ms 99.9th percentile latency country_agg_cached 3.635769276 ms 100th percentile latency country_agg_cached 4.106574 ms 50th percentile service time country_agg_cached 2.6356045 ms 90th percentile service time country_agg_cached 2.717349899 ms 99th percentile service time country_agg_cached 2.93948264 ms 99.9th percentile service time country_agg_cached 3.567144201 ms 100th percentile service time country_agg_cached 4.039871999 ms error rate country_agg_cached 0 % Min Throughput scroll 20.04 pages/s Median Throughput scroll 20.05 pages/s Max Throughput scroll 20.07 pages/s 50th percentile latency scroll 421.9468245 ms 90th percentile latency scroll 433.3017323 ms 99th percentile latency scroll 450.0724775 ms 100th percentile latency scroll 505.502723 ms 50th percentile service time scroll 421.0948965 ms 90th percentile service time scroll 432.4389587 ms 99th percentile service time scroll 449.2045264 ms 100th percentile service time scroll 504.653479 ms error rate scroll 0 % Min Throughput expression 2 ops/s Median Throughput expression 2 ops/s Max Throughput expression 2 ops/s 50th percentile latency expression 270.920167 ms 90th percentile latency expression 277.4334041 ms 99th percentile latency expression 286.5631326 ms 100th percentile latency expression 293.09254 ms 50th percentile service time expression 270.662187 ms 90th percentile service time expression 277.1779957 ms 99th percentile service time expression 286.3073191 ms 100th percentile service time expression 292.826178 ms error rate expression 0 % Min Throughput painless_static 1.5 ops/s Median Throughput painless_static 1.5 ops/s Max Throughput painless_static 1.5 ops/s 50th percentile latency painless_static 360.9218617 ms 90th percentile latency painless_static 368.2584616 ms 99th percentile latency painless_static 382.3877013 ms 100th percentile latency painless_static 425.989704 ms 50th percentile service time painless_static 360.5910995 ms 90th percentile service time painless_static 367.9205895 ms 99th percentile service time painless_static 382.0613883 ms 100th percentile service time painless_static 425.659728 ms error rate painless_static 0 % Min Throughput painless_dynamic 1.5 ops/s Median Throughput painless_dynamic 1.5 ops/s Max Throughput painless_dynamic 1.5 ops/s 50th percentile latency painless_dynamic 354.4270103 ms 90th percentile latency painless_dynamic 362.9108269 ms 99th percentile latency painless_dynamic 409.7732626 ms 100th percentile latency painless_dynamic 410.1049017 ms 50th percentile service time painless_dynamic 354.0901565 ms 90th percentile service time painless_dynamic 362.5730453 ms 99th percentile service time painless_dynamic 409.4442952 ms 100th percentile service time painless_dynamic 409.777646 ms error rate painless_dynamic 0 % Min Throughput decay_geo_gauss_function_score 1 ops/s Median Throughput decay_geo_gauss_function_score 1 ops/s Max Throughput decay_geo_gauss_function_score 1 ops/s 50th percentile latency decay_geo_gauss_function_score 354.387216 ms 90th percentile latency decay_geo_gauss_function_score 358.9124798 ms 99th percentile latency decay_geo_gauss_function_score 363.9485787 ms 100th percentile latency decay_geo_gauss_function_score 371.780245 ms 50th percentile service time decay_geo_gauss_function_score 353.7158425 ms 90th percentile service time decay_geo_gauss_function_score 358.2845019 ms 99th percentile service time decay_geo_gauss_function_score 363.275623 ms 100th percentile service time decay_geo_gauss_function_score 371.114045 ms error rate decay_geo_gauss_function_score 0 % Min Throughput decay_geo_gauss_script_score 1 ops/s Median Throughput decay_geo_gauss_script_score 1 ops/s Max Throughput decay_geo_gauss_script_score 1 ops/s 50th percentile latency decay_geo_gauss_script_score 379.4620745 ms 90th percentile latency decay_geo_gauss_script_score 383.2876548 ms 99th percentile latency decay_geo_gauss_script_score 389.7544834 ms 100th percentile latency decay_geo_gauss_script_score 395.75293 ms 50th percentile service time decay_geo_gauss_script_score 378.8137045 ms 90th percentile service time decay_geo_gauss_script_score 382.6389076 ms 99th percentile service time decay_geo_gauss_script_score 389.1097136 ms 100th percentile service time decay_geo_gauss_script_score 395.100654 ms error rate decay_geo_gauss_script_score 0 % Min Throughput field_value_function_score 1.5 ops/s Median Throughput field_value_function_score 1.5 ops/s Max Throughput field_value_function_score 1.51 ops/s 50th percentile latency field_value_function_score 142.4418055 ms 90th percentile latency field_value_function_score 146.0292471 ms 99th percentile latency field_value_function_score 149.4448299 ms 100th percentile latency field_value_function_score 154.4188467 ms 50th percentile service time field_value_function_score 141.8792295 ms 90th percentile service time field_value_function_score 145.4722711 ms 99th percentile service time field_value_function_score 148.8731825 ms 100th percentile service time field_value_function_score 153.87006 ms error rate field_value_function_score 0 % Min Throughput field_value_script_score 1.5 ops/s Median Throughput field_value_script_score 1.5 ops/s Max Throughput field_value_script_score 1.51 ops/s 50th percentile latency field_value_script_score 200.310233 ms 90th percentile latency field_value_script_score 206.2690364 ms 99th percentile latency field_value_script_score 216.7453505 ms 100th percentile latency field_value_script_score 252.6694313 ms 50th percentile service time field_value_script_score 199.886616 ms 90th percentile service time field_value_script_score 205.7897592 ms 99th percentile service time field_value_script_score 216.2602712 ms 100th percentile service time field_value_script_score 252.180659 ms error rate field_value_script_score 0 % Min Throughput random_function_score 1.5 ops/s Median Throughput random_function_score 1.5 ops/s Max Throughput random_function_score 1.5 ops/s 50th percentile latency random_function_score 242.6018717 ms 90th percentile latency random_function_score 251.1366288 ms 99th percentile latency random_function_score 290.9842466 ms 100th percentile latency random_function_score 307.5584597 ms 50th percentile service time random_function_score 242.149128 ms 90th percentile service time random_function_score 250.6830153 ms 99th percentile service time random_function_score 290.5378949 ms 100th percentile service time random_function_score 307.111375 ms error rate random_function_score 0 % Min Throughput random_script_score 1.5 ops/s Median Throughput random_script_score 1.5 ops/s Max Throughput random_script_score 1.5 ops/s 50th percentile latency random_script_score 258.3288777 ms 90th percentile latency random_script_score 262.5996219 ms 99th percentile latency random_script_score 276.7350459 ms 100th percentile latency random_script_score 278.8234443 ms 50th percentile service time random_script_score 257.8902625 ms 90th percentile service time random_script_score 262.1680452 ms 99th percentile service time random_script_score 276.3056912 ms 100th percentile service time random_script_score 278.384714 ms error rate random_script_score 0 % Min Throughput large_terms 1.5 ops/s Median Throughput large_terms 1.5 ops/s Max Throughput large_terms 1.5 ops/s 50th percentile latency large_terms 429.023917 ms 90th percentile latency large_terms 438.5573247 ms 99th percentile latency large_terms 468.2661402 ms 100th percentile latency large_terms 494.4412297 ms 50th percentile service time large_terms 428.772941 ms 90th percentile service time large_terms 438.29435 ms 99th percentile service time large_terms 468.0068679 ms 100th percentile service time large_terms 494.168992 ms error rate large_terms 0 % Min Throughput large_filtered_terms 1.5 ops/s Median Throughput large_filtered_terms 1.5 ops/s Max Throughput large_filtered_terms 1.5 ops/s 50th percentile latency large_filtered_terms 433.0397738 ms 90th percentile latency large_filtered_terms 443.241508 ms 99th percentile latency large_filtered_terms 460.8045067 ms 100th percentile latency large_filtered_terms 486.396965 ms 50th percentile service time large_filtered_terms 432.7802525 ms 90th percentile service time large_filtered_terms 442.9739873 ms 99th percentile service time large_filtered_terms 460.7444745 ms 100th percentile service time large_filtered_terms 486.145846 ms error rate large_filtered_terms 0 % Min Throughput large_prohibited_terms 1.5 ops/s Median Throughput large_prohibited_terms 1.5 ops/s Max Throughput large_prohibited_terms 1.5 ops/s 50th percentile latency large_prohibited_terms 430.1467708 ms 90th percentile latency large_prohibited_terms 436.8730103 ms 99th percentile latency large_prohibited_terms 484.5697929 ms 100th percentile latency large_prohibited_terms 492.75088 ms 50th percentile service time large_prohibited_terms 429.8833325 ms 90th percentile service time large_prohibited_terms 436.6196592 ms 99th percentile service time large_prohibited_terms 484.3087876 ms 100th percentile service time large_prohibited_terms 492.492977 ms error rate large_prohibited_terms 0 % Min Throughput desc_sort_population 1.5 ops/s Median Throughput desc_sort_population 1.51 ops/s Max Throughput desc_sort_population 1.51 ops/s 50th percentile latency desc_sort_population 45.9402765 ms 90th percentile latency desc_sort_population 49.01190953 ms 99th percentile latency desc_sort_population 58.5120831 ms 100th percentile latency desc_sort_population 60.027354 ms 50th percentile service time desc_sort_population 45.2962825 ms 90th percentile service time desc_sort_population 48.3757462 ms 99th percentile service time desc_sort_population 57.86711494 ms 100th percentile service time desc_sort_population 59.377354 ms error rate desc_sort_population 0 % Min Throughput asc_sort_population 1.5 ops/s Median Throughput asc_sort_population 1.51 ops/s Max Throughput asc_sort_population 1.51 ops/s 50th percentile latency asc_sort_population 46.02105783 ms 90th percentile latency asc_sort_population 48.79212977 ms 99th percentile latency asc_sort_population 55.94577758 ms 100th percentile latency asc_sort_population 72.898199 ms 50th percentile service time asc_sort_population 45.37886 ms 90th percentile service time asc_sort_population 48.1426418 ms 99th percentile service time asc_sort_population 55.30153109 ms 100th percentile service time asc_sort_population 72.260339 ms error rate asc_sort_population 0 % Min Throughput desc_sort_geonameid 1.5 ops/s Median Throughput desc_sort_geonameid 1.51 ops/s Max Throughput desc_sort_geonameid 1.51 ops/s 50th percentile latency desc_sort_geonameid 52.22274167 ms 90th percentile latency desc_sort_geonameid 69.4325779 ms 99th percentile latency desc_sort_geonameid 79.57920996 ms 100th percentile latency desc_sort_geonameid 80.11872267 ms 50th percentile service time desc_sort_geonameid 51.6055115 ms 90th percentile service time desc_sort_geonameid 68.801679 ms 99th percentile service time desc_sort_geonameid 79.41158055 ms 100th percentile service time desc_sort_geonameid 79.465491 ms error rate desc_sort_geonameid 0 % Min Throughput asc_sort_geonameid 1.5 ops/s Median Throughput asc_sort_geonameid 1.51 ops/s Max Throughput asc_sort_geonameid 1.51 ops/s 50th percentile latency asc_sort_geonameid 51.35154333 ms 90th percentile latency asc_sort_geonameid 52.2966503 ms 99th percentile latency asc_sort_geonameid 55.33079961 ms 100th percentile latency asc_sort_geonameid 55.520544 ms 50th percentile service time asc_sort_geonameid 50.7138335 ms 90th percentile service time asc_sort_geonameid 51.6588923 ms 99th percentile service time asc_sort_geonameid 54.68967127 ms 100th percentile service time asc_sort_geonameid 54.874135 ms error rate asc_sort_geonameid 0 %
  • 产品规格 当您在云搜索服务创建集群时,系统将为您提供多种规格以满足您按需选择的要求。具体规格说明和适用场景请见表1。 表1 节点规格 CPU架构 节点规格类型 CPU内存比 适合场景 X86计算 计算密集型 1:2 CPU较强,适合高计算、要求低时延的搜索场景,比如电商,APP搜索,配合超高IO的磁盘。成本较高,相对于NVMe的本地盘集群可靠性强。 磁盘增强型 1:8 磁盘较大,本地SAS直通盘。适合存储大量数据的日志、舆情场景等场景。一般冷节点优选这种规格。 通用计算型 1:4 默认规格,使用较频繁,各种场景都能使用,如果没有特别要求,可选择该规格。 内存优化型 1:8 内存较大,优势较明显,在内存使用量较多并且对时延没有太大要求的场景可优先选择该规格,比如多聚合(filedata堆内)、排序、列式存储格式DocValue(系统堆外内存)等场景。 超高IO型 1:8 NVMe接口的本地SSD盘,相比磁盘增强型,数据盘较小。适合对时延要求高,写入压力大的场景,比如电商、APP搜索,性能比SSD云盘更好。存在本地盘有崩溃的风险,需要开启副本。 鲲鹏计算 鲲鹏通用计算型 1:2 和1:4 同上X86计算型场景,相比于X86计算型,ARM性价比较高。 鲲鹏超高IO型 1:4 性价比高,NVMe SSD本地盘,价格比超高IO型便宜,并且没有太大的内存浪费。适合低时延、写入高的场景,存在本地盘有崩溃的风险,需要开启副本。
  • 数据库查询加速 云搜索服务可用于加速数据库查询。在电商、物流企业等有订单查询的业务场景,存在数据量大、查询并发高、吞吐大、查询延迟低的要求,关系型数据库具备较好的事务性与原子性,但其TP与AP处理能力较弱,通过将CSS作为备数据库,可提升整个系统的TP与AP处理能力。 高性能:支持文本、时间、数字、空间等数据类型;亿级数据查询毫秒级响应。 高可扩展性:支持200+数据节点,支持1000+个数据字段。 业务“0”中断:规格变更、配置更新采用滚动重启,双副本场景下业务0中断。 图3 数据库查询加速场景
  • 全场景日志分析 云搜索服务可用于全场景日志分析,包括ELB日志、服务器日志、容器和应用日志。其中Kafka作为消息缓冲队列,用于削峰填谷,Logstash负责数据ETL,Elasticsearch负责数据检索与分析,最后由Kibana以可视化的方式呈现给用户。 性价比高:采用鲲鹏算力、冷热分离、存算分离,成本同比降低30%+。 易用性好:支持丰富的可视化查询语句与拖拽式报表。 强大的处理能力:支持每天百TB级数量入库,提供PB级以上数据处理能力。 图2 全场景日志分析场景
  • CSS权限 默认情况下,CSS服务管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 CSS是项目级服务,部署时通过物理区域划分,需要在各区域(如华北-北京1)对应的项目(cn-north-1)中设置策略,并且该策略仅对此项目生效,如果需要所有区域都生效,则需要在所有项目都设置策略。访问CSS时,需要先切换至授权区域。 根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:CSS服务管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分,CSS服务支持的API授权项请参见权限策略和授权项。 如表1所示,包括了CSS的所有系统权限。 对于CSS Administrator,由于各服务之间存在业务交互关系,CSS的角色依赖其他服务的角色实现功能。因此给用户授予CSS的角色时,需要同时授予依赖的角色,CSS的权限才能生效。 对于CSS FullAccess和CSS ReadOnlyAccess,可使用这些策略来控制对云服务资源的访问范围。例如,您的员工中有负责软件开发的人员,您希望这类员工拥有CSS的使用权限,但是不希望这类员工拥有删除CSS等高危操作的权限,那么您可以使用IAM为开发人员创建IAM用户,通过授予仅能使用CSS但不允许删除CSS的权限,控制员工对CSS资源的使用范围。 表1 CSS系统权限 系统角色/策略名称 类别 权限描述 依赖关系 CSS Administrator 系统角色 CSS服务的所有执行权限。 该角色有依赖,需要在同项目中勾选依赖的Tenant Guest、Server Administrator和IAM ReadOnlyAccess角色。 终端节点访问集群操作需要依赖VPCEndpoint Administrator系统角色。 部分操作依赖如下授权项: 查看委托列表 iam:agencies:listAgencies iam:permissions:listRolesForAgency iam:permissions:listRolesForAgencyOnProject 自动创建委托 iam:agencies:listAgencies iam:agencies:createAgency iam:permissions:grantRoleToAgency 控制台显示企业项目和预定义标签 eps:enterpriseProjects:list tms:predefineTags:list 快照、词库、日志管理功能使用 obs:bucket:Get* obs:bucket:List* obs:object:List* obs:object:Get* obs:bucket:HeadBucket obs:object:PutObject obs:object:DeleteObject 包年/包月订单创建及支付 bss:order:update bss:order:pay 更多与订单相关操作所需要的授权项请见费用中心细粒度策略。 CSS FullAccess 系统策略 基于策略授权的CSS服务的所有权限,拥有该权限的用户可以完成基于策略授权的CSS服务的所有执行权限。 该策略部分权限有依赖,如果要使用对应的功能,需要在同项目中勾选依赖的权限。 CSS ReadOnlyAccess 系统策略 CSS服务的只读权限,拥有该权限的用户仅能查看CSS服务数据。 该策略部分权限有依赖,如果要使用对应的功能,需要在全局服务中勾选依赖的权限。 部分操作依赖如下授权项: 查看委托列表 iam:agencies:listAgencies iam:permissions:listRolesForAgency iam:permissions:listRolesForAgencyOnProject 控制台显示企业项目和预定义标签 eps:enterpriseProjects:list tms:predefineTags:list 快照、词库、日志管理功能使用 obs:bucket:Get* obs:bucket:List* obs:object:List* obs:object:Get* obs:bucket:HeadBucket 如表2所示列出了CSS常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。 表2 常用操作与系统权限的关系 操作 CSS FullAccess CSS ReadOnlyAccess CSS Administrator 备注 创建集群 √ x √ - 查询集群列表 √ √ √ - 查询集群详情 √ √ √ - 删除集群 √ x √ - 重启集群 √ x √ - 扩容集群 √ x √ - 扩容实例的数量和存储容量 √ x √ - 查询指定集群的标签 √ √ √ - 查询所有标签 √ √ √ - 加载自定义词库 √ x √ 依赖OBS和IAM权限 查询自定义词库状态 √ √ √ - 删除自定义词库 √ x √ - 自动设置集群快照的基础配置 √ x √ 依赖OBS和IAM权限 修改集群快照的基础配置 √ x √ 依赖OBS和IAM权限 设置自动创建快照策略 √ x √ - 查询集群的自动创建快照策略 √ √ √ - 手动创建快照 √ x √ - 查询快照列表 √ √ √ - 恢复快照 √ x √ - 删除快照 √ x √ - 停用快照功能 √ x √ - 更改规格 √ x √ - 缩容集群 √ x √ -
  • 产品功能 开源兼容 兼容开源Elasticsearch和OpenSearch软件原生接口,并支持Logstash、Beats、Kibana等周边生态。 接入多种数据源 无缝对接FTP/OBS/Hbase/Kafka等多种数据源,仅需简单配置,无需编程。 一键化操作 一键申请集群、一键扩容、一键重启,从小规模测试到大规模上线,所有主要操作都是一键可达。 灵活词库管理 支持自定义词库与拼音分词,支持词库热更新,无需重启,配置即生效。 自定义快照策略 支持用户触发以及定时触发的快照备份能力,支持恢复到本集群以及其他集群的能力,随时恢复误删数据或者迁移数据到新的搜索集群。
  • 访问方式 公有云提供了Web化的服务管理平台,即管理控制台和基于HTTPS请求的API(Application programming interface)管理方式。 API方式 如果用户需要将公有云平台上的云搜索服务集成到第三方系统,用于二次开发,请使用API方式访问云搜索服务,具体操作请参见《云搜索服务API参考》。 控制台方式 其他相关操作,请使用管理控制台方式访问云搜索服务。如果用户已注册公有云,可直接登录管理控制台,在服务列表搜索“云搜索服务”。如果未注册,请单击右上方“注册”,根据界面提示填写用户基本信息,然后单击“同意协议并注册”完成管理控制台用户注册。
  • 什么是云搜索服务 云搜索服务(Cloud Search Service,简称CSS)是一个基于Elasticsearch、OpenSearch且完全托管的在线分布式搜索服务,为用户提供结构化、非结构化文本、以及基于AI向量的多条件检索、统计、报表。云搜索服务是华为云ELK生态的一系列软件集合,为您全方位提供托管的ELK生态云服务,兼容Elasticsearch、Logstash、Kibana、Cerebro等软件。 Elasticsearch和OpenSearch Elasticsearch、OpenSearch是开源搜索引擎,可以实现单机和集群部署,并提供托管的分布式搜索引擎服务。在ELK整个生态中,Elasticsearch集群支持结构化、非结构化文本的多条件检索、统计、报表。Elasticsearch搜索引擎相关内容的深入介绍可参见《Elasticsearch:权威指南》。OpenSearch搜索引擎相关内容的深入介绍可参见《OpenSearch Documentation》。 云搜索服务支持自动部署,快速创建Elasticsearch集群和OpenSearch集群,免运维,内置搜索调优实践;拥有完善的监控体系,提供一系列系统、集群以及查询性能等关键指标,让用户更专注于业务逻辑的实现。 Logstash Logstash是一个开源数据收集引擎,具有实时管道功能。在ELK整个生态中,Logstash承担着数据接入的重要功能,可以动态地将来自不同数据源的数据统一起来,进行标准化的转换,然后将数据发送到指定的位置。 云搜索服务支持快速创建Logstash集群,华为云Logstash是一款全托管的数据接入处理服务,100%兼容开源Logstash的能力。在生产系统中,数据往往以各种各样的形式,或分散或集中地存在于很多系统中。华为云Logstash的出现,能够很轻松的帮助您处理各种来源的数据并转储到华为云Elasticsearch云服务中,从而更加方便的发现其中的价值。同时您也可以单独使用Logstash云服务处理数据发送到其他的系统中。
  • Elasticsearch集群版本特性差异 表1 Elasticsearch集群版本特性 版本特性 5.x版本 6.x版本 7.x版本 多type支持情况 支持一个index里面包含多个type,每个type名称可以自定义。 支持一个index里面只能有一个type,type名称可以自定义。 支持一个index里面只能有一个type,type名称是固定的,_doc不能自定义。 客户端接入 支持TransportClient,可以同时使用tcp和http进行连接请求。 支持TransportClient,可以同时使用tcp和http进行连接请求。建议使用Java High Level REST Client。 只支持RestClient,只支持使用http进行连接请求。建议使用Java High Level REST Client。 Elasticsearch 5.x版本使用TransportClient接入Elasticsearch集群的样例: // 初始化客户端,连接9300端口 TransportClient client = new PreBuiltTransportClient(Settings.EMPTY) .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("host1"), 9300)) .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("host2"), 9300)); // 关闭客户端 client.close(); Elasticsearch 6.x版本、7.x版本中使用Java High Level REST Client接入集群的样例: // 初始化客户端,连接9200端口 RestHighLevelClient client = new RestHighLevelClient( RestClient.builder( new HttpHost("localhost", 9200, "http"), new HttpHost("localhost", 9201, "http"))); // 关闭客户端 client.close(); 模板配置 Elasticsearch 5.x版本中创建模板使用的是template字段。 Elasticsearch 5.x版本样例: PUT _template/template_1 { "template": "te*", "settings": { "number_of_shards": 1 } } Elasticsearch 6.x及以上版本开始使用index_pattern字段。 Elasticsearch 6.x及以上版本样例: PUT _template/template_1 { "index_patterns": ["te*"], "settings": { "number_of_shards": 1 } } boolean类型解析变化 Elasticsearch 5.x版本中如下值都可以被解析成boolean: true, false, on, off, yes, no, 0, 1。 Elasticsearch 6.x及以上版本只接受true/false,其他值会发生异常错误。 以下语句在Elasticsearch 5.x版本不会报错,在Elasticsearch 6.x/7.x版本会直接报错: GET data1/_search { "profile": "noprofile", "query": { "match_all": {} } } JSON格式校验 Elasticsearch 5.x中允许JSON中存在重复的key,后台会自动去掉。 Elasticsearch 6.x及以上版本不允许JSON存在重复的key,会直接报解析错误。 以下语句在Elasticsearch 5.x版本不会报错,在Elasticsearch 6.x/7.x版本中会报错: POST data1/doc { "isl": 0, "isl": 1 } DELETE文档变化 Elasticsearch 5.x中,执行 DELETE index1/doc/1,如果index1不存在,会将index1创建出来。 Elasticsearch 6.x及以上版本,如果执行删除文档的索引不存在,会报错索引不存在。 _alias API校验 Elasticsearch 5.x中,_alias API允许在index字段中指定为别名,能正常解析。 类似的,Elasticsearch 5.x版本中允许使用别名删除一个索引。 Elasticsearch 6.x版本中,_alias API中的index字段只能指定为索引名,不允许是别名。 Elasticsearch 6.x版本中不再允许,必须使用索引名进行删除。 如以下示例,在Elasticsearch 5.x版本中能正常工作,但是在Elasticsearch 6.x版本/7.x版本中会报错: PUT log-2023.11.11 POST _aliases { "actions": [ { "add": { "index": "log-2023.11.11", "alias": "log" } } ] } POST _aliases { "actions": [ { "remove": { "index": "log", "alias": "log" } } ] } 报错信息: { "error" : { "root_cause" : [ { "type" : "illegal_argument_exception", "reason" : "The provided expression [log] matches an alias, specify the corresponding concrete indices instead." } ], "type" : "illegal_argument_exception", "reason" : "The provided expression [log] matches an alias, specify the corresponding concrete indices instead." }, "status" : 400 } 默认配置变化 新建索引默认分片数为5。 新建索引默认分片数为1。 默认routing变化 Elasticsearch 5.x版本/6.x版本使用以下公式计算文档应该落在哪个shard。 shard_num = hash(_routing) % num_of_primary_shards Elasticsearch 7.x版本使用以下公式计算文档应该落在哪个shard routing_factor = num_routing_shards / num_primary_shards shard_num = (hash(_routing) % num_routing_shards) / routing_factor 其中num_routing_shards 可以由以下配置指定。 index.number_of_routing_shards 如果不显式指定,则Elasticsearch会自动计算该值,以达到对索引进行split的能力。 Refresh时机变化 默认定期每秒钟执行refresh。 Elasticsearch 7.x版本中如果没有显式的指定index.refresh_interval,并且索引长时间没有search请求,这里的长时间是由配置index.search.idle.after指定,默认30秒,Elasticsearch就不会再定期的进行refresh,而是等到有新的search请求进来时再进行refresh,这时候进行的search请求会等待,直到下一轮refresh完成才进行检索并返回,所以第一次search请求一般耗时会相对较长。 父熔断器变化 父熔断器是在多个子熔断器中内存统计之和超限的情况下触发,超限阈值为70%。 父熔断器会在堆内存超限的情况下触发,默认超限阈值为95%。 Field Data熔断器阈值变化 Field Data熔断器超限阈值indices.breaker.fielddata.limit默认为60%。 Field Data熔断器超限阈值indices.breaker.fielddata.limit默认为40%。 _all字段支持情况 支持_all字段。 _all字段被废弃。 E删除_all字段,不再支持。 search API返回中hits.total Elasticsearch 5.x版本/6.x版本中,search API返回中,hits.total为数字,表示命中条数: { "took": 0, "timed_out": false, "_shards": { "total": 5, "successful": 5, "failed": 0 }, "hits": { "total": 4, "max_score": 1, } } Elasticsearch 7.x版本中,hits.total不再是数字: { "took" : 76, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 4, "relation" : "eq" }, "max_score" : 1.0 } } 其中: value表示命中的条数。 relation表示value参数中的命中条数是否是准确值。 eq表示是准确值。 gte表示命中条数大于等于value参数。 _cache/clear API _cache/clear API支持POST/GET方式。 _cache/clear API只支持POST方式,不再支持GET方式。
  • 视音频 表8 视音频功能清单 功能 说明 视频 视频参数 支持切换码流类别:可以根据实际使用情况选择码流组合; 支持切换镜像模式:可对视频画面做上下左右颠倒处理; 支持开启走廊模式:可对视频画面进行90度旋转,得到9:16或者3:4等横纵比。 支持配置全帧率:可更改摄像机最大支持帧率,码流帧率最大值将小于全帧率。 码流参数 支持切换编码协议:可更改编码协议为“H.264”、“H.265”、“MJPEG”. 支持开启智能编码能力与配置智能级别:智能编码可帮助摄像机自适应场景,降低码率大小,节省存储空间;智能级别越高,降低码率效果越显著。 支持开启多slice编码能力:将视频流分成多段,每段的编码过程是相互独立的,提升编码和解码的性能。 支持切换编码复杂度:可更编码复杂度为“Base Profile”、“Main Profile”、“High Profile”,编码压缩性能依次升高,硬件设备解码性能要求也依次升高。 支持切换分辨率:可更改视频分辨率,分辨率越高,图像越清晰,占用的带宽越大。 支持切换码率类型:可切换码率类型为“变码率”或者“定码率”,并配置对应的码率上限、码率值。 支持切换图像质量:图像质量越好,占用带宽越大。 支持配置帧率:可更改每秒显示的帧数,帧率越高,图像越真实,占用带宽越大。 支持配置I帧间隔:可更改I帧(每个画面组的第一个帧)的时间间隔,I帧间隔越小,视频质量越高,占用带宽越大。 支持开启分层编码能力:编码时可以输出多层码流(基本层和增强层),同时保证视频流畅度和视频质量,提升编码和解码性能。 支持配置JPEG质量:可调整图像质量,JPEG质量数值越大,视频质量越好,占用带宽越大。 支持切换动态码率模式与动态帧率模式:当触发告警时,摄像机会自动采用动态码率/帧率值,告警结束后重新返回在码流中设置的码率/帧率值。 音频 音频参数 支持切换音频编码格式:可根据使用场景更改编码格式为“G.711u”、“G.711a”、“G.726”、“OPUS”、“AAC”; 支持切换输入端口类型:可更改音频流接入端口的类型为“Mic-in”、“Line-in”、“Double-Mic-in”; 支持配置输入、输出音量; 支持配置音频码率:音频码率值越大,音质越好,占用带宽越大; 支持配置音频采样率:录音设备在一秒钟内对声音信号的采样次数,采样率越高声音的还原就越真实越自然; 支持开启环境噪声过滤:将周围环境的噪声减小,使有效声音更清晰; 支持开启音频自动增益:提升音频质量; 支持开启回声消除:可消除录制的语音数据中的AO设备播放的声音,提升音频质量; 支持开启二次降噪:用于去除外界噪声,提升音频质量; 支持开启抗削波:用于控制输出信号电平,防止削波(破音)。
  • 图像显示 表9 图像显示功能清单 功能 说明 OSD配置 - 用户可以在视频画面上显示时间和文字叠加的效果。可以理解为视频水印。支持配置最多6项OSD水印显示。并且支持调整水印字体大小。 图像套餐 图像套餐 图像套餐为一套图像参数的合集,可通过切换图像套餐或修改图像套餐中参数来达到更改图像参数: 支持使用/复制系统定义图像套餐; 支持新增/修改/删除/使用/复制用户自定义图像套餐,用户最多可自定义8个。 图像调节 支持调节图像基础参数:亮度、饱和度、对比度、锐度。 日夜切换 支持切换昼夜模式,通过调整昼夜模式能帮助摄像机适应低照度条件,体现更高的光灵敏度。 曝光/背光 曝光:支持切换曝光模式,并且可根据被拍摄画面的曝光值手动/自动调整快门速度与增益,提高画面质量。背光:当曝光模式为自动曝光时,支持切换背光模式: 宽动态:在明暗反差过大的场合,有效解决背景过亮或前景太暗的情况。 强光抑制:有效抑制强光点直接照射问题,把强光部分弱化,把暗光部分亮化,达到光线平衡。 背光补偿模式:有效补偿摄像机在逆光环境下拍摄时画面主体黑暗的缺陷。 背光自适应:可以有效补偿摄像机在逆光环境下拍摄时画面主体黑暗的缺陷。 聚焦 支持切换相机的聚焦模式与聚焦补偿模式,并且可配置最小聚焦距离,提高图像清晰度。 白平衡 支持切换白平衡模式及调整红色增益和蓝色增益。在不同的光照环境中,物体颜色会因投射光线颜色产生变化,通过选择白平衡模式中红色增益和蓝色增益的值来修正颜色误差。 图像增强 在多种异常场景下可增强图像效果: 支持切换透雾模式,在有雾环境下可以使画面更清晰。 支持切换电子防抖模式,在设备抖动时保持大部分画面相对稳定,但会损失部分画面。 支持切换降噪模式,在嘈杂环境下提升语音清晰度。 支持切换伽马矫正,用于调节图像对比度,改善对比度的同时,可避免引入更多新的噪点。 支持切换畸变矫正,在摄像机的图像画面发生一定的几何畸变的情况下使画面更准确。 补光灯控制 支持切换智能红外模式,避免图像过曝。 支持调节内置灯(近光灯/中光灯/远光灯)的亮度与开关灯时间。 图像计划 年度计划 支持针对每月的不同的时间(00:00-24:00)制定年度图像套餐应用计划。 当前时间到达配置时间时,图像套餐自动切换为年度计划配置的套餐。 可选套餐来源于“图像套餐”,新增可选图像套餐、更改图像套餐参数时,需要前往图像套餐配置。 支持画框、复制、删除、撤销、恢复、清空等操作。 同一时间内只能执行一种套餐,不选择、不设置时为默认套餐。 昼夜计划 支持针对日夜不同场景制定年度图像套餐应用计划。 当通过光线发现周边场景发生变化时,将自动切换为白衣庵套餐/夜晚套餐。 可选套餐来源于“图像套餐”,新增可选图像套餐/更改图像套餐参数时,需要前往图像套餐配置。 支持配置白天套餐、夜晚套餐、光学透雾模式。 同一时间内只能执行一种套餐。 当选择套餐内日夜切换不是自动模式时,无法生效。
  • 智能配置 摄像机目标智能应用场景如表2所示,操作指导参见目标智能。 表2 目标智能应用场景 功能 说明 目标抓拍 对设定区域中目标进行抓拍,实时显示目标信息。以及发送目标图片。 口罩告警 对设定区域中目标是否佩戴口罩进行检测并告警。 目标统计 统计设定区域内越线的人流量,超过阈值时生成告警。 摄像机车辆智能应用场景如表3所示,操作指导参见车辆智能。 表3 车辆智能应用场景 功能 说明 机动车抓拍 对设定区域内的机动车进行抓拍,发送目标图片。 违法停车 检测到设定区域内有违法停车,生成告警。 摄像机非人参数应用场景如表4所示,操作指导参见机非人参数。 表4 机非人参数应用场景 功能 说明 机非人参数 对设定区域中机动车、非机动车、行人进行抓拍,发送图片。 摄像机智能行为分析智能应用场景如表5所示,操作指导参见行为分析智能配置。 表5 行为分析智能应用场景 功能 说明 越线检测 检测人员从某个设定方向越过设定边界的事件并告警。 入侵检测 检测人员在设定区域内出现的事件并告警。 区域进入 检测人员进入设定区域内的事件并告警。 区域离开 检测人员离开设定区域内的事件并告警。 快速移动 检测目标奔跑追逐事件,达到设定条件(通过配置灵敏度来设定条件)后立即告警。 徘徊检测 检测人员在设定区域内徘徊、滞留超过设定时间的事件并告警。 遗留检测 检测到设定区域内有物品遗留的事件并告警。 移走检测 检测到设定区域内有物品移走的事件并告警。 周界全局配置 支持配置周界所有算法的元数据处理、告警处理 、目标尺寸设置、最大目标数设置、检测灵敏度等基础能力。 停车检测 检测机动车在设定区域内停留超过设定时间的事件并告警。 备注 : 需要开启周界全局开关才可支持算法配置; 单个设备最多支持画10个框,单个告警最多支持画4个框 ;最多支持10点成框; 单个设备最多支持画5条; 布防计划支持自定义计划与四种通用计划(全天候、工作日、周末、工作时间),算法仅在计划时间范围内生; 告警联动中,仅告警策略的联动状态为生效时,告警才会通过该策略上报。 摄像机电瓶车检测应用场景如表6所示,操作指导参见电瓶车检测。 表6 电瓶车检测应用场景 功能 说明 电梯楼道 检测到指定区域里的电瓶车,触发告警。 摄像机智能态势分析智能应用场景如表7所示,操作指导参见态势分析智能配置。 表7 态势分析智能应用场景 功能 说明 过线统计 统计设定区域内越线的人流量,超过阈值时生成告警。 人群密度 统计设定区域内人数,超过阈值时生成告警。 排队长度 统计设定区域内排队人数,总排队时长超过阈值时生成告警。 离岗检测 统计设定区域内在岗人数,少于设定人数且离岗时间超过阈值时生成告警。 热区分析 统计设定区域内驻足人次、驻足均时;人员进出时间、驻足时间。 热度图 统计设定区域内一定时间内的人群分布,生成报告。
  • 告警配置 表1 告警配置功能清单 功能 说明 联动策略总开关 - 支持配置“告警联动策略”启用开关,控制所有事件的“告警联动策略”。 当总开关未开启时,单个告警配置开启时也不会生效; 设置对应的告警联动策略前,必须开启对应的开关。 普通告警 布防计划 配置告警上报计划,相关告警仅在计划时间内生效并上报。 支持自定义计划,支持画框、复制、删除、撤销、恢复、清空等操作; 支持四种通用计划:全天候、工作日、周末、工作时间。 告警联动 配置告警上报的时间间隔与方式/形式。 支持配置告警间隔:针对事件类告警,系统按配置的告警间隔对业务上报的告警进行时间过滤,确保连续上报的告警发生时间不小于告警间隔。 支持配置自动恢复时间:针对故障类告警,若故障在自动恢复时间内未收到告警消除消息,系统将自动消除告警。 支持配置告警联动策略:可选择告警上报/形式的方式,仅告警策略的联动状态为生效时告警才会通过该策略上报。
  • 配置平台侧参数 登录行业视频管理服务后台。 单击“设备管理”,选择需要添加设备的设备组,单击“添加设备”。 选择批量添加设备,按界面提示选择接入协议并下载对应模板。 将设备信息填入模板并上传文件,单击“确定”,上传成功。 表1 参数说明 接入协议 设备参数 说明 好望协议 产品序列号 在好望设备上扫码获取产品序列号,由大小写字母、数字组成,长度为8~32个字符。 验证码 在好望设备上扫码获取设备验证码。 国标协议 设备名 应用于本平台的设备名称。 产品序列号 由数字组成,长度为20个字符长度,建议参照GB28181国标编码规则填写。 设备用户名 登录设备的用户名。 设备密码 登录设备的密码。 算法 设备注册的认证算法类型,MD5或者SHA256。MD5存在风险,请谨慎使用,建议使用SHA265,安全性更高。
  • 操作步骤 登录行业视频管理服务后台。 输入账号、密码,单击“登录”。 单击提示界面中的“创建企业”。 按界面提示填写企业信息。 AK、SK、账号名,账号ID、项目和项目ID为注册华为账号并开通华为云创建的信息。 如果打开“API凭证后”无法获取项目ID,请单击“控制台”,选择“华北-北京四”后回到凭证界面即可获取项目ID。 填写完成后单击“创建”,创建企业。 如需修改企业信息,展开企业名称后面的三角图标,选择“企业信息”,可以修改企业信息。
共100000条