华为云用户手册

  • 请求示例 打开周期性对比,策略为每天对比,生效时间段为UTC时间的00:00:00到04:00:00,北京时间(UTC+08:00)08:00:00到12:00:00,对比类型为行数对比 https://{endpoint}/v5/5237e10fe9aa4ad5b16b6a5245248314/jobs/163b98e8-6088-46c3-8b86-c18fea6jb502/compare-policy { "action" : "open", "begin_time" : "00:00:00", "compare_policy" : "normal", "compare_type" : [ "lines" ], "end_time" : "04:00:00", "period" : "* * 1,2,3,4,5,6,7" } 打开周期性对比,策略为每周周一、周三、周五对比,生效时间段为UTC时间的00:00:00到09:00:00,北京时间(UTC+08:00)08:00:00到17:00:00,对比类型为行数和对象对比 https://{endpoint}/v5/5237e10fe9aa4ad5b16b6a5245248314/jobs/163b98e8-6088-46c3-8b86-c18fea6jb502/compare-policy { "action" : "open", "begin_time" : "00:00:00", "compare_type" : [ "lines", "object_comparison" ], "end_time" : "09:00:00", "period" : "* * 1,3,5" } 关闭周期性对比 https://{endpoint}/v5/5237e10fe9aa4ad5b16b6a5245248314/jobs/163b98e8-6088-46c3-8b86-c18fea6jb502/compare-policy { "action" : "close" } 打开周期性对比,策略为按小时对比,生效时间段为UTC时间00:00:00到04:00:00,北京时间(UTC+08:00)08:00:00到12:00:00,间隔1小时对比一次,对比类型为行数和对象对比 https://{endpoint}/v5/5237e10fe9aa4ad5b16b6a5245248314/jobs/163b98e8-6088-46c3-8b86-c18fea6jb502/compare-policy { "action" : "open", "begin_time" : "00:00:00", "compare_policy" : "normal", "compare_type" : [ "lines", "object_comparison" ], "end_time" : "04:00:00", "period" : "* * 1,2,3,4,5,6,7", "interval_hour" : 1 }
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 发送的实体的MIME类型。推荐用户默认使用application/json,如果API是对象、镜像上传等接口,媒体类型可按照流类型的不同进行确定。 缺省值:application/json X-Auth-Token 是 String 从IAM服务获取的用户Token。 用户Token也就是调用获取用户Token接口的响应值,该接口是唯一不需要认证的接口。 请求响应成功后在响应消息头中包含的“X-Subject-Token”的值即为Token值。 X-Language 否 String 请求语言类型。 缺省值:en-us 枚举值: en-us zh-cn 表3 请求Body参数 参数 是否必选 参数类型 描述 action 是 String 对比策略开关。 open close period 否 String 对比策略周期。 每周对比:格式示例:“* * 1,3,5” ,其中“1,3,5”对应星期一、星期三、星期五,根据实际填写。 每天对比:固定填写“* * 1,2,3,4,5,6,7”。 按小时对比:固定填写“* * 1,2,3,4,5,6,7”。 begin_time 否 String 对比策略生效开始时间,UTC时间,24小时制,时间格式HH:mm:ss,例如:00:00:00,表示UTC时间的00:00:00,北京时间(UTC+08:00)的08:00:00。 end_time 否 String 对比策略生效结束时间,UTC时间,24小时制,时间格式HH:mm:ss,例如:04:00:00,表示UTC时间的04:00:00,北京时间(UTC+08:00)的12:00:00。 compare_type 否 Array of strings 对比类型列表: object_comparison:对象对比。 lines:行对比。 account:用户对比。 compare_policy 否 String 对比策略: normal:普通对比。 manyToOne:多对一对比。 interval_hour 否 Integer 间隔时间,按小时对比时填写,表示每隔多久执行一次对比,单位是小时。
  • 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 指定类型为application/json。 缺省值:application/json X-Auth-Token 是 String 从IAM服务获取的用户Token。 X-Language 否 String 请求语言类型。 缺省值:en-us 枚举值: en-us zh-cn Region 否 String 区域ID,例如:cn-north-4。 表4 请求Body参数 参数 是否必选 参数类型 描述 compare_type 是 String 对比任务类型: contents: 内容对比。 lines:行数对比。 random:抽样对比。 objects_comparison:对象对比。 compare_job_id 否 String 对比任务的ID,内容对比、抽样对比、行数对比场景必填。 time_zone 否 String 时区,如GMT+08:00,用于生成当前时间标识,拼接到文件名称中。
  • URI GET /v3/{project_id}/jobs/{job_id}/compare/result/file 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一Region下的Project ID。 获取方法请参见获取项目ID。 job_id 是 String 任务ID。 表2 Query参数 参数 是否必选 参数类型 描述 compare_type 否 String 对比任务类型: contents: 内容对比。 lines:行数对比。 random:抽样对比。 objects_comparison:对象对比。 compare_job_id 否 String 对比任务的ID,内容对比、抽样对比、行数对比场景必填。
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 指定类型为application/json。 缺省值:application/json X-Auth-Token 是 String 从IAM服务获取的用户Token。 X-Language 否 String 请求语言类型。 缺省值:en-us 枚举值: en-us zh-cn 表3 请求Body参数 参数 是否必选 参数类型 描述 compare_task_num 否 Integer 对比任务线程数量,当前仅cloudDataGuard-cassandra和cloudDataGuard-gausscassandra-to-gausscassandra链路支持。
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 指定类型为application/json。 缺省值:application/json X-Auth-Token 是 String 从IAM服务获取的用户Token。 X-Language 否 String 请求语言类型。 缺省值:en-us 枚举值: en-us zh-cn Region 是 String 区域ID,例如:cn-north-4。 表3 请求Body参数 参数 是否必选 参数类型 描述 compare_type 是 String 对比任务类型: contents: 内容对比。 lines:行数对比。 random:抽样对比。 objects_comparison:对象对比。 compare_job_id 否 String 对比任务的ID,内容对比、抽样对比、行数对比场景必填。 time_zone 否 String 时区,如GMT+08:00,用于生成当前时间标识,拼接到文件名称中。
  • 请求示例 导出对象对比任务结果文件 https://{endpoint}/v3/054ba152d480d55b2f5dc0069e7ddef0/jobs/f8688cfa-4e05-406f-a2e6-37a773cjb20ycompare/result/file { "compare_type" : "objects_comparison" } 导出内容对比任务结果文件 https://{endpoint}/v3/054ba152d480d55b2f5dc0069e7ddef0/jobs/f8688cfa-4e05-406f-a2e6-37a773cjb20ycompare/result/file { "compare_type" : "contents", "compare_job_id" : "9406224c-8063-436a-8fe2-796d87f054dc" }
  • 解决方法 ModelArts全局配置的委托权限不足,导致创建失败? 解决方法请参见ModelArts创建委托授权。 申请的资源中包含受限购买的资源规格,导致购买失败? 当前modelarts.bm.npu.arm.8snt9b3.d为受限购买,需要提前联系ModelArts运营或提工单申请开通资源规格。 图2 报错信息 ECS、EVS配额不足,导致创建失败? 集群所需的ECS实例数、内存大小、CPU核数和EVS硬盘大小资源会超出华为云默认提供的资源配额,因此需要申请扩大配额。解决方法请参见申请扩大资源配额。 图3 报错信息(1) 图4 报错信息(2) 资源售罄或容量不足,导致创建失败? 减少资源池节点数量,或提工单给ModelArts申请更多资源。 图5 报错信息 ECS、BMS节点创建失败? 查看资源池失败报错信息: 包含错误码,如:Ecs.0000时,可查看弹性云服务器 ECS_错误码查看详细的错误信息及处理措施。 包含错误码,如:BMS.0001时,可查看裸金属服务器 BMS_错误码查看详细的错误信息及处理措施。 包含错误码,如:CCE.01400001时,可查看云容器引擎 CCE_错误码查看详细的错误信息及处理措施 其他报错请提工单联系ModelArts运维进一步定位解决。 集群纳管节点失败? 查看资源池失败报错信息: 查看资源池失败报错信息,包含错误码,如:CCE.01400001时,可查看云容器引擎 CCE_错误码查看详细的错误信息及处理措施。 其他报错请提工单联系ModelArts运维进一步定位解决。 集群容器网段不足,导致创建失败? 图6 报错信息 用户可根据实际业务场景和节点规模,自定义配置容器网段,配置方式如下: ModelArts Standard池,资源池创建阶段指定容器网段,根据实际需要设置更大的容器网段。 图7 设置容器网段 ModelArts Lite池,选择/创建具有更大容器网段的CCE集群。CCE容器网段配置参见网络规划。 账号冻结导致创建失败? 查看资源池失败报错信息,存在"frozen deposit fail",表示账号冻结导致资源创建失败。检查账号状态和资源欠费情况,账号解冻后重新购买资源。 订单取消导致资源创建失败? 查看资源池失败报错信息,存在"the operation is canceled by customer",表示资源池对应订单已取消,取消原因可能为超时未支付、用户自主取消,需重新购买。 其他错误 可通过F12查看浏览器请求信息,选择标红的pools接口,查看响应里的详细报错信息,如下图所示。通过错误提示修正输入参数后再次提交订单。 图8 报错信息 如CCE集群不可用,请检查CCE集群版本和状态。报错信息如下: { "error_code": "ModelArts.50004000", "error_msg": "Bad request. spec.clusters[0].providerId: Invalid value: \"77f6f112-a631-11eb-8dae-0255ac100b0d\": the cluster 77f6f112-a631-11eb-8dae-0255ac100b0d is not available" }
  • 索引类型 云日志服务的索引类型如下: 表1 索引类型表 索引类型 说明 全文索引 开启全文索引后,日志服务根据您设置的分词符将整条日志所有字段值拆分成多个词并构建索引。 说明: 用户上传的自定义标签(label)字段,不包含在全文索引中,如果您需要搜索自定义标签字段,请添加对应的字段索引。 LTS内置保留字段,不包含在全文索引中,您需要通过字段索引Key:Value的方式进行搜索,请参考内置保留字段。 字段索引 配置字段索引后,您可以指定字段名称和字段值(Key:Value)进行查询,缩小查询范围。 说明: 日志服务默认为部分内置保留字段创建字段索引,请参考内置保留字段。 如果您的某个字段单独配置了字段索引,那么该字段值的分词符以字段索引配置为准。 结构化配置中的的快速分析列已被移除,如果您要使用快速分析功能,则必须配置字段索引且开启对应字段的快速分析按钮。 关于日志示例有两种情况: 在日志示例中,配置了level和status两个字段索引,其中level是string类型,字段值是error,单独配置了分词符,status是long类型,不需要配置分词符;您可以使用level : error的方式精确搜索level字段值为error的所有日志。 在日志示例中,云日志服务LTS会默认为hostName、hostIP、pathFile这些内置保留字段创建字段索引。
  • 日志示例 以下是一条典型日志,content字段值是日志原文,使用分隔符逗号将原始日志解析成3个字段level、status、message; 示例日志中的hostName、hostIP、pathFile是常见的内置保留字段,详细内置字段请参考内置保留字段。 { "hostName":"epstest-xx518", "hostIP":"192.168.0.31", "pathFile":"stdout.log", "content":"error,400,I Know XX", "level":"error", "status":400, "message":"I Know XX" }
  • 注意事项 全文索引属性和字段索引属性必须至少启用一种。 创建索引会产生索引流量和索引存储空间,费用说明请参见价格计算器。 索引配置(新增、编辑、删除字段,修改配置项等操作)只对新写入的日志生效,历史日志不会生效。当前不支持对历史日志重建索引。 关闭索引后,历史索引的存储空间将在当前日志流的数据保存时间到期后,自动被清除。 日志服务默认已为部分内置保留字段创建字段索引,请参见内置保留字段。 不同的索引配置,会产生不同的查询和分析结果,请根据您的需求,合理创建索引。全文索引和字段索引互不影响。 索引配置修改后,对新写入的日志数据生效,历史日志数据不会生效。 在字段索引功能上线前,SQL分析支持的字段来自于云端结构化解析;在字段索引功能上线后,只要用户配置了字段索引,SQL分析支持的字段将来自于字段索引,因此修改字段索引可能对现有的可视化图表、仪表盘、SQL告警、定时SQL、Grafana接入中的查询结果产生影响,请谨慎操作! 字段索引配置为JSON数据类型时,在原始日志页面不支持对JSON子字段使用快速分析、跳转图表,不支持可视化;在搜索分析页面下支持JSON子字段使用快速分析和SQL可视化功能。 字段索引配置为JSON数据类型时,对JSON父字段查询时支持对命中结果高亮,对JSON子字段查询时不支持对命中结果高亮。
  • 日志采集 为了减少内存、数据库和磁盘空间占用,您可以按需进行日志采集设置。日志采集开关用来控制是否对日志数据进行采集。 在云日志服务管理控制台,单击“配置中心”,选择“ICAgent采集开关”。 单击开启或关闭“ICAgent采集开关”。 图1 ICAgent采集开关 采集开关默认打开,当您不需要采集日志时,可通过关闭采集开关来停止日志采集,以减少资源占用。 日志采集关闭后,ICAgent会停止采集日志,且在应用运维管理AOM控制台的“日志采集开关”也会同步关闭。 采集Syslog日志到AOM。开关关闭后,ICAgent将不会采集Syslog日志到AOM1.0,此功能仅支持5.12.182以上版本的ICAgent。 采集容器标准输出到AOM。选择CCE集群,开启或关闭应用到该集群。开关关闭后,ICAgent将不会采集标准输出日志到AOM,此功能仅支持5.12.133以上版本的ICAgent。 父主题: 配置中心
  • 数据组织形式 管道符特性针对特定的数据组织形式,对于云日志服务而言,管道符特性的数据主要由两部分构成,一部分是结构化数据,一部分是原始日志。示例如下: {"id": 1, "name": "Bob", "job": "java", "age": 21, "sal": 8000, "gender": "female", "_log": "name: Bob, job: java, age: 21, sal: 8000, gender: female"} 其中:“id”,“name”,“job”,“age”,“sal”和“gender”是结构化数据的字段,“_log”是原始日志字段。
  • 日志搜索的常用操作 日志搜索的常用操作有分享日志、刷新等操作,具体参考如下图所示: 表1 常用操作 操作 说明 交互式搜索 单击搜索框前面的按钮,在交互式搜索页面,根据业务需要选择索引配置的字段,设置过滤方式,也可以通过添加关联关系或添加组进行交互式搜索,设置完成后,支持预览搜索语法。 创建快速查询 单击按钮,创建快速查询。 查看仪表盘 单击按钮,在弹出来的仪表盘页面,可查看已创建的仪表盘。 添加告警 单击按钮,在弹出的页面,支持新建告警规则。 分享日志 单击复制当前日志搜索页面的链接,用于分享搜索日志。 刷新日志 单击对日志进行刷新,有两种方式刷新方式:手动刷新和自动刷新。 手动刷新:单击“手动刷新”可直接对日志进行刷新。 自动刷新:选择自动刷新的间隔时间,将对日志进行自动刷新。间隔时间范围为15秒、30秒、1分钟和5分钟。 复制 单击复制日志内容。 查看上下文 单击查看日志上下文。 说明: 支持选择简洁模式查看日志上下文。支持下载上下文内容。 简化字段详情 单击查看简化字段详情。 换行/取消换行 单击按钮,搜索的日志内容将换行显示。若不需要换行,单击按钮,取消换行。 说明: 默认开启换行按钮。 下载日志 单击按钮,在弹出的下载日志页面中单击“本地下载”和“前往创建转储”。 本地下载:将日志文件直接下载到本地,单次下载支持最大5,000条日志。 在下拉框中选择“.csv”或“.txt”,单击“开始下载日志”,可将日志导出至本地。 说明: 选择以CSV格式导出日志后,本地以表格形式保存日志的具体标签信息。 选择导出TXT格式日志后,本地会以.txt格式保存日志的日志内容。 前往创建转储:通过OBS转储任务下载日志文件,单次下载支持最大100万条日志。 单击“前往创建转储”,跳转至配置转储页面,详细请参考日志转储。 全部折叠/全部展开 单击设置日志内容展示的行数。若不需要展示日志内容,再单击一次按钮即可关闭展示的日志内容。 说明: 默认不折叠。折叠后,默认显示2行,最多支持展示6行。 JSON设置 鼠标悬浮在按钮上,单击“JSON设置”,在弹出的JSON设置页面中,设置格式化显示。 说明: 默认开启格式化,JSON默认展开层级为2层。若日志包含多个反斜杠,当日志展示为json格式时,会丢失一个反斜杠,因为json解析会将第一个反斜杠作为转义符处理。 开启格式化按钮:设置JSON默认展开层级,最大设置为10层。 关闭格式化按钮:对于JSON格式的日志,将不会格式化层级显示。 日志折叠设置 鼠标悬浮在按钮上,单击“日志折叠设置”,在弹出的日志折叠设置页面中,设置长日志字符个数。 日志超过设置的长日志字符个数时,超出字符将被隐藏,单击“展开”按钮可查看全部内容。 说明: 默认开启自动折叠长日志,字符个数默认为400个。 日志时间展示 鼠标悬浮在按钮上,单击“日志时间展示”,在弹出的日志折叠设置页面中,设置是否展示毫秒、是否展示时区。 说明: 默认开启展示毫秒。 虚拟滚动设置 鼠标悬浮在按钮上,单击“虚拟滚动设置”,在弹出的虚拟滚动设置页面中,设置是否开启虚拟滚动、填写缓冲区大小。 说明: 虚拟滚动可以避免或减少滚动时卡顿的情况,提升操作体验,防止页面卡死。 滚动时数据会重新渲染,一定程度上影响数据流畅性。 缓冲区决定同时加载的数据量大小,缓冲区越大,同时加载的数据越多,但滚动性能会越差。 不可见字段列表 该列表展示版面设置中配置的不可见性字段。 当日志流未配置版面设置时,将不显示按钮。 当日志内容为“CONFIG_FILE”且未配置版面设置时,不可见字段默认有appName、clusterId、clusterName、containerName、hostIPv6、NameSpace、podName和serviceID。
  • 操作步骤 在云日志服务管理控制台,单击“日志管理”。 在日志组列表中,单击日志组名称前对应的按钮。 在日志流列表中,单击日志流名称,进入日志详情页面。 在“搜索分析”页签,在右上角选择时间范围,可以查看原始日志和统计图表。在搜索框由搜索语句和SQL分析语句组成,两者通过管道符|联动,详细请参考SQL函数。 时间范围有三种方式,分别是相对时间、整点时间和自定义。您可以根据自己的实际需求,选择时间范围。 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。 自定义:表示查询指定时间范围的日志数据。 在日志内容下方,单击时间前面的展开图标,支持以Table和JSON形式展示结构化字段。 在Table页签,支持对该字段进行添加到查询、从查询中排除、字段存在、字段不存在、隐藏的方式搜索日志。 在JSON页签,支持查看或者复制日志内容。 版面设置。 在下拉框单击编辑版面,进入版面设置页面,版面列表自带默认版面、纯净版面、容器日志默认版面,可以设置字段在版面是否显示。 云端: 适用于有写权限的用户,版面配置信息保存在云端。 本地缓存: 适用于只有读权限的用户,版面配置信息缓存在本地浏览器。 单击新增自定义版面,设置版面名称和版面字段的可见性。 设置完成后,单击“确定”,返回下拉框显示新增的自定义版面。 交互式搜索分析,适用于生成简单的分析语句,如果您需要使用更多的函数或者嵌套查询,请手动输入SQL语句。 单击搜索框前面的按钮,进入交互式搜索分析页面。 选择日志搜索的内容和条件。支持添加关联关系或添加组。 设置完成后,支持预览搜索语句。 在日志分析下方,进行添加指标和分组排序。通过统计函数计算出想要的指标信息,然后基于选定的字段进行分组排序。 设置完成后,单击“确定”,即可在搜索框快速生成分析语句。
  • 新建可视化图表到仪表盘 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘目录下方,选中仪表盘分组,单击待操作的仪表盘名称进入详情页。 单击,在添加可视化图表界面中,选择相应日志流。单击“前往添加图表”。 参照表1填写相关参数,填写完成后单击“确定”。 表1 创建图表 参数 说明 图表名称 用于区分日志流下不同的图表。 仅支持中英文、数字、中划线、下划线、空格、括号、小数点,不能以小数点、空格开头或结尾。 长度为1-64个字符。 可视化对象 默认语句“SELECT * ”,表示查询该日志流内的结构化数据,其中*为结构化字段。 如需自行编辑SQL语句,请参考云端结构化解析相关内容。 图表类型 LTS提供多种图表类型供用户选择:表格、柱状图、折线图等。 同时添加到仪表盘 单击“同时添加到仪表盘”后的,勾选一个或多个仪表盘前面的,可将图表同步添加至仪表盘。 如果关闭“同时添加到仪表盘”后的,则表示新建图表不在仪表盘显示。 在图表编辑页面,根据业务需求参考可视化填写相关参数,单击“确定”,新建图表在仪表盘显示成功。
  • 开启自定义日志时间 在左侧导航栏中选择“日志管理”。 结构化日志以日志流为单位,在“日志管理”页面选择目标日志组和日志流。 单击日志流名称进入日志流详情页面,单击右上角,在弹出页面中,选择“云端结构化解析”,进入日志结构化配置页面,选择对应的日志提取方法进行配置。 配置完成后,开启自定义日志时间开关,配置如下参数。 表1 参数配置表 参数 说明 示例 字段key 已提取字段的名称。单击下拉框选择已提取的字段,该字段为string或long类型。 test 字段value 已提取的字段value,选择字段key后,将自动填充。 2022-07-19 12:12:00 时间格式 请参考常见日志时间格式。 yyyy-MM-dd HH:mm:ss 操作 单击“校验”,提示“时间格式和字段value匹配成功”则表示校验成功。 - 切换自定义日志时间开关时,可能会导致日志搜索界面在切换时间点附近出现时间偏差,请勿频繁切换自定义日志时间开关。
  • 示例 常见的时间标准、示例及对应的时间表达式如下所示。 表3 示例 示例 时间表达式 时间标准 2022-07-14T19:57:36+08:00 yyyy-MM-dd'T'HH:mm:ssXXX 自定义 1548752136 %s 自定义 27/Jan/2022:15:56:44 dd/MMM/yyyy:HH:mm:ss 自定义 2022-08-15 17:53:23+08 yyyy-MM-dd HH:mm:ssX 自定义 2022-08-05T08:24:15.536+0000 yyyy-MM-dd'T'HH:mm:ss.SSSZ 自定义 2022-08-20T10:04:03.204000Z yyyy-MM-dd'T'HH:mm:ss.SSSZ 自定义 2022-08-22T06:52:08Z yyyy-MM-dd'T'HH:mm:ssZ 自定义 2022-07-24T10:06:41.000 yyyy-MM-dd'T'HH:mm:ss.SSS 自定义 [2022-12-11 15:05:07.012] [yyyy-MM-dd HH:mm:ss.SSS] 自定义 Monday, 02-Jan-06 15:04:05 MST EEEE, dd-MMM-yy HH:mm:ss Z RFC850 Mon, 02 Jan 2006 15:04:05 MST EEE, dd MMM-yyyy HH:mm:ss Z RFC1123 02 Jan 06 15:04 MST dd MMM yy HH:mm Z RFC822 02 Jan 06 15:04 -0700 dd MMM yy HH:mm Z RFC822Z 2023-01-02T15:04:05.999999999Z07:00 yyyy-MM-dd'T'HH:mm:ss Z RFC3339Nano 2023-01-02T15:04:05Z07:00 yyyy-MM-dd'T'HH:mm:ss Z RFC3339 2022-12-11 15:05:07 yyyy-MM-dd HH:mm:ss 自定义
  • 云服务概述 云日志服务(LTS)支持采集计算、存储、安全、数据库等多种华为云服务的日志数据,您可以使用LTS对云服务日志进行关键词搜索、运营数据统计分析、运行状况监控告警等多种操作。当前LTS支持采集的云服务日志如下表所示: 表1 云服务接入 序号 云服务简称 云服务名称 日志类型(结构化模板名称) 文档链接 仪表盘 1 AOM 应用运维管理 AOM接入的云服务日志 (不推荐该方式) AOM接入 - 2 APIG API网关 网关访问日志(APIG) APIG接入 APIG监控中心 APIG访问中心 APIG秒级监控 3 AstroZero Astro轻应用 Astro轻应用 Astro轻应用接入 - 4 BMS 裸金属服务器 全量日志(ICAgent采集文本日志) BMS接入 - 5 CBH 云堡垒机 操作日志 CBH接入 - 6 CCE 云容器引擎 用户应用日志 CCE管理面日志 CCE接入 - 7 CDN 内容分发网络 访问日志(CDN) CDN接入 CDN用户分析 CDN错误分析 CDN热门资源 CDN基础数据 8 CFW 云防火墙 攻击日志(CFW攻击日志) 访问日志(CFW访问控制日志) 流量日志(CFW流量日志) CFW接入 - 9 CTS 云审计服务 云服务管理面操作日志(CTS) CTS接入 - 10 DCS 分布式缓存服务 审计日志(DCS审计日志) DCS接入 DCS审计日志中心 11 DDS 文档数据库服务 审计日志(DDS审计日志) 错误日志(DDS错误日志) 慢日志(DDS慢日志) DDS接入 DDS审计日志中心 12 DDoS防护 AAD DDoS防护 AAD 全量日志 DDoS防护 AAD接入 - 13 DMS 分布式消息服务Kafka版 DMS重平衡日志 分布式消息服务Kafka接入 - 14 DRS 数据复制服务 访问日志 DRS接入 - 15 DWS 数据仓库服务 CN节点日志 DN节点日志 操作系统messages日志 审计日志 DWS接入 - 16 ECS 弹性云服务器 全量日志(ICAgent采集文本日志) ECS接入 - 17 ELB 弹性负载均衡 7层访问日志(ELB) ELB接入 ELB监控中心 ELB访问中心 ELB秒级监控 18 ER 企业路由器 全量日志(ER企业路由器) ER企业路由器接入 - 19 FunctionGraph 函数工作流 函数执行日志 FunctionGraph接入 - 20 GaussDB 云数据库 GaussDB 审计日志(GAUSSV5审计日志) GaussDB接入 - 21 GES 图引擎服务 审计日志 GES接入 - 22 GaussDB for MySQL 云数据库 GaussDB for MySQL 错误日志(GAUSSDB_MYSQL错误日志) 慢日志(GAUSSDB_MYSQL慢日志) GaussDB for MySQL接入 - 23 GeminiDB Redis 云数据库 GeminiDB Redis 慢日志(GeminiDB Redis慢日志) GeminiDB Redis接入 - 24 GeminiDB Mongo 云数据库 GeminiDB Mongo 错误日志(GeminiDB Mongo错误日志) 慢日志(GeminiDB Mongo慢日志) GeminiDB Mongo接入 - 25 GeminiDB Cassandra 云数据库 GeminiDB Cassandra 慢日志(GeminiDB Cassandra慢日志) GeminiDB Cassandra接入 - 26 HiLens 华为HiLens 设备日志 华为HiLens接入 - 27 IoTDA 设备接入 设备运行日志 IoTDA接入 - 28 ModelArts ModelArts 运行日志 ModelArts接入 - 29 MRS MapReduce服务 全量日志(ICAgent采集文本日志) MRS接入 - 30 NGINX接入 - NGINX日志 NGINX接入 - 31 RDS for MySQL 云数据库 RDS for MySQL 错误日志(MYSQL错误日志) 慢日志(MYSQL慢日志) RDS for MySQL接入 - 32 RDS for PostgreSQL 云数据库 RDS for PostgreSQL 错误日志(POSTGRESQL错误日志) 慢日志(POSTGRESQL慢日志) RDS for PostgreSQL接入 - 33 RDS for SQLServer 云数据库RDS for SQL Server 错误日志(SQLSERVER错误日志) RDS for SQLServer接入 - 34 ROMA Connect 应用与数据集成平台 网关访问日志 ROMA Connect接入 - 35 Live 视频直播 访问日志 视频直播Live接入 - 36 SMN 消息通知服务 消息传输日志(SMN) SMN接入 - 37 TOMCAT - TOMCAT日志 TOMCAT接入 - 38 SecMaster 安全云脑 全量日志 secMaster接入 - 39 ServiceStage 应用管理与运维平台 ServiceStage容器应用日志 ServiceStage容器应用日志接入LTS - 40 VPC 虚拟私有云 VPC流日志(VPC) VPC接入 VPC流日志 41 WAF Web应用防火墙 攻击日志 访问日志 WAF接入 - 父主题: 云服务接入
  • 背景信息 云容器引擎(Cloud Container Engine,简称CCE)提供高度可扩展的、高性能的企业级Kubernetes集群。借助云容器引擎,您可以在华为云上轻松部署、管理和扩展容器化应用程序。 分析网站访问情况 登录云日志服务控制台。 在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“CCE日志K8s事件查询”仪表盘,查看图表详情。 CCE日志K8s事件查询仪表盘中的过滤器说明如下所示: 事件等级分为Warning和Normal。 事件类型,所关联的查询分析语句如下所示: select distinct("name") 集群ID,所关联的查询分析语句如下所示: select distinct("cluster_id") 命名空间,所关联的查询分析语句如下所示: select distinct("namespace") 名称,所关联的查询分析语句如下所示: select distinct("resource_name") 重要图表说明 CCE日志K8s事件查询仪表盘中重要图表说明如下所示: 事件总数,所关联的查询分析语句如下所示: SELECT TIME_FORMAT( "_time_", 'yyyy-MM-dd HH:mm:ss', '' ) as "_time_","total" FROM ( SELECT TIME_CEIL ( __time, 'PT1H' ) AS "_time_", count( 1 ) AS "total" FROM log GROUP BY "_time_" ) 普通事件数,所关联的查询分析语句如下所示: SELECT TIME_FORMAT( "_time_", 'yyyy-MM-dd HH:mm:ss', '' ) as "_time_","total" FROM ( SELECT TIME_CEIL ( __time, 'PT1H' ) AS "_time_", count( 1 ) AS "total" FROM log where "type" = 'Normal' GROUP BY "_time_" ) 警告事件数,所关联的查询分析语句如下所示: SELECT TIME_FORMAT( "_time_", 'yyyy-MM-dd HH:mm:ss', '' ) as "_time_","total" FROM ( SELECT TIME_CEIL ( __time, 'PT1H' ) AS "_time_", count( 1 ) AS "total" FROM log where "type" = 'Warning' GROUP BY "_time_" ) 错误事件数,所关联的查询分析语句如下所示: SELECT TIME_FORMAT( "_time_", 'yyyy-MM-dd HH:mm:ss', '' ) as "_time_","total" FROM ( SELECT TIME_CEIL ( __time, 'PT1H' ) AS "_time_", count( 1 ) AS "total" FROM log where "type" = 'Error' GROUP BY "_time_" ) 重要事件分布,所关联的查询分析语句如下所示: select "name",count(1) as 'total' from log group by "name" 重要事件统计,所关联的查询分析语句如下所示: SELECT "type" as "等级", "name" as "类型", count(1) as "总数", "reason" as "详细内容" from log where "type" != 'Normal' group by "type", "name", "reason" order by "总数" desc Pod重要事件统计,所关联的查询分析语句如下所示: SELECT "type" as "等级", "name" as "类型", count(1) as "总数", "reason" as "详细内容" from log where "type" != 'Normal' and "resource_kind" = 'Pod' group by "type", "name", "reason" order by "总数" desc 最近100条事件,所关联的查询分析语句如下所示: select TIME_FORMAT( __time, 'yyyy-MM-dd HH:mm:ss', '+08:00' ) as "Time","type" as "等级", "name" as "类型", "reason" as "详细
  • 示例 常见的时间标准、示例及对应的时间表达式如下所示。 表3 示例 示例 时间表达式 时间标准 2022-07-14T19:57:36+08:00 yyyy-MM-dd'T'HH:mm:ssXXX 自定义 1548752136 %s 自定义 27/Jan/2022:15:56:44 dd/MMM/yyyy:HH:mm:ss 自定义 2022-08-15 17:53:23+08 yyyy-MM-dd HH:mm:ssX 自定义 2022-08-05T08:24:15.536+0000 yyyy-MM-dd'T'HH:mm:ss.SSSZ 自定义 2022-08-20T10:04:03.204000Z yyyy-MM-dd'T'HH:mm:ss.SSSZ 自定义 2022-08-22T06:52:08Z yyyy-MM-dd'T'HH:mm:ssZ 自定义 2022-07-24T10:06:41.000 yyyy-MM-dd'T'HH:mm:ss.SSS 自定义 [2022-12-11 15:05:07.012] [yyyy-MM-dd HH:mm:ss.SSS] 自定义 Monday, 02-Jan-06 15:04:05 MST EEEE, dd-MMM-yy HH:mm:ss Z RFC850 Mon, 02 Jan 2006 15:04:05 MST EEE, dd MMM-yyyy HH:mm:ss Z RFC1123 02 Jan 06 15:04 MST dd MMM yy HH:mm Z RFC822 02 Jan 06 15:04 -0700 dd MMM yy HH:mm Z RFC822Z 2023-01-02T15:04:05.999999999Z07:00 yyyy-MM-dd'T'HH:mm:ss Z RFC3339Nano 2023-01-02T15:04:05Z07:00 yyyy-MM-dd'T'HH:mm:ss Z RFC3339 2022-12-11 15:05:07 yyyy-MM-dd HH:mm:ss 自定义
  • 开启自定义日志时间 在左侧导航栏中选择“日志管理”。 结构化日志以日志流为单位,在“日志管理”页面选择目标日志组和日志流。 单击日志流名称进入日志流详情页面,单击右上角,在弹出页面中,选择“云端结构化解析”,进入日志结构化配置页面,选择对应的日志提取方法进行配置。 配置完成后,开启自定义日志时间开关,配置如下参数。 表1 参数配置表 参数 说明 示例 字段key 已提取字段的名称。单击下拉框选择已提取的字段,该字段为string或long类型。 test 字段value 已提取的字段value,选择字段key后,将自动填充。 2022-07-19 12:12:00 时间格式 请参考常见日志时间格式。 yyyy-MM-dd HH:mm:ss 操作 单击“校验”,提示“时间格式和字段value匹配成功”则表示校验成功。 - 切换自定义日志时间开关时,可能会导致日志搜索界面在切换时间点附近出现时间偏差,请勿频繁切换自定义日志时间开关。
  • 索引类型 云日志服务的索引类型如下: 表1 索引类型表 索引类型 说明 全文索引 开启全文索引后,日志服务根据您设置的分词符将整条日志所有字段值拆分成多个词并构建索引。 说明: 用户上传的自定义标签(label)字段,不包含在全文索引中,如果您需要搜索自定义标签字段,请添加对应的字段索引。 LTS内置保留字段,不包含在全文索引中,您需要通过字段索引Key:Value的方式进行搜索,请参考内置保留字段。 字段索引 配置字段索引后,您可以指定字段名称和字段值(Key:Value)进行查询,缩小查询范围。 说明: 日志服务默认为部分内置保留字段创建字段索引,请参考内置保留字段。 如果您的某个字段单独配置了字段索引,那么该字段值的分词符以字段索引配置为准。 结构化配置中的的快速分析列已被移除,如果您要使用快速分析功能,则必须配置字段索引且开启对应字段的快速分析按钮。 关于日志示例有两种情况: 在日志示例中,配置了level和status两个字段索引,其中level是string类型,字段值是error,单独配置了分词符,status是long类型,不需要配置分词符;您可以使用level : error的方式精确搜索level字段值为error的所有日志。 在日志示例中,云日志服务LTS会默认为hostName、hostIP、pathFile这些内置保留字段创建字段索引。
  • 注意事项 全文索引属性和字段索引属性必须至少启用一种。 创建索引会产生索引流量和索引存储空间,费用说明请参见价格计算器。 索引配置(新增、编辑、删除字段,修改配置项等操作)只对新写入的日志生效,历史日志不会生效。当前不支持对历史日志重建索引。 关闭索引后,历史索引的存储空间将在当前日志流的数据保存时间到期后,自动被清除。 日志服务默认已为部分内置保留字段创建字段索引,请参见内置保留字段。 不同的索引配置,会产生不同的查询和分析结果,请根据您的需求,合理创建索引。全文索引和字段索引互不影响。 索引配置修改后,对新写入的日志数据生效,历史日志数据不会生效。 在字段索引功能上线前,SQL分析支持的字段来自于云端结构化解析;在字段索引功能上线后,只要用户配置了字段索引,SQL分析支持的字段将来自于字段索引,因此修改字段索引可能对现有的可视化图表、仪表盘、SQL告警、定时SQL、Grafana接入中的查询结果产生影响,请谨慎操作! 字段索引配置为JSON数据类型时,在原始日志页面不支持对JSON子字段使用快速分析、跳转图表,不支持可视化;在搜索分析页面下支持JSON子字段使用快速分析和SQL可视化功能。 字段索引配置为JSON数据类型时,对JSON父字段查询时支持对命中结果高亮,对JSON子字段查询时不支持对命中结果高亮。
  • 日志示例 以下是一条典型日志,content字段值是日志原文,使用分隔符逗号将原始日志解析成3个字段level、status、message; 示例日志中的hostName、hostIP、pathFile是常见的内置保留字段,详细内置字段请参考内置保留字段。 { "hostName":"epstest-xx518", "hostIP":"192.168.0.31", "pathFile":"stdout.log", "content":"error,400,I Know XX", "level":"error", "status":400, "message":"I Know XX" }
  • 价格详情 购买资源包后即可发送短信,资源包额度用尽即停。 按不同类型的短信模板,扣除不同类型资源包内的额度。如您使用行业短信套餐包,则系统会扣除您行业短信资源包内的额度,不影响推广短信资源包。 如有任何疑问,请联系华为云智能客服,将有专人为您解答。 表1 行业短信包(用于验证码短信&通知短信) 规格 500条 5000条 1万条 10万条 50万条 300万条 1亿条 价格(元) 32.5 325 630 6,000 29,000 165,000 475,0000 每条单价(元/条) 0.065 0.065 0.063 0.060 0.058 0.055 0.0475 有效期 1年 1年 1年 1年 1年 1年 1年 表2 推广短信包 规格 5000条 1万条 10万条 50万条 300万条 价格(元) 400 780 7,500 36,500 210,000 每条单价(元/条) 0.080 0.078 0.075 0.073 0.070 有效期 1年 1年 1年 1年 1年 父主题: 按资源包计费(用尽即停)
  • 价格详情 使用短信套餐包时,优先扣除已购买套餐包内的额度,超出部分按需计费(套餐包额度计算在阶梯内)。 按不同类型的短信模板,扣除不同类型套餐包内的额度。如您使用行业短信套餐包,则系统会扣除您行业短信套餐包内的额度,不影响推广短信套餐包。 如有任何疑问,请联系华为云智能客服,将有专人为您解答。 表1 行业短信包(用于验证码短信&通知短信) 规格 500条 5000条 1万条 10万条 50万条 300万条 价格(元) 32.5 325 630 6,000 29,000 165,000 每条单价(元/条) 0.065 0.065 0.063 0.060 0.058 0.055 有效期 1个月 1年 1年 1年 1年 1年 表2 推广短信包 规格 5000条 1万条 10万条 50万条 300万条 价格(元) 400 780 7,500 36,500 210,000 每条单价(元/条) 0.080 0.078 0.075 0.073 0.070 有效期 1年 1年 1年 1年 1年 父主题: 按套餐包计费(用尽按需)
  • 资源包说明 您可以通过包年包月(资源包)的方式,提前购买使用额度和时长,获取更多的优惠。购买资源包发送短信,资源用尽时,自动停止使用。 资源包与账号绑定,不支持跨账号使用。 资源包不支持退订,建议您在购买资源包前提前规划资源的使用额度和时长。 资源包购买后即时生效,到期后自动失效,不支持延期,资源包使用后剩余资源不支持退订。 资源包用尽即停,若您需要继续发送短信,请在资源包用量耗尽前重新购买新的资源包。若您一次性购买多个资源包,其生效时间和结束时间相同。
  • 计费规则 购买资源包后发送短信即扣除已购买资源包内的额度,资源包用尽系统自动停发。继续发送需重新购买资源包。 如果先后购买了两个同类型的资源包,优先使用先生效的资源包,前一个资源包用量耗尽,才会使用后一个资源包。 验证码短信和通知短信计费方式一致。 发送即计费,即调用接口/群发助手成功则计费。 以下情况不收费:“status”或“状态码”为华为平台错误码。 查看所有状态回执错误码(其中状态码来源是华为平台的不计费)。
  • 套餐包抵扣顺序 抵扣顺序原则 当购买了多个相同属性的资源包,会按照资源包过期时间顺序进行抵扣,优先抵扣过期时间近的资源包。 若您一次性购买多个资源包,则资源包生效时间和结束时间相同。 示例 场景 某客户分别购买了两个行业短信用尽即止资源包 资源包A:规格1万条,2024年5月1日生效,购买时长1年,即2025年5月1日过期。 资源包B:规格10万条,2024年5月10日生效,购买时长1年,即2025年5月10日过期。 抵扣顺序 2024年5月1日~2024年5月9日 只有资源包A生效。 使用资源包A抵扣,超出1万条系统自动停发。 2024年5月10日~2025年4月30日 资源包A、B同时生效,叠加使用。 优先使用资源包A抵扣,超出1万条部分使用资源包B抵扣,超出11万条系统自动停发。 2025年5月1日~2025年5月9日 资源包A过期,只有资源包B生效。 使用资源包B抵扣,超出10万条系统自动停发。 2025年5月10日~ 资源包A、B均已过期,系统自动停发。
共100000条