华为云用户手册

  • 计费模式 GaussDB(DWS)提供三种计费模式供您选择:包年/包月、按需计费和折扣套餐。三种方式供您灵活选择,使用越久越便宜。 包年/包月:可通过预付费,以包年包月模式购买云服务,这种购买方式相对于按需付费提供更大的折扣,对于长期使用者,推荐该计费模式。 按需计费(小时):购买方式比较灵活,可以即开即停。使用时按实际使用时长计费(精确到分钟),每个自然小时出账单并从您的账户余额中扣减费用,删除集群即停止计费。 折扣套餐:按月或按年预先支付OBS热数据存储费用,相比按需计费提供大额折扣,适合计划长期使用DWS 3.0场景的客户。 关于以上计费模式的详细介绍请参见计费模式。在购买云服务器后,如果发现当前计费模式无法满足业务需求,您还可以变更计费模式。详细介绍请参见变更计费模式。
  • 续费 目前GaussDB(DWS)提供包年/包月、按需模式和折扣套餐,包年/包月和折扣套餐是您在购买时一次性付费,使用过程中不会再另外扣费,只要您的账户上有足够余额,则不会影响您的使用。按需计费是每小时扣费,如果余额不足会导致欠费。如果您未能续费,华为云不会立即停止您的业务,订单转入保留期,此时集群将终止服务,数据仍然保留。 保留期的时长由客户等级而定。如需续费,请进入续费管理页面进行续费操作。了解更多关于续费的信息,请参见续费。
  • 包年/包月计费模式 登录GaussDB(DWS)管理控制台。 单击“集群管理”。默认显示用户所有的集群列表。 在集群列表中,在指定集群所在行的“操作”列,选择“续费”。 跳转至CBC续费页面,确定无误后,支付订单。 表1 续费参数说明 参数 参数说明 续费时长 选择续费时长。 统一到期日 用户可根据自身需求选择是否勾选“统一到期日设置为每月1号”,默认为每月最后一天到期。 说明: 将资源到期时间延长至统一到期日,可能产生额外的续费天数。 返回集群管理页面单击,刷新集群列表。
  • 共享VPC内所有者和使用者的权限 所有者将VPC子网共享给使用者后,所有者和使用者对共享子网、以及子网内关联云资源的操作权限如表1所示。 表1 共享VPC内所有者和使用者的权限 角色 所有者将子网共享给使用者时 所有者停止子网共享后 使用者退出子网共享后 所有者 所有者不可以修改、删除使用者创建的资源,比如GaussDB(DWS)集群、ECS、ELB等。 在子网的“IP地址管理”页面中,所有者可以查看使用者创建资源的IP地址和资源ID等信息。 所有者可以正常使用、删除、管理VPC下的所有资源。 如果使用者在已停止共享的子网中仍拥有资源,则所有者无法删除共享子网或共享子网所在的VPC。 所有者可以正常使用、删除、管理VPC下的所有资源。 如果使用者退出子网共享后,在共享的子网中仍拥有资源,则所有者无法删除共享子网或共享子网所在的VPC。 使用者 使用者可以在共享VPC子网内新建资源,比如ECS、ELB、RDS实例等。 在子网的“IP地址管理”页面中,使用者可以查看自己创建资源的IP地址和资源ID等信息,无法查看所有者和其他使用者创建的资源信息。 使用者可以继续使用自己创建的资源,无法在该共享子网内新创建资源。 使用者可以继续使用自己创建的资源,无法在该共享子网内新创建资源。
  • 约束与限制 所有者和使用者的子网在同一个VPC内,子网默认网络互通。但是由于使用者和所有者位于共享子网内的资源关联不同的安全组内,因此资源之间网络隔离,如果需要资源之间互通,需要添加安全组规则放通不同安全组之间的网络,具体方法请参见添加安全组规则。 比如,放通账号A和账号B内两个GaussDB(DWS)的安全组,则需要分别在两个安全组内添加入方向规则,源地址选择对方安全组。 单个使用者最多可同时接收100个共享子网,当共享子网数量超过100个时,使用者将无法接收到超出数量的共享子网。 单个子网最多可同时共享给100个使用者,当使用者数量超过100个时,超出数量的使用者将无法接收到共享子网。
  • 创建多个接入配置的操作步骤 在接入规则页签,支持创建批量接入的任务。 支持批量创建接入,单击“批量接入”,进入配置详情页面,请参考表5。 结构化解析配置功能仅支持白名单用户使用,详细操作请参考ICAgent采集配置。有需要可提交工单申请使用,请参考提交工单。 表5 批量接入设置 类型 操作 说明 基本配置 接入类型 选择云容器引擎 CCE-应用日志。 接入配置数量 在输入框填写接入配置数量,单击“添加接入配置”。 在接入配置下方默认已有1个接入配置,最多支持再添加99个数量,因此支持同时添加100个接入配置。 接入配置 接入列表 左侧显示接入配置的信息,最多支持添加99个配置。 右侧显示配置接入的内容,详细请参考创建单个接入配置的操作步骤进行设置。 一个接入配置设置完成后,单击“应用于其他接入规则”即可将该接入配置复制到其他接入配置。 单击参数检查,检查成功后,单击“提交”,批量接入设置完成。 例如添加了4个接入配置,批量创建成功后,在接入规则页签下方,就会显示4条接入配置数量。 (可选)支持对接入配置任务进行以下操作: 勾选多个已创建成功的接入配置,单击“批量编辑”进入配置详情页面,通过选择不同接入类型,修改对应的接入配置信息。 勾选多个已创建成功的接入配置,单击开启或关闭按钮。接入配置状态关闭后不会继续采集日志。 勾选多个已创建成功的接入配置,单击删除按钮即可批量删除接入配置。
  • 采集配置 在使用CCE接入完成日志接入时,在采集配置页面的具体配置如下: 基本配置:自定义采集配置名称,长度范围为1到64个字符,只支持输入英文、数字、中文、中划线、下划线以及小数点,且不能以小数点、下划线开头或以小数点结尾。 数据源配置:选择数据源类型,进行对应的数据源配置。 容器标准输出:采集集群内指定容器日志,仅支持Stderr和Stdout的日志。 被匹配上的容器的标准输出会采集到指定的日志流,原先采集到的AOM的标准输出会停止采集。 容器标准输出不能重复配置,即使跨日志组和日志流,也只能配置一次。 容器文件路径:采集集群内指定容器内的文件日志。 节点文件路径:采集集群内指定节点的文件。 采集路径不能重复配置,即同一个主机下的同一路径,即使跨日志组和日志流,也只能配置一次。 K8S事件:采集K8S集群内的事件日志。 K8S事件不能重复配置,即一个K8S集群的K8S事件,只能配置接入到一个日志流。 表1 采集配置参数表 类型 参数配置 容器标准输出 采集容器标准输出到AOM、采集容器标准输出(stdout)和采集容器标准错误(stderr)。 采集容器标准输出到AOM:默认集群下的主机已安装了ICAgent 且采集日志到AOM,采集容器标准输出到AOM的开关处于开启状态。开启后标准输出只会采集到AOM,不会采集到LTS,建议您手动关闭该开关。 采集容器标准输出(stdout)和采集容器标准错误(stderr)两者必须得有一个是开启状态。 容器文件路径 路径配置:添加您需要收集的日志路径,LTS将按照配置的路径进行日志采集。 说明: 当CCE集群的工作负载中,已配置容器的挂载路径时,此时路径配置里添加的路径将无效。须将CCE集群页面中的挂载路径删除后,该配置才有效。 采集路径不能重复配置,即同一个主机下的同一路径,即使跨日志组和日志流,也只能配置一次。 添加自定义绕接规则,ICAgent目前是通过文件名规则来判断是否为绕接文件,如果您的绕接规则不符合内置类型时,可以通过单击“添加自定义绕接规则”来进行匹配,避免重复采集和绕接时的日志丢失。 内置类型为{basename}{连接符}{绕接标识}.后缀,{basename}.{后缀}{连接符}{绕接标识}。其中连接符为-._绕接标识为非字母符号,后缀为字母。 自定义绕接规则为{basename}+绕接文件的特征正则表达式组成匹配规则。例如您的日志文件名称为/opt/test.out.log,绕接后的文件名为test.2024-01-01.0.out.log,test.2024-01-01.1.out.log,因此在路径配置时,采集路径为/opt/*.log,绕接规则为{basename}\.[-0-9\.].out.log 设置采集黑名单:LTS支持对日志进行过滤采集,即通过设置黑名单,在采集时过滤指定的目录或文件。指定按目录过滤,可过滤掉该目录下的所有文件。 节点文件路径 路径配置:添加您需要收集的日志路径,LTS将按照配置的路径进行日志采集。 说明: 采集路径不能重复配置,即同一个主机下的同一路径,即使跨日志组和日志流,也只能配置一次。 添加自定义绕接规则,ICAgent目前是通过文件名规则来判断是否为绕接文件,如果您的绕接规则不符合内置类型时,可以通过单击“添加自定义绕接规则”来进行匹配,避免重复采集和绕接时的日志丢失。 内置类型为{basename}{连接符}{绕接标识}.后缀,{basename}.{后缀}{连接符}{绕接标识}。其中连接符为-._绕接标识为非字母符号,后缀为字母。 自定义绕接规则为{basename}+绕接文件的特征正则表达式组成匹配规则。例如您的日志文件名称为/opt/test.out.log,绕接后的文件名为test.2024-01-01.0.out.log,test.2024-01-01.1.out.log,因此在路径配置时,采集路径为/opt/*.log,绕接规则为{basename}\.[-0-9\.].out.log 设置采集黑名单:LTS支持对日志进行过滤采集,即通过设置黑名单,在采集时过滤指定的目录或文件。指定按目录过滤,可过滤掉该目录下的所有文件。 K8S事件 无需设置参数。仅支持icagent 5.12.150及以上版本。 K8s匹配规则:当数据源类型选择容器标准输出和容器文件路径时,设置K8s匹配规则,非必选项。 填写正则匹配规则后,单击校验按钮,支持校验确保正则表达式的正确性。 表2 K8s匹配规则 参数名称 参数说明 K8s Namespace正则匹配 通过Namespace名称指定采集的容器,支持正则匹配。 说明: 采集名称符合正则规则的Namespace的日志,为空时采集所有Namespace的日志。 K8s Pod正则匹配 通过Pod名称指定待采集的容器,支持正则匹配。 说明: 采集名称符合正则规则的Pod的日志,为空时采集所有Pod的日志。 K8s容器名称正则匹配 通过容器名称指定待采集的容器(Kubernetes容器名称是定义在spec.containers中),支持正则匹配。 说明: 采集名称符合正则规则的容器的日志,为空时采集所有容器的日志。 K8s Label白名单 通过K8s Label白名单指定待采集的容器。如果您要设置K8s Label白名单,那么LabelKey必填,LabelValue可选填。 说明: 若LabelValue为空,则K8S Label中包含LabelKey的容器都匹配;若LabelValue不为空,则K8S Label中包含LabelKey=LabelValue的容器才匹配;LabelKey需要全匹配,LabelValue支持正则匹配;多个白名单之间为或关系,即只要K8S Label满足任一白名单即可被匹配。 K8s Label黑名单 通过K8s Label黑名单排除不采集的容器。如果您要设置K8s Label黑名单,那么LabelKey必填,LabelValue可选填。 说明: 若LabelValue为空,则K8S Label中包含LabelKey的容器都被排除;若LabelValue不为空,则K8S Label中包含LabelKey=LabelValue的容器才会被排除;LabelKey需要全匹配,LabelValue支持正则匹配;多个黑名单之间为或关系,即只要K8S Label满足任一黑名单即可被排除。 K8s Label日志标签 设置K8s Label日志标签后,日志服务将在日志中新增K8s Label相关字段。 说明: 设置K8s Label日志标签后,lts将在日志中新增相关字段。例如设置LabelKey为app,设置LabelValue为app_alias,当容器中包含app=lts时,将在日志中添加内容{app_alias:lts}。 容器Label白名单 通过容器Label白名单指定待采集的容器。如果您要设置容器Label白名单,那么LabelKey必填,LabelValue可选填。 说明: 若LabelValue为空,则容器 Label中包含LabelKey的容器都匹配;若LabelValue不为空,则容器 Label中包含LabelKey=LabelValue的容器才匹配;LabelKey需要全匹配,LabelValue支持正则匹配;多个白名单之间为或关系,即只要容器 Label满足任一白名单即可被匹配。 容器Label黑名单 通过容器Label黑名单排除不采集的容器。如果您要设置容器Label黑名单,那么LabelKey必填,LabelValue可选填。 说明: 若LabelValue为空,则容器 Label中包含LabelKey的容器都被排除;若LabelValue不为空,则容器 Label中包含LabelKey=LabelValue的容器才会被排除;LabelKey需要全匹配,LabelValue支持正则匹配;多个黑名单之间为或关系,即只要容器 Label满足任一黑名单即可被排除。 容器Label日志标签 设置容器Label日志标签后,日志服务将在日志中新增容器Label相关字段。 说明: 设置容器 Label日志标签后,lts将在日志中新增相关字段。例如设置LabelKey为app,设置LabelValue为app_alias,当容器中包含app=lts时,将在日志中添加的内容{app_alias:lts}。 环境变量白名单 用于指定待采集的容器。如果您要设置环境变量白名单,那么Label Key必填,Label Value可选填。 说明: 如果环境变量Value为空,则容器环境变量中包含环境变量Key的容器都匹配;如果环境变量Value不为空,则容器环境变量中包含环境变量Key=环境变量Value的容器才被匹配;LabelKey需要全匹配,LabelValue支持正则匹配;多个白名单之间为或关系,即只要容器的环境变量满足任一键值对即可被匹配。 环境变量黑名单 用于排除不采集的容器。如果您要设置环境变量黑名单,那么Label Key必填,Label Value可选填。 说明: 如果环境变量Value为空,则容器环境变量中包含环境变量Key的容器都将被排除;如果环境变量Value不为空,则容器环境变量中包含环境变量Key=环境变量Value的容器才会被排除;LabelKey需要全匹配,LabelValue支持正则匹配;多个黑名单之间为或关系,即只要容器的环境变量满足任一键值对即可被排除。 环境变量日志标签 设置环境变量日志标签后,日志服务将在日志中新增环境变量相关字段。 说明: 设置环境变量日志标签后,lts将在日志中新增相关字段,例如设置环境变量Key为app,设置环境变量Value为app_alias,当容器中包含环境变量app=lts时,将在日志中添加的内容为{app_alias:lts}。 开启结构化解析配置,详细操作请参考ICAgent采集配置。 需要ICAgent 5.12.147及以上版本,其优点是成本更低,支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 结构化解析配置功能仅支持白名单用户提交工单申请使用。详细操作请参考提交工单。 开通白名单后,若已经配置了云端结构化解析,请先删除后再配置ICAgent结构化解析。 图3 ICAgent结构化解析配置 其他配置。 表3 其他配置 名称 说明 最大目录深度 最大目录深度为5层。 该配置控制日志采集的最大目录深度,ICAgent不会采集所在目录层级超过指定最大目录深度的日志文件。当你目标采集路径包含模糊匹配时,建议配置合适的最大目录深度,避免ICAgent性能浪费。 日志拆分 云日志服务支持对日志进行拆分。 当日志大小超过500KB时,开启日志拆分按钮,则单行日志会被拆分为多行采集。例如:日志大小为600KB,被拆分为2行日志采集,第一行500KB,第二行100KB。 当日志大小超过500KB时,未开启日志拆分按钮,则单条日志大小限制不超过500KB,超过限制部分会被截断丢弃。 采集二进制文件 云日志服务支持采集二进制文件。 您可以通过命令(file -i 文件名)查看文件类型,如果包含charset=binary,那么该日志文件就是二进制文件。 当日志的文件类型为二进制时,开启采集二进制文件按钮,则对接入的二进制文件日志进行采集,但仅支持UTF8编码的字符串,非UFT8编码的字符在LTS控制台页面会显示乱码。 当日志的文件类型为二进制时,未开启采集二进制文件按钮,则对接入的二进制文件日志停止采集,开启后即可进行采集。 日志文件编码 日志文件编码为UTF-8。 采集策略 采集策略支持增量或全量。 增量采集:ICAgent采集新文件时,从文件的末尾开始读。 全量采集:ICAgent采集新文件时,从文件的开头开始读。 日志格式、日志时间具体说明如下: 不再推荐使用以下功能,建议使用结构化解析配置。 如果您配置了ICAgent的多行全文或者多行完全正则,此处的多行日志配置会失效。 表4 日志采集信息 名称 说明 日志格式 单行日志:采集的日志文件中,如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据,则选择单行日志。 多行日志:采集的日志中包含像java异常的日志,如果您希望多行异常的日志显示为一条日志,正常的日志则每一行都显示为一条单独的日志数据,则选择多行日志,方便您查看日志并且定位问题。 日志时间 系统时间:表示系统当前时间,默认为日志采集时间,每条日志的行首显示日志的采集时间。 说明: 日志采集时间:ICAgent采集日志,并且发送到云日志服务的时间。 日志打印时间:系统产生并打印日志的时间。ICAgent采集日志并发送日志到云日志平台的频率为1秒钟。 采集日志时间限制:系统时间的前后24小时内。 时间通配符:用日志打印时间来标识一条日志数据,通过时间通配符来匹配日志,每条日志的行首显示日志的打印时间。 如果日志中的时间格式为:2019-01-01 23:59:59.011,时间通配符应该填写为:YYYY-MM-DD hh:mm:ss.SSS。 如果日志中的时间格式为:19-1-1 23:59:59.011,时间通配符应该填写为:YY-M-D hh:mm:ss.SSS。 说明: 如果日志中不存在年份信息,则云日志会自动补齐年份数据为当前年份数据。 填写示例: YY - year (19) YYYY - year (2019) M - month (1) MM - month (01) D - day (1) DD - day (01) hh - hours (23) mm - minutes (59) ss - seconds (59) SSS - millisecond(999) hpm - hours (03PM) h:mmpm - hours:minutes (03:04PM) h:mm:sspm - hours:minutes:seconds (03:04:05PM) hh:mm:ss ZZZZ (16:05:06 +0100) hh:mm:ss ZZZ (16:05:06 CET) hh:mm:ss ZZ (16:05:06 +01:00) 分行模式 日志格式选择多行日志时,需要选择分行模式,分行模式选择“日志时间”时,是以时间通配符来划分多行日志;当选择“正则模式”时,则以正则表达式划分多行日志。 正则表达式 此配置是用来标识一条日志数据的正则表达式。日志格式选择“多行日志”格式后且“分行模式”已选择“正则模式”后需要设置。 时间通配和正则表达式均是从每行日志的开头进行严格匹配,如果匹配不上,则会默认使用系统时间上报,这样可能会和文件内容中的时间不一致。如果没有特殊需求,建议使用单行日志-系统时间模式即可。
  • 使用限制 目前不支持ServiceStage托管场景。 支持容器引擎为Docker的CCE集群节点。详情请查看云容器引擎(CCE)。 支持使用Containerd作为容器引擎的CCE集群节点(ICAgent 5.12.130及以上版本)。 支持CCE Turbo集群(ICAgent 5.12.130及以上版本)。 容器内的日志目录如果已挂载到主机目录上,将无法通过配置容器文件路径方式采集到LTS,只能通过配置节点文件路径方式采集到LTS。 Docker存储驱动限制:容器文件日志采集目前仅支持overlay2存储驱动,不支持devicemapper作为存储驱动的节点。查看存储驱动类型,请使用如下命令: docker info | grep "Storage Driver" 如果选择日志流时,采集方式为采集到集中日志流时,则必须已创建CCE集群。
  • 创建多个接入配置的操作步骤 在接入规则页签,支持创建批量接入的任务。 支持批量创建接入,单击“批量接入”,进入配置详情页面,请参考表4。 结构化解析配置功能仅支持白名单用户使用,详细操作请参考ICAgent采集配置。有需要可提交工单申请使用,请参考提交工单。 表4 批量接入设置 类型 操作 说明 基本配置 接入类型 选择ServiceStage-云主机日志。 接入配置数量 在输入框填写接入配置数量,单击“添加接入配置”。 在接入配置下方默认已有1个接入配置,最多支持再添加99个数量,因此支持同时添加100个接入配置。 接入配置 接入列表 左侧显示接入配置的信息,最多支持添加99个配置。 右侧显示配置接入的内容,详细请参考创建多个接入配置的操作步骤进行设置。 一个接入配置设置完成后,单击“应用于其他接入规则”即可将该接入配置复制到其他接入配置。 单击参数检查,检查成功后,单击“提交”,批量接入设置完成。 例如添加了4个接入配置,批量创建成功后,在接入规则页签下方,就会显示4条接入配置数量。 (可选)支持对接入配置任务进行以下操作: 勾选多个已创建成功的接入配置,单击“批量编辑”进入配置详情页面,通过选择不同接入类型,修改对应的接入配置信息。 勾选多个已创建成功的接入配置,单击开启或关闭按钮。接入配置状态关闭后不会继续采集日志。 勾选多个已创建成功的接入配置,单击删除按钮即可批量删除接入配置。
  • 采集配置 在使用ServiceStage接入完成日志接入时,采集配置的具体配置如下: 图1 采集配置 采集配置名称:自定义采集配置名称,长度范围为1到64个字符,只支持输入英文、数字、中文、中划线、下划线以及小数点,且不能以小数点、下划线开头或以小数点结尾。 路径配置:添加您需要收集的日志路径,LTS将按照配置的路径进行日志采集。 采集路径支持递归路径,**表示递归5层目录。 示例:采集路径配置为 /var/logs/**/a.log,日志匹配如下: /var/logs/1/a.log /var/logs/1/2/a.log /var/logs/1/2/3/a.log /var/logs/1/2/3/4/a.log /var/logs/1/2/3/4/5/a.log 以上示例中的/1/2/3/4/5/,表示/var/logs目录中,往里递归的5个目录层级,在这5个目录层级中只要存在a.log,都能进行日志匹配。 采集路径中只能出现一次**,不能出现两个及以上。正确示例:/var/logs/**/a.log;错误示例:/opt/test/**/log/**。 采集路径中第一个层级不允许为**(避免误采集系统文件),错误示例:/**/test。 采集路径支持模糊匹配,匹配目录或文件名中的任何字符。 如果配置了C:\windows\system32类似的日志采集路径,但无法采集日志,请尝试打开WAF物理防火墙后重新配置。 示例1:采集路径配置为 /var/logs/*/a.log,表示/var/logs/目录下,任何一个目录中存在a.log,都能进行日志匹配,例如: /var/logs/1/a.log /var/logs/2/a.log 示例2:采集路径配置为 /var/logs/service-*/a.log,日志匹配示例: /var/logs/service-1/a.log /var/logs/service-2/a.log 示例3:采集路径配置为 /var/logs/service/a*.log,日志匹配示例: /var/logs/service/a1.log /var/logs/service/a2.log 采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件。 如果配置的是文件名,则直接采集对应文件,只支持内容是文本格式的文件。可以通过file -i 文件名命令,查询文件格式。 添加自定义绕接规则,ICAgent目前是通过文件名规则来判断是否为绕接文件,如果您的绕接规则不符合内置类型时,可以通过单击“添加自定义绕接规则”来进行匹配,避免重复采集和绕接时的日志丢失。 内置类型为{basename}{连接符}{绕接标识}.后缀,{basename}.{后缀}{连接符}{绕接标识}。其中连接符为-._绕接标识为非字母符号,后缀为字母。 自定义绕接规则为{basename}+绕接文件的特征正则表达式组成匹配规则。例如您的日志文件名称为/opt/test.out.log,绕接后的文件名为test.2024-01-01.0.out.log,test.2024-01-01.1.out.log,因此在路径配置时,采集路径为/opt/*.log,绕接规则为{basename}\.[-0-9\.].out.log 请注意您的敏感信息是否在收集范围内。 当主机选择“Windows主机”时,如需采集系统日志,需要在“采集配置”环节,开启“采集Windows事件日志”。 windows事件日志采集不能重复配置,即相同主机下,即使跨日志组和日志流,也只能配置一次。 LTS暂不支持采集PostgreSQL(数据库)实例的日志,目前只支持采集安装在ECS(主机)实例的日志。 日志采集路径不能重复配置,即相同主机的同一个日志采集路径不能重复配置,否则可能会导致日志采集异常。 相同主机的同一个日志采集路径,如果在AOM进行了配置,则不能在LTS重复配置。 配置采集的文件最后修改时间和当前时间差如果已超过12小时,则不会采集。 设置采集黑名单:LTS支持对日志进行过滤采集,即通过设置黑名单,在采集时过滤指定的目录或文件。指定按目录过滤,可过滤掉该目录下的所有文件。 目录和文件名支持完全匹配,也支持模糊匹配,具体可参考路径配置内容进行设置。 当设置的黑名单与配置的采集路径重复或者有重合时,优先过滤掉黑名单设置的文件。 采集Windows事件日志:当选择Windows主机采集日志时,需要开启“采集Windows事件日志”,配置如下参数: 表1 采集Windows事件日志参数 名称 说明 日志类型 日志类型有系统、应用程序、安全和启动。 首次采集时间偏移量 如设置为7天,表示从采集开始时间前7天内的日志(7天前的日志被忽略),该时间仅在首次配置采集生效,确保不会重复采集。最大支持设置为7天。 事件等级 事件等级有information、warning、error、critical和verbose。根据Windows事件等级过滤采集。仅支持Windows Vista及以上的操作系统。 ServiceStage匹配规则,选择对应组件。 结构化解析配置,详细操作请参考ICAgent采集配置。 结构化解析配置功能仅支持白名单用户使用,有需要可提交工单申请使用,请参考提交工单。 其他配置。 表2 其他配置 名称 说明 最大目录深度 最大目录深度为5层。 该配置控制日志采集的最大目录深度,ICAgent不会采集所在目录层级超过指定最大目录深度的日志文件。当你目标采集路径包含模糊匹配时,建议配置合适的最大目录深度,避免ICAgent性能浪费。 日志拆分 云日志服务支持对日志进行拆分。 当日志大小超过500KB时,开启日志拆分按钮,则单行日志会被拆分为多行采集。例如:日志大小为600KB,被拆分为2行日志采集,第一行500KB,第二行100KB。 当日志大小超过500KB时,未开启日志拆分按钮,则单条日志大小限制不超过500KB,超过限制部分会被截断丢弃。 采集二进制文件 云日志服务支持采集二进制文件。 您可以通过命令(file -i 文件名)查看文件类型,如果包含charset=binary,那么该日志文件就是二进制文件。 当日志的文件类型为二进制时,开启采集二进制文件按钮,则对接入的二进制文件日志进行采集,但仅支持UTF8编码的字符串,非UFT8编码的字符在LTS控制台页面会显示乱码。 当日志的文件类型为二进制时,未开启采集二进制文件按钮,则对接入的二进制文件日志停止采集,开启后即可进行采集。 日志文件编码 日志文件编码为UTF-8。 采集策略 采集策略支持增量或全量。 增量采集:ICAgent采集新文件时,从文件的末尾开始读。 全量采集:ICAgent采集新文件时,从文件的开头开始读。 日志格式、日志时间具体说明如下: 表3 日志采集信息 名称 说明 日志格式 单行日志:采集的日志文件中,如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据,则选择单行日志。 多行日志:采集的日志中包含像java异常的日志,如果您希望多行异常的日志显示为一条日志,正常的日志则每一行都显示为一条单独的日志数据,则选择多行日志,方便您查看日志并且定位问题。 日志时间 系统时间:表示系统当前时间,默认为日志采集时间,每条日志的行首显示日志的采集时间。 说明: 日志采集时间:ICAgent采集日志,并且发送到云日志服务的时间。 日志打印时间:系统产生并打印日志的时间。ICAgent采集日志并发送日志到云日志平台的频率为1秒钟。 采集日志时间限制:系统时间的前后24小时内。 时间通配符:用日志打印时间来标识一条日志数据,通过时间通配符来匹配日志,每条日志的行首显示日志的打印时间。 如果日志中的时间格式为:2019-01-01 23:59:59.011,时间通配符应该填写为:YYYY-MM-DD hh:mm:ss.SSS。 如果日志中的时间格式为:19-1-1 23:59:59.011,时间通配符应该填写为:YY-M-D hh:mm:ss.SSS。 说明: 如果日志中不存在年份信息,则云日志会自动补齐年份数据为当前年份数据。 填写示例: YY - year (19) YYYY - year (2019) M - month (1) MM - month (01) D - day (1) DD - day (01) hh - hours (23) mm - minutes (59) ss - seconds (59) SSS - millisecond(999) hpm - hours (03PM) h:mmpm - hours:minutes (03:04PM) h:mm:sspm - hours:minutes:seconds (03:04:05PM) hh:mm:ss ZZZZ (16:05:06 +0100) hh:mm:ss ZZZ (16:05:06 CET) hh:mm:ss ZZ (16:05:06 +01:00) 分行模式 日志格式选择多行日志时,需要选择分行模式,分行模式选择“日志时间”时,是以时间通配符来划分多行日志;当选择“正则模式”时,则以正则表达式划分多行日志。 正则表达式 此配置是用来标识一条日志数据的正则表达式。日志格式选择“多行日志”格式后且“分行模式”已选择“正则模式”后需要设置。
  • 采集配置 在使用ServiceStage接入完成日志接入时,采集配置的具体配置如下: 图3 基本配置 基本配置:自定义采集配置名称,长度范围为1到64个字符,只支持输入英文、数字、中文、中划线、下划线以及小数点,且不能以小数点、下划线开头或以小数点结尾。 数据源配置:选择数据源类型,进行对应的数据源配置。 容器标准输出:采集集群内指定容器日志,仅支持Stderr和Stdout的日志。 被匹配上的容器的标准输出会采集到指定的日志流,原先采集到的AOM的标准输出会停止采集。 容器标准输出不能重复配置,即使跨日志组和日志流,也只能配置一次。 容器文件路径:采集集群内指定容器内的文件日志。 节点文件路径:采集集群内指定节点的文件。 采集路径不能重复配置,即同一个主机下的同一路径,即使跨日志组和日志流,也只能配置一次。 K8S事件:采集K8S集群内的事件日志。 K8S事件不能重复配置,即一个K8S集群的K8S事件,只能配置接入到一个日志流。 表1 采集配置参数表 类型 参数配置 容器标准输出 采集容器标准输出(stdout)和采集容器标准错误(stderr)两者必须得有一个是开启状态。 容器文件路径 路径配置:添加您需要收集的日志路径,LTS将按照配置的路径进行日志采集。 说明: 当CCE集群的工作负载中,已配置容器的挂载路径时,此时路径配置里添加的路径将无效。须将CCE集群页面中的挂载路径删除后,该配置才有效。 采集路径不能重复配置,即同一个主机下的同一路径,即使跨日志组和日志流,也只能配置一次。 设置采集黑名单:LTS支持对日志进行过滤采集,即通过设置黑名单,在采集时过滤指定的目录或文件。指定按目录过滤,可过滤掉该目录下的所有文件。 节点文件路径 路径配置:添加您需要收集的日志路径,LTS将按照配置的路径进行日志采集。 说明: 采集路径不能重复配置,即同一个主机下的同一路径,即使跨日志组和日志流,也只能配置一次。 设置采集黑名单:LTS支持对日志进行过滤采集,即通过设置黑名单,在采集时过滤指定的目录或文件。指定按目录过滤,可过滤掉该目录下的所有文件。 K8S事件 无需设置参数。仅支持icagent 5.12.150 及以上版本。 ServiceStage匹配规则,选择对应组件。 结构化解析配置,详细操作请参考ICAgent采集配置。 结构化解析配置功能仅支持白名单用户使用。有需要可提交工单申请使用,请参考提交工单。 其他配置。 表2 其他配置 名称 说明 最大目录深度 最大目录深度为5层。 该配置控制日志采集的最大目录深度,ICAgent不会采集所在目录层级超过指定最大目录深度的日志文件。当你目标采集路径包含模糊匹配时,建议配置合适的最大目录深度,避免ICAgent性能浪费。 日志拆分 云日志服务支持对日志进行拆分。 当日志大小超过500KB时,开启日志拆分按钮,则单行日志会被拆分为多行采集。例如:日志大小为600KB,被拆分为2行日志采集,第一行500KB,第二行100KB。 当日志大小超过500KB时,未开启日志拆分按钮,则单条日志大小限制不超过500KB,超过限制部分会被截断丢弃。 采集二进制文件 云日志服务支持采集二进制文件。 您可以通过命令(file -i 文件名)查看文件类型,如果包含charset=binary,那么该日志文件就是二进制文件。 当日志的文件类型为二进制时,开启采集二进制文件按钮,则对接入的二进制文件日志进行采集,但仅支持UTF8编码的字符串,非UFT8编码的字符在LTS控制台页面会显示乱码。 当日志的文件类型为二进制时,未开启采集二进制文件按钮,则对接入的二进制文件日志停止采集,开启后即可进行采集。 日志文件编码 日志文件编码为UTF-8。 采集策略 采集策略支持增量或全量。 增量采集:ICAgent采集新文件时,从文件的末尾开始读。 全量采集:ICAgent采集新文件时,从文件的开头开始读。 高级配置:日志格式、日志时间具体说明如下: 图4 高级配置 表3 日志采集信息 名称 说明 日志格式 单行日志:采集的日志文件中,如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据,则选择单行日志。 多行日志:采集的日志中包含像java异常的日志,如果您希望多行异常的日志显示为一条日志,正常的日志则每一行都显示为一条单独的日志数据,则选择多行日志,方便您查看日志并且定位问题。 日志时间 系统时间:表示系统当前时间,默认为日志采集时间,每条日志的行首显示日志的采集时间。 说明: 日志采集时间:ICAgent采集日志,并且发送到云日志服务的时间。 日志打印时间:系统产生并打印日志的时间。ICAgent采集日志并发送日志到云日志平台的频率为1秒钟。 采集日志时间限制:系统时间的前后24小时内。 时间通配符:用日志打印时间来标识一条日志数据,通过时间通配符来匹配日志,每条日志的行首显示日志的打印时间。 如果日志中的时间格式为:2019-01-01 23:59:59.011,时间通配符应该填写为:YYYY-MM-DD hh:mm:ss.SSS。 如果日志中的时间格式为:19-1-1 23:59:59.011,时间通配符应该填写为:YY-M-D hh:mm:ss.SSS。 说明: 如果日志中不存在年份信息,则云日志会自动补齐年份数据为当前年份数据。 填写示例: YY - year (19) YYYY - year (2019) M - month (1) MM - month (01) D - day (1) DD - day (01) hh - hours (23) mm - minutes (59) ss - seconds (59) SSS - millisecond(999) hpm - hours (03PM) h:mmpm - hours:minutes (03:04PM) h:mm:sspm - hours:minutes:seconds (03:04:05PM) hh:mm:ss ZZZZ (16:05:06 +0100) hh:mm:ss ZZZ (16:05:06 CET) hh:mm:ss ZZ (16:05:06 +01:00) 分行模式 日志格式选择多行日志时,需要选择分行模式,分行模式选择“日志时间”时,是以时间通配符来划分多行日志;当选择“正则模式”时,则以正则表达式划分多行日志。 正则表达式 此配置是用来标识一条日志数据的正则表达式。日志格式选择“多行日志”格式后且“分行模式”已选择“正则模式”后需要设置。
  • 创建多个接入配置的操作步骤 在接入规则页签,支持创建批量接入的任务。 支持批量创建接入,单击“批量接入”,进入配置详情页面,请参考表4。 结构化解析配置功能仅支持白名单用户使用,详细操作请参考ICAgent采集配置。有需要可提交工单申请使用,请参考提交工单。 表4 批量接入设置 类型 操作 说明 基本配置 接入类型 选择ServiceStage-容器应用日志。 接入配置数量 在输入框填写接入配置数量,单击“添加接入配置”。 在接入配置下方默认已有1个接入配置,最多支持再添加99个数量,因此支持同时添加100个接入配置。 接入配置 接入列表 左侧显示接入配置的信息,最多支持添加99个配置。 右侧显示配置接入的内容,详细请参考创建单个接入配置的操作步骤进行设置。 一个接入配置设置完成后,单击“应用于其他接入规则”即可将该接入配置复制到其他接入配置。 单击参数检查,检查成功后,单击“提交”,批量接入设置完成。 例如添加了4个接入配置,批量创建成功后,在接入规则页签下方,就会显示4条接入配置数量。 (可选)支持对接入配置任务进行以下操作: 勾选多个已创建成功的接入配置,单击“批量编辑”进入配置详情页面,通过选择不同接入类型,修改对应的接入配置信息。 勾选多个已创建成功的接入配置,单击开启或关闭按钮。接入配置状态关闭后不会继续采集日志。 勾选多个已创建成功的接入配置,单击删除按钮即可批量删除接入配置。
  • 使用限制 支持容器引擎为Docker的CCE集群节点。 支持使用Containerd作为容器引擎的CCE集群节点(ICAgent 5.12.130及以上版本)。 容器内的日志目录如果已挂载到主机目录上,将无法通过配置容器文件路径方式采集到LTS,只能通过配置节点文件路径方式采集到LTS。 Docker存储驱动限制:容器文件日志采集目前仅支持overlay2存储驱动,不支持devicemapper作为存储驱动的节点。查看存储驱动类型,请使用如下命令: docker info | grep "Storage Driver"
  • 自定义日志时间 开启自定义日志时间开关,参考表10设置参数。 若时间格式填写错误或指定字段不存在,将使用日志被采集时间作为日志时间。 对结构化解析进行字段名称修改、字段删除、字段类型修改等操作,都需要重新校验时间字段。 表10 参数配置表 参数 说明 示例 时间字段key名称 已提取字段的名称。单击下拉框选择已提取的字段,该字段为string或long类型。 test 字段value 已提取的字段value,选择字段key后,将自动填充。 说明: 配置的字段value必须是当前时间前后24小时内的时间。 2023-07-19 12:12:00 时间格式 请参考常见日志时间格式。 yyyy-MM-dd HH:mm:ss 操作 单击校验图标,提示“时间格式和字段value匹配成功”则表示校验成功。 -
  • 组合解析 适用于多格式嵌套的日志(例如:分隔符+JSON),根据语法自定义配置解析规则。 选择组合解析。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例,在插件配置下方输入配置内容。 您可以根据日志内容参考以下插件语法自定义设置: processor_regex 表1 正则提取 参数 类型 说明 source_key string 原始字段名。 regex string 正则表达式()中为提取字段。 keys string 为提取的内容指定字段名。 keep_source boolean 是否保留原始字段。 keep_source_if_parse boolean 解析错误是否保留原始字段。 processor_split_string 表2 分隔符解析 参数 类型 说明 source_key string 原始字段名。 split_sep string 分隔符字符串。 keys string 为提取的内容指定字段名。 keep_source boolean 被解析后的日志中是否保留原始字段。 split_type char/special_char/string 分隔类型,支持char-单字符、special_char-不可见字符、string-字符串。 keep_source_if_parse_error boolean 解析错误是否保留原始字段。 processor_split_key_value 表3 键值对分割 参数 类型 说明 source_key string 原始字段名。 delimiter string 键值对之间的分隔符,默认值为制表符\t。 separator string 单个键值对中键与值之间的分隔符,默认值为半角冒号(:)。 keep_source boolean 被解析后的日志中是否保留原始字段。 processor_add_fields 表4 添加字段 参数 类型 说明 fields json/object 待添加的字段名和字段值。键值对格式,支持添加多个。 processor_drop 表5 丢弃字段 参数 类型 说明 drop_keys string 丢弃的字段列表。 processor_rename 表6 重命名字段 参数 类型 说明 source_keys string 待重命名的原始字段。 destkeys string 重命名后的字段。 processor_json 表7 json展开提取 参数 类型 说明 source_key string 原始字段名。 keep_source string 被解析后的日志中是否保留原始字段。 expand_depth int json展开的深度。默认值为0,表示不限制。1表示当前层级,以此类推。 expand_connector string json展开时的连接符,默认值为下划线(_)。 prefix string json展开时,对字段名附加的前缀。 keep_source_if_parse_error boolean 解析错误是否保留原始字段。 processor_filter_regex 表8 过滤器 参数 类型 说明 include json/object key为日志字段,value为匹配的正则表达式。 exclude json/object key为日志字段,value为匹配的正则表达式。 processor_gotime 表9 提取时间 参数 类型 说明 source_key string 原始字段名。 source_format string 原始时间的格式。 source_location int 原始时间的时区。参数值为空时,表示logtail所在主机或容器的时区。 dest_key string 解析后的目标字段。 dest_format string 解析后的时间格式。 dest_location int 解析后的时区。参数值为空时,表示本机时区。 set_time boolean 是否将解析后的时间设置为日志时间。 keep_source boolean 被解析后的日志中是否保留原始字段。 参考示例: [ { "type": "processor_regex", "detail": { "source_key": "content", "regex": "*", "keys": [ "key1", "key2" ], "multi_line_regex": "*", "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_split_string", "detail": { "split_sep": ".", "split_type": ".", "split_keys": [ "key1", "key2" ], "source_key": "context", "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_add_fields", "detail": { "fields": [ { "key1": "value1" }, { "key2": "value2" } ] } }, { "type": "processor_drop", "detail": { "drop_keys": [ "key1", "key2" ] } }, { "type": "processor_rename", "detail": { "source_key": [ "skey1", "skey2" ], "dest_keys": [ "dkey1", "dkey2" ] } }, { "type": "processor_json", "detail": { "source_key": "context", "expand_depth": 4, "expand_connector": "_", "prefix": "prefix", "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_gotime", "detail": { "source_key": "skey", "source_format": "ydm", "source_location": 8, "dest_key": "dkey", "dest_format": "ydm", "dest_ocation": 8, "set_time": true, "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_filter_regex", "detail": { "include": { "ikey1": "*", "ikey2": "*" }, "exclude": { "ekey1": "*", "ekey1": "*" } } } ]
  • 多行-完全正则 适用任意格式的多行日志,使用正则表达式提取字段。 选择多行-完全正则。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例,手动输入或自动生成首行正则表达式,在提取正则表达式下方的输入框输入要提取日志的正则表达式,单击“验证”,在提取结果下方查看结果。 从已有日志中选择:单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,单击“确定”。通过选择不同时间段筛选日志。 从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如不采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 上传原始日志。 打开上传原始日志开关后,原始日志将作为content字段的值上传到日志服务。 上传解析失败日志。 打开上传解析失败日志开关后,原始日志将作为_content_parse_fail_字段的值上传到日志服务。 自定义日志时间。 开启后可指定某一字段作为日志时间,或关闭此项使用日志被采集时间作为日志时间。
  • 多行-全文日志 采集的日志中包含像java异常的日志,如果您希望多行异常的日志显示为一条日志,正常的日志则每一行都显示为一条单独的日志数据,则选择多行日志,方便您查看日志并且定位问题。 选择多行-全文日志。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例,手动输入或自动生成首行正则表达式。 从已有日志中选择:单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,单击“确定”。通过选择不同时间段筛选日志。 从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如不采集日志源文中包含hello的日志,可配置采集规则为:.*hello.*
  • JSON 适用JSON格式的日志,通过提取JSON字段将其拆分为键值对。 选择JSON格式。 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如不采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 上传原始日志。 打开上传原始日志开关后,原始日志将作为content字段的值上传到日志服务。 上传解析失败日志。 打开上传解析失败日志开关后,原始日志将作为_content_parse_fail_字段的值上传到日志服务。 自定义日志时间。 开启后可指定某一字段作为日志时间,或关闭此项使用日志被采集时间作为日志时间。 json解析层数。增加json解析层数配置,取值范围为1~4,只能整数,默认值为1。 将json格式日志的字段展开,例如原始日志为{"key1":{"key2":"value"}},解析1层日志为:{"key1":{"key2":"value"}},解析2层日志为:{"key1.key2":"value"}。
  • 分隔符 使用分隔符(例如:逗号、空格或字符)提取字段。 选择分隔符。 根据原始日志内容选择分隔符,或自定义其他需要的特殊字符作为分隔符。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例,单击“验证”,在提取结果下方查看结果。 从已有日志中选择:单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,单击“确定”。通过选择不同时间段筛选日志。 从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如不采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 上传原始日志。 打开上传原始日志开关后,原始日志将作为content字段的值上传到日志服务。 上传解析失败日志。 打开上传解析失败日志开关后,原始日志将作为_content_parse_fail_字段的值上传到日志服务。 自定义日志时间。 开启后可指定某一字段作为日志时间,或关闭此项使用日志被采集时间作为日志时间。
  • 单行-完全正则 适用任意格式的单行日志,使用正则表达式提取字段。 选择单行-完全正则。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例,在提取正则表达式下方的输入框输入要提取日志的正则表达式,单击“验证”,在提取结果下方查看结果。 从已有日志中选择:单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,单击“确定”。通过选择不同时间段筛选日志。 从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如不采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 上传原始日志。 打开上传原始日志开关后,原始日志将作为content字段的值上传到日志服务。 上传解析失败日志。 打开上传解析失败日志开关后,原始日志将作为_content_parse_fail_字段的值上传到日志服务。 自定义日志时间。 开启后可指定某一字段作为日志时间,或关闭此项使用日志被采集时间作为日志时间。
  • 单行-全文日志 采集的日志文件中,如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据,则选择单行日志。 选择单行-全文日志。 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如采集日志源文中包含hello的日志,可配置采集规则为:.*hello.* 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value,所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。单行/多行全文模式下,默认使用content作为全文的键{key}名;多条过滤规则之间关系是“或”逻辑,例如不采集日志源文中包含hello的日志,可配置采集规则为:.*hello.*
  • 功能优势 基于日志文件,无侵入式采集日志。您无需修改应用程序代码,且采集日志不会影响您的应用程序运行。 稳定处理日志采集过程中的各种异常。当遇到网络异常、服务端异常等问题时会采用主动重试、本地缓存数据等措施保障数据安全。 基于日志服务的集中管理能力。安装ICAgent后,只需要在日志服务上配置主机组、ICAgent采集配置等信息即可。 完善的自我保护机制。为保证运行在服务器上的ICAgent,不会明显影响您服务器上其他服务的性能,ICAgent在CPU、内存及网络使用方面都做了严格的限制和保护机制。
  • 容忍策略 容忍策略允许调度器将Pod调度至带有对应污点的节点上,需要与节点污点配合使用。每个节点可以添加一个或多个污点,对于未设置节点容忍策略的Pod,调度器会根据集群上的污点效果进行选择性调度,以避免Pod被分配到不合适的节点上。 通过控制台配置容忍策略 登录UCS控制台。 在创建工作负载时,单击“下一步:调度与差异化”。 添加污点容忍策略。 参数名 参数描述 污点键 节点的污点键。 操作符 Equal:设置此操作符表示准确匹配指定污点键(必填)和污点值的节点。如果不填写污点值,则表示可以与所有污点键相同的污点匹配。 Exists:设置此操作符表示匹配存在指定污点键的节点,此时容忍度不能指定污点值。若不填写污点键则可以容忍全部污点。 污点值 如果操作符的值是 Exists,则value属性可省略。 如果操作符的值是 Equal,则表示其key与value之间的关系是Equal(等于)。 如果不指定操作符属性,则默认值为Equal。 污点策略 全部:表示匹配所有污点效果。 NoSchedule:表示匹配污点效果为NoSchedule的污点。 NoExecute:表示匹配污点效果为NoExecute的污点。 容忍时间窗 即tolerationSeconds参数,当污点策略为NoExecute时支持配置。 在容忍时间窗内,Pod还会在拥有污点的节点上运行,超出时间后会被驱逐。 父主题: 工作负载
  • 操作步骤 登录UCS控制台,在左侧导航栏中选择“云原生服务中心”。 查找目标服务。 如您已知目标服务名称,可使用菜单顶部的搜索框,按照服务名称查询所需的服务。 如您不知道目标服务名称,可在左侧筛选栏中按照服务类型、应用场景等条件来筛选。云原生服务中心提供以下筛选条件,帮助用户快速获取所需。 筛选条件 简介 类型 按照服务功能进行分类,目前有“全部”、“运行时”、“流媒体&消息”、“集成交付”、“数据库”、“日志”、“监控”、“大数据”、“开发工具”、“网络”、“安全”、“AI/机器学习”、“其他”。 架构 服务支持的架构类型,当前分为“全部”、“X86_64”和 “ARM”。 交付方式 分为“全部”、“Operator”和“Helm”。 部署平台 分为“全部”、“CCE”、“IEF”和“UCS”。 付费 分为全部”、“免费”和“付费“。 单击服务名称进入服务详情页,您可以在此处查看服务的基本信息、详情介绍,以及通过右侧“帮助链接”下的“Provider”和“Maintainers”获取提供商的联系方式进行咨询(部分服务可能没有该信息)。 单击“订阅”按钮确认订阅。订阅成功后,您可直接单击“创建实例”进行部署,也可在“我的订阅”中查询此服务再创建实例,具体操作步骤请参见实例创建。
  • 添加方式 登录UCS控制台,在左侧导航栏中选择“容器舰队”。 在“容器舰队”页签下找到已开通集群联邦的舰队,单击名称进入详情页。 在左侧导航栏中选择“服务与路由”,选择“服务”页签。 选择服务所在命名空间,并单击右上角“创建服务”。如需新建命名空间,请参见创建命名空间。 设置访问参数。 图1 创建服务 Service名称:新增服务的名称,用户可自定义。 访问类型:选择“负载均衡 LoadBalancer”。 服务亲和: 集群级别:集群下所有节点的IP+访问端口均可以访问到此服务关联的负载,服务访问会因路由跳转导致一定性能损失,且无法获取到客户端源IP。 节点级别:只有通过负载所在节点的IP+访问端口才可以访问此服务关联的负载,服务访问没有因路由跳转导致的性能损失,且可以获取到客户端源IP。 端口配置: 协议:TCP或UDP,请根据业务的协议类型选择。 服务端口:容器端口映射到负载均衡实例的端口,通过负载均衡对外暴露服务时使用,端口范围为1-65535,可任意指定。 容器端口:容器镜像中应用程序实际监听的端口,需用户确定。例如:nginx程序实际监听的端口为80。 部署集群:选择负载均衡部署的集群,并完成负载均衡的差异化设置。 图2 添加部署集群 CCE集群: 负载均衡器:仅支持集群所在VPC下的负载均衡实例。 分配策略: 加权轮询算法:根据不同的权重将请求分配到后端服务器。 加权最少连接:将请求分发给(当前连接/权重)比值最小的后端服务器进行处理。 源IP算法:将客户端IP请求固定分配给一台服务器,实现获取同一个session。 会话保持类型:默认不启用,可选择“源IP地址”。负载均衡监听是基于IP地址的会话保持,即来自同一IP地址的访问请求转发到同一台后端服务器上。 健康检查:默认不启用。此处健康检查是设置负载均衡的健康检查配置,支持TCP和HTTP协议,其参数详细解释参见表1。 表1 健康检查参数说明 参数 说明 示例 检查路径 当“协议”为HTTP时设置。指定健康检查的URL地址的路径。检查路径只能以/开头,长度范围[1-80]。 / 端口 健康检查端口号,取值范围[1,65535]。 健康检查默认使用业务端口(Service的NodePort和容器端口)作为健康检查的端口。 80 检查周期 每次健康检查响应的最大间隔时间。 取值范围[1-50]。 5 超时时间(秒) 每次健康检查响应的最大超时时间。 取值范围[1-50]。 10 最大重试次数 健康检查最大的重试次数,取值范围[1-10]。 5 其他云:访问注释支持key/value对格式,请您根据自身业务以及厂家要求进行注解配置。 命名空间:服务所在命名空间。 选择器:服务通过选择器与负载(标签)关联。单击“引用负载标签”,可选择已有的工作负载。 负载类型:选择需要关联的负载类型。 工作负载:选择一个已有的工作负载。如工作负载列表未显示,请单击刷新。 标签:选择工作负载后自动获取对应的标签,不可修改。 图3 引用负载标签 单击“确认”。 获取访问地址。 单击左侧导航栏“服务与路由”,选择“服务”页签。 单击所添加的Service名称进入“服务详情”界面,获取部署集群的访问地址。您可以通过负载均衡的弹性IP地址 + 端口的形式访问后端负载。
  • 相关操作 通过UCS控制台,您还可以执行表2中的操作。 表2 相关操作 操作 说明 YAML创建 单击右上角“YAML创建”,可使用已有的YAML创建服务。 查看详情 选择服务所在的命名空间。 (可选)根据服务名称进行搜索。 单击服务名称即可查看服务详情,包括基本信息以及各集群的部署信息。 在服务详情页的部署集群栏中单击“查看YAML”,可查看各个集群中部署的服务实例YAML,并支持下载。 编辑YAML 单击服务名称后的“编辑YAML”,可查看并编辑当前服务的YAML文件。 更新 单击服务名称后的“更新”。 根据服务参数更改信息。 单击“确认”提交已修改的信息。 删除 单击服务名称后的“删除”,并单击“是”进行确认。 批量删除 勾选需要删除的服务。 单击左上角的“批量删除”。 单击“是”进行确认。
  • 准备网络环境 伙伴云集群的数据接入方式支持公网接入和私网接入。 公网接入是通过公网Internet接入,要求集群能够访问公网,具有弹性灵活、成本低、易接入的优势。如果对网络质量没有要求,只想采用更简便的方式接入,那么公网接入是个不错的选择。 公网接入要求集群能够访问公网,请确保集群已符合此条件,否则会接入失败。 私网接入是通过云专线(DC)或虚拟专用网络(VPN)服务将伙伴云网络与云上虚拟私有云(VPC)连通,并利用VPC终端节点通过内网与容器智能分析建立连接,具有高速、低时延、安全的优势。 图1 私网接入原理 因此,在开启之前,您需要准备满足一个云上虚拟私有云(VPC),并将伙伴云厂商的网络环境与该VPC连通。VPC子网网段不能与伙伴云中已使用的网络网段重叠,否则将无法接入集群,例如,伙伴云中已使用的VPC子网为192.168.1.0/24,那么华为云VPC中不能使用192.168.1.0/24这个子网。 网络连通可以选用如下两种方案: 虚拟专用网络(VPN)方案:请参见通过VPN连接云下数据中心与云上VPC。 云专线(DC)方案:请参见用户通过单专线静态路由访问VPC或用户通过单专线BGP协议访问VPC。
  • 步骤一:注册集群 登录UCS控制台。 在左侧导航栏中选择“容器舰队”,单击附着集群选项卡中的“注册集群”按钮。 参考表1填写待添加集群的基础信息,其中带“*”的参数为必填参数。 表1 注册集群基础信息配置 参数 参数说明 集群名称* 输入集群的自定义名称,需以小写字母开头,由小写字母、数字、中划线(-)组成,且不能以中划线(-)结尾。 集群服务商* 选择一个集群服务商。 所属区域* 选择集群所在的区域。 集群标签 非必填项,以键值对的形式为集群添加标签,可以通过标签实现集群的分类。键值对可自定义,以字母或者数字开头和结尾,由字母、数字、连接符(-)、下划线(_)、点号(.)组成,且63个字符之内。 上传KubeConfig* 上传kubectl的配置文件来完成集群认证,支持JSON或YAML格式。获取KubeConfig文件的操作步骤因厂商而异,请参见KubeConfig。 选择Context* 选择对应的Context。在完成KubeConfig文件上传后,选项列表将自动获取文件中的“contexts”字段。 默认值为KubeConfig文件中“current-context”字段指定的Context,若文件中无此字段则需要从列表中手动选择。 容器舰队 选择集群所属的舰队。 舰队用于权限精细化管理,一个集群只能加入一个舰队。若不选择舰队,集群注册成功后将显示在“未加入舰队的集群”页签下,后续还可以再添加至舰队中。 不支持在注册集群阶段选择已开通集群联邦能力的舰队,如果一定要加入这个舰队,请在集群注册成功后,再添加到该舰队中。关于集群联邦的介绍,请参见开通集群联邦章节。 如需新建舰队,请参见管理容器舰队。 单击“确定”,集群注册成功后如图1所示,请在30分钟内接入网络。您可选择集群的接入方式或单击右上角按钮查看详细的网络接入流程。 如您未在30分钟内接入网络,将会导致集群注册失败,可单击右上角按钮重新注册集群。如果已经接入但数据未采集上来,请等待2分钟后刷新集群。 图1 集群等待接入状态
  • 查看集群详情 集群详情页面提供了单个集群的监控情况,包含资源概况、资源消耗TOP统计和用量统计多维度的信息概况。通过集群监控您可以及时了解集群的资源使用情况和趋势,快速响应可能存在的风险项,保证集群流畅运行。 您可以将鼠标悬停在图表上,以便查看每分钟的监控数据。 图1 集群详情页面 表1 集群详情页面 词条 词条简介 集群健康度 资源健康度评估包括多个维度,如健康评分、待处理风险项数、风险等级,以及诊断风险项在Master、集群、节点、工作负载和外部依赖五个方面的占比(异常数据使用红色突出显示)。欲了解更多诊断结果,请前往健康诊断页面查看。 须知: 当集群所安装的kube-prometheus-stack插件的部署模式为“Server模式”时,方可以查看集群的资源健康度。 资源健康概况 资源概况涵盖了节点、工作负载和容器组三类资源中异常资源所占比例,以及命名空间的总数。此外,还包括了控制面组件和Master节点的异常占比、API Server总QPS以及API Server请求错误率。 作为集群的API服务提供者,控制面API Server的异常可能会导致整个集群无法访问,同时也会影响依赖API Server的工作负载的正常运行。为了帮助您快速识别和修复问题,资源概况中提供了API Server的总QPS和请求错误率指标。 资源消耗Top统计 在资源消耗TOP统计中,UCS服务会将CPU使用率和内存使用率排名前五的节点、无状态负载、有状态负载和Pod纳入统计范围,以帮助您识别资源消耗“大户”。 说明: CPU使用率 工作负载CPU使用率 = 工作负载各个Pod中CPU使用率的平均值 Pod CPU使用率 = Pod实际使用的CPU核数 / 业务容器CPU核数限制值之和(未配置限制值时采用节点总量) 内存使用率 工作负载内存使用率 = 工作负载各个Pod中内存使用率的平均值 Pod内存使用率 = Pod实际使用的物理内存 / 业务容器物理内存限制值之和(未配置限制值时采用节点总量) 数据面监控 此处默认统计近1小时、近8小时和近24小时的各维度资源用量。如需查看更多监控信息,请单击“查看全部监控”,跳转至“仪表盘”页面,相应指导请参见仪表盘。
  • 约束与限制 仅华为云账号或具备UCS FullAccess权限的用户可进行策略中心的启用操作。 为非华为云集群启用策略中心前,请确保集群能够拉取公网镜像。 启用策略中心功能后,系统将在舰队或集群上安装Gatekeeper插件。需要注意的是,插件会占用部分集群资源(如表1所示)。因此,在启用策略中心功能之前,请确保您的集群具有足够的资源。这将有助于确保策略中心功能的顺利部署,同时避免对现有工作负载的性能产生负面影响。 表1 Gatekeeper插件的资源占用情况 CPU Mem Requests:100m * 3 Limits:1000m * 3 Requests:256Mi * 3 Limits:512Mi * 3 “* 3”表示有3个Pod。 当舰队或集群处于启用中的状态时,请避免在该舰队或集群上执行任何操作。在启用过程中执行操作可能会影响启用的成功。
共100000条