华为云用户手册

  • UniAgent状态 UniAgent状态有运行中、异常、安装中、安装失败和未安装。 表5 UniAgent状态 状态 说明 运行中 表示主机安装的UniAgent运行正常。 异常 表示主机安装的UniAgent功能异常,请联系技术支持。 安装中 表示该主机正在安装UniAgent。 说明: 安装UniAgent预计需要1分钟左右,请耐心等待。 安装失败 表示主机安装UniAgent失败,请重新安装。 未安装 表示主机未安装UniAgent。安装UniAgent,详细操作请参见安装UniAgent。
  • 创建参数 登录AOM 2.0控制台。 在左侧导航栏单击“自动化运维(日落)”,即可进入“自动化运维”界面。 在左侧导航栏中选择“参数库”,单击右上角的“创建参数”。 填写参数信息,具体的参数说明请参见表1。 图1 填写参数信息 表1 填写参数信息 参数名称 说明 参数类型 参数的类型,目前仅支持字符串类型。 参数名称 参数的名称。 最多可输入64个字符,只能由大小写字母组成。 加密参数 参数默认为不亮状态,当前不支持加密功能 。 初始值 参数初始值,最多可输入1000个字符。 必填 参数被引用时,是否为必填参数,默认为点亮状态。 输入提示 参数被引用时的提示信息,最多可输入1000个字符。 参数描述 参数的描述信息,最多可输入1000个字符。 单击“保存”完成创建。
  • 更多操作 任务创建或执行完成后,您可以在任务列表页面查看任务名称、任务类型、执行策略、最近执行结果、更新人、更新时间、启停任务、操作等信息,还可执行表6中的操作。 表6 相关操作 操作 说明 启停任务 单击“启停任务”列的按钮,选择启动或者关闭任务。 编辑任务 单击“操作”列的“编辑”,进入到编辑定时任务页面,可以对任务进行编辑。 只有在任务关闭时,才能编辑任务。 查看执行记录 单击“操作”列的“执行记录”可查看任务执行的详细信息,包括任务名称、任务ID、任务状态、执行时间以及审批人等信息。 删除任务 单击“操作”列的“删除”,可以删除任务。只有在任务关闭时,才能删除任务。 搜索任务 支持按任务名称、创建人、更新人、最近执行结果、任务类型和企业项目搜索。在右上角的搜索框中输入关键字,单击后在下面任务列表显示匹配对象。 隐藏/显示任务列表的列信息 单击,根据需要勾选/取消勾选对应列,可在任务列表中显示/隐藏该列。 刷新任务列表 单击,可刷新任务列表。
  • 创建任务 登录AOM 2.0控制台。 在左侧导航栏单击“自动化运维(日落)”,即可进入“自动化运维”界面。 在左侧导航栏中选择“定时运维 ”,单击右上角的“创建定时任务”。 填写创建定时任务基本信息,详细的参数说明请参见表1。 图1 创建定时任务基本信息 表1 创建任务参数说明 参数名称 参数说明 任务名称 自定义任务名称。 最多可输入64个字符,只能由大小写字母、数字、下划线、中划线以及中文字符组成。默认勾选“自动命名”,系统将自动生成任务名称。 设置定时参数,详细参数说明请参见表2。 图2 定时参数设置 表2 定时参数说明 参数名称 参数说明 时区 定时任务的时区,可以在下拉列表中选择正确的时区。 执行策略 定时任务的执行策略,包含以下三种: 单次执行:在设置的时间执行一次操作。 简单周期执行:根据设置的时间周期循环执行。 周期执行(Cron表达式):根据设置的Cron表达式执行操作。 执行时间 定时任务执行的具体时间。 执行周期 “执行策略”为“简单周期执行”才需要设置。 每天:周期内的每一天。 指定时间:从周日到周一中选择一个或多个,默认全部选中。 执行规则 “执行策略”为“周期执行(Cron表达式)”才需要设置。 根据设置的Cron表达式执行操作,目前只支持从0分开始计时递增,最小时间间隔30分钟 。具体的规则和配置方式请单击页面“了解Cron表达式”。 配置任务通知,详细参数说明请参见表3。 图3 任务配置通知 表3 任务配置通知参数说明 参数名称 参数说明 执行成功通知 任务执行成功时,发送通知给相关人,系统默认开关关闭。 通知人配置:在下拉列表中选择“通知人”,可以选择一个或者多个。 也可以通过“创建主题”的方式选择。通过选择“主题”的方式配置通知人,需要先通过“创建主题”创建一个新主题,并为这个主题添加订阅,之后即可通知。 执行失败通知 任务执行失败时,发送通知给相关人,系统默认开关关闭。 通知人配置:在下拉列表中选择“通知人”,可以选择一个或者多个。 也可以通过“创建主题”的方式选择。通过选择“主题”的方式配置通知人,需要先通过“创建主题”创建一个新主题,并为这个主题添加订阅,之后即可通知。 当前支持邮件和短信2种类型的通知方式。 配置任务,任务类型分为脚本执行、文件管理、服务场景以及作业管理。 配置脚本执行任务。 任务类型选择“脚本执行”。 输入脚本名称、脚本参数、超时时长、执行账号。脚本名称下拉框只展示已上线脚本的名称,未上线脚本名称不显示。脚本版本信息,根据选定的脚本名称自动获取。 脚本参数框后的“敏感参数”,勾选后脚本参数框对输入的内容不直接显示。 图4 配置脚本执行任务 选择“目标实例”。单击“添加资源”,弹出选择实例页面。实例类型默认为“ECS”。选择方式默认采用“手动选择”方式,选择方式的详细说明请参见表4。 表4 选择方式说明 选择方式 说明 手动选择 输入搜索条件,在实例列表中通过搜索条件来选取实例,默认按照名称搜索。 过滤条件 输入过滤属性和对应的过滤值,指定过滤条件来选择实例。 支持设置多个过滤条件,搜索时多个过滤属性之间为“与”的关系。 该方式对未来新增实例也生效。 标签 设置标签键和对应的标签值,指定一个或多个标签来选取实例。 选择多个标签时,按照“与”的关系搜索。 该方式对未来新增实例也生效。 从CMDB中选择 输入搜索条件或关键字,从CMDB服务中选取实例。当前节点类型支持两种选择方式,静态IP和动态节点。 静态IP:可选中指定CMDB应用下的ECS实例。 动态节点:选择CMDB应用中的节点,从而动态获取节点下的ECS实例。该方式对节点下未来新增的实例也生效。 配置文件管理任务。 任务类型选择“文件管理”。 输入文件包名称、版本号、类型、超时时长、目标存储路径、执行账号。文件包名称下拉框只展示已上线文件包名称,未上线文件包名称不显示,版本号根据选定的文件包名称自动展示。 图5 配置文件管理 选择“目标实例”。单击“添加资源”,弹出选择实例页面。实例类型默认为“ECS”。选择方式默认采用“手动选择”方式,选择方式的详细说明请参见表4。 配置服务场景任务。 任务类型选择“服务场景”。 在服务场景的下拉列表中,选择服务场景。不同服务场景的具体操作,参见服务场景。 图6 配置服务场景 配置作业管理任务。 任务类型选择“作业管理”。 在下拉列表中,分别选择作业名和执行方案。 图7 配置作业管理 如需设置审批配置、执行策略,可展开“更多设置”进行配置,配置参数如表5。 表5 更多设置 参数类别 参数名称 说明 审批配置 人工审核 选择是否开启人工审核开关,默认不允许更改。如需更改,系统默认的服务场景请前往工具市场对原子卡片进行设置。作业执行方案需前往作业中设置,文件管理需前往文件包中设置,脚本执行需前往脚本中设置。 审批人设置 开启人工审核后,需要选择审批人。 通过选择“主题”的方式配置审批人,您需要在消息通知服务中,创建一个新主题,并为这个主题添加订阅。 执行策略 分批发布 选择是否开启分批发布开关,默认不打开。 每批发布 开启分批发布后需填写每批发布数量。 每批间隔 开启分批发布后需填写每批发布的时间间隔。 单击“提交”创建定时任务成功。
  • 创建重启CCE工作负载任务 登录AOM 2.0控制台。 在左侧导航栏单击“自动化运维(日落)”,即可进入“自动化运维”界面。 在左侧导航栏中选择“服务场景”,在服务场景页面单击“重启CCE工作负载”卡片,或单击卡片右上角的选择“创建任务”,进入创建重启CCE工作负载任务页面。 填写基本信息,具体的参数说明请参见表1。 图1 重启CCE工作负载 表1 重启CCE工作负载 参数名称 说明 任务名称 自定义任务名称。 最多可输入64个字符,只能由大小写字母、数字、下划线、中划线以及中文字符组成。默认勾选“自动命名”,系统将自动生成任务名称。 企业项目 选择所属的企业项目。 重启超时 CCE工作负载任务重启超时时间,输入值必须在10-600之间。 选择实例。 单击“添加资源”,弹出选择实例页面。单任务一次最多重启10个负载实例。 实例类型默认为“CCE”。选择方式默认采用“手动选择”方式,选择方式的详细说明请参见表2。 图2 重启CCE工作负载选择实例 表2 选择方式说明 选择方式 说明 手动选择 输入搜索条件,在实例列表中通过搜索条件来选取实例,默认按照名称搜索。 过滤条件 选择负载类型、集群名称、命名空间的方式来选择实例,该方式对未来新增的实例也生效。 从CMDB中选择 输入搜索条件或关键字,从CMDB服务中选取实例。当前节点类型支持两种选择方式,静态IP和动态节点。 静态IP:可选中指定CMDB应用下的CCE实例。 动态节点:选择CMDB应用中的节点,从而动态获取节点下的CCE实例。该方式对节点下未来新增的实例也生效。 如需设置审批配置、执行策略,可展开“更多设置”进行配置,配置参数如表3。 表3 更多设置 参数类别 参数名称 说明 审批配置 人工审核 选择是否开启人工审核开关,默认不打开。 审批配置不允许更改,如需更改,需在工具市场中对该原子服务卡片进行审批配置。 审批人设置 开启人工审核后,需要选择审批人。 通过选择“主题”的方式配置审批人,您需要在消息通知服务中,创建一个新主题,并为这个主题添加订阅。 执行策略 分批发布 选择是否开启分批发布开关,默认不打开。 每批发布 开启分批发布后需填写每批发布数量。 每批间隔 开启分批发布后需填写每批发布的时间间隔。 单击“立即执行”进入任务执行界面,查看任务执行情况。 也可单击“保存”,将创建好的任务展现在任务管理页面,方面后续对任务进行执行或其他操作。
  • 方式一 登录AOM华为云官网。 在AOM产品简介下方单击“AOM2.0控制台”,即可进入AOM 2.0服务页面。 图1 登录AOM官网 在弹出的“通知”对话框中仔细阅读从AOM 1.0切换到AOM 2.0计费方式变化的说明。 单击“授权”,然后在“云服务授权”页面中仔细阅读授权声明后,勾选“我已阅读并同意授权声明”。 单击“免费开通服务并授权”,即可免费开通AOM 2.0服务。 在页面左侧导航栏单击任意一个功能名称,如“仪表盘”,可进入该功能的操作界面。
  • 注意事项 只有在CCE “插件市场” 页面或AOM “集成中心” 页面安装3.9.0以上的云原生监控插件(kube-prometheus-stack),且kube-prometheus-stack处于“运行中”状态时,才能成功启用/停用采集规则。 查看kube-prometheus-stack插件状态的方法:登录CCE控制台,单击集群名称进入集群,在左侧导航栏中选择“插件中心”,在右侧找到“云原生监控插件”卡片,查看插件的状态。
  • 更多操作 CCE集群的指标管理配置完成后,您还可以执行表1中的操作。 表1 相关操作 操作 说明 查看指标管理 在列表中,可查看名称、标签、命名空间、配置方式等信息,并支持按集群名称、命名空间或配置方式筛选查看。 单击“操作”列的,在弹出的对话框中查看ServiceMonitor或PodMonitor采集规则详情。 启用/停用采集规则 在“指标管理”页面的“配置”页签下,单击列表中“启停状态”列的,可以启用/停用采集规则。表示采集规则处于停用状态,表示采集规则处于启用状态。 删除指标管理 单击“操作”列的。
  • 创建重启RDS实例任务 登录AOM 2.0控制台。 在左侧导航栏单击“自动化运维(日落)”,即可进入“自动化运维”界面。 在左侧导航栏中选择“服务场景”,在服务场景页面单击“重启RDS实例”,或单击卡片右上角的选择“创建任务”,进入创建重启RDS实例任务页面。 填写基本信息,具体的参数说明请参见表1。 图1 重启RDS实例 表1 重启RDS实例任务 参数名称 说明 任务名称 自定义任务名称。 最多可输入64个字符,只能由大小写字母、数字、下划线、中划线以及中文字符组成。默认勾选“自动命名”,系统将自动生成任务名称。 企业项目 选择所属的企业项目。 选择实例。 单击“添加资源”,弹出选择实例页面。单任务一次最多重启20个实例。 实例类型默认为“RDS”。选择方式默认采用“手动选择”方式,选择方式的详细说明请参见表2。 图2 选择实例 表2 选择方式说明 选择方式 说明 手动选择 输入搜索条件,在实例列表中通过搜索条件来选取实例,默认按照名称搜索。 过滤条件 输入过滤属性和对应的过滤值,指定过滤条件来选择实例。 支持设置多个过滤条件,搜索时多个过滤属性之间为“与”的关系。 该方式对未来新增的实例也生效。 标签 设置标签键和对应的标签值,指定一个或多个标签来选取实例。 选择多个标签时,按照“与”的关系搜索。 该方式对未来新增的实例也生效。 从CMDB中选择 输入搜索条件或关键字,从CMDB服务中选取实例。当前节点类型支持两种选择方式,静态IP和动态节点。 静态IP:可选中指定CMDB应用下的RDS实例。 动态节点:选择CMDB应用中的节点,从而动态获取节点下的RDS实例。该方式对节点下未来新增的实例也生效。 如需设置审批配置、执行策略,可展开“更多设置”进行配置,配置参数如表3。 表3 更多设置 参数类别 参数名称 说明 审批配置 人工审核 选择是否开启人工审核开关,默认不打开。 审批配置不允许更改,如需更改,需在工具市场中对该原子服务卡片进行审批配置。 审批人设置 开启人工审核后,需要选择审批人。 通过选择“主题”的方式配置审批人,您需要在消息通知服务中,创建一个新主题,并为这个主题添加订阅。 执行策略 分批发布 选择是否开启分批发布开关,默认不打开。 每批发布 开启分批发布后需填写每批发布数量。 每批间隔 开启分批发布后需填写每批发布的时间间隔。 单击“立即执行”进入任务执行界面,查看任务执行情况。 也可单击“保存”,将创建好的任务展现在任务管理页面,方面后续对任务进行执行或其他操作。
  • 概述 插件市场是数据采集插件集合,主要包括中间件插件和自定义插件。 中间件插件:是内置的中间件插件,不支持修改、删除和查看详情。目前中间件插件有如下几种: MYSQL:MySQL采集器 REDIS:Redis采集器 MONGODB:MongoDB采集器 KAFKA:Kafka采集器 NGINX:Nginx采集器 NODE:Node采集器 HAPROXY:HAProxy采集器 CONSUL:Consul采集器 ELASTICSEARCH:Elasticsearch采集器 POSTGRESQL:PostgreSQL采集器 RABBITMQ:RabbitMQ采集器 CUSTOM_EXPORTER:支持用户安装的Exporter采集器 自定义插件:是用户按需求自定义创建的插件。 父主题: 插件市场
  • 功能说明 表1 自动化运维功能说明 类别 说明 服务场景 提供不同任务类型,并且可以对各原子服务场景卡片进行管理。 定时运维 提供创建定时任务等功能,并展示定时任务的执行记录。 任务管理 提供执行任务等功能,并展示所有任务的执行记录。 参数库 提供创建参数等功能,并展示现有所有参数信息。 作业管理 提供创建作业等功能,并支持对作业进行管理。 脚本管理 提供创建脚本等功能,并支持对脚本进行版本管理。 文件管理 提供创建文件包等功能,并支持对文件包进行版本管理。 设置 提供账号、访问凭证、场景分类管理功能。 工具市场 提供不同的原子服务场景,并且可以对各原子服务场景卡片进行上下架管理。
  • 卡片管理 在工具市场页面,可以直接使用卡片创建任务,也可以对非通用场景卡片进行下架、上架或设置操作,具体操作如表1。 如果不需要对卡片做下架、上架或设置操作,请参考自动化运维自定义策略,拒绝卡片修改操作。 表1 相关操作 操作 说明 创建任务 单击卡片或单击卡片右上角的并选择“创建任务”。 下架卡片 单击卡片右上角的并选择“下架”,下架后服务场景页面将不展示该卡片。下架服务卡片后,原子服务场景关联的原子任务不能再次被执行,待该原子场景被重新上架后,关联的原子任务恢复执行功能。 服务下架时,需确认服务是否被定时运维场景引用,如果已被引用,需先删除被引用场景,才能下架服务,具体见警告提示框的“引用详情”。 上架卡片 单击卡片右上角的并选择“上架”,上架后可在服务场景中使用。 设置卡片 单击卡片右上角的并选择“设置”,可以对该卡片任务设置审批配置和执行策略。 审批配置 选择是否开启人工审核开关,默认不打开。 开启人工审核后,需要选择审批人。 审批通知方式当前支持邮件和短信2种方式。 执行策略 选择是否开启分批发布开关,默认不打开。 每批发布:开启分批发布后需填写每批发布数量。 每批间隔:开启分批发布后需填写每批发布的时间间隔。
  • 执行脚本 脚本上线完成后,您可以在脚本列表页面执行脚本任务。执行脚本依赖uniAgent的能力,用户需要确保执行脚本的ECS实例已经安装uniAgent且为运行中状态。 在左侧导航栏中选择“脚本管理”,在脚本管理页面,单击脚本列表待执行脚本所在行操作列的“执行”。 输入脚本参数、超时时长、执行账号,也可以勾选“敏感参数”,勾选后脚本参数框对输入的内容不直接显示。 图3 脚本参数 选择“目标实例”。 单击“添加资源”,弹出选择实例页面。 实例类型默认为“ECS”。选择方式默认采用“手动选择”方式,选择方式的详细说明请参见表2。 图4 添加实例 表2 选择方式说明 选择方式 说明 手动选择 输入搜索条件,在实例列表中通过搜索条件来选取实例,默认按照名称搜索。 过滤条件 输入过滤属性和对应的过滤值,指定过滤条件来选择实例。 支持设置多个过滤条件,搜索时多个过滤属性之间为“与”的关系。 该方式对未来新增的实例也生效。 标签 设置标签键和对应的标签值,指定一个或多个标签来选取实例。 选择多个标签时,按照“与”的关系搜索。 该方式对未来新增的实例也生效。 从CMDB中选择 输入搜索条件或关键字,从CMDB服务中选取实例。当前节点类型支持两种选择方式,静态IP和动态节点。 静态IP:可选中指定CMDB应用下的ECS实例。 动态节点:选择CMDB应用中的节点,从而动态获取节点下的ECS实例。该方式对节点下未来新增的实例也生效。 选择完成后单击“确定”。 单击“立即执行”进入任务执行界面,查看任务执行情况。 也可单击“保存”,将创建好的任务展现在任务管理页面,方面后续对任务进行执行或其他操作。
  • 更多操作 脚本创建完成后,您可以在脚本列表页面查看脚本的名称、版本号、创建时间等信息,还可执行表3中的操作。 表3 相关操作 操作 说明 管理脚本的版本信息 单击“操作”列的“版本管理”,进入“版本管理”界面,可查看、修改脚本的版本信息,并根据需要执行脚本。 复制并新建脚本 在“版本管理”界面对已上线或已下线状态的脚本可单击操作列的“复制并新建”,复制原有脚本内容进行创建脚本。 管理未上线脚本 在“版本管理”界面对未上线过的脚本可单击操作列的“上线”、“编辑”或“删除”,对脚本进行上线、编辑或删除操作。一个脚本有且只有一个上线版本。下线的版本关联的任务将不能再次执行,待版本重新上线后,恢复执行功能。
  • 创建脚本 登录AOM 2.0控制台。 在左侧导航栏单击“自动化运维(日落)”,即可进入“自动化运维”界面。 在左侧导航栏中选择“脚本管理”,单击右上角的“创建脚本”。 设置脚本信息,具体的参数说明请参见表1。 图1 创建脚本信息 表1 脚本信息说明 参数类型 参数名称 说明 - 脚本名称 脚本的名称。最多可输入64个字符,只能由大小写字母、数字、下划线和中文字符组成。 版本号 脚本的版本信息,请按照实际输入。 企业项目 选择所属的企业项目。 脚本描述 脚本的描述信息,最多可输入1000个字符。 版本内容 手工输入命令行,目前支持执行Shell、Python、Bat、Powershell语言的脚本,脚本大小最大支持输入30000字节。若Python脚本中存在中文字符,需要在python脚本头部增加如下编码说明,否则可能造成无法解析脚本导致任务执行失败: # -*- coding: UTF-8 -*- 说明: Shell与Python语言的脚本仅支持在Linux主机执行。 Bat与Powershell语言的脚本仅支持在Windows主机执行。 Uniagent读取脚本标准输出的内容写入日志,python的print()输出有缓存,可能无法实时刷新到标准输出,导致python脚本的执行日志无法实时刷新,为了实时输出python的日志,有以下三种方法可供参考: 使用sys.stdout.flush()打印输出。 使用sys.stderr.write()打印输出。 使用print(message.flush=True)打印输出。 填写完成后,单击“校验高危命令”。校验高危命令为正则校验,校验不通过可能会导致风险。高危命令的详细说明请参见表1。 执行策略 分批发布 选择是否开启分批发布开关,默认不打开。 每批发布 开启分批发布后需填写每批发布数量。 每批间隔 开启分批发布后需填写每批发布的时间间隔。 审批配置 人工审核 选择是否开启人工审核开关,默认不打开。 审批配置不允许更改,如需更改,需在工具市场中对该原子服务卡片进行审批配置。 审批人设置 开启人工审核后,需要选择审批人。 通过选择“主题”的方式配置审批人,您需要在消息通知服务中,创建一个新主题,并为这个主题添加订阅。 单击“保存”完成创建。
  • 更多操作 消息模板创建完成后,您还可以对消息模板列表执行表4中的相关操作。 表4 相关操作 操作 说明 编辑消息模板 单击“操作”列的“编辑”。 复制消息模板 单击“操作”列的“复制”。 删除消息模板 删除单条消息模板:单击对应规则“操作”列的“删除”,随后在提示页面单击“确定”即可删除。 删除单条或多条消息模板:勾选对应规则前的复选框,单击“批量删除”,随后在提示页面单击“确定”即可删除。 说明: 删除消息模板前需要先删除消息模板绑定的告警行动规则。 搜索消息模板 在右上角的搜索框中输入模板名称关键字,单击后显示匹配对象。
  • 更多操作 账号创建完成后,您可以在账号列表页面查看账号信息,还可执行表2中的操作。 表2 相关操作 操作 说明 编辑账号 单击“操作”列的“编辑”。 删除账号 单击“操作”列的“删除”。 搜索账号 默认按照账号名称搜索。在列表上方的搜索框中输入关键字,单击后在下面任务列表显示匹配对象。 隐藏/显示账号列表的列信息 单击,根据需要勾选/取消勾选对应列,可在账号列表中显示/隐藏该列。 刷新账号列表 单击,可以刷新账号列表。
  • 虚机场景Exporter接入 Prometheus 监控对常用的基础设施、中间件、自定义组件等进行了集成,通过创建采集任务执行插件脚本,就可以对相应的组件进行监控,结合应用运维管理平台和开源 Grafana 可以提供一站式全方位的监控体系,帮助业务快速发现和定位问题,减轻故障给业务带来的影响。 已接入的组件会显示在采集任务页面,可以配仪表盘、告警规则。 采集任务主要有两类,分别为中间件采集任务和自定义采集任务。 中间件采集任务:使用中间件插件创建的采集任务。 自定义采集任务:使用自定义插件创建的采集任务。 AOM可观测监控Prometheus版提供快捷安装配置各类型中间件插件及自定义插件的功能,并提供开箱即用的专属监控大盘。 中间件:您可以直接使用内置的中间件插件来创建采集任务,目前支持的中间件插件有以下几种(中间件插件不支持自定义、修改、删除): MYSQL:可监控MySQL相关指标。 REDIS:可监控Redis相关指标。 KAFKA:可监控Kafka相关指标。 NGINX:可监控Nginx相关指标。 MONGODB:可监控MongoDB相关指标。 CONSUL:可监控Consul相关指标。 NODE:可监控Node相关指标。 HAPROXY:可监控HAProxy相关指标。 POSTGRESQL:可监控PostgreSQL相关指标。 ELASTICSEARCH:可监控Elasticsearch相关指标。 RABBITMQ:可监控RabbitMQ相关指标。 CUSTOM_EXPORTER:可以监控用户自定义的指标业务。 自定义插件:是用户按需求自定义创建的插件。 MySQL组件接入 Redis组件接入 Nginx组件接入 MongoDB组件接入 HAProxy组件接入 Consul组件接入 Kafka组件接入 PostgreSQL组件接入 Node组件接入 Elasticsearch组件接入 RabbitMQ组件接入 其他组件接入 自定义插件接入 其他相关操作 父主题: 接入指南
  • 日志分析(旧版) 日志分析(旧版)提供日志搜索、日志文件、日志路径、日志转储、接入LTS的功能。您可以通过“返回旧版”使用日志分析(旧版)的功能。 表2 功能说明 功能名称 功能说明 AOM 2.0控制台入口 参考文档链接 日志搜索 当需要通过日志来分析和定位问题时,使用日志搜索功能可帮您快速在海量日志中查询到所需的日志,您还可结合日志的来源信息和上下文原始数据一起辅助定位问题。 登录AOM 2.0控制台。 在左侧导航栏选择“日志分析”下任意一个功能。 单击页面右上角“返回旧版”,进入“日志搜索”页签。 搜索日志 日志文件 您可快速查看组件实例或主机的日志文件,以便定位问题。 登录AOM 2.0控制台。 在左侧导航栏选择“日志分析”下任意一个功能。 单击页面右上角“返回旧版”,进入“日志搜索”页签。 单击“日志文件”页签。 查看日志文件 日志路径 AOM支持虚机(这里的虚机指操作系统为Linux的弹性云服务器)日志采集,即采集您自定义的日志文件并展现在AOM界面中,以供您检索。使用该功能前首先要配置日志采集路径。 登录AOM 2.0控制台。 在左侧导航栏选择“日志分析”下任意一个功能。 单击页面右上角“返回旧版”,进入“日志搜索”页签。 单击“日志路径”页签。 配置虚机日志采集路径 日志转储 AOM支持将日志转储到对象存储服务(Object Storage Service,简称OBS)的OBS桶中,以便进行长期存储。如果您有更长时间的日志存储需求,可添加日志转储。 登录AOM 2.0控制台。 在左侧导航栏选择“日志分析”下任意一个功能。 单击页面右上角“返回旧版”,进入“日志搜索”页签。 单击“日志转储”页签。 添加日志转储 接入LTS 云日志服务LTS是华为云统一日志管理平台,提供日志搜索、结构化和可视化等功能。通过添加接入规则,可以将AOM中的CCE、CCI或自定义集群的日志映射至LTS,通过LTS查看和分析日志。映射不会产生额外的费用(除重复映射外)。 登录AOM 2.0控制台。 在左侧导航栏选择“日志分析”下任意一个功能。 单击页面右上角“返回旧版”,进入“日志搜索”页签。 单击“接入LTS”页签。 接入LTS
  • 自动备份策略 系统按照自动备份策略,对数据库进行自动备份,备份将以压缩包的形式存储在对象存储服务中,以保证用户数据的机密性和持久性。建议您定期对数据库进行备份,当数据库故障或数据损坏时,可以通过备份恢复数据库。由于开启备份会损耗数据库读写性能,建议您选择业务低峰时间段启动自动备份。 创建数据库实例时,系统默认开启自动备份策略,默认开启的自动备份策略设置如下: 图1 开启备份策略 保留天数:自动备份可保留天数默认为7天。新的全量备份未超过保留天数前系统会一直保留,直至新的全量备份超过保留天数后才会删除。 增加保留天数,可提升数据可靠性,请根据需要设置。 减少保留天数,会针对已有的备份文件生效,即超出备份保留天数的已有备份文件(包括全量备份和增量备份)会被自动删除,但手动备份不会自动删除,请您谨慎选择。 保留天数小于7天,系统每天都会进行自动备份。 系统会自动检测已有的自动备份文件,若备份文件超过用户自定义的数据保留天数,则将其删除。 备份时间段:默认为24小时中,间隔一小时的随机的一个时间段,例如04:00~05:00。备份时间段以GMT时区保存。如果碰到夏令时或冬令时切换,备份时间段会因时区变化而改变。 假如保留天数设置为“2”,表示超过两天的全量备份和增量备份会被自动删除。即周一产生的备份会在周三删除,同理,周二产生的备份会在周四删除。 全量备份文件自动删除策略: 已有备份文件超出备份天数后会自动删除,考虑到数据完整性,自动删除时仍然会保留最近的一次超过保留天数的全量备份,保证在保留天数内的数据可正常恢复。 假如备份周期选择“周一”、“周二”,保留天数设置为“2”,备份文件的删除策略如下: 本周一产生的全量备份,会在本周四当天自动删除。原因如下: 本周二的全量备份在本周四当天超过保留天数,按照全量备份文件自动删除策略,会保留最近的一个超过保留天数的全量备份(即本周二的备份会被保留),因此周四当天删除本周一产生的全量备份文件。 本周二产生的全量备份,会在下周三当天自动删除。原因如下: 下周一产生的全量备份在下周三超过保留天数,按照全量备份文件自动删除策略,会保留最近的一个超过保留天数的全量备份(即下周一的备份会被保留),因此下周三当天删除本周二产生的全量备份。 备份周期:默认为全选。 全选:选择一周内的每一天。系统每天都会进行自动备份。 选择周期:选择一周内的一天或几天。系统会在所选时间进行自动备份。 备份周期对应的备份开始时间1小时内,系统会自动触发全量备份。备份所需时间由备份数据量决定,备份数据量越大,备份所需时间越长。 实例创建成功后,您可根据业务需要设置自动备份策略。系统将按照您设置的自动备份策略对数据库进行备份。 关闭自动备份策略后,自动备份将会立即停止。
  • 注意事项 目前仅支持MySQL到GeminiDB Redis接口Hash类型的转换。 新规则的Redis键前缀+键分隔符不能是已有规则的Redis键前缀+键分隔符的子前缀,反之亦然。例如新规则的前缀为 "pre1:",键分隔符为 "," ,老规则前缀为 "pre1",分隔符为":", 这种情况不允许创建新规则。 如果修改映射规则中MySQL实例的表名后,则需要重新配置映射规则。 暂不支持对MySQL实例表的TRUNCATE TABLE、DROP TABLE、DROP DATABASE等语句的识别及同步。 暂不支持ENUM、SET、JSON三种数据类型的同步。 如果对映射规则中键(Key)字段中的一个或多个字段执行改名、删除等操作时,会使映射规则失效。
  • 方案优势 关于权限控制,开源Redis虽然在新版本有权限控制列表(Acess Control List,简称ACL),但只能设置为只读、读写权限,每个账号还是可以看到所有的DB,这个设计跟数据库多租户的原理背道而驰。例如,业务开发小王应该用DB1,但有天不小心清库了小张的DB0,导致发生生产事故。而GeminiDB Redis的权限隔离就可以解决此问题,如小王被设置为只有DB1的权限而没有DB2的权限,那么即使误操作也不会对DB0的数据产生影响。 此外,开源Redis的多租户功能只有单机才可以使用,一旦业务量增加需要集群,多DB功能反而就不可用了,只剩一个DB0。GeminiDB Redis基于自身的集群架构做了多DB增强,支持DB 1000+,同时可创建200+个ACL子账号,满足多种业务场景的需要。 表1 开源Redis和GeminiDB Redis所具备的权限管理能力比较 Redis产品 是否支持账户读写权限控制 是否支持账户权限隔离 多DB是否支持集群 可支持DB数量 开源Redis 支持 支持 不支持 默认16 GeminiDB Redis 支持 支持 支持 默认1000
  • 应用场景 多租户是数据库用户的常用功能。例如,企业中有两个业务部门A和B,都需要使用Redis来存储各自的数据,如果不使用多租户权限功能,那么A和B的数据就会混在一起,这样就会存在数据泄露和误操作的风险。使用了多租户管理功能后,就可以将A和B的数据分别存储在不同的Redis实例或DB中,并且对这些实例或DB进行权限控制,从而保障数据的安全性和可靠性。 在数据库领域,多租户技术往往有一些标准属性:比如读写权限控制、跨DB鉴权隔离等。而GeminiDB Redis实例就具备完善的多租户管理技术,实现了读写权限控制和数据库(DB)隔离这两大特性的完美融合。
  • 解决方案 一站式迁移解决方案,保障客户多种类型数据库平滑迁移 云数据库团队根据美柚的业务特性,定制了基于“GeminiDB Redis接口+RDS+DDS”的数据库迁移方案。DRS提供多种数据库类型全量和增量的平滑迁移能力,支持美柚不同类型业务搬迁。DRS迁移过程中会显示当前迁移的对象类型、迁移进度、剩余时间评估等,可以帮助用户做好布置规划,避开业务高峰期,业务分钟级中断,中断过程中进行数据一致性校验,在保证数据零丢失的基础上,最大程度减少对业务的影响。 智能运维,助力客户轻松、便捷管理数据库 美柚的Codis版本比较低,在版本升级过程中需要投入大量的DBA,且会出现业务中断较长时间的情况。云数据库 GeminiDB 100%兼容Redis 6.2版本,具备稳定的低时延和诸多增强功能的优势,比如,支持版本的一键升级功能,可以确保美柚在版本升级过程中业务稳定、流畅地运行。 同时,相对美柚原有自建数据库,华为云数据库具有SQL/Key限流等运维能力,防止异常情况下的流量突增。具有紧急结束会话能力,便于紧急运维操作。支持秒级监控能力,避免业务受到影响。 美柚可以根据业务需要配置指标告警及事件告警,在收到系统触发的告警通知后,及时介入处理,轻松实现数据库便捷管理,并降低运维成本。 三副本存储策略+多节点跨AZ部署+自动故障修复,让数据库稳定可靠 面对故障处理能力不足带来的挑战,GeminiDB Redis实例的独立资源部署、数据三副本存储策略和多节点跨AZ部署方案,保证了美柚数据库的稳定性和数据的一致性、高可靠性。GeminiDB Redis提供的大Key诊断功能,帮助DBA第一时间发现业务高危风险,及时实施整改,避免风险扩大。 高压缩比节约存储成本,精准控制资源使用 在美柚的推荐业务中,核心特征库选用GeminiDB Redis接口,借助其内存引擎稳定的性能表现,实现在线系统业务24小时高效运行,给用户带来最佳浏览体验。GeminiDB Redis接口不仅具备独有的增强能力(exHash)和精细化频次控制,让用户不会刷到同一片信息流,大幅提升使用体验。而且凭借强大的数据压缩能力,降低了美柚业务的TB级数据存储成本。 云数据库团队严格把控初始资源规格配置成本,利用GeminiDB Redis接口的存储容量扩容/缩容、添加/删除节点等功能,可以根据业务实际需求进行操作,帮助美柚精准控制资源使用成本。同时,存储资源的扩缩容都是秒级闪断,减小对业务的影响。
  • 业务痛点 美柚日活跃用户数量破千万,并保持持续上升趋势。然而,在快速发展的过程中,美柚的业务拓展却因IT架构和数据库频受限制。 美柚原本采用自建数据库的方式,在女性健康、社区、电商等业务中,根据不同业务类型,使用MySQL、MongoDB、Codis(分布式Redis解决方案)等开源服务。但这些自建组件的稳定性差,维护难度高且维护工作量大,导致美柚急需对数据库进行改造和迁移。 云数据库 GeminiDB团队通过对美柚实际业务场景进行深入调研,精准识别了现有业务迁移过程中的问题,主要体现在以下四个方面。 美柚使用的部分开源组件版本较低,升级操作复杂且伴随较高风险。同时,开源服务稳定性差,缺乏必要的问题修复或规避能力。 开源服务自动化运维能力差、备份不及时、缺乏增量备份机制,极大地增加了数据丢失的风险。 系统在面对故障时,无法自动恢复,可用性不足,导致业务恢复时间长。 开源数据库服务在资源扩容和缩容能力方面,具有耗时长、稳定性差、成本高昂等缺点。
  • 方案优势 FastLoad极速数据导入,效率提升5-10倍 传统数据库只能通过标准协议逐条写入数据,先经过计算层复杂结算,再写入存储层。因此,大数据平台定期导入的数百GB乃至数TB的画像数据,通常需要数小时或者数天,且对在线业务影响比较大。 GeminiDB Redis提供的FastLoad企业级特性,依托RTA业务场景大数据平台的高并发处理能力和自身存储引擎的数据编排能力,将海量数据通过专属高速持久化通道直接传入存储引擎,数据导入速度提升5-10倍,并降低对在线业务的影响。 提供百万级并发和亚毫秒级延迟,无惧业务洪峰 云数据库 GeminiDB Redis采用存储计算分离架构,通过分布式高性能存储池实现三副本、强一致的数据存储,所有节点高效读/写访问,支持算力水平和垂直扩展,能够轻松应对业务规模和数据量的爆炸式增长。 通过采用多线程架构和高性能存储池,配合内存数据结构和访问算法的深度优化,GeminiDB Redis能够实现亚毫秒级的数据请求响应。这种超低时延的性能,对需要实时数据处理和分析的应用场景,如在线游戏、金融科技、广告系统和实时推荐系统,提供了强大的数据支持。因此,GeminiDB Redis成为处理大规模实时交互和高频交易等场景的理想选择。 根据现网的案例经验,在百万+QPS流量下,GeminiDB可稳定保持平均时延1ms,p99时延2ms。 高效数据压缩存储,效率与成本并行 GeminiDB Redis使用“逻辑数据+块数据”双重压缩机制,在不影响性能的前提下,大幅度降低数据的存储占用。同时,采用存储计算分离架构,将算力和数据存储解耦,支持独立弹性扩展。可以使企业以更低的成本存储更多的数据,极大地优化资源利用效率,降低整体的使用成本。 根据现网案例经验,GeminiDB Redis的数据压缩比通常为4:1,即实际12TB数据,在GeminiDB Redis中仅占用3TB左右的存储空间。
  • 应用场景 广告投放是企业宣传营销不可或缺的一部分。尤其是在新媒体发展白热化的当下,不仅广告渠道多样化,投放模式也更细节化和个性化。 随着客户广告投放产出比意识的加强,以短视频平台为例,在投放目标选择上,广告主通常需要通过配置年龄、性别、学历等规则,才能将广告投放给满足标签的受众。广告投放中这一灵活性不足的限制,常常会让广告主难以抉择,导致投放效果不佳。广告主企业往往每年需花费数亿甚至数十亿广告费,却依然难以准确触达目标用户,造成大量资金浪费。那该如何解决“让广告主对每一条广告请求,有投递或者拒绝的自主权”这一问题,广告RTA应运而生! RTA(Realtime API),是一种用于满足广告主实时、个性化的投放需求的技术手段。
  • 业务挑战 广告主的RTA系统,是从核心的画像数据库读取数据并进行投放决策的,数据越新,投放效果越好。因此,大数据平台生成的最新数据,需要及时写入画像数据库。综合来看,广告RTA业务面临高并发、超低时延、超大数据量等实际特性需求。因此,对核心画像数据库有如下诉求: 海量数据快速导入,确保决策精准性 需要定期将成百GB甚至数TB全量画像数据导入画像数据库;全量数据导入越快,模型越精准,广告投放效果越好。 承载高并发访问 RTA系统要承接大量的实时竞价请求。以电商、金融客户的RTA系统为例,日常数据库QPS在几十万到数百万之间。 保持稳定的低时延 媒体侧要求广告主在40-100ms内返回决策结果,数据库需要在个位数毫秒内执行完请求。 降低业务成本 为了追求极致的性能体验,RTA业务通常使用开源自建Redis,然而TB级别数据存储成本非常昂贵,成本也是广告主选型的重要考虑因素。 在广告RTA中,通常选用以下数据库作为画像数据库: MySQL:难以满足数十万至百万QPS并发和低时延的要求。 MongoDB/Hbase:可以存储TB级数据,成本便宜,但无法满足稳定低时延诉求,超时率高,容易导致停投,影响商业利益。 内存数据库:能提供高并发、低时延极致性能,如开源自建Redis,是业界选用比较多的方案。但存在着稳定性差,数据丢失等风险。对于TB级用户画像数据,存在导入速断慢和成本高的痛点。 而云数据库GeminiDB Redis接口完全具备稳定低时延、高性价比、FastLoad离线数据极速导入等核心能力。
  • 业务痛点 RTA业务系统的海量数据、超高并发、低时延等特点,对存储海量用户特征数据的特征数据库带来了巨大的挑战,特征数据库要在低成本的基础上,提供高稳定性、高性能的能力,满足业务诉求。 该金融科技企业RTA业务在上云前使用开源Redis集群作为特征数据库,近年来随着业务增长,其自建开源Redis集群在业务使用中遇到几个明显的痛点: 海量用户特征数据,导入效率低。 数据持续增长,开源Redis成本逐渐增加;扩展性差,升配期间影响业务。 开源Redis经常被流控,稳定性差,影响在线业务。
  • 云数据库 GeminiDB Redis解决方案 云数据库 GeminiDB Redis是基于自主研发计算存储分离架构的多模NoSQL数据库(如图1所示),将计算节点与数据存储解耦,解决自建开源Redis的痛点问题,有效帮助客户降本增效。 图1 GeminiDB Redis 近年来,GeminiDB Redis产品团队基于开源生态额外做了诸多的特性增强,提供诸多企业级特性,如:解决了fork问题使性能更平滑、支持秒级自动无感扩容、指定时间点原地PITR回档、跨Region容灾、增强的Hash类型(exHash)、离线快速大批量数据导入(FastLoad)等,在帮助用户解决业务痛点的同时,不断提高业务使用效率和体验。 针对该企业在开源Redis使用中遇到的几个痛点问题,GeminiDB Redis接口提供了完善的配套解决方案: FastLoad企业级特性,提供离线海量数据导入的极致体验 传统Redis只能通过标准协议导入,导入速度慢;且在线业务运行期间进行批量数据导入时,由于单线程架构,会出现慢时延、分片不均、甚至OOM等情况,影响在线业务。 GeminiDB Redis接口提供FastLoad企业级特性,依托RTA业务场景大数据平台的高并发处理能力和自身存储引擎的数据编排能力,将海量数据高并发转换成数据库底层持久化文件。同时避开离散数据写入长链路,通过专属高速持久化通道直接将持久化文件导入存储引擎,实现数据的高效导入,并降低对在线业务的影响。 存储计算分离架构,算力、存储独立扩展;支持自动扩容,对业务零干扰;强数据压缩比,节约存储成本 GeminiDB Redis采用业界领先的存储计算分离架构,将算力与数据存储解耦,计算节点、数据存储可独立扩容,扩容体验在行业里是遥遥领先的。 GeminiDB Redis支持GB粒度的存储扩容能力,同时支持全自动扩容,无需人工干预,且扩容过程平滑无感,秒级完成,优化运维体验。 GeminiDB Redis同时提供强数据压缩能力,采用逻辑+物理块压缩技术,数据压缩比可达30%-50%,能够有效降低存储成本开销。 独享容器部署,分片带宽充足 开源Redis的部署往往是多个租户共用一个容器,为降低租户间干扰,不得不对各个租户进行流控限制。分片的流控会产生“木桶效应”,只有采用独立容器部署Redis才能解决。 GeminiDB Redis接口每个分片都采用独立容器部署,分片带宽不受额外限制,独立容器带宽全部提供给业务程序使用。
共100000条