华为云用户手册

  • 购买Kafka实例 进入购买Kafka实例页面。 选择“计费模式”、“区域”、“项目”和“可用区”。 设置“实例名称”和“企业项目”。 设置实例信息。 规格选择模式:选择“集群版”或者“规格测算”或者“单机版”。 集群版:您需要根据实际情况自行选择集群版Kafka实例的版本号、代理规格、代理数量、磁盘类型和存储空间。集群版实例支持Kafka 1.1.0、2.7和3.x版本。 规格测算:系统根据您输入的参数(生产流量峰值、消费流量、单个Topic副本数、总分区数和老化时间内的生产消息量),为您计算出不同规格所需的代理个数和代理存储空间,您根据实际情况选择。 单机版:创建一个2.7版本、单代理的实例,关于单机版实例具体的介绍请参见单机和集群Kafka实例差异概述。 选择集群版时,您需要根据实际情况选择Kafka实例的版本号、代理规格、代理数量、磁盘类型和存储空间。 版本:Kafka的版本号,支持1.1.0、2.7、3.x。实例创建后,版本号不支持修改。 CPU架构:支持“x86计算”,保持默认值即可。 在“代理规格”中,请根据业务需求选择相应的代理规格。 单个代理最大分区数*代理个数=实例分区数上限。当所有Topic的总分区数大于实例分区数上限时,创建Topic失败。 在“代理数量”中,选择代理个数。 在“单个代理存储空间”区域,您根据实际需要选择存储Kafka数据的磁盘类型和总磁盘大小。Kafka实例创建后,磁盘类型不支持修改。 存储空间用于存储消息(包括副本中的消息)、日志和元数据,建议根据业务消息体积、副本数量以及预留磁盘大小选择存储空间大小。每个Kafka代理会预留33GB的磁盘空间,用于存储日志和元数据。 创建实例时会进行磁盘格式化,磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。 在“容量阈值策略”区域,设置磁盘使用达到容量阈值后的消息处理策略,容量阈值为95%。 自动删除:可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量充足。该场景优先保障业务不中断,数据存在丢失的风险。 生产受限:无法继续生产消息,但可以继续消费消息。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。 图1 默认的规格类型 选择规格测算时,系统根据您输入的参数(生产流量峰值、消费流量、单个Topic副本数、总分区数和老化时间内的生产消息量),为您计算出不同规格所需的代理个数和代理存储空间,您根据实际情况选择。3.x版本不支持规格测算。 图2 规格测算 选择单机版时,您可以创建一个2.7版本、单代理的实例。 版本:Kafka的版本号,仅支持2.7。 CPU架构:支持“x86计算”,保持默认值即可。 在“代理规格”中,请根据业务需求选择相应的代理规格。 代理数量:只支持1个代理。 在“单个代理存储空间”区域,您根据实际需要选择存储Kafka数据的磁盘类型。磁盘容量默认为100GB,不支持修改。 Kafka实例创建后,磁盘类型不支持修改。 创建实例时会进行磁盘格式化,磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。 在“容量阈值策略”区域,设置磁盘使用达到容量阈值后的消息处理策略,容量阈值为95%。 自动删除:可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量充足。该场景优先保障业务不中断,数据存在丢失的风险。 生产受限:无法继续生产消息,但可以继续消费消息。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。 设置实例网络环境信息。 在“虚拟私有云”下拉列表,选择已经创建好的虚拟私有云和子网。 虚拟私有云可以为您的Kafka实例构建隔离的、能自主配置和管理的虚拟网络环境。 虚拟私有云和子网在Kafka实例创建完成后,不支持修改。 在“内网IP地址”下拉列表,选择“自动分配”或“手动选择”。 自动分配:系统自动分配子网中可用的IP地址。 手动选择:在下拉框中勾选指定的IP地址。 除以下区域外,“内网ip地址”移动到了“内网访问”中,具体请参见6。 华北-北京一 中东-利雅得 拉美-圣保罗一 拉美-圣地亚哥 在“安全组”下拉列表,可以选择已经创建好的安全组。 安全组是一组对Kafka实例的访问规则的集合。您可以单击右侧的“管理安全组”,跳转到网络控制台的“安全组”页面,查看或创建安全组。 设置实例的访问方式。 表2 实例的访问方式 访问方式 接入方式 说明 内网访问 明文接入 明文接入表示客户端连接Kafka实例时,无需进行SASL认证。 内网访问不支持关闭,明文接入和密文接入至少开启一个。 密文接入 密文接入表示客户端连接Kafka实例时,需要进行SASL认证。 内网访问不支持关闭,明文接入和密文接入至少开启一个。部分region密文接入开启后,不支持关闭,如果需要关闭,请联系客服处理。 开启“密文接入”后,需要设置kafka安全协议、SASL PLAIN机制、用户名和密码。 实例创建后,关闭“密文接入”并不会删除已创建的用户,再次开启“密文接入”时无需创建用户。 内网IP地址 根据实际需求选择“自动分配”或“手动选择”。 自动分配:系统自动分配子网中可用的IP地址。 手动选择:在下拉框中勾选指定的IP地址。如果指定的IP地址数量少于代理数量时,系统会自动为剩余代理分配IP地址。 公网访问 明文接入 明文接入表示客户端连接Kafka实例时,无需进行SASL认证。 开启/关闭明文接入,并设置公网访问连接地址。 密文接入 密文接入表示客户端连接Kafka实例时,需要进行SASL认证。 开启/关闭密文接入,并设置公网访问连接地址。 开启“密文接入”后,需要设置kafka安全协议、SASL PLAIN机制、用户名和密码。 实例创建后,关闭“密文接入”并不会删除已创建的用户,再次开启“密文接入”时无需创建用户。 公网IP地址 根据页面提示信息选择对应数量的公网IP地址。 如果公网IP地址数量不足,请单击“创建弹性IP”跳转到弹性公网IP页面,创建公网IP地址。然后返回Kafka控制台,在“公网IP地址”后单击,刷新公网IP地址。 Kafka实例不支持绑定IPv6的弹性公网IP,只支持绑定IPv4的弹性公网IP。 单机版实例不支持密文接入。 kafka安全协议、SASL PLAIN机制、用户名和密码的参数解释如下: 表3 密文接入参数说明 参数名称 参数值 说明 kafka安全协议 SASL_SSL 采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。 支持SCRAM-SHA-512机制和PLAIN机制。 什么是SCRAM-SHA-512机制和PLAIN机制? SCRAM-SHA-512机制:采用哈希算法对用户名与密码生成凭证,进行身份校验的安全认证机制,比PLAIN机制安全性更高。 PLAIN机制:一种简单的用户名密码校验机制。 SASL_PLAINTEXT 采用SASL方式进行认证,数据通过明文传输,性能更好。 支持SCRAM-SHA-512机制和PLAIN机制。 由于明文传输,建议使用SCRAM-SHA-512机制。 SASL PLAIN机制 - 未开启“SASL PLAIN机制”时,使用SCRAM-SHA-512机制对账号密码进行认证。 开启“SASL PLAIN机制”后,同时支持SCRAM-SHA-512机制和PLAIN机制,根据实际情况选择其中任意一种配置连接。 密文接入成功开启后,SASL PLAIN机制不支持修改。 用户名、密码 - 客户端用于连接Kafka实例的用户名和密码。 密文接入成功开启后,用户名不支持修改。 实例的访问方式在以下区域未上线: 华北-北京一 中东-利雅得 拉美-圣保罗一 拉美-圣地亚哥 设置“Kafka SASL_SSL”。 客户端连接Kafka实例时,是否开启SASL认证。开启Kafka SASL_SSL,则数据加密传输,安全性更高。 “Kafka SASL_SSL”默认为开启状态,Kafka实例创建后,Kafka SASL_SSL开关不支持修改,请慎重选择。如果创建后需要修改,需要重新创建实例。 开启Kafka SASL_SSL后,您可以选择是否开启“SASL PLAIN 机制”。未开启“SASL PLAIN 机制”时,使用SCRAM-SHA-512机制传输数据,开启“SASL PLAIN 机制”后,同时支持SCRAM-SHA-512机制和PLAIN机制,根据实际情况选择其中任意一种配置连接。Kafka实例创建后,SASL PLAIN机制开关不支持修改。 什么是SCRAM-SHA-512机制和PLAIN机制? SCRAM-SHA-512机制:采用哈希算法对用户名与密码生成凭证,进行身份校验的安全认证机制,比PLAIN机制安全性更高。 PLAIN机制:一种简单的用户名密码校验机制。 开启Kafka SASL_SSL后,您需要设置连接Kafka实例的用户名和密码。 除以下区域外,“Kafka SASL_SSL”已调整了位置,移动到了“内网访问”和“公网访问”中,具体请参见6。 华北-北京一 中东-利雅得 拉美-圣保罗一 拉美-圣地亚哥 单机版实例不显示此参数。 设置实例购买时长。 当选择了“包年/包月”付费模式时,页面才显示“购买时长”参数,您需要根据业务需要选择。 单击“更多配置”,设置更多相关信息。 设置“公网访问”。 “公网访问”默认为关闭状态,您可以选择是否开启。 开启公网访问后,还需要为每个代理设置对应的IPv4弹性IP地址。 开启公网访问后,还可以选择是否开启VPC内网明文访问。如果开启了VPC内网明文访问,无论实例是否开启SASL_SSL,通过内网连接实例时,数据都将明文传输。创建实例后,VPC内网明文访问开关不支持修改,请慎重选择。如果创建后需要修改,需要重新创建实例。 除以下区域外,“公网访问”已调整了位置,移动到了“更多配置”外,具体请参见6。 华北-北京一 中东-利雅得 拉美-圣保罗一 拉美-圣地亚哥 选择是否开启Smart Connect。 Smart Connect用于异构系统间的数据同步,开启Smart Connect后,设置Smart Connect任务可以实现Kafka实例和其他云服务之间的数据同步,或者两个Kafka实例之间的数据同步。 单机版实例不显示此参数。 设置“Kafka自动创建Topic”。 “Kafka自动创建Topic”默认为关闭状态,您可以选择是否开启。 开启“Kafka自动创建Topic”表示生产或消费一个未创建的Topic时,系统会自动创建此Topic,此Topic的默认参数值如下: 分区数为3。 副本数为3。 老化时间为72小时。 不开启同步复制和同步落盘。 消息时间戳类型为CreateTime。 批处理消息最大值为10485760字节。 如果在“配置参数”中修改“log.retention.hours”、“default.replication.factor”或“num.partitions”的参数值,此后自动创建的Topic参数值为修改后的参数值。 例如:“num.partitions”修改为“5”,自动创建的Topic参数值如下: 分区数为5。 副本数为3。 老化时间为72小时。 不开启同步复制和同步落盘。 消息时间戳类型为CreateTime。 批处理消息最大值为10485760字节。 设置“标签”。 标签用于标识云资源,当您拥有相同类型的许多云资源时,可以使用标签按各种维度(例如用途、所有者或环境)对云资源进行分类。 如您的组织已经设定分布式消息服务Kafka版的相关标签策略,则需按照标签策略规则为Kafka实例添加标签。标签如果不符合标签策略的规则,则可能会导致Kafka实例创建失败,请联系组织管理员了解标签策略详情。 如果您已经预定义了标签,在“标签键”和“标签值”中选择已经定义的标签键值对。另外,您可以单击“查看预定义标签”,跳转到标签管理服务页面,查看已经预定义的标签,或者创建新的标签。 您也可以直接在“标签键”和“标签值”中设置标签。 当前每个Kafka实例最多支持设置20个不同标签,标签的命名规格,请参考配置Kafka实例标签章节。 设置实例的描述信息。 填写完上述信息后,单击“立即购买”,进入规格确认页面。 确认实例信息无误且阅读并同意《华为云用户协议》后,如果“计费模式”选择“包年/包月”,单击“去支付”。根据界面提示信息,支付费用。如果“计费模式”选择“按需付费”,单击“提交”。 在实例列表页面,查看Kafka实例是否创建成功。 创建实例大约需要3到15分钟,此时实例的“状态”为“创建中”。 当实例的“状态”变为“运行中”时,说明实例创建成功。 当实例的“状态”变为“创建失败”,请参考删除Kafka实例,删除创建失败的实例,然后重新创建。如果重新创建仍然失败,请联系客服。 创建失败的实例,不会占用其他资源。
  • 前提条件 创建Kafka实例前,请提前准备好如表1所示资源。 表1 Kafka实例依赖资源 准备资源 要求 创建指导 VPC和子网 Kafka实例可以使用当前账号下已创建的VPC和子网,也可以使用新创建的VPC和子网,还可以使用共享VPC和子网,请根据实际需要进行配置。 共享VPC是基于资源访问管理(Resource Access Manager,简称RAM)服务的机制,VPC的所有者可以将VPC内的子网共享给一个或者多个账号使用。通过共享VPC功能,可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。有关VPC子网共享的更多信息,请参见共享VPC。 在创建VPC和子网时应注意:创建的VPC与Kafka实例在相同的区域。 创建VPC和子网的操作指导请参考创建虚拟私有云和子网,若需要在已有VPC上创建和使用新的子网,请参考为虚拟私有云创建新的子网。 安全组 不同的Kafka实例可以重复使用相同的安全组,也可以使用不同的安全组,请根据实际需要进行配置。 创建安全组的操作指导请参考创建安全组,为安全组添加规则的操作指导请参考添加安全组规则。 弹性IP地址 在创建弹性IP地址时,应注意如下要求: 创建的弹性IP地址与Kafka实例在相同的区域。 弹性IP地址的数量必须与Kafka实例的代理个数相同。 Kafka控制台无法识别开启IPv6转换功能的弹性IP地址。 创建弹性IP地址的操作指导请参考申请弹性公网IP。
  • 实施步骤(方案三:先迁消费,再迁生产) 指首先通过Smart Connect同步两个Kafka的消息,其次将消费端迁移到新Kafka,最后将生产端迁移到新Kafka。 创建Kafka数据复制的Smart Connect任务,用于同步两个Kafka的消息。具体步骤请参见配置Kafka间的数据复制。 在Kafka控制台的“消息查询”页面,查看两个Kafka的最新消息是否一致,确认两个Kafka的同步进度是否一致。具体步骤请参见查看Kafka消息。 是,执行3。 否,在监控页面查看两个Kafka的“Kafka每分钟同步数据量”是否正常,如果正常,先等待两个Kafka的同步进度一致,然后执行3。 将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。 重启消费业务,使得消费者从新Kafka实例中消费消息。 观察消费者是否能正常从新Kafka实例中获取数据。 修改生产客户端,Kafka连接地址改为新Kafka实例的连接地址。 重启生产客户端,将生产业务迁移到新Kafka实例中。 生产业务迁移后,观察连接新Kafka实例的消费业务是否正常。 迁移结束。 本方案依赖于Smart Connect,Smart Connect实时同步源端和目标端的数据,但是消费进度是通过批处理同步的,可能会导致源端和目标端每个分区的消费进度存在0-100之间的差异,存在少量重复消费问题。此场景适用于生产端不可停止,端到端有时延要求,但是可以兼容少量重复消费的业务。
  • 实施步骤(方案二:同时消费,后迁生产) 指消费者业务启用多个消费客户端,分别向原Kafka和新Kafka实例消费消息,然后将生产业务切到新Kafka实例,这样能确保所有消息都被及时消费。 启动新的消费客户端,配置Kafka连接地址为新Kafka实例的连接地址,消费新Kafka实例中的数据。 原有消费客户端需继续运行,消费业务同时消费原Kafka与新Kafka实例的消息。 修改生产客户端,Kafka连接地址改为新Kafka实例的连接地址。 重启生产客户端,将生产业务迁移到新Kafka实例中。 生产业务迁移后,观察连接新Kafka实例的消费业务是否正常。 等待原Kafka中数据消费完毕,关闭原有消费业务客户端。 迁移结束。 迁移过程由业务自主控制。本方案中消费业务会在一段时间内同时消费原Kafka和新Kafka实例。由于在迁移生产业务之前,已经有消费业务运行在新Kafka实例上,因此不会存在端到端时延的问题。但在迁移生产的开始阶段,同时消费原Kafka与新Kafka实例,会导致部分消息之间的生产顺序无法保证,存在消息乱序的问题。此场景适用于对端到端时延有要求,却对消息顺序不敏感的业务。
  • 迁移准备 配置网络环境 Kafka实例分内网地址以及公网地址两种网络连接方式。如果使用公网地址,则消息生成与消费客户端需要有公网访问权限,并配置如下安全组。 表1 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9094 0.0.0.0/0 通过公网访问Kafka(关闭SSL加密)。 入方向 TCP 9095 0.0.0.0/0 通过公网访问Kafka(开启SSL加密)。 创建Kafka实例 Kafka的规格不能低于原业务使用的Kafka规格。具体请参考购买Kafka实例。 创建Topic 在新的Kafka实例上创建与原Kafka实例相同配置的Topic,包括Topic名称、副本数、分区数、消息老化时间,以及是否同步复制和落盘等。具体请参考创建Kafka Topic。
  • 实施步骤(方案一:先迁生产,再迁消费) 指先将生产消息的业务迁移到新的Kafka,原Kafka不会有新的消息生产。待原有Kafka实例的消息全部消费完成后,再将消费消息业务迁移到新的Kafka,开始消费新Kafka实例的消息。 将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。 重启生产业务,使得生产者将新的消息发送到新Kafka实例中。 观察各消费组在原Kafka的消费进度,直到原Kafka中数据都已经被消费完毕。 将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。 重启消费业务,使得消费者从新Kafka实例中消费消息。 观察消费者是否能正常从新Kafka实例中获取数据。 迁移结束。 本方案为业界通用的迁移方案,操作步骤简单,迁移过程由业务侧自主控制,整个过程中消息不会存在乱序问题,适用于对消息顺序有要求的场景。但是该方案中需要等待消费者业务直至消费完毕,存在一个时间差的问题,部分数据可能存在较大的端到端时延。
  • 配置应用 在界面上方的主菜单中,单击“我的应用”。 单击新增应用所在行的图标,进入“应用配置”页面。 图3 应用配置页面 配置“自然语言模型”,保持默认值“AIUI通用语义模型”。 单击“管理技能配置”,弹出“配置应用需要的技能”对话框,如图4所示。 在“自定义”区域,找到创建的技能,需要依次完成如下操作: 开启卡片区域右上角的开关。 单击卡片区域右下角的开关,在弹出的“技能设置”对话框中选择需要使用的技能版本。 此时,应用已具备基础的对话能力,可以回答已配置的语料内容。 图4 配置应用需要的技能 单击右上方的“保存配置”。界面提示“保存成功”,回到“应用配置”页面。 单击界面右上方的“保存修改”。界面提示“保存成功”,说明应用配置完成。
  • (可选)新增English情景模式 前面的所有操作,都是main情景模式下的配置,如果配置对话时,语言选择“中文”,则main情景模式下的配置生效。 如果配置对话时,语言选择“英文”,当前应用需要新增English情景模式,才能对话成功。 操作步骤,如下所示: 在界面上方的主菜单中,单击“我的应用”。 单击新增应用所在行的图标,进入“应用配置”页面。 图16 应用配置页面 单击“情景模式”右侧的“+”图标,弹出“新增情景模式”对话框。 一个应用可以增加多个情景模式,每个情景模式相互独立,互不干扰。 参数配置说明,如下所示: 情景模式名称:必须配置为“English”。 保持“语音语义”不变。 图17 新增情景模式 单击“确定”,English情景模式新增成功。 界面参数配置说明,如下所示: 语音识别:从下拉框中选择“通用-英文-进场”。 自然语言模型:保持默认值“AIUI通用语义模型”。 管理技能配置:English情景模式下,不支持开启系统预置技能,仅支持开启自定义技能,相应操作请参考配置应用需要的技能。 (可选)开启闲聊技能:可选能力,操作请参考(可选)开启闲聊功能。 模拟测试:操作请参考模拟测试。 图18 English情景模式 单击如图18所示界面右上方的“保存修改”。 界面提示“保存成功”,说明应用的English情景模式配置完成。
  • 创建应用 访问科大讯飞的AIUI开放平台。 在界面上方的主菜单中,单击“我的应用”,进入“我的应用”页面。 单击“创建应用”,进入“创建应用”页面,如图1所示。 参数配置说明,如下所示: 应用名称:应用名称。 应用分类:从下拉框中选择当前应用所属分类。应用分类可以任意选择,不影响实际使用。 设备信息:勾选设备具备的条件。 应用描述:应用描述。 图1 创建应用 单击“确定创建”。界面提示“创建成功”,并弹出如图2所示的对话框。 图2 选择设备需要的AI能力 选择并开启设备需要的AI能力后,单击“确定”。 应用创建成功,自动进入新增应用的“应用配置”页面。
  • 操作步骤 登录MetaStudio控制台。 单击“分身形象制作”下方的“开始创建”,进入分身形象制作页面。 界面左侧是定制分身数字人的数据上传界面。 界面右侧上方,展示分身数字人定制流程。下方展示训练视频拍摄指导和样例视频,包括:拍摄前准备、拍摄中操作和拍摄后处理,有效指导用户拍摄生成一段完整可用的训练视频,用于训练生成分身数字人。 图1 定制数字人形象 上传分身数字人训练数据。 界面操作详情,如表1所示。 表1 界面操作说明 区域 参数 说明 分身数字人训练数据上传 角色名称 输入分身数字人的角色名称。 示例:云笙。 训练视频 支持提供如下2类视频,训练生成数字人形象。 分身数字人:从本地上传已录制好,且符合拍摄要求的真人人像视频。 录制的视频要求4K,时长建议5~6分钟,分辨率≥1080P,宽高比16:9(横屏)或9:16(竖屏),建议优先使用竖屏拍摄。支持MP4、MOV格式的视频。 训练生成的分身数字人形象与真人形象完全相同,如图2所示。 虚拟数字人:从本地上传3分钟以上的虚拟形象动作和说话视频。 视频时长建议3分钟以上,分辨率≥1080P(4K最佳),宽高比16:9(横屏)或9:16(竖屏),建议优先提供竖屏视频。支持MP4、MOV格式的视频。 视频中的虚拟数字人形象,是基于真人风格化后的形象,如图2所示。需客户自己准备形象,并生成其动作和说话视频。 背景替换 分身数字人是否支持更换背景。 包含如下选项,请根据实际情况选择: 抠除拍摄背景:分身数字人支持更换背景。 保留拍摄背景:分身数字人使用拍摄时的原背景,不支持更换背景。 如果勾选“抠除拍摄背景”,制作分身数字人视频时,可以替换背景。 视频封面(可选) 视频封面。支持jpg、jpeg和png格式。 身份认证及授权数据上传 联系方式 请输入有效的11位手机号码。 身份证照片 需要分别上传身份证人像面和国徽面的照片。 单击“点击上传人像面”,从本地选择身份证人像面照片上传。 单击“点击上传国徽面”,从本地选择身份证国徽面照片上传。 形象授权 上传形象授权书。 操作如下所示: 单击“授权书模板”,将授权书模板下载本地。 打印授权书,由身份证本人完成签署操作。 扫描文件生成pdf文件,或拍摄文件生成jpg、png格式的图片。 单击“点击上传授权书”,从本地选择pdf、jpg或png格式的授权书上传。 授权书内容,可参考授权书。 身份认证及授权数据上传 第三方用户ID(可选) 第三方用户ID,为查询资产列表接口参数“X-App-UserId”的值。 仅需调用查询资产列表接口,通过参数“X-App-UserId”过滤查询2D数字人模型资产时填写。 图2 数字人说明 单击“提交制作”。 数据上传完成后,界面提示“制作任务提交成功!”,如图3所示。 数字人定制任务提交成功后,需要等待1天左右的时间审核。任务审核通过后,才能进行算法训练操作。 图3 制作任务提交成功 用户可以单击“查看制作任务列表”,进入分身数字人定制任务列表页面。 单击任务所在行的“查看详情”,进入“定制任务详情”页面。 查看分身数字人定制任务审核进展。当前状态为“系统审核中”,需要等待服务管理员审核通过后,状态变更为“待算法训练”。 如果数字人定制任务被驳回,需要查看驳回原因,并重新按照要求录制视频并上传。 操作步骤详情如下所示: 在服务主界面,单击左侧导航栏中的“任务中心”。 查看“分身数字人”页签的数字人定制任务列表,找到被驳回的数字人定制任务。 任务状态为“审核未通过”。 单击任务右侧的“查看原因”,在弹出的“审核未通过”对话框中,查看审核未通过的原因。 按照规范重新录制或提供符合规范的视频。 单击任务右侧的“更换视频”,上传更新后的视频。 数字人定制任务重新进入审核流程。
  • 场景说明 智能交互包含如下场景: 场景一:用户开箱即用的智能交互数字人场景。 在MetaStudio控制台完成交互配置,包括LLM或者大模型配置,通过Web页面浏览,无需开发。 图1 智能交互 场景二:用户使用第三方语言模型,自主开发API实现与数字人对话场景。 开发者基于智能交互服务定义的API接口结构,自主开发第三方语言模型API,对接第三方语言模型到智能交互服务,实现智能交互能力。操作请参考创建智能交互数字人(第三方语言模型)。 场景三:用户使用智能交互API或SDK,自主开发实现与数字人对话场景。 用户购买华为的对话机器人CBS服务,对接到智能交互服务,开发者基于SDK完成web界面开发。操作请参考创建智能交互数字人(华为云CBS)。 用户购买非华为的LLM或者大模型,当前支持科大讯飞AIUI通用语义模型及星火大模型、出门问问的数字人平台。 科大讯飞对接至智能交互服务,开发者基于SDK完成web界面开发,操作请参考创建智能交互数字人(科大讯飞)。 出门问问的数字人平台对接至智能交互服务,开发者基于SDK完成web界面开发,操作请参考创建智能交互数字人(奇妙问)。 开发者自己提供LLM或者大模型,调用智能交互的文本驱动数字人能力。智能交互服务不感知用户自己的LLM或者大模型,只提供API接口和Web SDK。操作请参考创建智能交互数字人(二次开发场景)。 父主题: 智能交互
  • 操作步骤 访问数字人工作台。 输入有效手机号和验证码,或者通过密码方式登录。 图1 数字人工作台 单击“登录”,进入数字人工作台“创建角色”页面,如图2所示。 图2 创建角色 在左侧导航栏中,选择“我的知识库”,进入“我的知识库”页面,如图3所示。 在当前页面可以看到普通文件和问答题库的上传入口。 图3 我的知识库 上传普通文件操作。 单击“上传普通文件”区域的“上传文件”,进入“文件上传”页面,如图4所示。 图4 文件上传 设置“知识库名称”。 一个知识库可以是一堆文件的集合。 上传文件。 支持上传TXT,PDF,PPTX,DOCX,XLSX,XLM,MD,HTML,CSV,TSV格式的文件,支持同时上传多个文件,每个文件不能超过20M。 单击“下一步”,进入“文档清洗”页面,如图5所示。 参数配置说明,如表1所示。 图5 文档清洗 表1 参数说明 参数 说明 分段设置 选择文字分段的方式。 包含如下选项: 自动分段:自动对文档进行分段处理。 手动分段:自定义分隔符和分割长度的方式,对文档进行分段处理。 索引配置 配置索引的类型。 包含如下选项: 标准版 高配版 单击“保存”。 保存成功后,在“普通文档”页签中,新增一行知识库。请根据实际情况,对知识库进行编辑、设置或删除操作。 图6 我的知识库 上传问答题库的操作。 单击“上传问答题库”区域的“上传文件”,进入“文件上传”页面,如图7所示。 图7 文件上传 从下拉框中选择问答文件的语言类型。 默认为:中文。 单击“问答模板下载”,下载模板文件至本地,必须按照模板准备问答文件。 单击“选择文件”,上传已准备好的问答文件。 支持上传xlsx、xlm格式的文件,支持同时上传多个文件,每个文件不能超过20M。 单击“下一步”,进入“问题预览”页面,如图8所示。 可以预览上传成功的问答列表。 图8 问题预览 单击“保存”。 保存成功后,在“问答题库”页签中,新增一行问答库。请根据实际情况,对问答库进行编辑、设置或删除操作。 图9 我的知识库
  • 操作步骤 访问数字人工作台。 输入有效手机号和验证码,或者通过密码方式登录。 图1 数字人工作台 单击“登录”,进入数字人工作台“创建角色”页面,如图2所示。 界面右侧有“创建角色”入口,下方的“角色中心”区域展示系统预置的角色,可以直接克隆使用。 图2 创建角色 单击“创建角色”,进入“创建角色”页面,如图3所示。 参数配置说明,如表1所示。 图3 创建角色 表1 参数说明 参数 说明 语言 包含中文和英语。 单语言场景,可直接切换语言类型。 多语言场景,可单击右侧的“添加语言”,将中文和英语都添加上。 角色名称 互动数字人的角色名称。 示例:售货员。 角色描述 互动数字人的角色描述信息。 示例:负责介绍便利店及其产品信息。 选择模型 选择AI模型。 包含如下选项: 初阶模型 中阶模型 高阶模型 多轮对话 是否开启多轮会话。 如果开启,会根据上下文的信息进行语义理解,以生成连贯的对话。 提示词 用户长时间不提问时,互动数字人的提示语。 示例:您好!请问您还有什么需要了解的内容? 欢迎语 互动数字人的开场欢迎语。 示例:您好!很高兴为您服务。 常见问题 常见用户提问,支持添加多个。 示例:请问您需要什么商品? 插件工具 系统预置的插件工具,支持多选。 如“天气查询工具”,可以用于回答天气的问题。 知识库 单击“添加”,在弹出的“选择知识库”对话框中,勾选对应的知识库。 这里的知识库均为“普通文本”类型,其来源请参考新增知识库-上传普通文件。 回答仅限于文档 是否开启回答仅限于文档。 如果开启此设置, 数字人仅回答知识库中内容。如果超出知识库范围,数字人使用兜底话术答复。 回答来源 是否开启回答来源。 如果开启此设置,当回答引用了文档或者使用了网页查询工具时,会展示问答来源。 问答库 单击“添加”,在弹出的“选择知识库”对话框中,勾选对应的问答题库。 问答题库来源,请参见新增知识库-上传问答题库。 兜底话术 当用户提问超出问答范围时的回复话术。 示例:很抱歉,我们无法提供此类信息。 回答前缀 互动数字人回答问题之前的话术。 示例:让我思考一下你的问题。 敏感词话术 如果用户问题中有敏感词,使用此话术作答。 示例:哎呦,这个问题我没有听懂哦!请您重新提问。 单击“在线演示”,可以在界面右侧演示模型对话效果,如图4所示。 图4 在线演示 单击界面右上角的“保存”,在弹出的“保存成功”提示框中,单击“确定”。 角色创建完成。
  • 使用须知 文档数据库服务的审计日志功能默认是关闭的,您可以根据业务需要开启审计日志,开启后系统记录读写操作的审计信息,可能会有5%-15%的性能影响。 开启审计日志会收取一定费用,收费详情请参见产品价格详情。 文档数据库服务会去检测已生成的审计日志,若审计日志超过用户自定义的保留天数,则将其删除。建议审计日志保存180天以上,用于审计回溯和问题分析等场景。 审计策略修改后,文档数据库服务将按照新的策略执行审计,原审计日志的保留天数以修改后审计策略的保留天数为准。 审计日志不建议删除,如需删除,请先确保审计日志删除后仍然符合您所在地或者企业的安全合规要求,建议删除前下载日志文件在本地备份。审计日志删除后不可恢复,请谨慎操作。 您可以通过文档数据库服务查看、下载和删除DDS实例审计日志,详情请参见通过文档数据库服务查看审计日志;也可以按照日志配置管理配置后,在LTS服务查看DDS实例审计日志的详细信息,包括搜索日志、日志可视化、下载日志和查看实时日志等功能,详情请参见通过云日志服务查看审计日志。 审计日志默认每小时生成一次,如果日志大小超过最大限制10MB,则会额外生成新的审计日志。
  • 事件样例 如下提供了查询副本集状态信息的样例,详细的字段解释可参考事件结构。 { "atype": "replSetGetStatus", "ts": { "$date": "2022-06-29T07:23:29.077+0000" }, "local": { "ip": "127.0.0.1", "port": 8636 }, "remote": { "ip": "127.0.0.1", "port": 50860 }, "users": [ { "user": "rwuser", "db": "admin" } ], "roles": [ { "role": "root", "db": "admin" } ], "param": { "command": "replSetGetStatus", "ns": "admin", "args": { "replSetGetStatus": 1, "forShell": 1, "$clusterTime": { "clusterTime": { "$timestamp": { "t": 1656487409, "i": 117 } }, "signature": { "hash": { "$binary": "PTJhGQ6cr8RyzuqbevXfG0xWj/c=", "$type": "00" }, "keyId": { "$numberLong": "7102437926763495425" } } }, "$db": "admin" } }, "result": 0 }
  • 监控指标 表1 DDS推荐的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) mongo007_connections_usage 当前活动连接数百分比 该指标用于统计试图连接到实例节点的连接数占可用连接数百分比,以百分比为单位。 0~100% 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo032_mem_usage 内存使用率 该指标用于统计测量对象的内存利用率,以百分比为单位。 0~100% 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo031_cpu_usage CPU使用率 该指标用于统计测量对象的CPU利用率,以百分比为单位。 0~100% 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo035_disk_usage 磁盘利用率 该指标用于统计测量对象的磁盘利用率,以百分比为单位。 0~100% 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 表2 DDS支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) mongo001_command_ps command执行频率 该指标用于统计平均每秒command语句在节点上执行次数,以次数/秒为单位。 ≥ 0 Executions/s 文档数据库实例 文档数据库集群实例下的dds mongos节点 文档数据库副本集实例下的只读节点 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 5秒 mongo002_delete_ps delete语句执行频率 该指标用于统计平均每秒delete语句在节点上执行次数,以次数/秒为单位。 ≥ 0 Executions/s 文档数据库实例 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo003_insert_ps insert语句执行频率 该指标用于统计平均每秒insert语句在节点上执行次数,以次数/秒为单位。 ≥ 0 Executions/s 文档数据库实例 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo004_query_ps query语句执行频率 该指标用于统计平均每秒query语句在节点上执行次数,以次数/秒为单位。 ≥ 0 Executions/s 文档数据库实例 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo005_update_ps update语句执行频率 该指标用于统计平均每秒update语句在节点上执行次数,以次数/秒为单位。 ≥ 0 Executions/s 文档数据库实例 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo006_getmore_ps getmore语句执行频率 该指标用于统计平均每秒getmore语句在节点上执行次数,以次数/秒为单位。 ≥ 0 Executions/s 文档数据库实例 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo007_chunk_num1 分片一的chunk数 该指标用于统计分片一的chunk个数,以个数为单位。 0~64 Counts 文档数据库集群实例 1分钟 mongo007_chunk_num2 分片二的chunk数 该指标用于统计分片二的chunk个数,以个数为单位。 0~64 Counts 文档数据库集群实例 1分钟 mongo007_chunk_num3 分片三的chunk数 该指标用于统计分片三的chunk个数,以个数为单位。 0~64 Counts 文档数据库集群实例 1分钟 mongo007_chunk_num4 分片四的chunk数 该指标用于统计分片四的chunk个数,以个数为单位。 0~64 Counts 文档数据库集群实例 1分钟 mongo007_chunk_num5 分片五的chunk数 该指标用于统计分片五的chunk个数,以个数为单位。 0~64 Counts 文档数据库集群实例 1分钟 mongo007_chunk_num6 分片六的chunk数 该指标用于统计分片六的chunk个数,以个数为单位。 0~64 Counts 文档数据库集群实例 1分钟 mongo007_chunk_num7 分片七的chunk数 该指标用于统计分片七的chunk个数,以个数为单位。 0~64 Counts 文档数据库集群实例 1分钟 mongo007_chunk_num8 分片八的chunk数 该指标用于统计分片八的chunk个数,以个数为单位。 0~64 Counts 文档数据库集群实例 1分钟 mongo007_chunk_num9 分片九的chunk数 该指标用于统计分片九的chunk个数,以个数为单位。 0~64 Counts 文档数据库集群实例 1分钟 mongo007_chunk_num10 分片十的chunk数 该指标用于统计分片十的chunk个数,以个数为单位。 0~64 Counts 文档数据库集群实例 1分钟 mongo007_chunk_num11 分片十一的chunk数 该指标用于统计分片十一的chunk个数,以个数为单位。 0~64 Counts 文档数据库集群实例 1分钟 mongo007_chunk_num12 分片十二的chunk数 该指标用于统计分片十二的chunk个数,以个数为单位。 0~64 Counts 文档数据库集群实例 1分钟 mongo008_connections 实例当前活动连接数 该指标用于统计试图连接到DDS实例的总连接数,以个数为单位。 0~200 Counts 文档数据库实例 1分钟 mongo009_migFail_num 过去一天块迁移的失败次数 该指标用于统计过去一天中块迁移失败的次数,以次数为单位。 ≥ 0 Counts 文档数据库集群实例 1分钟 mongo007_connections 当前活动连接数 该指标用于统计试图连接到DDS实例节点的总连接数,以个数为单位。 0~200 Counts 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo007_connections_usage 当前活动连接数百分比 该指标用于统计试图连接到实例节点的连接数占可用连接数百分比,以百分比为单位。 0~100% 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo008_mem_resident 驻留内存 该指标用于统计当前驻留内存的大小,以兆字节为单位。 ≥ 0 MB 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo009_mem_virtual 虚拟内存 该指标用于统计当前虚拟内存的大小,以兆字节为单位。 ≥ 0 MB 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo010_regular_asserts_ps 常规断言频率 该指标用于统计常规断言频率,以次数/秒为单位。 ≥ 0 Executions/s 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo011_warning_asserts_ps 警告频率 该指标用于统计警告频率,以次数/秒为单位。 ≥ 0 Executions/s 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo012_msg_asserts_ps 消息断言频率 该指标用于统计消息断言频率,以次数/秒为单位。 ≥ 0 Executions/s 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo013_user_asserts_ps 用户断言频率 该指标用于统计用户断言频率,以次数/秒为单位。 ≥ 0 Executions/s 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo014_queues_total 等待锁的操作数 该指标用于统计当前等待锁的操作数,以个数为单位。 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo015_queues_readers 等待读锁的操作数 该指标用于统计当前等待读锁的操作数,以个数为单位。 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo016_queues_writers 等待写锁的操作数 该指标用于统计当前等待写锁的操作数,以个数为单位。 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo017_page_faults 缺页错误数 该指标用于统计当前节点上的缺页错误数,以个数为单位。 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo018_porfling_num 慢查询数 该指标用于统计当前节点上的慢查询数,以个数为单位。 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo019_cursors_open 当前维护游标数 该指标用于统计当前节点上的维护游标数,以个数为单位。 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo020_cursors_timeOut 服务超时游标数 该指标用于统计当前节点上的服务超时游标数,以个数为单位。 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo021_wt_cahe_usage 内存中数据量(WiredTiger引擎) 该指标用于统计当前内存中数据量(WiredTiger引擎),以兆字节为单位。 ≥ 0 MB 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo022_wt_cahe_dirty 内存中脏数据量(WiredTiger引擎) 该指标用于统计当前内存中脏数据量(WiredTiger引擎),以兆字节为单位。 ≥ 0 MB 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo023_wInto_wtCache 写入WiredTiger内存的频率 该指标用于统计当前内存中写入频率(WiredTiger引擎),字节/秒为单位。 ≥ 0 Bytes/s 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo024_wFrom_wtCache 从WiredTiger内存写入磁盘频率 该指标用于统计当前内存写入磁盘频率(WiredTiger引擎),字节/秒为单位。 ≥ 0 Bytes/s 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo025_repl_oplog_win 主节点的Oplog中可用时间 该指标用于统计当前实例下的主节点的Oplog中可用时间,以小时为单位。 ≥ 0 Hours 文档数据库实例下的主节点 1分钟 mongo026_oplog_size_ph 主节点生成Oplog的速率 该指标用于统计当前实例下的主节点生成Oplog的速率,以兆字节/小时为单位。 ≥ 0 MB/Hour 文档数据库实例下的主节点 1分钟 mongo025_repl_headroom 主备Oplog重叠时长 该指标用于统计实例下的主节点和Secondary节点之间Oplog重叠时长,以秒为单位。 ≥ 0 Seconds 文档数据库实例下的备节点 1分钟 mongo026_repl_lag 主备延时 该指标用于统计实例下的主节点和Secondary节点之间的复制延时,以秒为单位。 ≥ 0 Seconds 文档数据库实例下的备节点 1分钟 mongo027_repl_command_ps 备节点复制的command执行频率 该指标用于统计平均每秒Secondary节点复制的command语句执行次数,以次/秒为单位。 ≥ 0 Executions/s 文档数据库实例下的备节点 1分钟 mongo028_repl_update_ps 备节点复制的update语句执行频率 该指标用于统计平均每秒Secondary节点复制的update语句执行次数,以次/秒为单位。 ≥ 0 Executions/s 文档数据库实例下的备节点 1分钟 mongo029_repl_delete_ps 备节点复制的delete语句执行频率 该指标用于统计平均每秒Secondary节点复制的delete语句执行次数,以次/秒为单位。 ≥ 0 Executions/s 文档数据库实例下的备节点 1分钟 mongo030_repl_insert_ps 备节点复制的insert语句执行频率 该指标用于统计平均每秒Secondary节点复制的insert语句执行次数,以次/秒为单位。 ≥ 0 Executions/s 文档数据库实例下的备节点 1分钟 mongo031_cpu_usage CPU使用率 该指标用于统计测量对象的CPU利用率,以百分比为单位。 0~100% 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo032_mem_usage 内存使用率 该指标用于统计测量对象的内存利用率,以百分比为单位。 0~100% 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo033_bytes_out 网络输出吞吐量 该指标用于统计平均每秒从测量对象的所有网络适配器输出的流量,以字节/秒为单位。 ≥ 0 Bytes/s 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo034_bytes_in 网络输入吞吐量 该指标用于统计平均每秒从测量对象的所有网络适配器输入的流量,以字节/秒为单位。 ≥ 0 Bytes/s 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo035_disk_usage 磁盘利用率 该指标用于统计测量对象的磁盘利用率,以百分比为单位。 0~100% 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo036_iops IOPS 该指标用于统计当前实例节点,单位时间内系统处理的I/O请求数量(平均值),以请求/秒为单位。 ≥ 0 Counts/s 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo037_read_throughput 硬盘读吞吐量 硬盘平均每秒读字节数,以字节/秒为单位。 ≥ 0 Bytes/s 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo038_write_throughput 硬盘写吞吐量 硬盘平均每秒写字节数,以字节/秒为单位。 ≥ 0 bytes/s 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo039_avg_disk_sec_per_read 硬盘读耗时 该指标用于统计某段时间平均每次读取硬盘所耗时间,以秒为单位。 ≥ 0 Seconds 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo040_avg_disk_sec_per_write 硬盘写耗时 该指标用于统计某段时间平均每次写入硬盘所耗时间,以秒为单位。 ≥ 0 Seconds 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo042_disk_total_size 磁盘总大小 该指标用于统计测量对象的磁盘总大小,以吉字节为单位。 0~1000 GB 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo043_disk_used_size 磁盘使用量 该指标用于统计测量对象的磁盘已使用总大小,以吉字节为单位。 0~1000 GB 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo044_swap_usage SWAP利用率 交换内存SWAP使用率百分数,以百分比为单位。 0~100% 文档数据库集群实例下的dds mongos节点 文档数据库实例下的备节点 1分钟 mongo050_top_total_time 集合花费的总时间 Mongotop-total time指标,集合操作花费的时间总和,以毫秒为单位。 ≥ 0 Milliseconds 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo051_top_read_time 集合读花费的总时间 Mongotop-read time指标,集合读操作花费的时间总和,以毫秒为单位。 ≥ 0 Milliseconds 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo052_top_write_time 集合写花费的总时间 Mongotop-write time指标,集合写操作花费的时间总和,以毫秒为单位。 ≥ 0 Milliseconds 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo053_wt_flushes_status 周期Checkpoint的触发次数 WiredTiger一个轮询间隔期间checkpoint的触发次数,记录周期内发生的次数单位。 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo054_wt_cache_used_percent Wiredtiger使用中的缓存百分比 Wiredtiger使用中的缓存大小百分数,以百分比为单位。 0~100% 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo055_wt_cache_dirty_percent Wiredtiger脏数据的缓存百分比 Wiredtiger脏数据的缓存大小百分数,以百分比为单位。 0~100% 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo070_rocks_active_memtable memtable中的数据大小 采集当前活动memtable中的数据大小 0~100 GB 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo071_rocks_oplogcf_active_memtable oplogcf上memtable中的数据大小 采集当前用于oplogcf上活动memtable中的数据大小 0~100 GB 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo072_rocks_all_memtable memtable和immutable-mem中的总数据大小 采集当前memtable和immutable-mem中的总数据大小 0~100 GB 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo073_rocks_oplogcf_all_memtable oplogcf上memtable和immutable-mem中的总数据大小 采集当前用于oplogcf上memtable和immutable-mem中的总数据大小 0~100 GB 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo074_rocks_snapshots 未释放的snapshot的数量 采集当前未释放的snapshot的数量 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo075_rocks_oplogcf_snapshots oplogcf上未释放的snapshot的数量 采集当前oplogcf上未释放的snapshot的数量 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo076_rocks_live_versions 活动的版本数量 采集当前活动的版本数量 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo077_rocks_oplogcf_live_versions oplogcf上活动的版本数量 采集当前oplogcf上活动的版本数量 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo078_rocks_block_cache 驻留在blockcache中的数据大小 采集当前驻留在blockcache中的数据大小 0~100 GB 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo079_rocks_background_errors 后台累积错误数量 采集记录后台累积错误数量 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo080_rocks_oplogcf_background_errors oplogcf上后台累积错误数量 采集记录oplogcf上后台累积错误数量 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo081_rocks_conflict_bytes_usage 事务写写冲突处理缓冲区使用率 采集事务写中写冲突处理缓冲区使用率 0~100% 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo082_rocks_uncommitted_keys 未提交的key的数量 采集当前未提交的key的数量 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo083_rocks_committed_keys 提交的key的数量 采集当前已提交的key的数量 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo084_rocks_alive_txn 活跃事务链表的长度 采集记录活跃事务链表的长度 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo085_rocks_read_queue 读队列的长度 采集当前读队列的长度 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo086_rocks_commit_queue 提交队列的长度 采集当前提交队列的长度 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo087_rocks_ct_write_out 已使用并发写事务数 采集当前已使用并发写事务数 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo088_rocks_ct_write_available 剩余可用并发写事务数 采集当前剩余可用并发写事务数 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo089_rocks_ct_read_out 已使用并发读事务数 采集当前已使用并发读事务数 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo090_rocks_ct_read_available 剩余可用并发读事务数 采集当前剩余可用并发读事务数 ≥ 0 Counts 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo091_active_session_count 周期活跃会话数 该指标用于统计自上次刷新周期以来Mongo实例在内存中缓存的所有活跃本地会话的数目 ≥ 0 Counts 文档数据库实例 文档数据库副本集实例下的只读节点 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 mongo092_rx_errors 接收报文错误率 该指标用于统计监控周期内接收报文中错误报文数量与全部接收报文比值。 0~100% 文档数据库实例 1分钟 5秒 mongo093_rx_dropped 接收报文丢包率 该指标用于监控周期内统计接收报文中丢失报文数量与全部接收报文比值。 0~100% 文档数据库实例 1分钟 5秒 mongo094_tx_errors 发送报文错误率 该指标用于监控周期内统计发送报文中错误报文数量与全部发送报文比值。 0~100% 文档数据库实例 1分钟 5秒 mongo095_tx_dropped 发送报文丢包率 该指标用于监控周期内统计发送报文中丢失报文数量与全部发送报文比值。 0~100% 文档数据库实例 1分钟 5秒 mongo096_retrans_segs 重传包数目 该指标用于监控周期内统计重传包数目。 ≥ 0 Counts 文档数据库实例 1分钟 5秒 mongo097_retrans_rate 重传比例 该指标用于监控周期内统计重传包比例。 0~100% 文档数据库实例 1分钟 5秒 mongo098_out_rsts_nums 发送RST数目 该指标用于监控周期内统计RST数目。 ≥ 0 Counts 文档数据库实例 1分钟 5秒 指标ID中含有“rocks”的监控指标均用于监测4.2版本的实例或实例节点。
  • 获取租户ID、客户端(应用)ID和密钥 登录Azure控制台,进入主页。 在搜索框中输入“应用注册”,选择“应用注册”服务,进入应用注册页面。 选择所有应用程序页签,单击应用程序名称,进入该应用的概述页面。在概要区域可以获取客户端(应用)ID和租户ID。 在左侧导航树选择“证书和密码”,选择“客户端密码”页签,单击“新客户端密码”,创建一个新的密码。新创建的密码只能在创建时立即查看,请务必复制并备份。
  • 操作步骤 建议在源端内网环境中准备一台Windows主机,用于安装迁移工具Edge,对该主机的要求以及Edge的安装方法请参见安装Windows版本的Edge。 不建议将Edge安装在源端待迁移的主机上,主要原因包括: 资源消耗:Edge在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时,这可能会对源端的业务运行造成影响。 端口占用:Edge会占用源端主机上的一些端口,也可能会对源端业务产生影响。 安装完成并注册用户后,将Edge与迁移中心进行连接,方法请参考连接迁移中心。 连接成功后,需要在Edge上添加源端待迁移主机凭证,凭证的添加方法请参考添加资源凭证。资源类型请根据实际情况选择“Windows主机”或“Linux主机”。
  • 请求特征畸形或不合理 由于很多CC攻击请求是攻击者随意构造的,仔细观察日志后,往往会发现这些请求有很多与正常请求不相符的畸形报文特征。常见的畸形报文特征及防护策略: 以下的防护配置是通过WAF的精准访问防护规则实现的,具体的操作请参见配置精准访问防护规则。 User-agent异常或畸形:例如,包含Python等自动化工具特征、明显格式错乱的UA(例如Mozilla///)、明显不合理的UA(例如www.example.com)。如果存在该请求特征,可以直接封禁请求。 配置示例:拦截User-agent包含Mozilla///的内容 User-agent不合理:例如,对于微信推广的H5页面,正常用户都应该通过微信发起访问,如果UA来自于Windows桌面浏览器(例如MSIE 6.0),则明显是不合理的。如果存在该请求特征,可以直接封禁请求。 配置示例:拦截User-agent包含MSIE 6.0的内容 Referer异常:例如,不带Referer或Referer固定且来自于非法站点,则可以封禁这种请求(访问网站首页或第一次访问页面的情形除外)。针对只能通过某个站内地址跳转访问的URL,您可以从Referer角度分析行为异常,决定是否封禁。 配置示例:拦截不带Referer的请求 Cookie异常:正常用户往往会在请求中带上属于网站本身业务集的一些cookie(第一次访问页面的情形除外)。很多情况下,CC攻击的报文不会携带任何cookie。您可以从这个角度出发,封禁不带cookie的访问请求。 配置示例:拦截不带Cookie的请求 缺少某些HTTP Header:例如,针对一些业务中需要的认证头等,正常用户的请求会携带,而攻击报文则不会。 配置示例:拦截Header不带authorization头的请求。 不正确的请求方法:例如,只有POST请求的接口被大量GET请求攻击,则可以直接封禁GET请求。 配置示例:拦截GET请求。
  • 攻击源来自海外或IDC机房IP CC攻击中很大比例的攻击来源于海外IP和IDC机房IP的情形。 对于面向中国用户的网站,在遭受攻击时可以通过封禁海外访问来缓解攻击压力。推荐您使用WAF的地理位置访问控制功能,封禁中国境外IP地址的访问,具体操作请参见配置地理位置访问控制规则。 如果您已经开启了WAF的威胁情报访问控制规则,可以封禁常见IDC库的IP,例如华为、腾讯。详细操作请参见配置威胁情报访问控制。 威胁情报访问控制功能现处于公测阶段,如需使用请提交工单申请开通。
  • 大流量高频CC攻击 在大规模CC攻击中,单台傀儡机发包的速率往往远超过正常用户的请求频率。针对这种场景,直接对请求源IP设置限速规则是最有效的办法。建议您使用CC攻击的基于IP限速的模式,具体请参见通过IP限速限制网站访问频率。 配置示例:您可以配置以下CC规则,当一个IP在30秒内访问当前域名下任意路径的次数超过1000次,则封禁该IP的请求10个小时。该规则可以作为一般中小型站点的预防性配置。 在实际场景中,您需要根据自身业务需求调整限速模式和触发防护的限速频率,并选择合适的防护动作,以达到更有针对性、更精细化的防护效果。例如,为了预防登录接口受到恶意高频撞库攻击的影响,您可以配置路径(示例:使用“前缀为”逻辑符,将匹配内容设置为/login.php)。 “域名聚合统计”:开启后,泛域名对应的所有子域名的请求次数合并限速(不区分访问IP)。例如,配置的泛域名为“*.a.com”,会将所有子域名(b.a.com,c.a.com等)的请求一起聚合统计。 “全局计数”:仅云模式支持配置该参数。默认为每WAF节点单独计数,开启后本区域所有节点合并计数。
  • 使用业务Cookie(或者用户id)基于路径配置CC限速 登录管理控制台,将您的网站成功接入到WAF。 云模式添加域名的方法:添加防护域名(云模式-CNAME接入)。 独享模式添加域名的方法:添加防护网站(独享模式)。 在目标域名所在行的“防护策略”栏中,单击“已开启N项防护”,进入“防护策略”页面。 在“CC攻击防护”配置框中,确认“CC攻击防护”的状态为开启。 图1 CC防护规则配置框 在“CC攻击防护”规则配置页面左上角,单击“添加规则”。 根据业务情况,使用业务Cookie(或者用户id)基于路径配置CC限速,参考如图2进行配置。 根据实际情况配置以下参数。 图2 业务Cookie配置 单击“确认”,完成配置。
  • 使用HWWAFSESID基于路径配置CC限速 登录管理控制台,将您的网站成功接入到WAF。 云模式添加域名的方法:添加防护域名(云模式-CNAME接入)。 独享模式添加域名的方法:添加防护网站(独享模式)。 在目标域名所在行的“防护策略”栏中,单击“已开启N项防护”,进入“防护策略”页面。 在“CC攻击防护”配置框中,确认“CC攻击防护”的“状态”为“开启”。 图3 CC防护规则配置框 图4 CC防护规则配置框 在“CC攻击防护”规则配置页面左上角,单击“添加规则”。 根据业务情况,使用HWWAFSESID基于路径配置CC限速,参考如图5进行配置。 “用户标识”:选择“Cookie”,配置为“HWWAFSESID”。 其他参数根据业务实际情况进行配置。 图5 HWWAFSESID配置 单击“确认”,完成配置。
  • 防护措施 根据服务访问请求统计,判断网站是否有大量单IP请求发生,如果有则说明网站很有可能遭受了CC攻击。 登录管理控制台,将您的网站成功接入Web应用防火墙。关于域名接入的具体操作请参见添加防护域名。 在目标域名所在行的“防护策略”栏中,单击“已开启N项防护”,进入“防护策略”页面,确认“CC攻击防护”的“状态”为“开启”。 图1 CC防护规则配置框 开启WAF的“CC攻击防护”后,添加CC防护规则,配置对域名下的请求进行基于IP限速的检测,针对业务特性,设置限速频率,并配置人机验证,防止误拦截正常用户,针对网站所有url进行防护,配置如图2所示。 图2 IP限速 限速模式:选择“源限速”、“IP限速”,根据IP区分单个Web访问者。 限速频率:单个Web访问者在限速周期内可以正常访问的次数,如果超过该访问次数,Web应用防火墙服务将暂停该Web访问者的访问。 “全局计数”:根据不同的限速模式,将已经标识的请求在一个或多个WAF节点上的计数聚合。默认为每WAF节点单独计数,开启后本区域所有节点合并计数。“IP限速”不能满足针对某个用户进行限速,需要选择“用户限速”或“其他”的Referer限速,此时标识的请求可能会访问到不同的WAF节点,开启全局计数后,将请求访问的一个或多个WAF节点访问量聚合,达到全局统计的目的。 防护动作:防止误拦截正常用户,选择“人机验证”。 人机验证:表示在指定时间内访问超过次数限制后弹出验证码,进行人机验证,完成验证后,请求将不受访问限制。 当用户访问超过限制后需要输入验证码才能继续访问。
  • 我是专业的安全人员,需要做全面的Web入侵运营 针对您的需求,推荐您在完成网站接入后,为网站设置以下防护功能: Web基础防护:帮助您防范SQL注入、XSS跨站脚本、远程溢出攻击、文件包含、Bash漏洞攻击、远程命令执行、目录遍历、敏感文件访问、命令/代码注入等常规的Web攻击,并支持深度反逃逸识别、对请求里header中所有字段进行攻击检测、Shiro解密检测、Webshell检测。 操作导航:在“防护策略”页面,单击策略名称,进入“防护配置”页面,选择“Web基础防护”区域,选择“拦截”或者“仅记录”模式,开启所有的检测项。具体的操作请参见配置Web基础防护规则。 自定义防护策略(自由组合防护配置规则):防护配置规则的自由组合配置,为您的网站定制适合的防护策略,全方位的防护您的网站。 操作导航:在“防护策略”页面,进行相关的配置,具体的操作请参见防护配置引导。
  • 我的业务需要严格的安全防护,有攻击时宁可错杀不可漏掉 针对您的需求,推荐您在完成网站接入后,为网站设置以下防护功能: Web基础防护(拦截模式):帮助您防范SQL注入、XSS跨站脚本、远程溢出攻击、文件包含、Bash漏洞攻击、远程命令执行、目录遍历、敏感文件访问、命令/代码注入等常规的Web攻击,并支持深度反逃逸识别、对请求里header中所有字段进行攻击检测、Shiro解密检测、Webshell检测。 操作导航:在“防护策略”页面,单击策略名称,进入“防护配置”页面,选择“Web基础防护”区域,选择“拦截”模式,开启所有的检测项。具体的操作请参见配置Web基础防护规则。 CC攻击防护(阻断模式):通过限制单个IP/Cookie/Referer访问者对防护网站上源端的访问频率,精准识别并阻断CC攻击。 操作导航:在“防护策略”页面,单击策略名称,进入“防护配置”页面,选择“CC攻击防护”区域,添加规则,“防护动作”配置为“阻断”。具体的操作请参见配置CC攻击防护规则。 精准访问防护(阻断模式):对HTTP首部、Cookie、访问URL、请求参数或者客户端IP进行条件组合,定制化防护策略,为您的网站带来更精准的防护。 操作导航:在“防护策略”页面,单击策略名称,进入“防护配置”页面,选择“精准访问防护”区域,添加规则,“防护动作”配置为“阻断”。具体的操作请参见配置精准访问防护规则。 IP黑白名单设置(拦截模式):封禁与业务不相关的IP地址和地址段。 操作导航:在“防护策略”页面,单击策略名称,进入“防护配置”页面,选择“黑白名单设置”区域,添加规则,“防护动作”配置为“拦截”。具体的操作请参见配置IP黑白名单规则。 地理位置访问控制(拦截模式):封禁来自特定区域的访问或者允许特定区域的来源IP的访问,解决部分地区高发的恶意请求问题。可针对指定国家、地区的来源IP自定义访问控制。 操作导航:在“防护策略”页面,单击策略名称,进入“防护配置”页面,选择“地理位置访问控制”区域,添加规则,“防护动作”配置为“拦截”。具体的操作请参见配置地理位置访问控制规则。
  • 我是新手,不懂安全,也没有特殊需求 您可能是基于等保要求或出于提升企业安全水位(达到预防目的)等考虑购买了Web应用防火墙。这种情况下,您可以在完成网站接入后直接使用WAF的默认基础防护设置,不做任何调整。WAF提供的默认防护能力足够为网站抵御绝大部分的基础Web威胁。 建议您多关注Web应用防火墙控制台的“安全总览”和“防护事件”页面,了解业务情况和攻击情况。具体操作可参见以下文档: 安全总览 查看防护日志
  • 我的业务经常受到爬虫骚扰或面临数据泄露、被篡改的风险 针对您的需求,推荐您在完成网站接入后,为网站设置以下防护功能: 网页防篡改:帮助您锁定需要保护的网站页面,当被锁定的页面在收到请求时,返回已设置的缓存页面,预防源站页面内容被恶意篡改。 操作导航:在“防护策略”页面,单击策略名称,进入“防护配置”页面,选择“网页防篡改”区域,添加规则,完成相关设置。具体操作请参见配置网页防篡改规则。 防敏感信息泄露:帮助您对返回页面中包含的敏感信息做屏蔽处理,防止用户的敏感信息(例如:身份证号、电话号码、电子邮箱等)泄露。 操作导航:在“防护策略”页面,单击策略名称,进入“防护配置”页面,选择“防敏感信息泄露”区域,添加规则,完成相关设置。具体操作请参见配置防敏感信息泄露规则。 网站反爬虫: 特征反爬虫:帮助您为网站放行合法爬虫(例如Googlebot、Baiduspider)的访问请求,或者拦截大多数脚本和自动化程序的爬虫攻击。 JS脚本反爬虫:开启JS脚本反爬虫后,帮助您完成JS脚本的的检测,您也可以自定义JS脚本反爬虫的防护策略。 操作导航:在“防护策略”页面,单击策略名称,进入“防护配置”页面,选择“网站反爬虫”区域,添加规则,完成相关设置。具体操作请参见配置网站反爬虫防护规则。 威胁情报访问控制:提供IDC机房IP库平台(例如鹏博士、谷歌公司、腾讯、美团网等其他平台),当目标IP库平台内的来源IP向网站下任意路径发起访问请求时,将触发控制规则,即拦截、放行或者仅记录请求。 操作导航:在“防护策略”页面,单击策略名称,进入“防护配置”页面,选择“威胁情报访问控制”区域,添加规则,完成相关设置。具体操作请参见配置威胁情报访问控制。
  • 什么是网页篡改&网页被篡改的后果 网页篡改是一种通过网页应用中的漏洞获取权限,通过非法篡改Web应用中的内容、植入暗链等,传播恶意信息,危害社会安全并牟取暴利的网络攻击行为。 如果网页被篡改,可能导致网页被植入色情、诈骗等非法信息的链接;发表反动言论,从而造成不良社会影响,损害企业品牌形象;对政府、高校、企事业单位等有影响力的单位来说,页面被恶意篡改将无意间成为传播危害社会安全等信息的帮凶,无形中错误引导大众,造成难以挽回的损失。
  • HSS和WAF的网页防篡改的区别 表1 HSS和WAF网页防篡改的区别 类别 HSS WAF 静态网页 锁定驱动级文件目录、Web文件目录下的文件,禁止攻击者修改。 缓存服务端静态网页 动态网页 动态数据防篡改 提供tomcat应用运行时自我保护,能够检测针对数据库等动态数据的篡改行为。 特权进程管理 配置特权进程白名单后,网页防篡改功能将主动放行可信任的进程,确保正常业务进程的运行。 不支持 备份恢复 主动备份恢复 若检测到防护目录下的文件被篡改时,将立即使用本地主机备份文件自动恢复被非法篡改的文件。 远端备份恢复 若本地主机上的文件目录和备份目录失效,可通过远端备份服务恢复被篡改的网页。 不支持 防护对象 支持预防篡改和恢复篡改能力,适用于对网站防护要求高的用户。 适用于对网站防护要求低,仅需要对应用层进行防护的用户。
共100000条