华为云用户手册

  • 步骤四:企业项目配置 在项目配置区域,单击“新增”。 新增项目配置,具体参数如表3所示。 表3 项目配置参数 名称 说明 部门 选择已录入的部门。 产品 选择已录入的产品。 服务 选择已录入的服务。 华为公有云账号名 选择用户的华为云账号名。 类型 关联项目:关联已有的公有云EPS。 关联且新增项目:在公有云EPS创建一个新项目,同时进行关联。 企业项目名称 关联项目时,选择已有的公有云EPS。 关联且新增时,填写创建的企业项目名称。 单击“确定”。
  • 请求示例 “endpoint”即调用API的请求地址,不同服务不同区域的endpoint不同,具体请参见终端节点。 例如,服务部署在“华北-北京四”区域的“endpoint”为“moderation.cn-north-4.myhuaweicloud.com”,请求URL为“https://moderation.cn-north-4.myhuaweicloud.com/v3/{project_id}/moderation/image/batch”,“project_id”为项目ID,获取方法请参见获取项目ID。 识别用户上传的图像内容是否有敏感内容,检测场景为涉黄,暴恐。 POST https://{endpoint}/v2/{project_id}/moderation/image/batch { "urls" : [ "https://bucketname.obs.myhwclouds.com/ObjectName1", "https://bucketname.obs.myhwclouds.com/ObjectName2" ], "categories" : [ "terrorism", "porn" ], "threshold" : "" }
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 result Array of ImageBatchModerationResultBody objects 调用成功时表示调用结果。 调用失败时无此字段。 表5 ImageBatchModerationResultBody 参数 参数类型 描述 url String 图片的URL路径。 suggestion String 审核结果是否通过。 block:包含敏感信息,不通过 pass:不包含敏感信息,通过 review:需要人工复检 说明: 当同时检测多个场景时,suggestion的值以最可能包含敏感信息的场景为准。即任一场景出现了block则总的suggestion为block,所有场景都pass时suggestion为pass,这两种情况之外则一定有场景需要review,此时suggestion为review。 目前本服务不会保存客户的调用结果(如block的历史信息),因为涉及到客户的数据隐私问题,建议您保留接口调用结果的日志信息。 detail ImageDetectionResultDetail object 针对选定的每个检测场景列出结果列表,terrorism为暴恐检测结果,porn为涉黄检测结果。如果检测场景中的最高置信度也未达到threshold则结果列表为空。 category_suggestions Object 具体每个场景的检测结果。 block:包含敏感信息,不通过 pass:不包含敏感信息,通过 review:需要人工复检 表6 ImageDetectionResultDetail 参数 参数类型 描述 porn Array of ImageDetectionResultSimpleDetail objects 涉黄检测结果。 terrorism Array of ImageDetectionResultSimpleDetail objects 暴恐检测结果。 ad Array of ImageDetectionResultAdDetail objects 广告检测结果。 表7 face_detail 参数 参数类型 描述 h Integer 人脸区域高度。 w Integer 人脸区域宽度。 x Integer 人脸区域左上角到y轴距离。 y Integer 人脸区域左上角到x轴距离。 表8 ImageDetectionResultSimpleDetail 参数 参数类型 描述 confidence Float 置信度,取值范围 0-1。 label String 每个检测结果的标签化说明。 terrorism:label为对应的暴恐元素信息。 暴恐场景当前支持label列表如下: normal:正常(表示您上传的图像不涉及暴恐场景) knife:刀 gun:枪 fire:火灾 bloody :血腥 terrorist:暴恐组织及标志 fascist:法西斯组织及标志 cult:邪教组织及标志 special_characters :特殊文字 kidnap:绑架 corpse:尸体 riot:暴乱事件 parade :游行示威 sensitive_landmarks:敏感地标 military_weapon:军事武器 army:警察部队 crowd:人群聚集 porn:label为对应的涉黄分类(涉黄、性感等)信息。 鉴黄场景当前支持label列表如下: normal:正常(表示您上传的图像内容不涉黄) porn:色情 sexy:性感 ad:label为对应的广告识别结果信息。 广告场景当前支持label列表如下: normal:正常(表示您上传的图像不涉及广告内容) ad:广告 图文审核场景当前支持label列表如下: normal:正常 qr_code:二维码 porn:涉黄 ad:广告 abuse:辱骂 contraband:违禁品 其他自定义黑名单词库名称 表9 ImageDetectionResultAdDetail 参数 参数类型 描述 confidence Float 置信度,取值范围 0-1。 label String ad:label为对应的广告识别结果信息。 广告场景当前支持label列表如下: normal:正常 ad:广告 图文审核场景当前支持label列表如下: normal:正常 qr_code:二维码 porn:涉黄 ad:广告 abuse:辱骂 contraband:违禁品 其他自定义黑名单词库名称 hit_contexts Array of strings 图文审核场景命中的文本列表。 状态码: 400 表10 响应Body参数 参数 参数类型 描述 error_code String 调用失败时的错误码,具体请参见错误码。 调用成功时无此字段。 error_msg String 调用失败时的错误信息。 调用成功时无此字段。 fail_category String 当包含多个场景时,调用失败的场景。
  • 响应示例 状态码: 200 成功响应示例 { "result": [ { "url": "https://bucketname.obs.myhwclouds.com/ObjectName1", "suggestion": "block", "category_suggestions": { "terrorism": "pass", "porn": "block" }, "detail": { "terrorism": [ { "confidence": 0, "label": "xxx" }, { "confidence": 1, "label": "normal" } ], "porn": [ { "confidence": 0, "label": "normal" }, { "confidence": 1, "label": "xxx" } ] } } ] } 状态码: 400 失败响应示例 { "error_code" : "AIS.0005", "error_msg" : "The service does not exist." }
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取方法请参见获取Token接口,响应消息头中X-Subject-Token的值即为Token。 表3 请求Body参数 参数 是否必选 参数类型 描述 urls 是 Array of strings 图片的URL路径,目前支持: 公网HTTP/HTTPS URL 华为云OBS提供的URL,使用OBS数据需要进行授权。包括对服务授权、临时授权、匿名公开授权。详请参见配置OBS访问权限。 说明: 图片的URL路径列表最多支持10个URL地址。接口响应时间依赖图片的下载时间,如果图片下载时间过长,会返回接口调用失败。请保证被审核图片所在的存储服务稳定可靠,建议您使用华为云OBS存储。 categories 否 Array of strings 检测场景。 terrorism:暴恐元素的检测。 porn:涉黄内容元素的检测。 ad:广告图文的检测。 all:包含terrorism和porn场景的检测。 可通过配置上述场景,来完对应场景元素的检测。 为空或无此参数表示terrorism检测,但不包含porn场景。 说明: 每个检测场景的检测次数会分类统计。 ad_categories 否 Array of strings 图文审核检测场景。当categories包含ad时,该参数生效。 当前支持的场景有系统场景和用户自定义场景: 系统场景为: qr_code:二维码 porn:涉黄 ad:广告 abuse:辱骂 contraband:违禁品 用户自定义场景为:自定义黑名单词库。 说明: 自定义词库的创建和使用请参见配置自定义词库 V2。 threshold 否 Double 结果过滤门限,只有置信度不低于此门限的结果才会呈现在detail的列表中,取值范围 0-1,当未设置此值时各个检测场景会使用各自的默认值。 terrorism检测场景的默认值为0。 ad检测场景的默认值为0。 无特殊需求直接不传此参数或像示例中一样值设为空字符串即可。 说明: 如果检测场景中的最高置信度也未达到threshold,则结果列表为空;反之如果设置的threshold过小,则会使结果列表中内容过多。 threshold参数不支持porn场景筛选。 threshold参数不会对响应中的suggestion产生影响。 moderation_rule 否 String 图像审核规则名称,默认使用default规则。 说明: 审核规则的创建和使用请参见配置审核规则。 show_ocr_text 否 Boolean 是否返回ocr识别结果,默认值为false。
  • Django日志 日志样例: [08/Jan/2018 20:59:07 ] settings INFO Welcome to Hue 3.9.0 正则表达式为: ^\[(.*)\] (\w*) (\w*) (.*).* 解析结果如下: 表4 Django日志解析结果 列号 样值 1 08/Jan/2018 20:59:07 2 settings 3 INFO 4 Welcome to Hue 3.9.0
  • Apache server日志 日志样例: [Mon Jan 08 20:43:51.854334 2018] [mpm_event:notice] [pid 36465:tid 140557517657856] AH00489: Apache/2.4.12 (Unix) OpenSSL/1.0.1t configured -- resuming normal operations 正则表达式为: ^\[(.*)\] \[(.*)\] \[(.*)\] (.*).* 解析结果如下: 表5 Apache server日志解析结果 列号 样值 1 Mon Jan 08 20:43:51.854334 2018 2 mpm_event:notice 3 pid 36465:tid 140557517657856 4 AH00489: Apache/2.4.12 (Unix) OpenSSL/1.0.1t configured -- resuming normal operations
  • Log4J审计日志 日志样例: 2018-01-11 08:51:06,156 INFO [org.apache.sqoop.audit.FileAuditLogger.logAuditEvent(FileAuditLogger.java:61)] user=sqoop.anonymous.user ip=189.xxx.xxx.75 op=show obj=version objId=x 正则表达式为: ^(\d.*\d) (\w*) \[(.*)\] user=(\w.*) ip=(\w.*) op=(\w.*) obj=(\w.*) objId=(.*).* 解析结果如下: 表2 Log4J审计日志解析结果 列号 样值 1 2018-01-11 08:51:06,156 2 INFO 3 org.apache.sqoop.audit.FileAuditLogger.logAuditEvent(FileAuditLogger.java:61) 4 sqoop.anonymous.user 5 189.xxx.xxx.75 6 show 7 version 8 x
  • Tomcat日志 日志样例: 11-Jan-2018 09:00:06.907 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log OS Name: Linux 正则表达式为: ^(\d.*\d) (\w*) \[(.*)\] ([\w\.]*) (\w.*).* 解析结果如下: 表3 Tomcat日志解析结果 列号 样值 1 11-Jan-2018 09:00:06.907 2 INFO 3 main 4 org.apache.catalina.startup.VersionLoggerListener.log 5 OS Name:Linux
  • Log4J日志 日志样例: 2018-01-11 08:50:59,001 INFO [org.apache.sqoop.core.SqoopConfiguration.configureClassLoader(SqoopConfiguration.java:251)] Adding jars to current classloader from property: org.apache.sqoop.classpath.extra 正则表达式为: ^(\d.*\d) (\w*) \[(.*)\] (\w.*).* 解析出的结果如下: 表1 Log4J日志解析结果 列号 样值 1 2018-01-11 08:50:59,001 2 INFO 3 org.apache.sqoop.core.SqoopConfiguration.configureClassLoader(SqoopConfiguration.java:251) 4 Adding jars to current classloader from property: org.apache.sqoop.classpath.extra
  • 名词解释 对象存储服务 OBS:是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。 函数工作流 FunctionGraph:是一项基于事件驱动的函数托管计算服务。使用FunctionGraph函数,只需编写业务函数代码并设置运行的条件,无需配置和管理服务器等基础设施,函数以弹性、免运维、高可靠的方式运行。此外,按函数实际执行资源计费,不执行不产生费用。 AI开发平台 ModelArts:面向开发者的一站式AI开发平台,可快速创建和部署模型,管理全周期AI工作流,助力千行百业智能升级。 统一身份认证服务 IAM:是华为云提供权限管理、访问控制和身份认证的基础服务,您可以使用IAM创建和管理用户、用户组,通过授权来允许或拒绝对云服务和资源的访问,通过设置安全策略提高账号和资源的安全性,同时IAM为您提供多种安全的访问凭证。
    AI
  • 资源和成本规划 该解决方案主要部署如下资源,以下费用仅供参考,具体请参考华为云官网价格详情,实际收费以账单为准。 表1 成本预估(仅供参考) 华为云服务 计费说明 每月花费(调用100万次) AI开发平台 ModelArts 区域:华北-北京四 计费模式:按需计费 业务类型:AI全流程开发 资源类型:公共资源池 规格:计算型GPU(P4 8U32G)专属实例 购买个数:1 按需计费:11.00元/小时 7920.00元 对象存储服务 OBS 区域:华北-北京四 存储空间:数据存储(多AZ存储) 默认存储类别:标准存储 桶策略:私有 请求费用:0.0100元/万次 存储空间:0.1390元/GB/月 流量费用: 公网流出流量 / 00:00-08:00(闲时)0.2500元/GB 公网流出流量 / 08:00-24:00(忙时)0.5000元/GB 费用包括存储空间、请求费用、流量费用三部分,具体请参考OBS计费详情。 费用包括存储空间、请求费用、流量费用三部分,详细请参考每月账单。 函数工作流 FunctionGraph 区域:华北-北京四 产品:函数 请求次数: 0-100万次: 0元/100万次 100万次以上 : 1.33元/100万次 计量时间: 0-400,000 GB/秒: 0元/GB-秒 400,000 GB/秒以上 :0.00011108元/GB-秒 费用包括请求次数、计量时间两部分,详细请参考每月账单。 合计 - 7920.00元+OBS费用+函数工作流费用
    AI
  • 快速部署 本章节主要帮助用户快速部署“汽车价值评估”解决方案。 表1 参数说明 参数名称 类型 是否可选 参数解释 默认值 obs_bucket_name string 必填 对象存储服务OBS桶名称。命名格式为{obs_bucket_name}-obs,用于存放应用数据,全局唯一。取值范围: 长度 1-59个字符,以小写字母或数字开头,仅支持小写字母、数字、中划线(-)、英文句号(.)。 空 functiongraph_name string 必填 函数工作流 FunctionGraph函数名称,取值范围:2-60个字符,以字母开头,仅支持字母、数字、_(下划线)和-(中划线),以字母或数字结尾。 evaluating-car-value-with-modelarts-demo modelarts_service_id string 必填 AI开发平台 ModelArts服务ID。该模板使用已有ModelArts服务,请参考ModelArts创建及部署获取ModelArts服务ID。 空 登录华为云解决方案实践,选择“汽车价值评估”,单击“一键部署”,跳转至解决方案创建资源栈界面。 图1 解决方案实践 在选择模板界面中,单击“下一步”。 图2 选择模板 在配置参数界面中,参考表1 参数填写说明完成自定义参数填写,单击“下一步”。 图3 配置参数 在资源设置界面中,在权限委托下拉框中选择“rf_admin_trust”委托(可不选),单击“下一步”。 图4 资源栈设置 在配置确认界面中,单击“创建执行计划”。 图5 配置确认 在弹出的创建执行计划框中,自定义填写执行计划名称,单击“确定”。 图6 创建执行计划 单击“部署”,并且在弹出的执行计划确认框中单击“执行”。 图7 执行计划 图8 执行计划确认 待“事件”中出现“Apply required resource success”,表示该解决方案已经部署完成。 图9 部署完成 父主题: 实施步骤
    AI
  • 方案架构 该解决方案基于华为云AI开发平台ModelArts构建,一键部署汽车价值评估系统。 图1 方案架构图 该解决方案会部署如下资源: 创建两个对象存储服务 OBS桶,一个用于存储训练数据集及ModelArts算法、推理脚本、配置文件、模型数据;另一个用于存储数据集及数据集预测结果。 使用AI开发平台ModelArts,用于机器学习模型训练,预测汽车价值评估结果。 使用函数工作流 FunctionGraph创建一个函数,进行数据处理并调用ModelArts在线服务获取预测结果,并存储至OBS桶。 在统一身份认证服务 IAM上创建一个委托,用于授权FunctionGraph访问ModelArts在线服务和OBS桶。
    AI
  • 给rf_admin_trust委托添加IAM Agency Management FullAccess权限(可选) 打开“统一身份认证”菜单。 图12 统一身份认证菜单 进入“委托”菜单,选择rf_admin_trust委托。 图13 委托列表 进入“授权记录”菜单,单击“授权”按钮。 图14 授权记录 在搜索框输入IAM Agency Management FullAccess,勾选过滤出来的记录,单击下一步,并确认完成权限的配置。 图15 配置IAM Agency Management FullAccess策略 配置好后的情况:rf_admin_trust委托拥有Tenant Administrator和IAM Agency Management FullAccess权限。 图16 授权记录列表
    AI
  • 创建rf_admin_trust委托(可选) 进入华为云官网,打开控制台管理界面,鼠标移动至个人账号处,打开“统一身份认证”菜单。 图1 控制台管理界面 图2 统一身份认证菜单 进入“委托”菜单,搜索“rf_admin_trust”委托。 图3 委托列表 如果委托存在,则不用执行接下来的创建委托的步骤 如果委托不存在时执行接下来的步骤创建委托 单击步骤2界面中的“创建委托”按钮,在委托名称中输入“rf_admin_trust”,委托类型选择“云服务”,选择“RFS”,单击“下一步”。 图4 创建委托 在搜索框中输入“Tenant Administrator”权限,并勾选搜索结果,单击“下一步”。 图5 选择策略 选择“所有资源”,并单击“下一步”完成配置。 图6 设置授权范围 “委托”列表中出现“rf_admin_trust”委托则创建成功。 图7 委托列表
    AI
  • 开始使用 登录OBS控制台:登录华为云对象存储服务 OBS控制台,查看OBS桶是否正常创建。 图1 查看OBS桶 下载上传示例数据文件:单击此文件下载地址,下载示例数据文件压缩包,选择桶 evaluating-car-value-with-modelarts-demo-obs(实际桶名称以部署指定参数为准),上传预测数据文件压缩包(会自动解压上传到当前OBS同级目录下)或者预测数据文件(直接上传预测文件时,需保证训练作业数据在OBS桶中)。 示例数据文件压缩包说明 prediction_data :预测数据 training_jobs_data.csv :训练作业数据,用于和预测数据特征匹配。 暂不支持OBS上传KMS加密的预测数据文件。 文件解压 压缩包的类型只支持zip和tar,压缩包文件名及其路径不能含中文。 单个压缩包解压后文件最大不超过200MB。 预测文件 预测数据文件仅支持CSV文件。 CSV文件格式需为此步骤下载的预测数据文件格式,可根据实际需求参考源码注释进行修改。 图2 上传预测数据文件 图3 文件解压上传至当前OBS同级目录下 查询预测结果文件:预测结果文件会以“原文件名_result.csv”的格式保存在当前目录下。(根据数据大小,执行时间偏差较大,可参考步骤4内容查看日志了解执行进度。) 图4 预测结果文件 (可选)进入函数工作流控制台选择3.2快速部署步骤3创建的函数,单击函数名称进入。按下图所示,查看数据预测相关日志信息。 图5 进入函数管理界面 图6 查看数据预测相关日志信息 父主题: 实施步骤
    AI
  • 手动卸载 删除在线服务:访问ModelArts 在线服务控制台,按下图所示,依次单击“更多”“删除”,在弹出的确认窗口中单击“确定”。 图1 删除在线服务 图2 确认删除在线服务 删除AI应用:访问ModelArts AI应用控制台,如下图所示,单击“删除”,在弹出的确认窗口中单击“确定”。 图3 删除AI应用 图4 确认删除AI应用 删除训练作业:访问华为云ModelArts训练作业控制台,按下图所示,单击“删除”,在弹出的确认窗口中单击“确定” 图5 删除训练作业 图6 确认删除训练作业 (可选)删除手动创建的OBS桶:登录对象存储服务 OBS控制台,查找在3.1准备工作步骤1创建的OBS桶,按下图所示,单击“删除”,在弹出的确认窗口中单击“确定”。 图7 删除OBS桶 图8 确认删除OBS桶
  • 最佳实践概述 本章汇总呈现应用运维管理 AOM的最佳实践。 建设完整指标体系,实现立体化监控 通过告警降噪清除告警风暴 通过多账号聚合Prometheus实例实现指标数据统一监控 自建中间件接入(CCE容器场景) PostgreSQL Exporter接入 MySQL Exporter接入 Kafka Exporter接入 Memcached Exporter接入 MongoDB Exporter接入 ElasticSearch Exporter接入 Redis Exporter接入 其他Exporter接入
  • 到期后影响 图2描述了包年/包月CFW资源各个阶段的状态。购买后,在计费周期内资源正常运行,此阶段为有效期;资源到期而未续费时,将陆续进入宽限期和保留期。 图2 包年/包月CFW资源生命周期 到期预警 包年/包月CFW资源在到期前第7天内,系统将向用户推送到期预警消息。预警消息将通过邮件、短信和站内信的方式通知到华为云账号的创建者。 到期后影响 当您的包年/包月CFW资源到期未续费,首先会进入宽限期,宽限期内您可以正常访问云防火墙。 如果您在宽限期内仍未续费包年/包月CFW资源,那么就会进入保留期,资源状态变为“冻结”,您将无法对处于保留期的包年/包月资源执行任何操作。 保留期到期后,若包年/包月CFW资源仍未续费,那么云防火墙实例和防护配置将被删除,资源状态变为“删除”,数据无法恢复。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于续费的详细介绍请参见续费概述。
  • 计费示例 假设您在2023/06/30 15:50:04购买了一套包年/包月云防火墙(版本:专业版,扩展包:扩展防护公网IP数1个、扩展防护流量峰值5Mbit/s、扩展VPC数1个),计费资源包括专业版和增值包(扩展防护公网IP数、扩展防护流量峰值、扩展VPC数)。购买时长为一个月,并在到期前手动续费1个月,则: 第一个计费周期为:2023/06/30 15:50:04 ~ 2023/07/30 23:59:59 第二个计费周期为:2023/07/30 23:59:59 ~ 2023/08/30 23:59:59 您需要为每个计费周期预先付费,各项CFW资源单独计费,计费公式如表2所示。 表2 计费公式 产品信息 计费公式 服务版本 按购买的服务版本价格* 购买时长 扩展防护公网IP数 防护公网IP数扩展包单价 * 个数 * 购买时长 扩展防护流量峰值 防护流量峰值扩展包单价 * 流量值 * 购买时长 扩展VPC数 VPC数扩展包单价 * 个数 * 购买时长 图1给出了上述示例配置的费用计算过程。 图中价格仅供参考,实际计算请以云防火墙价格详情中的价格为准。 图1 包年/包月CFW费用计算示例
  • 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。以下是一些适用于包年/包月计费模式的业务场景: 稳定业务需求:对于长期运行且资源需求相对稳定的业务,包年/包月计费模式能提供较高的成本效益。 长期项目:对于周期较长的项目,包年/包月计费模式可以确保在整个项目周期内资源的稳定使用。 业务高峰预测:如果能预测到业务高峰期,可提前购买包年/包月资源以应对高峰期的需求,避免资源紧张。 数据安全要求高:对于对数据安全性要求较高的业务,包年/包月计费模式可确保资源的持续使用,降低因资源欠费而导致的数据安全风险。
  • 变更配置后对计费的影响 当前包年/包月CFW资源的规格不满足您的业务需要时,您可以在云防火墙控制台发起变更规格操作,变更时系统将按照如下规则为您计算变更费用: 资源升配:新配置价格高于老配置价格,此时您需要支付新老配置的差价。 这里以资源升配且无任何优惠的场景为例,假设您在2023/06/08购买了一套标准版包年/包月云防火墙(扩展防护公网IP数1个、扩展防护流量峰值5Mbit/s),购买时长为1个月,计划在2023/06/18变更版本为专业版包年/包月云防火墙(扩展防护公网IP数1个、扩展防护流量峰值5Mbit/s、扩展VPC数1个)。旧配置价格为3100.00元/月,新配置价格为11,900.00 元/月。计算公式如下: 升配费用=新配置价格*剩余周期-旧配置价格*剩余周期 公式中的剩余周期为每个自然月的剩余天数/对应自然月的最大天数。本示例中,剩余周期=12(6月份剩余天数)/ 30(6月份最大天数)+ 8(7月份剩余天数)/ 31(7月份最大天数)=0.6581,代入公式可得升配费用=11900.00*0.6581-3100.00*0.6581=5791.28(元) 更多信息请参见变更资源规格费用说明。
  • 包年/包月资源 对于包年/包月计费模式的资源,例如包年/包月的云防火墙,用户在购买时会一次性付费,服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金额到您的账户。详细的退订规则请参见云服务退订规则概览。 如果您已开启“自动续费”功能,为避免继续产生费用,请在自动续费扣款日(默认为到期前7日)之前关闭自动续费。 退订云防火墙相关操作请参见如何退订云防火墙?。
  • 成本分配 成本管理的基础是树立成本责任制,让各部门、各业务团队、各责任人参与进来,为各自消耗云服务产生的成本负责。企业可以通过成本分配的方式,将云上成本分组,归集到特定的团队或项目业务中,让各责任组织及时了解各自的成本情况。 华为云成本中心支持通过多种不同的方式对成本进行归集和重新分配,您可以根据需要选择合适的分配工具。 通过关联账号进行成本分配 企业主客户可以使用关联账号对子客户的成本进行归集,从而对子账号进行财务管理。详细介绍请参见通过关联账号维度查看成本分配。 通过企业项目进行成本分配 在进行成本分配之前,建议开通企业项目并做好企业项目的规划,可以根据企业的组织架构或者业务项目来划分。在购买云资源时选择指定企业项目,新购云资源将按此企业项目进行成本分配。详细介绍请参见通过企业项目维度查看成本分配。 图1 选择企业项目 通过成本标签进行成本分配 标签是华为云为了标识云资源,按各种维度(例如用途、所有者或环境)对云资源进行分类的标记。推荐企业使用预定义标签进行成本归集,具体流程如下: 创建预定义标签。 客户在“标签管理服务”控制台中创建预定义标签,详细操作请参见创建预定义标签。 激活成本标签。 激活标签的具体操作请参见激活成本标签。激活成本标签后,才能在“成本分析”、“预算管理”等页面展现。 成本标签不会应用于激活标签之前产生的成本。激活前已产生的成本数据,如果仍需要基于标签分析,可以导出账单明细,基于账单明细中的资源标签字段进行处理分析。 为CFW资源添加标签。 在购买CFW实例页面,可以选择已经创建的预定义标签。 图2 添加标签 通过成本标签查看成本数据。 通过成本标签查看成本数据时,建议基于摊销成本进行数据汇总,详细操作请参见通过成本标签查看成本数据。 详细介绍请参见创建预定义标签。 使用成本单元进行成本分配 企业可以使用成本中心的“成本单元”来拆分公共成本。公共成本是指多个部门共享的计算、网络、存储或资源包产生的云成本,或无法直接通过企业项目、成本标签分配的云成本。这些成本不能直接归属于单一所有者,因此不能直接归属到某一类别。使用拆分规则,可以在各团队或业务部门之间公平地分配这些成本。详细介绍请参见使用成本单元查看成本分配。
  • 成本优化 成本控制 企业可以在成本中心的“预算管理”页面创建精细粒度的预算来管理成本和使用量,在实际或预测超过预算阈值时,自动发送通知给指定消息接收人。企业还可以创建预算报告,定期将指定预算进展通知给指定消息接收人。 例如企业需要创建一套云防火墙的成本预算,每月预算金额为12000元,当预测金额高于预算金额的80%时发送预算告警。那么,创建的预算如下: 图3 预算基本信息 图4 设置成本范围 图5 设置提醒 详细介绍请参见使用预测和预算来跟踪成本和使用量。 资源优化 成本中心可以通过监控云防火墙的历史消费情况,为客户提供云防火墙资源的空闲识别和优化建议,寻找节约成本的机会。您还可以根据成本分析阶段的分析结果识别成本偏高的资源,通过云监控服务监控资源的使用情况,确定成本偏高的原因,然后采取针对性的优化措施。
  • 如何查看训练作业日志 在训练作业详情页,训练日志窗口提供日志预览、日志下载、日志中搜索关键字、系统日志过滤能力。 预览 系统日志窗口提供训练日志预览功能,如果训练作业有多个节点,则支持查看不同计算节点的日志,通过右侧下拉框可以选择目标节点预览。 图1 查看不同计算节日志 当日志文件过大时,系统日志窗口仅加载最新的部分日志,并在日志窗口上方提供全量日志访问链接。打开该链接可在新页面查看全部日志。 图2 查看全量日志 如果全部日志超过500M,可能会引起浏览页面卡顿,建议您直接下载日志查看。 预览链接在生成后的一小时内,支持任何人打开并查看。您可以分享链接至他人。 请注意日志中不能包含隐私内容,否则会造成信息泄露。 下载 训练日志仅保留30天,超过30天会被清理。如果用户需要永久保存日志,请单击系统日志窗口右上角下载按钮下载日志至本地保存,支持批量下载多节点日志。用户也可以在创建训练作业时打开永久保存日志按钮,保存训练日志至指定OBS路径。 针对使用Ascend规格创建的训练作业,部分系统日志暂不支持直接在训练日志窗口下载,请在创建训练作业时指定OBS路径用于保存训练日志。 图3 下载日志 搜索关键字 用户可以在系统日志右上角的搜索框搜索关键字,如图4所示。 图4 搜索关键字 系统支持高亮关键字并实现搜索结果间的跳转。搜索功能仅支持搜索当前页面加载的日志,如果日志加载不全(请关注页面提示)则需要下载或者通过打开全量日志访问链接进行搜索。全量日志访问链接打开的新页面可以通过Ctrl+F进行搜索。 系统日志过滤 图5 系统日志复选框 如果勾选了系统日志复选框,则日志中呈现系统日志和用户日志。如果去勾选,则只显示用户日志。 父主题: 查看训练作业日志
  • 选择算法的学习方式 ModelArts支持用户根据实际需求进行不同方式的模型训练。 离线学习 离线学习是训练中最基本的方式。离线学习需要一次性提供训练所需的所有数据,在训练完成后,目标函数的优化就停止了。使用离线学习的优势是模型稳定性高,便于做模型的验证与评估。 增量学习 增量学习是一个连续不断的学习过程。相较于离线学习,增量学习不需要一次性存储所有的训练数据,缓解了存储资源有限的问题;另一方面,增量学习节约了重新训练中需要消耗大量算力、时间以及经济成本。
  • 选择算法的实现方式 ModelArts提供如下方式实现模型训练。 使用订阅算法 ModelArts的AI Gallery,发布了较多官方算法,同时管理了其他开发者分享的算法,不需要进行代码开发,即可使用现成的算法进行模型构建。订阅操作请参考使用订阅算法。 使用预置框架 如果您需要使用自己开发的算法,可以选择使用ModelArts预置框架。ModelArts支持了大多数主流的AI引擎,详细请参见预置训练引擎。这些预置引擎预加载了一些额外的python包,例如numpy等;也支持您通过在代码目录中使用“requirements.txt”文件安装依赖包。使用预置框架创建训练作业请参考使用预置框架(自定义脚本)指导。 使用自定义镜像 订阅算法和预置框架涵盖了大部分的训练场景。针对特殊场景,ModelArts支持用户构建自定义镜像用于模型训练。自定义镜像需上传至容器镜像服务(SWR),才能用于ModelArts上训练,请参考使用自定义镜像训练模型。由于自定义镜像的制作要求用户对容器相关知识有比较深刻的了解,除非订阅算法和预置引擎无法满足需求,否则不推荐使用。
  • 代码改造点 模型分发:DataParallel(model) 完整代码由于代码变动较少,此处进行简略介绍。 import torch class Net(torch.nn.Module): pass model = Net().cuda() ### DataParallel Begin ### model = torch.nn.DataParallel(Net().cuda()) ### DataParallel End ###
共100000条