华为云用户手册

  • 修订记录 发布日期 更新说明 2023-09-27 第七次正式发布。 修改 支持迁移的公共镜像,补充x86 EulerOS 2.5操作系统迁移至HCE OS 2.0。 2023-08-03 第六次正式发布。 新增 安全启动 HCE OS 2.0和openEuler 22.03 LTS的兼容性 修改 支持迁移的公共镜像,新增支持EulerOS 2.3/2.2迁移至HCE OS 2.0;新增支持EulerOS 2.8迁移至HCE OS 2.0 ARM操作系统。 2023-03-30 第五次正式发布。 修改 支持迁移的公共镜像,补充CentOS 8.4/8.5。 2023-02-08 第四次正式发布。 修改 支持的实例规格,补充不同区域实例规格的差异说明。 2023-01-17 第三次正式发布。 修改 支持迁移的公共镜像,增加支持迁移的CentOS 8.3。 2022-10-20 第二次正式发布。 增加 安全章节。 修改 应用场景,增加云和端生态协同场景描述。 支持迁移的公共镜像,增加支持迁移的HCE OS、EulerOS版本。 镜像更新记录,增加Huawei Cloud EulerOS 2.0等保2.0三级版64位镜像更新记录。 2022-07-15 第一次正式发布。
  • 安全启动 通过安全启动(SecureBoot)可以保证系统启动过程中各个部件的完整性,防止没有经过合法签名的部件被加载运行,从而防止对系统及用户数据产生安全威胁并防御bootkit和rootkit攻击。HCE OS 2.0支持安全启动。 查看是否开启SecureBoot HCE OS启动成功后,可以使用下面命令判断SecureBoot是否启用。 mokutil --sb-state SecureBoot enabled #SecureBoot已启用 启用kernel ko签名校验 安全启动通过校验签名来实现。HCE OS 2.0的内核默认未编译强制启用签名校验,需要通过kernel的启动参数module.sig_enforce进行控制。 启用ko签名校验:修改/boot/efi/EFI/hce/grub.cfg文件,增加启动参数module.sig_enforce=1。 Kernel参数 值 说明 module.sig_enforce 0 关闭内核对ko模块的校验,重启生效。 1 开启内核对ko模块的校验,重启生效。 HCE OS 2.0签名公钥证书 HCE OS 2.0 KEK证书和HCE 2.0 UEFI签名证书详见https://repo.huaweicloud.com/hce/2.0/updates/x86_64/Packages/路径下的hce-sign-certificate-1.0-1.hce2.x86_64.rpm。
  • 联营License类商品接入指南 发布联营License类商品前,您需要进行接口开发,以供华为云云商店调用。具体接入操作请参考: 手册指导:《联营License类商品接入指南(2.0版本)》。 视频指导:联营License2.0接入指导 针对license类商品: 为了保证使用license接入方式的正确性,华为云云商店为商家在卖家中心搭建了应用接入调试界面。商家可以在此页面调试接口的正确性。 提供生产接口消息提示功能,记录华为云云商店调用接口成功和失败情况。 父主题: 发布License类商品相关指南
  • 注意事项 发布鲲鹏商品时,“商品简介”和“商品说明”必须有鲲鹏相关的描述信息。 发布鲲鹏商品时,必须选择“鲲鹏”商品认证标签。 发布鲲鹏商品时,必须通过鲲鹏兼容性认证并同步上传HUAWEI COMPATIBLE或HUAWEI ENABLED证书。 以镜像交付方式发布鲲鹏商品时,支持选择“华北-北京四”、“华南-广州”和“华东-上海一”三个云服务区。 鲲鹏镜像必须在以上3个区域制作并在该云服务区发布,不能选择其他云服务区。
  • 上架流程 成为云商店商家; 制作私有镜像,具体操作请参考《镜像类商品制作说明》; 对镜像进行预处理并通过HSS安全扫描,具体操作请参考《镜像类商品上架预处理流程》; 发布镜像资产,具体操作请参考《镜像类资产发布说明》; 云商店运营经理审核通过; 进入商品发布页面,发布镜像类商品,具体操作请参考《发布镜像类商品操作指导》; 填写商品信息,可参考《镜像商品发布信息填写说明》; 提交发布申请; 云商店运营经理审核通过; 商品上架成功。 如需参考镜像类商品接入的演示视频,请查看: 镜像类商品接入操作指导视频 镜像类商品上架预处理视频指导
  • FAQ 需限制SSH服务使用的密钥文件权限。 由于镜像在拉起的过程中,会将/etc/ssh/*key和/etc/ssh/*key.pub文件进行初始化,需要手动进行如下操作后再封包: chmod 400 /etc/ssh/*key chmod 400 /etc/ssh/*key.pub chattr +i /etc/ssh/*key chattr +i /etc/ssh/*key.pub 需限制/etc/ssh/sshd_config的访问权限。 因为 cloud-init 把ssh配置恢复默认,需要在cloud-init 中注释ssh 并设置/etc/ssh/sshd_config的访问权限,操作步骤如下: 到对应服务器里/etc/ssh/sshd_config,执行vi /etc/cloud/cloud.cfg打开文件后,注释ssh 相关内容 锁定文件 chattr +i /etc/ssh/sshd_config 注释ssh 相关内容:执行vi /etc/cloud/cloud.cfg打开文件后,注释 /etc/cloud/cloud.cfg这个文件里和ssh有关的内容,在最前面加一个#号即为注释;此步骤请由技术人员操作以防出错。
  • 使用流程 图2 使用流程图 表1 使用流程说明 流程 说明 操作指导 准备素材 提前准备可自定义的播报素材:播报内容、视频背景图片、视频LOGO。 准备素材 创建视频 创建视频并自定义视频名称。 创建视频 生成视频 形象设置 根据您的应用场景,设置主播形象,提供多场景主播形象供您选择。 形象设置 播报设置 设置视频布局、主播布局、播报内容,您可以选择横版或竖版视频,选择主播在视频中的位置,播报内容支持文本、文本+图片、文本+PDF。 播报设置 视频设置 设置背景图片、LOGO,系统提供了多个视频背景,您也可以自定义上传视频背景图片、视频LOGO。 视频设置 音频设置 设置音色、整体语速、音量、段首停顿,当前提供了二十多种男声或女声的音色,您可以通过试听音色选择。主播的整体语速、音量、段首停顿秒数,可以手动设置。 音频设置 下载视频 视频生成成功,下载mp4视频至本地。 下载视频
  • 构建程序 创建功能函数。 创建定时开启或者关闭华为公有云虚拟机的函数,上传定时开启华为公有云虚拟机的程序包或者定时关闭华为公有云虚拟机的程序包,并选择创建的委托EcsOperation。创建过程请参考创建函数。 运行时语言选择“Python3.6”,委托名称选择上一步创建的委托“EcsOperation”。 设置环境变量。 在“配置”页签配置环境变量,说明如表1所示。 表1 环境变量说明 环境变量 说明 region ECS所在的区域,如cn-north-4 domain 填写默认值:myhuaweicloud.com projectId ECS所在的Project ID whiteLists 当定时开启华为公有云虚拟机时,填写需开启的虚拟机ID,以英文逗号分隔 当定时关闭华为公有云虚拟机时,填写需关机的虚拟机ID,以英文逗号分隔 type 仅需在定时关机时确认是否需要配置。 关机类型: SOFT:普通关机(默认) HARD:强制关机 环境变量的设置过程请参考使用环境变量。 本案例对函数执行的区域没有要求,若函数和待开关机节点在同一region,按照上述操作即可。若函数和待开关机节点不在同一region,如函数运行在北京一,想要开启或者关闭北京四的弹性云服务的虚拟机,只需要将projectId、region和domain更改为北京四区域的信息,并在环境变量中添加ak、sk(获取AK/SK),再去掉配置的委托即可。 AK/SK认证就是使用AK/SK对请求进行签名,在请求时将签名信息添加到消息头,从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 如果开启或者关闭的虚拟机数量过多,则需要增大超时时间。 表1中除domain和whiteLists以外的环境变量必须添加,domain和whiteLists根据实际情况选择添加或者不添加。不添加domain环境变量时,程序包中domain使用默认值:myhuaweicloud.com,whiteLists为需开机/关机的ecs服务器ID,以逗号分隔。 {region}.{domain}组成ECS的终端节点Endpoint,如:cn-north-4.myhuaweicloud.com,具体Endpoint信息,请参考地区和终端节点。 选择依赖包。 在“代码”页签,添加“huaweicloudsdk_ecs_core_py3.6”依赖包。 添加依赖包详细操作请参见配置函数依赖。 如果您所在区域无法添加“huaweicloudsdk_ecs_core_py3.6”依赖包,请联系客服具体咨询。
  • 创建委托 登录统一身份认证服务控制台。 在统一身份认证服务的左侧导航窗格中,选择“委托”页签,单击右上方的“+创建委托”。 图1 创建委托 开始配置委托。 委托名称:EcsOperation。 委托类型:选择“云服务”。 云服务:选择“函数工作流 FunctionGraph”。 持续时间:选择“永久”。 描述:填写描述信息。 单击“下一步”,进入委托选择页面,在右方搜索框中搜索“ECS FullAccess”权限并勾选。 图2 选择权限 单击“下一步”,请根据业务需要选择权限的作用范围。
  • 输出说明 图像分类 输出数据的目录结构如下所示。 output_path/ --Data/ ----class1/ # 若输入数据有标注信息会一并输出,class1为标注类别 ------1.jpg ------2_checked.jpg ----class2/ ------3.jpg ------4_checked.jpg ----5_checked.jpg --output.manifest 其中manifest文件内容示例如下所示。会给每一条数据加上一个校验属性"property":{"@modelarts:data_checked":true} { "id": "xss", "source": "obs://hard_example_path/Data/fc8e2688015d4a1784dcbda44d840307_14_checked.jpg", "property": { "@modelarts:data_checked": true }, "usage": "train", "annotation": [ { "name": "Cat", "type": "modelarts/image_classification" } ] } 物体检测 在输出目录下,文件结构如下所示。 output_path/ --Data/ ----1_checked.jpg ----1_checked.xml # 若输入数据在校验过程中经过了转换,文件名会加上'_checked' ----2.jpg # 若输入数据未经过转换,则以原来的名字保存 ----2.xml --output.manifest 其中manifest文件内容示例如下所示。会给每一条数据加上一个校验属性"property":{"@modelarts:data_checked":true} { "source": "obs://hard_example_path/Data/be462ea9c5abc09f_checked.jpg", "property": { "@modelarts:data_checked": true }, "annotation": [ { "annotation-loc": "obs://hard_example_path/Data/be462ea9c5abc09f_checked.xml", "type": "modelarts/object_detection", "annotation-format": "PASCAL VOC", "annotated-by": "modelarts/hard_example_algo" } ] }
  • MetaValidation算子概述 ModelArts的数据校验通过MetaValidation算子实现。当前ModelArts支持jpg、jpeg、bmp、png四种图片格式。物体检测场景支持xml标注格式,不支持“非矩形框”标注。针对您提供的数据集,MetaValidation算子支持对图片和xml文件进行数据校验: 表1 图片类数据校验 异常情况 处理方案 图片本身损坏无法解码 过滤掉不能解码的图片 图片通道可能是1通道、2通道,不是常用的3通道 转换图片成RGB三通道 图片格式不在ModelArts支持的格式范围内 转换图片格式至jpg格式 图片后缀与实际格式不符,但格式在MA支持的格式内 后缀转换成与实际格式一致 图片后缀与实际格式不符,且格式不在MA支持的格式内 转换图片格式至jpg格式 图片分辨率过大 宽、高按指定大小同比例进行裁剪 表2 标注类文件数据校验 异常情况 处理方案 xml结构残缺,无法解析 过滤xml文件 xml中没有标注“object” 过滤xml文件 xml中没有矩形框“bndbox” 过滤xml文件 某些标注“object”中没有矩形框“bndbox” 过滤标注“object” 图片经过裁剪后,xml文件中宽高不符 修改错误宽高参数为图片真实宽高 xml中没有“width”、“height”字段 根据图片真实宽高补全xml中的“width”、“height”字段和值 图片经过裁剪后,xml中矩形框“bndbox”大小不符 按图片裁剪比例缩放xml文件中“bnxbox”值 xml中矩形框“bndbox”宽或高值过小,显示为一条线 矩形框宽或高差值小于2,移除当前“object” xml中矩形框“bndbox”最小值大于最大值 移除当前“object” 矩形框“bndbox”超出图片边界,且超出部分占框面积50%以上 移除当前“object” 矩形框“bndbox”超出图片边界,但超出部分小于框面积50% 矩形框“bndbox”拉回到图片边界 数据校验过程不会改动原始数据,通过校验的图片或xml文件保存在指定的输出路径下。
  • 输入要求 算子输入分为两种,“数据集”或“OBS目录”。 选择“数据集”,请从下拉框中选择ModelArts中管理的数据集及其版本。要求数据集类型与您在本任务中选择的场景类别一致。 选择“OBS目录”,存放结构又分两种情况,“仅包含图片”或“包含图片和标注信息”。 “仅包含图片”:当目录下全是图片时,支持jpg、jpeg、png、bmp格式,嵌套子目录的图片也将全部读入。 “包含图片和标注信息”:根据不同场景类型,结构不同。 图像分类场景,其目录结构如下所示。如下目录结构,仅支持单标签场景。 input_path/ --label1/ ----1.jpg --label2/ ----2.jpg --../ 物体检测场景,其目录结构如下所示。支持jpg、jpeg、png、bmp格式的图片,xml为标准的PACAL VOC格式标注文件。 input_path/ --1.jpg --1.xml --2.jpg --2.xml ...
  • SimDeduplication算子概述 可以依据用户设置的相似程度阈值完成图像去重处理。图像去重是图像数据处理常见的数据处理方法。图像重复指图像内容完全一样,或者有少量的尺度、位移、色彩、亮度变化,或者是添加了少量其他内容等。 图1 SimDeduplication效果图 表1 高级参数说明 参数名 是否必选 默认值 参数说明 simlarity_threshold 否 0.9 相似程度阈值,两张图片间的相似度大于阈值时,其中一张会作为重复图片被过滤掉。取值范围为0~1。 do_validation 否 True 是否做数据校验,可填True或者False。表示数据去重前需要做数据校验,否则只做数据去重。
  • 输入要求 算子输入分为两种,“数据集”或“OBS目录”。 选择“数据集”,请从下拉框中选择ModelArts中管理的数据集及其版本。要求数据集类型与您在本任务中选择的场景类别一致。 选择“OBS目录”,存放结构又分两种情况,“仅包含图片”或“包含图片和标注信息”。 “仅包含图片”:当目录下全是图片时,支持jpg、jpeg、png、bmp格式,嵌套子目录的图片也将全部读入。 “包含图片和标注信息”:根据不同数据类型,结构不同。 图像分类,其目录结构如下所示。如下目录结构,仅支持单标签场景。 input_path/ --label1/ ----1.jpg --label2/ ----2.jpg --../ 物体检测,其目录结构如下所示。支持jpg、jpeg、png、bmp格式的图片,xml为标准的PACAL VOC格式标注文件。 input_path/ --1.jpg --1.xml --2.jpg --2.xml ...
  • 输出说明 图像分类 输出数据的目录结构如下所示。 output_path/ --Data/ ----class1/ # 若输入数据有标注信息会一并输出,class1为标注类别 ------1.jpg ----class2/ ------2.jpg ------3.jpg --output.manifest 其中manifest文件内容示例如下所示。 { "id": "xss", "source": "obs://home/fc8e2688015d4a1784dcbda44d840307_14.jpg", "usage": "train", "annotation": [ { "name": "Cat", "type": "modelarts/image_classification" } ] } 物体检测 输出数据的目录结构如下所示。 output_path/ --Data/ ----1.jpg ----1.xml # 若输入数据有标注信息会一并输出,xml为标注文件 ----2.jpg ----3.jpg --output.manifest 其中manifest文件内容示例如下所示。 { "source":"obs://fake/be462ea9c5abc09f.jpg", "annotation":[ { "annotation-loc":"obs://fake/be462ea9c5abc09f.xml", "type":"modelarts/object_detection", "annotation-format":"PASCAL VOC", "annotated-by":"modelarts/hard_example_algo" } ] }
  • 输出说明 图像分类 输出数据的目录结构如下所示。 output_path/ --Data/ ----class1/ # 若输入数据有标注信息会一并输出,class1为标注类别 ------1.jpg ----class2/ ------2.jpg ----3.jpg --output.manifest 其中manifest文件内容示例如下所示。 { "id": "xss", "source": "obs://home/fc8e2688015d4a1784dcbda44d840307_14.jpg", "usage": "train", "annotation": [ { "name": "Cat", "type": "modelarts/image_classification" } ] } 物体检测 输出数据的目录结构如下所示。 output_path/ --Data/ ----1.jpg ----1.xml # 若输入数据有标注信息会一并输出,xml为标注文件 ----2.jpg ----3.jpg --output.manifest 其中manifest文件内容示例如下所示。 { "source":"obs://fake/be462ea9c5abc09f.jpg", "annotation":[ { "annotation-loc":"obs://fake/be462ea9c5abc09f.xml", "type":"modelarts/object_detection", "annotation-format":"PASCAL VOC", "annotated-by":"modelarts/hard_example_algo" } ] }
  • 输入要求 算子输入分为两种,“数据集”或“OBS目录”。 选择“数据集”,请从下拉框中选择ModelArts中管理的数据集及其版本。要求数据集类型与您在本任务中选择的场景类别一致。 选择“OBS目录”,存放结构又分两种情况,“仅包含图片”或“包含图片和标注信息”。 “仅包含图片”:当目录下全是图片时,支持jpg、jpeg、png、bmp格式,嵌套子目录的图片也将全部读入。 “包含图片和标注信息”:根据不同场景类型,结构不同。 图像分类场景,其目录结构如下所示。如下目录结构,仅支持单标签场景。 input_path/ --label1/ ----1.jpg --label2/ ----2.jpg --../ 物体检测场景,其目录结构如下所示。支持jpg、jpeg、png、bmp格式的图片,xml为标准的PACAL VOC格式标注文件。 input_path/ --1.jpg --1.xml --2.jpg --2.xml ...
  • 参数说明 表1 数据清洗-PCC算子参数说明 参数名 是否必选 默认值 参数说明 prototype_sample_path 是 None 数据清洗正样例目录。目录应存放正样例图片文件,算法将这些图片为正样例,对输入中的数据进行过滤,即保留与“prototype_sample_path”目录下图片相似度高的数据。 请输入一个真实存在的OBS目录,且目录下已包含提供的正样例图片,且以obs://开头。如:obs://obs_bucket_name/folder_name criticism_sample_path 否 None 数据清洗负样例目录。目录应存放负样例图片文件,算法将这些图片为负样例,对算法输入中的数据进行过滤, 即保留与“criticism_sample_path”目录下图片相似度差距较大的数据。 建议该参数和“prototype_sample_path”配合使用,可以提高数据清洗的准确性。 请输入一个真实存在的OBS目录,且以obs://开头。如:obs://obs_bucket_name/folder_name n_clusters 否 auto 数据样本的种类数,默认值auto。您可以输入小于样本总数的整数或auto。auto表示使用正样本目录的图片个数作为数据样本的种类数。 simlarity_threshold 否 0.9 相似度阈值。两张图片相似程度超过阈值时,判定为相似图片,反之按非相似图片处理。输入取值范围为0~1。 embedding_distance 否 0.2 样本特征间距。两张图片样本特征间距小于设定值,判定为相似图片,反之按非相似图片处理。输入取值范围为0~1。 do_validation 否 True 是否做数据校验,可填True或者False。表示数据清洗前需要做数据校验,否则只做数据清洗。
  • 数据输入 算子输入分为两种,“数据集”或“OBS目录”。 选择“数据集”,请从下拉框中选择ModelArts中管理的数据集及其版本。要求数据集类型与您在本任务中选择的场景类别一致。 选择“OBS目录”,图像生成算子不需要标注信息,输入支持单层级或双层级目录,存放结构支持“单层级”或“双层级”模式。 单层级目录结构如下所示: image_folder----0001.jpg ----0002.jpg ----0003.jpg ... ----1000.jpg 双层级目录结构如下所示: image_folder----sub_folder_1----0001.jpg ----0002.jpg ----0003.jpg ... ----0500.jpg ----sub_folder_2----0001.jpg ----0002.jpg ----0003.jpg ... ----0500.jpg ... ----sub_folder_100----0001.jpg ----0002.jpg ----0003.jpg ... ----0500.jpg
  • 数据生成技术简介 图像生成利用Gan网络依据已知的数据集生成新的数据集。Gan是一个包含生成器和判别器的网络,生成器从潜在空间中随机取样作为输入,其输出结果需要尽量模仿训练集中的真实样本。判别器的输入则为真实样本或生成网络的输出,其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数,最终目的是使判别网络无法判断生成网络的输出结果是否真实。训练中获得的生成器网络可用于生成与输入图片相似的图片,用作新的数据集参与训练。基于Gan网络生成新的数据集不会生成相应的标签。图像生成过程不会改动原始数据,新生成的图片或xml文件保存在指定的输出路径下。
  • StyleGan算子概述 基于StyleGan2用于在数据集较小的情形下,随机生成相似图像。StyleGAN提出了一个新的生成器结构,能够控制所生成图像的高层级属性(high-level attributes),如发型、雀斑等;并且生成的图像在一些评价标准上得分更好。而本算法又增加了数据增强算法,可以在较少样本的情况下也能生成较好的新样本,但是样本数尽量在70张以上,样本太少生成出来的新图像不会有太多的样式。 图1 StyleGan算子
  • 输出说明 输出目录的结构如下所示。其中“model”文件夹存放用于推理的“frozen pb”模型,“samples”文件夹存放训练过程中输出图像,“Data”文件夹存放训练模型生成的图像。 train_url----model----CYcleGan_epoch_10.pb ----CYcleGan_epoch_20.pb ... ----CYcleGan_epoch_1000.pb ----samples----0000_0.jpg ----0000_1.jpg ... ----0100_15.jpg ----Data----CYcleGan_0_0.jpg ----CYcleGan_0_1.jpg ... ----CYcleGan_16_8.jpg ----output_0.manifest 其中manifest文件内容示例如下所示。 { "id": "xss", "source": "obs://home/fc8e2688015d4a1784dcbda44d840307_14.jpg", "usage": "train", "annotation": [ { "name": "Cat", "type": "modelarts/image_classification" } ] }
  • 输出说明 图像分类 输出数据的目录结构如下所示。 output_path/ --Data/ ----class1/ # 若输入数据有标注信息会一并输出,class1为标注类别 ------1.jpg ----class2/ ------2.jpg ------3.jpg --output.manifest 其中manifest文件内容示例如下所示。 { "id": "xss", "source": "obs://home/fc8e2688015d4a1784dcbda44d840307_14.jpg", "usage": "train", "annotation": [ { "name": "Cat", "type": "modelarts/image_classification" } ] } 物体检测 输出数据的目录结构如下所示。 output_path/ --Data/ ----1.jpg ----1.xml # 若输入数据有标注信息会一并输出,xml为标注文件 ----2.jpg ----3.jpg --output.manifest 其中manifest文件内容示例如下所示。 { "source":"obs://fake/be462ea9c5abc09f.jpg", "annotation":[ { "annotation-loc":"obs://fake/be462ea9c5abc09f.xml", "type":"modelarts/object_detection", "annotation-format":"PASCAL VOC", "annotated-by":"modelarts/hard_example_algo" } ] }
  • RRD算子概述 可以依据用户设置的比例去除差异最大的数据。 图1 RRD效果图 表1 高级参数说明 参数名 是否必选 默认值 参数说明 sample_ratio 否 0.9 数据留下的百分比。取值范围为0~1。例如0.9表示保留百分之90的原数据。 n_clusters auto auto 数据样本的种类数,默认为auto,即按照目录中图片个数取类别总数,可指定具体类别数,如 4 do_validation 否 True 是否做数据校验,可填True或者False。表示数据去冗余前需要做数据校验,否则只做数据去重。
  • 输入要求 算子输入分为两种,“数据集”或“OBS目录”。 选择“数据集”,请从下拉框中选择ModelArts中管理的数据集及其版本。要求数据集类型与您在本任务中选择的场景类别一致。 选择“OBS目录”,存放结构又分两种情况,“仅包含图片”或“包含图片和标注信息”。 “仅包含图片”:当目录下全是图片时,支持jpg、jpeg、png、bmp格式,嵌套子目录的图片也将全部读入。 “包含图片和标注信息”:根据不同数据类型,结构不同。 图像分类,其目录结构如下所示。如下目录结构,仅支持单标签场景。 input_path/ --label1/ ----1.jpg --label2/ ----2.jpg --../ 物体检测,其目录结构如下所示。支持jpg、jpeg、png、bmp格式的图片,xml为标准的PACAL VOC格式标注文件。 input_path/ --1.jpg --1.xml --2.jpg --2.xml ...
  • CycleGan算子概述 基于CycleGAN用于生成域迁移的图像,即将一类图片转换成另一类图片,把X空间中的样本转换成Y空间中的样本。CycleGAN可以利用非成对数据进行训练。模型训练时运行支持两个输入,分别代表数据的原域和目标域,在训练结束时会生成所有原域向目标域迁移的图像。 图1 CycleGan算子 表1 CycleGan算子高级参数 参数名 默认值 参数说明 do_validation True 是否做数据校验,默认为True,表示数据生成前需要做数据校验,否则只做数据生成。 image_channel 3 生成图像的通道数。 image_height 256 图像相关参数:生成图像的高,大小需要是2的次方。 image_width 256 图像相关参数:生成图像的宽,大小需要是2的次方 batch_size 1 训练相关参数:批量训练样本个数。 max_epoch 100 训练相关参数:训练遍历数据集次数。 g_learning_rate 0.0001 训练相关参数:生成器训练学习率。 d_learning_rate 0.0001 训练相关参数:判别器训练学习率。 log_frequency 5 训练相关参数:日志打印频率(按step计数)。 save_frequency 5 训练相关参数:模型保存频率(按epoch计数)。 predict False 是否进行推理预测,默认为False。如果设置True,需要在resume参数设置已经训练完成的模型的obs路径。 resume empty 如果predict设置为True,需要填写Tensorflow模型文件的obs路径用于推理预测。当前仅支持“.pb”格式的模型。示例:obs://xxx/xxxx.pb。 默认值为empty。
  • 数据输入 算子输入分为两种,“数据集”或“OBS目录”。 选择“数据集”,请从下拉框中选择ModelArts中管理的数据集及其版本。要求数据集类型与您在本任务中选择的场景类别一致。 选择“OBS目录”,图像生成算子不需要标注信息,输入支持单层级或双层级目录,存放结构支持“单层级”或“双层级”模式。 单层级目录结构如下所示: image_folder----0001.jpg ----0002.jpg ----0003.jpg ... ----1000.jpg 双层级目录结构如下所示: image_folder----sub_folder_1----0001.jpg ----0002.jpg ----0003.jpg ... ----0500.jpg ----sub_folder_2----0001.jpg ----0002.jpg ----0003.jpg ... ----0500.jpg ... ----sub_folder_100----0001.jpg ----0002.jpg ----0003.jpg ... ----0500.jpg
  • 输出说明 输出目录的结构如下所示。其中“model”文件夹存放用于推理的“frozen pb”模型,“samples”文件夹存放训练过程中输出图像,“Data”文件夹存放训练模型生成的图像。 train_url----model----CYcleGan_epoch_10.pb ----CYcleGan_epoch_20.pb ... ----CYcleGan_epoch_1000.pb ----samples----0000_0.jpg ----0000_1.jpg ... ----0100_15.jpg ----Data----CYcleGan_0_0.jpg ----CYcleGan_0_1.jpg ... ----CYcleGan_16_8.jpg ----output_0.manifest 其中manifest文件内容示例如下所示。 { "id": "xss", "source": "obs://home/fc8e2688015d4a1784dcbda44d840307_14.jpg", "usage": "train", "annotation": [ { "name": "Cat", "type": "modelarts/image_classification" } ] }
  • 操作步骤 登录云耀云服务器L实例控制台。 云耀云服务器L实例提供了多处退订入口,您可以在以下任意位置单击退订。 位置一:在资源卡片上选择更多图标,单击“退订”。 位置二:在云耀云服务器L实例管理页面右上角,选择“更多”图标,单击“退订”。 选择“退订资源”或者“退订续费周期”。 退订资源:当您想终止云耀云服务器L实例时,您可退订不需要的云耀云服务器L实例。云耀云服务器L实例以套餐形式售卖、管理,如果您退订云耀云服务器L实例,将退订云耀云服务器L实例包含的云硬盘、云备份、主机安全等所有资源。 退订续费周期:云耀云服务器L实例创建成功后,若已进行续费操作,可选择单独退订续费周期。退订续费周期指只能退订未生效的续费周期部分,已生效的续费周期只能退订云耀云服务器L实例。 查看退订信息,单击“退订”,根据页面提示完成退订。
  • 退订须知 在执行退订操作前,请确保将退订的云资源上的数据已完成备份或者迁移。退订后,资源会被删除并无法找回数据,请谨慎操作。 新购的资源(不包含续费周期、未生效资源)在开通五天内且当年已退订实例未超过10个,此资源符合5天无理由全额退订。 通过华为云账户余额支付或第三方在线支付(如支付宝、微信、网银等)的订单,退订款项会退至您的华为云账户余额。 针对退订款项退至华为云账户余额后,如有需要提现,操作步骤参见余额提现,提现到账时间请参见提现要多久? 。
共100000条