ModelArts AI应用来源

  • 收起 展开
    自动学习 收起 展开

    使用ModelArts自动学习开发AI模型无需编写代码,您只需上传数据、创建项目、完成数据标注、发布训练、然后将训练的模型部署上线。新版自动学习中,流程由workflow进行承载。

    帮助文档
  • 收起 展开

    Workflow(也称工作流)本质是开发者基于实际业务场景开发用于部署模型或应用的流水线工具。在机器学习的场景中,流水线可能会覆盖数据标注、数据处理、模型开发/训练、模型评估、应用开发、应用评估等步骤。

    帮助文档
  • 收起 展开
    开发环境Notebook 收起 展开

    ModelArts开发环境,以云原生的资源使用和开发工具链的集成,目标为不同类型AI开发、探索、教学用户,提供更好云化AI开发体验。开发环境支持一键镜像保存功能。

    帮助文档
  • 收起 展开
    训练作业 收起 展开

    ModelArts提供了模型训练的功能,方便您查看训练情况并不断调整您的模型参数。您还可以基于不同的数据,选择不同规格的资源池用于模型训练。除支持用户自己开发的模型外,ModelArts还提供了从AI Gallery订阅算法,您可以不关注模型开发,直接使用AI Gallery的算法,通过算法参数的调整,得到一个满意的模型

    帮助文档
  • 收起 展开
    本地构建镜像 收起 展开

    本地开发好模型,构建自定义镜像,最后上传至容器镜像服务SWR,从SWR中导入镜像创建AI为应用。

    帮助文档
  • 收起 展开
    本地准备模型包 收起 展开

    在本地准备模型包,编写模型配置文件和模型推理代码,将准备好的模型包上传至对象存储服务OBS,从OBS导入模型创建为AI应用。

    帮助文档
  • 收起 展开
    模型模板 收起 展开

    相同功能的模型配置信息重复率高,ModelArts将相同功能的配置整合成一个通用的模板,通过使用该模板,可以方便快捷的导入模型,创建为AI应用,而不用编写config.json配置文件。

    帮助文档
  • 收起 展开
    AI Gellary订阅模型 收起 展开

    在AI Gallery中,支持订阅官方发布或者他人分享的模型,订阅后的模型,可推送至ModelArts模型管理中,进行统一管理。

    帮助文档
  • 收起 展开
    EI云服务订阅模型 收起 展开

    针对其他EI云服务开发的AI应用,您可以订阅AI应用,并在ModelArts管理控制台,快速部署为边缘服务。

    帮助文档

自动学习

使用ModelArts自动学习开发AI模型无需编写代码,您只需上传数据、创建项目、完成数据标注、发布训练、然后将训练的模型部署上线。将训练的模型部署上线的过程中,将会生成一个AI应用,命名规范为exeMl-{类别}_ExeMl_xxx。

命名规范

Workflow

ModelArts服务为用户提供了Workflow工具,区别于传统的机器学习模型构建,开发者可以使用Workflow开发生产流水线。基于MLOps的概念,Workflow会提供运行记录、监控、持续运行等功能。根据角色的分工与概念,产品上将工作流的开发和持续迭代分开。

Workflow(也称工作流)本质是开发者基于实际业务场景开发用于部署模型或应用的流水线工具。在机器学习的场景中,流水线可能会覆盖数据标注、数据处理、模型开发/训练、模型评估、应用开发、应用评估等步骤。

开发环境Notebook

在AI开发阶段,ModelArts也致力于提升AI开发体验,降低开发门槛。ModelArts开发环境,以云原生的资源使用和开发工具链的集成,目标为不同类型AI开发、探索、教学用户,提供更好云化AI开发体验。Notebook支持一键镜像保存。保存后的镜像可以通过容器镜像导入模型方式创建AI应用。

训练作业

ModelArts提供了模型训练的功能,方便您查看训练情况并不断调整您的模型参数。您还可以基于不同的数据,选择不同规格的资源池用于模型训练。除支持用户自己开发的模型外,ModelArts还提供了从AI Gallery订阅算法,您可以不关注模型开发,直接使用AI Gallery的算法,通过算法参数的调整,得到一个满意的模型。

创建AI应用时,导入ModelArts训练作业中训练完成的模型。

本地构建镜像

本地开发好模型,构建自定义镜像,最后上传至容器镜像服务SWR,从SWR中导入镜像创建AI为应用。如何制作自定义镜像,请参考ModelArts官网文档从0-1制作自定义镜像并创建AI应用

针对您本地开发的模型,在制作AI应用的自定义镜像时,需满足ModelArts定义的规范。请参考ModelArts官网文档创建AI应用的自定义镜像规范

本地准备模型包

ModelArts支持本地准备模型包,编写模型配置文件和模型推理代码,将准备好的模型包上传至对象存储服务OBS,从OBS导入模型创建为AI应用。

制作模型包,则需要符合一定的模型包规范。模型包里面必需包含“model”文件夹,“model”文件夹下面放置模型文件,模型配置文件,模型推理代码文件。

模型包结构示例(以TensorFlow模型包结构为例)

发布该模型时只需要指定到“ocr”目录。

OBS桶/目录名
|── ocr
| ├── model 必选: 固定子目录名称,用于放置模型相关文件
| │ ├── <<自定义python包>> 可选:用户自有的Python包,在模型推理代码中可以直接引用
| │ ├── saved_model.pb 必选: protocol buffer格式文件,包含该模型的图描述
| │ ├── variables 对*.pb模型主文件而言必选;固定子目录名称,包含模型的权重偏差等信息
| │ │ ├── variables.index 必选
| │ │ ├── variables.data-00000-of-00001 必选
| │ ├──config.json 必选:模型配置文件,文件名称固定为config.json, 只允许放置一个
| │ ├──customize_service.py 必选:模型推理代码,文件名称固定为customize_service.py, 只允许放置一个,customize_service.py依赖的文件可以直接放model目录下

模型模板

相同功能的模型配置信息重复率高,将相同功能的配置整合成一个通用的模板,通过使用该模板,可以方便快捷的导入模型创建AI应用,而不用编写config.json配置文件。简单来说,模板将AI引擎以及模型配置模板化,每种模板对应于1种具体的AI引擎及1种推理模式,借助模板,可以快速导入模型到ModelArts创建AI应用。

模板分两大类型:通用类型,非通用类型。

• 非通用类型模板,针对特定的场景所定制的,固定输入输出模式,不可覆盖,如“TensorFlow图像分类模板”,固定使用预置图像处理模式。

• 通用模板,搭载特定的AI引擎以及运行环境,内置的输入输出模式为未定义模式,即不定义具体的输入输出格式,用户需根据模型功能或业务场景重新选择新的输入输出模式来覆盖内置的未定义模式,如图像分类模型应选择预置图像处理模式,而目标检测模型则应选择预置物体检测模式。

在AI Gellary中订阅模型

在AI Gallery中,支持订阅官方发布或者他人分享的模型,订阅后的模型,可推送至ModelArts模型管理中,进行统一管理。

EI云服务订阅模型

针对其他EI云服务开发的AI应用,您可以订阅AI应用,并在ModelArts管理控制台,快速部署为边缘服务。

例如:人脸识别服务订阅模型

常见问题

常见问题

  • 自动学习生成的模型,支持哪些其他操作?

    ModelArts自动学习生成的模型支持如下操作:

    • 支持部署为在线服务、批量服务或边缘服务。

    在自动学习页面中,仅支持部署为在线服务,如需部署为批量服务或边缘服务,可在“AI应用管理> AI应用 ”页面中直接部署。

    • 支持发布至市场

    将产生的模型发布至AI Gallery,共享给其他用户。

    • 支持创建新版本

    创建新版本,仅支持从ModelArts训练作业、OBS、模型模板、或自定义镜像中选择元模型。无法从原自动学习项目中,创建新版本。

    • 支持删除模型或其模型版本

  • 如何保存Notebook镜像环境?

    ModelArts中Notebook保存镜像,镜像会以快照的形式保存,保存过程约5分钟,此时不可再操作实例。

    镜像保存成功后,实例状态变为“运行中”,用户可在“镜像管理”页面查看到该镜像详情。

    单击镜像的名称,进入镜像详情页,可以查看镜像版本/ID,状态,资源类型,镜像大小,SWR地址等。


  • 通过自定义镜像创建AI应用失败

    可能原因如下:

    • 导入AI应用使用的镜像地址不合法或实际镜像不存在

    • 用户给ModelArts的委托中没有SWR相关操作权限

    • 用户为子账号,没有主账号SWR的权限

    • 使用的是非自己账号的镜像

    具体解决方案,请参考ModelArts官网文档通过自定义镜像创建AI应用失败