华为云用户手册

  • 多行文本 多行文本组件用于录入较长、较复杂的文字,如描述说明、备注、反馈等。 在表单开发页面,从“数据组件”中,拖拽“多行文本”组件至表单设计区域,如图1。 图1 多行文本 显示名称:该字段在页面呈现给用户的名称,可以设置为中文,也可以设置为英文。 行数:文本行数展示的行数。如果需要行高随内容自动调整,请勾选“行高随内容自动调整”。 例如,设置为3行,该组件高度会展示为3行,输入文本超过3行高度后,可拖动滚动条展示文本。 验证:对该字段进行一些限制。 必填:设置为“必填”,表示该字段必须配置。 限定格式:设置为“限定格式”,表示该字段必须按照规定格式进行填写。 属性:设置字段的属性,包括只读、禁用和隐藏。 只读:勾选后,页面上该字段只可读。 禁用:勾选后,页面上该字段仍可显示,但不可进行配置。 隐藏:勾选后,页面上会隐藏该字段。 默认值:支持设置如下默认值。 其他字段值:该表单内的其他定位组件、关联记录中的定位字段。 关联数据:关联已有数据,即取查询到的,最新的一条数据作为默认值。 图2 配置默认值 公式编辑:给表单中的某个字段编辑公式后,在填写表单或修改表单数据时,可以使该字段的值根据公式自动计算出来,不需要再手动填写,提高效率。 宽度:字段配置框宽度占页面宽度的比例。 引导文字:当用户没有配置该字段值时,在界面显示的引导文字,可以设置为中文,也可以设置为英文。 问号提示:当该字段较难理解时,可通过配置“问号提示”告诉用户该字段的含义、如何配置等,可以设置为中文,也可以设置为英文。 设置后,页面该字段旁会有问号图标,单击后会显示配置的“问号提示”内容。 描述信息:设置组件的描述信息。 父主题: 零码组件介绍
  • 汇总 汇总组件用于对关联本表单的其他表单中,某些字段数据或记录总数进行数量汇总,即求和。 使用汇总组件,需要存在关联本表单的其他表单。例如,表单A要使用汇总组件,需要先创建一个新表单B,表单B通过关联记录组件关联表单A,才能对表单B的记录做汇总。 在表单开发页面,从“数据组件”中,拖拽“汇总”组件至表单设计区域,如图1。 图1 汇总 显示名称:该字段在页面呈现给用户的名称,可以设置为中文,也可以设置为英文。 汇总目标:选择关联本表单的其他要汇总的表单视图。 被汇总字段:被汇总的字段,支持汇总记录总数。 汇总方式:选择字段的汇总方式。 单位:汇总数额的单位,可以设置为中文,也可以设置为英文。 保留小数位数:支持设置精确保留的小数位数。 属性:设置字段属性,勾选“隐藏”后,页面上会隐藏该字段。 宽度:该字段配置框的宽度,占页面宽度的比例。 描述信息:设置组件的描述信息。 父主题: 零码组件介绍
  • 定位 定位组件用于根据定位获取当前所在位置,仅支持移动端设备使用。 在表单开发页面,从“数据组件”中,拖拽“定位”组件至表单设计区域,如图1。 图1 定位 显示名称:该组件在页面呈现给用户的名称,可以设置为中文,也可以设置为英文。 验证:对该字段进行一些限制。 必填:设置为“必填”,表示该字段必须配置。 限定范围:设置定位范围,支持设置固定位置经纬度坐标或以固定位置为圆心设置定位半径。 图2 设置定位范围 属性:设置字段属性。 只读:勾选后,页面上该字段只可读。 禁用:勾选后,页面上该字段仍可显示,但不可进行配置。 隐藏:勾选后,页面上会隐藏该字段。 勾选“隐藏”后,单击隐藏后的“设置例外条件”,可设置该字段的显示条件。 默认值:支持设置如下默认值。 自动获取当前位置:获取当前位置作为默认值。 其他字段值:该表单内的其他定位组件、关联记录中的定位字段。 关联数据:关联已有数据,即取查询到的,最新的一条数据作为默认值。 图3 配置默认值 问号提示:当该字段较难理解时,可通过配置“问号提示”告诉用户该字段的含义、如何配置等,可以设置为中文,也可以设置为英文。 设置后,页面该字段旁会有问号图标,单击后会显示配置的“问号提示”内容。 描述信息:设置组件的描述信息。 父主题: 零码组件介绍
  • 柱状图 柱状图组件用于实现柱状图样式数据报表统计。在报表编辑页面,拖拽“柱状图”组件到中间区域,右侧可设置组件属性。 图1 柱状图 显示名称:该组件在页面呈现给用户的名称,可以设置为中文,也可以设置为英文。 数据 维度:选择字段作为维度字段。单击,可设置维度排序方式(如升序、倒序等)和维度名称相同时是否合并。 柱状图支持将矩阵量表的选项字段作为柱状图维度,每一个量级作为柱状图的一个数值字段进行展示。 第几个柱子后合并为其他:设置第几个柱子后,合并为其他。 数值:选择展示数值的字段。 数据更新方式:图表是否需要实时更新,支持设置实时更新时间间隔。 筛选数据:单击“+添加筛选条件”,设置过滤条件。设置后,可根据条件统计数据。 外观 大小:设置图表的大小。 样式:选择图表的样式。 横轴标签 标签换行:横轴标签字数过多时是否换行。 单行最多字数:横轴标签字数过多时单行最多字数,没有设置换行多余字数会省略。 标签旋转角度:标签旋转角度设置。 纵轴范围 最小值:设置纵坐标的最小值,默认为自动。 最大值:设置纵坐标的最大值,默认为自动。 布局:是否开启自动布局功能,默认为开启。如果不开启,可根据实际需求进行如下设置。 列表布局:设置图例的列表布局,如垂直、水平。 标签换行:是否开启标签换行。开启后,当标签字数超过设置的单行最多字数时会自动换行。 单行最多字数:设置图例单行最多显示多少字,取值为1~50。 列表项间距:设置图例列表项的间隔距离,单位px。 图例位置(上边距):设置图例到组件边框顶部的百分比。 图例位置(右边距):设置图例到组件边框右侧的百分比。 宽度:设置柱状图中,图柱的宽度。 图2 宽度 属性:勾选后,页面上会隐藏该字段。 宽度:该组件框的宽度,占页面宽度的比例。 父主题: 统计页面组件介绍
  • 附件 附件是数据组件的一种,用于上传证件照片等,支持单击或拖拽上传。 在表单开发页面,从“数据组件”中,拖拽“附件”组件至表单设计区域,如图1。 图1 附件 显示名称:该字段在页面呈现给用户的名称,可以设置为中文,也可以设置为英文。 文件大小(KB):限制上传文件的大小,最大可设置为204800KB。 限制文件类型(最少选择一项):限制上传的文件类型。 图片:支持的图片后缀为png、jpg、jpeg和gif。 文档:支持的文件后缀为pdf、doc、docx、xls、xlsx、ppt、pptx、txt、htm和html。 视频:支持的视频后缀为mp4、mkv、swf、wmv、mpg、rmvb和avi。 压缩包:支持的压缩包后缀为zip、rar。 自定义:自定义文件的扩展名,如wps、gz、7z等。 访问权限:设置附件的访问权限。 公开:所有人公开。 受限:选择受限后,要设置有访问权限的角色。 验证:对该字段进行一些限制。 必填:勾选后,该字段必须填写。 限制文件上传个数:勾选后,可设置文件上传个数。 属性:设置字段属性。 只读:勾选后,页面上该字段只可读。 禁用:勾选后,页面上该字段仍可显示,但不可进行配置。 隐藏:勾选后,页面上会隐藏该字段。 宽度:该字段配置框的宽度,占页面宽度的比例。 问号提示:当该字段较难理解时,可通过配置“问号提示”告诉用户该字段的含义、如何配置等,可以设置为中文,也可以设置为英文。 设置后,页面该字段旁会有问号图标,单击后会显示配置的“问号提示”内容。 描述信息:设置组件的描述信息。 父主题: 零码组件介绍
  • 操作步骤 参考登录零代码工作台中操作,登录AstroZero零代码工作台。 在全部应用中,单击应用后的“...”,选择“编辑”,进入编辑应用页面。 在页面右上角,单击“查看统计”,进入统计页面。 单击“点击创建”,进入视图编辑页面。 图1 创建视图 在视图编辑页面,拖拽所需的组件到视图设计区,并在右侧属性面板中按照下图,分别设置组件属性。 通过数据组件饼图、柱状图、折线统图等,可以帮助用户清晰、多样化的展示数据。 图2 视图属性设置 完成后,单击“保存”,返回应用开发页面。 单击“新建”,分享问卷,待用户完成填报,即可在视图页面实时查看统计视图。
  • 引用 引用组件用于从关联的记录中引用某个字段数据显示在当前页面中。选用该组件需要在页面中已使用关联记录。 在表单开发页面,从“数据组件”中,拖拽“引用”组件至表单设计区域,如图1。 图1 引用 显示名称:该字段在页面呈现给用户的名称,可以设置为中文,也可以设置为英文。 关联字段:选择当前页面中的关联记录。 引用字段:选择引用的具体字段。 属性:设置字段的属性,勾选“隐藏”后,页面上会隐藏该字段。 宽度:该字段配置框的宽度,占页面宽度的比例。 问号提示:当该字段较难理解时,可通过配置“问号提示”告诉用户该字段的含义、如何配置等,可以设置为中文,也可以设置为英文。 设置后,页面该字段旁会有问号图标,单击后会显示配置的“问号提示”内容。 描述信息:设置组件的描述信息。 父主题: 零码组件介绍
  • 步骤4 从WeLink客户端登录零代码工作台 WeLink用户赋予开发者权限后,即可登录AstroZero平台开发零代码应用。Welink用户在Welink PC端,支持使用AstroZero工作台开发和访问零代码应用。如何在Welink移动端,创建和访问零代码应用,请参见在移动端开发零码应用。 单击10中已安装的蓝版WeLink。 输入账号和验证码,单击“下一步”。 图10 登录蓝版WeLink 选择企业/组织,单击“进入”。 输入账号和密码,单击“登录”。 图11 输入账号和密码 在WeLink页面上方的搜索框中,输入“Astro轻应用”,单击搜索到的结果。 在弹出的页面,单击“进入工作台”,即可进入AstroZero零代码工作台。 图12 AstroZero零码工作台
  • 操作步骤 参考登录零代码工作台中操作,登录AstroZero零代码工作台。 在全部应用中,单击应用后的“...”,选择“编辑”,进入编辑应用页面。 在页面右上角,单击“查看统计”。 图1 查看统计 如果没有创建过统计页面,显示如图2,请单击“点击创建”。 图2 创建统计报表入口 如果之前创建过统计页面,需要重新编辑,则单击已有统计页面后的。 配置统计页面。 在页面左上角,设置统计页面名称。 在页面上方,单击“选择布局”后的箭头图标,选择页面布局。 选择终端视图类型,支持电脑端和移动端。 参考统计页面组件介绍,从左侧选择合适的组件类型拖入到中间区域,并设置组件属性。 如图3所示,使用了饼图、柱状图、汇总值组件,并根据表单填报数据配置组件属性。 图3 配置组件 鼠标悬浮在组件上,出现复制组件图标,当页面组件数大于一个时,还会出现删除组件图标。 设置统计页面属性。 表1 统计页面属性 参数 参数说明 数据范围 数据源:选择某一视图下的数据,作为统计图表的数据源。 数据获取权限:设置数据的获取权限。 继承视图的数据权限:用户访问统计图表时,根据其在数据源视图中所在的角色权限组,仅可查看有权限的数据。 视图中的全部数据:用户访问统计图表时,不考虑其在数据源视图中所在的角色权限组,可以查看当前视图下的全部数据。 权限设置 为当前表单页面分配可见权限,如“所有角色可见”或“部分角色可见”。如何创建角色及更多应用权限设置,请参考应用安全设置。 单击页面右上方的“保存”,保存统计页面。
  • 公式 公式组件用于将记录内的字段进行数据运算。 在表单开发页面,从“数据组件”中,拖拽“公式”组件至表单设计区域,如图1。 图1 公式 显示名称:该字段在页面呈现给用户的名称,可以设置为中文,也可以设置为英文。 计算方式:根据实际需求选择计算方式,支持求和、平均值、乘积和自定义等。 保留小数位数:支持设置精确保留的小数位数。 单位:数字的单位,请根据需求进行设置。 属性:设置字段属性,勾选“隐藏”后,页面上会隐藏该字段。 宽度:该字段配置框的宽度,占页面宽度的比例。 问号提示:当该字段较难理解时,可通过配置“问号提示”告诉用户该字段的含义、如何配置等,可以设置为中文,也可以设置为英文。 设置后,页面该字段旁会有问号图标,单击后会显示配置的“问号提示”内容。 描述信息:设置组件的描述信息。 父主题: 零码组件介绍
  • 分段 分段组件通常用于对下文做出说明、解释,或者将表单分成不同的部分,使得结构更加清晰。 在表单开发页面,从“通用组件”中,拖拽“分段”组件至表单设计区域,如图1。 图1 分段 显示名称:分段的说明文字,通常用于对下文做出说明、解释。 样式:分段的样式。 标题大小:设置标题的大小。 标题颜色:显示名称的字体颜色。 背景颜色:设置组件的背景颜色。 显示分割线:是否显示分割线。 属性:设置字段的属性,例如勾选“隐藏”后,页面上会隐藏该字段。 父主题: 零码组件介绍
  • 部门 部门组件用于获取组织机构。 在表单开发页面,从“数据组件”中,拖拽“部门”组件至表单设计区域,如图1。 图1 部门 显示名称:该组件在页面呈现给用户的名称,可以设置为中文,也可以设置为英文。 可选择记录数:选择组织内配置好的部门,支持单选或多选。 可选范围:选中“可选范围”,单击“选择范围”,即可选择对应的部门。如果需要包含所选部门下的子部门,请“勾选包含所选部门下的子部门”。 验证:对该字段进行一些限制,设置为“必填”,表示该字段必须配置。“可选记录数”设置为“多选”时,支持限定选择个数。 属性:设置字段属性。 只读:勾选后,页面上该字段只可读。 隐藏:勾选后,页面上会隐藏该字段。 勾选“隐藏”后,单击隐藏后的“设置例外条件”,可设置该字段的显示条件。 宽度:该字段配置框的宽度,占页面宽度的比例。 默认值:支持设置如下默认值。 当前用户所属部门:选择当前用户所在的部门作为默认值。 其他字段值:该表单内的其他定位组件、关联记录中的定位字段。 关联数据:关联已有数据,即取查询到的,最新的一条数据作为默认值。 图2 配置默认值 引导文字:当用户没有配置该字段值时,在界面显示的引导文字,可以设置为中文,也可以设置为英文。 问号提示:当该字段较难理解时,可通过配置“问号提示”告诉用户该字段的含义、如何配置等,可以设置为中文,也可以设置为英文。 设置后,页面该字段旁会有问号图标,单击后会显示配置的“问号提示”内容。 描述信息:设置组件的描述信息。 父主题: 零码组件介绍
  • 邮箱 邮箱组件用于录入邮箱信息。系统已预置校验格式,当用户输入邮箱格式不正确时,会报错,参考格式为“***@example.com”。 在表单开发页面,从“数据组件”中,拖拽“邮箱”组件至表单设计区域,如图1。 图1 邮箱 显示名称:该字段在页面呈现给用户的名称,可以设置为中文,也可以设置为英文。 只读时展示为超链接:“字段属性”设置为“只读”时,该字段会展示为超链接。 验证:对字段进行限制设置。 必填:该字段是否必填。 不允许重复:字段值是否可重复填写。 属性:设置字段的属性,包括只读、禁用和隐藏。 只读:勾选后,页面上该字段只可读。 禁用:勾选后,页面上该字段仍可显示,但不可进行配置。 隐藏:勾选后,页面上会隐藏该字段。 宽度:该字段配置框的宽度,占页面宽度的比例。 默认值:支持设置如下默认值。 其他字段值:该表单内的其他定位组件、关联记录中的定位字段。 关联数据:关联已有数据,即取查询到的,最新的一条数据作为默认值。 图2 配置默认值 公式编辑:给表单中的某个字段编辑公式后,在填写表单或修改表单数据时,可以使该字段的值根据公式自动计算出来,不需要再手动填写,提高效率。 引导文字:当用户没有配置该字段值时,在界面显示的引导文字,可以设置为中文,也可以设置为英文。 问号提示:当该字段较难理解时,可通过配置“问号提示”告诉用户该字段的含义、如何配置等,可以设置为中文,也可以设置为英文。 设置后,页面该字段旁会有问号图标,单击后会显示配置的“问号提示”内容。 描述信息:设置组件的描述信息。 父主题: 零码组件介绍
  • 操作步骤 参考登录零代码工作台中操作,登录AstroZero零代码工作台。 在全部应用中,单击应用后的“...”,选择“编辑”,进入编辑应用页面。 在员工点餐收集表单中,拖入两个关联组件,设置热销午餐和热销晚餐。 在员工点餐收集表单中,单击员工点餐收集后的,进入表单编辑页面。 图1 进入表单编辑页面 在左侧“数据组件”中,拖拽“关联组件”到画布中间。 图2 拖拽关联组件到画布中间 在右侧属性面板中,设置关联组件属性。 图3 设置关联组件属性 显示名称:修改为“热卖午餐”。 关联目标:设置为“菜品信息”中的“热卖中”。 显示方式:设置为“选项列表”,并设置为“竖排”。 验证:选中“必填”。 字段属性:为了只让选择就餐的用户看到菜单,这里可以做一个跳题。即设置为“隐藏”,并在右侧设置例外条件,选择字段午餐就餐。 图4 字段属性设置 按照上述操作,设置一个热销晚餐,如图5。 图5 热销晚餐设置 在菜品信息表单中,设置数据标题。 在菜品信息表单中,单击菜品信息后的,进入表单编辑页面。 单击页面右上角的“表单设置”,在数据标题中勾选要显示的字段。 图6 设置数据标题 单击页面左上角的“保存”,保存设置,并返回应用开发页面。 在员工点餐收集中,单击“立即订餐”,预览效果。 图7 关联组件最终效果
  • 场景说明 关联组件通常和数据标题搭配使用,所以在介绍关联组件前,请先了解一下什么是数据标题? 数据标题是表单的标识,即关键字段的组合,代表整个表单,类似于日常发送邮件前,会写上邮件的标题,让收件人对邮件内容一目了然,数据标题也起到同样的作用。 下面以员工订餐场景为例,希望员工打开问卷选择用餐时,可自动带出餐品及价格。订餐应用包括员工点餐收集、菜品信息和安全员信息三个表单,员工点餐收集表单用于给用户进行填报,菜品信息表单用于工作人员导入餐品信息,安全员信息表单用于安全员统一管辖各自员工,统一收款和采购。 导出/克隆应用时,应用中表单创建的关联关系会丢失。导出/克隆完成后,请重新创建表单间的关联关系。
  • 常见问题 为什么要下线旧版训练管理? ModelArts旧版训练全面上线以后为众多开发者提供了AI训练能力,其中训练服务作为基础服务之一,经过持续迭代已经无法完全满足众多开发者的新特性需求。基于服务演进,ModelArts团队已于2021年上线新版训练,力求解决存在的历史问题,并为新特性提供高性能、高易用、可扩展、可演进的底座,给用户提供更好的AI训练体验,打造易用、高效的AI平台。 下线旧版训练管理对现有用户的使用是否有影响? 正在使用的训练作业不受影响,但是用户无法使用旧版训练创建新的作业。 旧版训练管理是否停止新购? 是的,旧版训练管理将于2023年6月30日 00:00(北京时间)正式退市。 旧版训练管理如何升级到新版训练? 请参考新版训练指导文档(模型训练)来体验新版训练。 旧版训练迁移至新版训练需要注意哪些问题? 新版训练和旧版训练的差异主要体现在以下3点,详细内容请参见旧版训练迁移至新版训练注意事项。 新旧版创建训练作业方式差异 新旧版训练代码适配的差异 新旧版训练预置引擎差异
  • Alpaca数据 本教程使用到的训练数据集是Alpaca数据集。Alpaca是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以用来对语言模型进行指令调优,使语言模型更好地遵循指令。 训练数据集下载:https://huggingface.co/datasets/tatsu-lab/alpaca/resolve/main/data/train-00000-of-00001-a09b74b3ef9c3b56.parquet,数据大小:24M左右。 SFT全参微调、LoRA微调训练数据集下载: https://github.com/Instruction-Tuning-with-GPT-4/GPT-4-LLM/blob/main/data/alpaca_gpt4_data.json,数据大小:42M左右。
  • 上传数据到指定目录 将下载的原始数据存放在/home/ma-user/ws/training_data目录下。具体步骤如下: 进入到/home/ma-user/ws/目录下。 创建目录“training_data/pretrain”,并将预训练原始数据放置在此处。 mkdir -p training_data/pretrain 创建目录“training_data/finetune”,并将微调训练原始数据放置在此处 mkdir -p training_data/finetune 数据存放参考目录结构如下: ${workdir}(例如/home/ma-user/ws ) ├── training_data #原始数据目录 ├── pretrain #预训练加载的数据 ├── train-00000-of-00001-a09b74b3ef9c3b56.parquet #预训练原始数据文件 ├── finetune #微调训练加载的数据 ├── alpaca_gpt4_data.json #微调训练原始数据文件
  • 自定义数据 用户也可以自行准备训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。 请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改数据集文本字段的名称,默认为text。在维基百科数据集中,它有四列,分别是id、url、title和text。可以指定–json-key 标志来选择用于训练的列。 { 'id': '1', 'url': 'https://simple.wikipedia.org/wiki/April', 'title': 'April', 'text': 'April is the fourth month...' }
  • 权重合并和转换介绍 模型训练完成后,训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前,需要将训练后生成的多个权重文件合并,并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求在训练的环境中进行。 预训练或SFT全参微调产生的权重文件的合并与转换操作,请参考多卡权重合并进行操作。 LoRA微调训练产生的权重文件的合并与转换操作,请参考LoRA权重合并进行操作。 父主题: 推理前的权重合并转换
  • CUDA Compatibility如何使用? 当CUDA 10.2与低版本GPU驱动(440.33以下)配合使用时,可能会出现兼容问题,此时需要使用CUDA Compatibility。在创建训练页面添加以下环境变量: export LD_LIBRARY_PATH=/usr/local/cuda/compat 训练时默认不需要加此环境变量,仅当发现驱动版本不够时才使用此方法。 父主题: CUDA和CUDNN
  • 自定义数据 用户也可以自行准备训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。 请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改数据集文本字段的名称,默认为text。在维基百科数据集中,它有四列,分别是id、url、title和text。可以指定–json-key 标志来选择用于训练的列。 { 'id': '1', 'url': 'https://simple.wikipedia.org/wiki/April', 'title': 'April', 'text': 'April is the fourth month...' } 将下载的原始数据存放在/home/ma-user/ws/datasets/data目录下。具体步骤如下: 进入到/home/ma-user/ws/目录下。 创建目录“datasets/data”,并将原始数据放置在此处。 mkdir -p datasets/data 数据存放参考目录结构如下: ${workdir}(例如/home/ma-user/ws ) ├── datasets ├── data #原始数据集 ├── train-00000-of-00001-a09b74b3ef9c3b56.parquet #预训练原始数据集 ├── alpaca_data.json #微调原始数据集
  • Alpaca数据 本教程使用到的训练数据集是Alpaca数据集。Alpaca是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以用来对语言模型进行指令调优,使语言模型更好地遵循指令。 预训练数据集下载:https://huggingface.co/datasets/tatsu-lab/alpaca/resolve/main/data/train-00000-of-00001-a09b74b3ef9c3b56.parquet,数据大小:24M左右。 SFT全参微调、LoRA微调训练数据集下载: http://github.com/tatsu-lab/stanford_alpaca/blob/main/alpaca_data.json,数据大小:22M左右。
  • 预训练权重合并及转换 由于预训练或SFT全参微调时产出的权重文件(TP和PP文件)个数比较多,推理前需要把多个权重文件合并为一个文件,并转换为HuggingFace格式。Llama2-13B一般使用单卡推理。 基于预训练或SFT全参微调完成的模型,进行推理部署时,权重合并和转换操作建议参考本章节。 脚本convert_weights_to_huggingface.py包含了权重文件合并和转换操作,具体的脚本内容和参数解释如下。 该脚本的执行需要在/home/ma-user/ws/AscendCloud-3rdLLM-6.3.902/llm_train/AscendSpeed/代码目录下进行。 python scripts/tools/ckpt_convert/llama/convert_weights_to_huggingface.py \ --input-model-dir ${ASCNEDSPEED_CKPT_PATH} \ --output-model-dir ${MERGE_CKPT_PATH} \ --src-tensor-model-parallel-size ${TENSOR-MODEL-PARALLEL-SIZE} \ --src-pipeline-model-parallel-size ${PIPELINE-MODEL-PARALLEL-SIZE} \ --type ${TYPE} \ --org-huggingface-dir ${HUGGINFGFACE_DIR} \ --merge-mlp 参数说明: ${ASCNEDSPEED_CKPT_PATH}:训练生成的AscendSpeed格式权重目录,多机多卡场景下需要把多个节点上的权重文件都放到任意一个节点的这个目录下;需要指定到含有mp_rank_xxxxxxx的目录,一般为iter_xxxxx或release。 ${MERGE_CKPT_PATH}:合并后的权重路径。 ${TENSOR-MODEL-PARALLEL-SIZE}:原始模型的TP配置大小,取值来自训练中的配置,此处需要手动输入。 ${PIPELINE-MODEL-PARALLEL-SIZE}:原始模型的PP配置大小,取值来自训练中的配置,此处需要手动输入。 ${TYPE}:原始模型参数大小,支持参数配置: 7B、13B、70B,按实际模型要求设置。 ${HUGGINFGFACE_DIR}:可选,开源HuggingFace权重目录,用于将开源权重内的配置文件,复制到转换后权重的输出目录中。 下面提供一个convert_weights_to_huggingface.py脚本的实际样例,供参考。 python scripts/tools/ckpt_convert/llama/convert_weights_to_huggingface.py \ --input-model-dir /home/ma-user/ws/AscendCloud-3rdLLM-6.3.902/llm_train/AscendSpeed/ckpt/ckpt-llama2-13b-sft/iter_xxxxxxx \ --output-model-dir /home/ma-user/ws/weight/ckpt-llama2-13b-sft-hf \ --src-tensor-model-parallel-size 8 \ --src-pipeline-model-parallel-size 1 \ --type 13B \ --org-huggingface-dir /home/ma-user/ws/tokenizers/llama2-13b-hf \ --merge-mlp 父主题: 推理前的权重合并转换
  • LoRA微调权重转换 LoRA微调训练前,需要先把训练权重文件转换为AscendSpeed格式。 基于预训练或SFT全参微调生成的权重文件已经是AscendSpeed格式,进行LoRA微调训练时,不需要再单独做权重转换,可以跳过此章节。 基于原始HuggingFace权重进行LoRA微调训练时,需要将Huggingface格式权重转换为AscendSpeed格式。 LoRA微调训练和SFT全参微调使用的是同一个HuggingFace权重文件,转换为AscendSpeed格式后的结果也是通用的。如果在SFT全参微调任务中已经完成了HuggingFace权重转换操作,此处无需重复操作,可以直接使用SFT全参微调中的权重转换结果。如果前面没有执行HuggingFace权重转换任务,可以参考SFT全参微调权重转换章节完成。 父主题: LoRA微调训练
  • Step2 创建数据集并上传至OBS 进入网站http://www.cs.toronto.edu/~kriz/cifar.html,下载“CIFAR-10 binary version (suitable for C programs)”,解压后将数据上传至OBS桶的“obs://test-modelarts/mindspore-gpu/cifar-10-batches-bin/”文件夹下。OBS桶中数据集如下所示: 图1 数据集
  • 产品功能 应用平台由以下几个主要服务及其功能构成: 开发中心 开发中心为软件开发提供端到端的常用功能:从需求管理到部署服务,开箱即用,实现敏捷交付、提供各种模板和实践。基于项目维度提供从需求、设计、开发、测试、发布、变更、部署全场景一站式研发门户,支撑开发所有角色统一在一站式门户协同工作,提升用户体验及研发效率。 运维中心 基于租户业务应用场景打造,应用平台致力于为租户提供服务。应用平台以运维作业视角设计端到端作业流程,构建自动化、数据化、智能化的运维平台,逐步实现无人值守运维。 运行时引擎 提供NUWA微服务框架,兼容开源SpringCloud微服务,预集成构建云服务业务分布式架构所需的各个组件(微服务框架、数据库、通用中间件、安全中间件、公共服务等)及DFX能力,业务开发人员专心撰写业务代码,屏蔽全球多个站点环境的复杂差异,开箱即用,缩短开发时间,提升交付效率。 运营中心 面向运营人员提供运营管理服务,提供应用数据接入、数据模型构建、指标开发、指标管理、指标开放的应用数据运营分析底座,支撑各类数据指标及模板快速构建和生成,支撑应用用户运营和持续增长。 AI原生应用引擎 面向企业客户的研发/技术人员,提供企业专属大模型开发和应用开发的整套工具链,包括数据准备、模型选择/调优、知识工程、模型编排、应用部署、应用集成等能力,降低智能应用开发门槛,提升开发效率。
  • 什么是应用平台? 应用平台(AppStage)是基于平台工程(Platform Engineering)理念打造的下一代应用全生命周期管理和AI原生应用生命周期管理平台,帮助客户快速高效地实现传统应用及AI原生应用全生命周期管理,为应用构建、运维和运营等生命周期管理活动提供自助式服务能力,目标是通过标准化和自动化的服务来提升用户体验 ,促使客户可以专注于交付应用逻辑和云上业务创新。 应用平台(AppStage)将平台能力产品化,采用产品管理思维来设计和维护对用户友好而且满足不同用户和角色的期望和需求。通过一套平台实现如下能力: 提供自助式云原生工具和技术的平台,开发人员可以使用这些工具和技术来构建、测试、部署、监控或执行与应用程序开发和交付有关的几乎任何事情,同时尽可能减少开销,提升用户的体验和效率。 提供AI原生应用开发引擎,包括RAG、Agent等应用框架,零码态和全码态的开发形态,降低AI原生应用开发门槛、提升开发效率。支持客户打通自己的业务能力API,将大模型的能力结合进入自己的业务链路。 提供支撑AI原生应用运行的整套模型工具链,包括数据管理、模型接入、模型调优、知识工程等能力,帮助客户选好、管好、用好大模型,从而提升大模型应用效果。 统一主数据平台和概念模型, 管理应用生命周期中组织、产品、服务/微服务与项目等信息。建立贯穿产品设计,DEV,OPS全周期产品信息管理能力,供接入云原生的各系统消费。包含新建、迁移纳管、属性维护、变更通知,保证数据的一致性和稳定性。实现统一的架构治理。 通过工具的集成,构建应用全生命周期自动化流程,打破工具间的信息孤岛,实现不同角色和团队间协作,持续改进和自动化,提升效率和应用的服务水平。 在用户使用应用平台过程中逐步将知识体系固化到平台中,从而使得工程方式标准化、流程化和规模化并持续改善,用户可以对流程、模板进行定制和扩展,并通过与工具库的集成来高效、稳定、全面地实践。实现知识不断迭代积累,从而发挥规模化效应,应对未知挑战,提升价值转化速率。
  • 为什么选择应用平台? 应用平台(AppStage)本质上是华为内部优秀实践的外溢,以终端祥云平台为基础,同时融合了企业内部IT治理、华为云工程能力等优秀实践。内置高可靠、安全、韧性等基础架构属性,通过标准化的服务供用户调用,解决重复造轮子。同时,构建统一的应用全生命周期管理平台,降低云上SaaS应用开发、部署、运维和运营的难度,提升效率,助力应用和开发者上云。 在华为内部,终端祥云平台经过7年多的全云原生化架构改造,不仅实现了业务100%上云,而且: 基于华为云“全球存算网”构建的业务,可以通过华为云将业务送达全球客户与开发者。 降低AI原生应用开发门槛、提升开发效率。帮助企业实现降本增效、改进决策方式、提升客户体验、创新增长模式等经营目标,完成从传统应用到智能应用的竞争力转型。 服务了全球十亿级的并发用户,实现了全球不同区域的数据安全与隐私合规的遵从。 云原生架构实现了99.995%的多Region容灾及业务高可用能力,构建了全流程的DevOps工具链与开发平台。 实现了应用开发的敏捷化、发布的灰度化、以及运营的互联网模式化。 面向消费者业务,以丰富的10+中台能力,支撑全球500+万全球开发者,经过众多开发者验证的优秀实践。 自动化、数据化、智慧化运维平台,逐步实现无人值守运维。 业务实践证明,应用平台在业务云化、应用云原生化、服务自运维方面是公司的最佳实践,经过百万开发者、十亿并发用户的验证!
  • 产品架构 应用平台(AppStage)总体架构如图1所示。 图1 产品架构 应用平台(AppStage)聚合华为内部消费者业务,企业IT和华为云优秀实践打造的统一平台。 业务控制台:统管系统级功能的配置和维护,如组织信息、应用基础信息(产品、服务、微服务)、公告等。同时提供了AI原生应用引擎、开发中心、运维中心、运营中心的快捷登录入口。 AI原生应用引擎:一站式的企业专属原生智能应用开发平台,提供企业专属大模型开发和应用开发的整套工具链,包括数据准备、模型选择/调优、知识工程、模型编排、应用部署、应用集成等能力。 开发中心:开发中心提供软件开发端到端的所有服务。 运维中心:以运维作业视角设计端到端作业流。 应用运行时引擎:提供NUWA微服务框架,兼容开源SpringCloud微服务。 运营中心:面向运营人员提供运营管理服务,提供应用数据接入、数据模型构建、指标开发、指标管理、指标开放的应用数据运营分析。 统一组织账号管理:组织成员账号(OrgID)是面向企业提供组织管理、企业成员账号管理以及SaaS应用授权管理能力的云服务,将Huawei ID账号体系延伸到企业用户,统一华为云面向生态SaaS服务的组织、账号,同时面向生态伙伴推出SaaS服务账号集成规范。应用平台集成OrgID面向企业提供组织管理、企业成员账号管理以及SaaS应用授权管理能力。
共100000条