华为云用户手册

从Rpm私有依赖库获取依赖包 以•发布私有组件到Rpm私有依赖库中发布的Rpm私有组件为例，介绍如何从Rpm私有依赖库中获取依赖包。 参考发布Rpm私有组件的2、3，下载Rpm私有依赖库配置文件。 打开配置文件，将文件中所有“{{component}}”替换为上传Rpm文件时使用的“{{component}}”值（本文档中该值为“hello”），并删除“rpm上传命令”部分，保存文件。 将修改后的配置文件保存到Linux主机的“/etc/yum.repos.d/”目录中。 执行以下命令，下载Rpm组件。其中，hello为组件的“component”值，请根据实际情况修改。 yum install hello

如何使用图引擎服务 图引擎服务（Graph Engine Service，简称GES）是针对以“关系”为基础的“图”结构数据，进行查询、分析的服务。广泛应用于社交关系分析、营销推荐及社会化聆听、信息传播、防欺诈等具有丰富关系数据的场景。 本文档将为您介绍如何在图引擎服务管理控制台完成图数据的相关操作和分析。 使用本服务的操作流程如下所示： 图1 图引擎服务的使用流程 表1 使用流程说明 流程 子任务 说明 详细指导 准备工作 注册华为账号 使用图引擎服务之前，您需要注册华为账号并进行实名认证。 注册华为账号并开通华为云 用户授权GES权限 将GES服务的策略授予用户组，并将用户添加至用户组中从而使用户拥有对应的GES权限。 授权GES权限 导入元数据 从本地导入 将元数据文件导入到图引擎服务中以便后续创建图使用。 从本地导入 从OBS中导入 提前将准备好的元数据文件上传至OBS桶中，以便后续导入到图引擎服务中使用。 从OBS中导入 创建图 自定义创建图 使用自定义方式创建图。 自定义创建图 创建图 行业图模板创建图 使用行业图模板创建图。 行业图模板创建图 创建图 创建动态图 使用动态图的方式创建图。 创建动态图 管理图 管理图操作 对图进行备份恢复、变更规格、扩副本、升级等相关操作。 管理图操作 分析图 图数据分析 通过“图引擎编辑器”对图进行查询和分析。 图数据分析 查看图任务 总览图 系统总览页面展示了“我的资源”信息，可以帮助您快速了解已有图的总体信息和计费详情。 总览图 任务中心 任务中心可用于查看创建图、备份图、启动图、删除图等异步任务的详情。 任务中心

查看运行记录 系统会以表格的方式记录用户的执行操作记录，方便用户在分析数据时了解执行进度和执行完成时间。 查看运行记录的具体步骤如下： 进入图引擎编辑器页面，详细操作请参见访问图引擎编辑器。 在执行Gremlin/Cypher/DSL查询或算法分析之后，在“运行记录”页签下会展示操作记录的名称，状态，请求参数，jobid，开始时间，耗时以及单击“查询结果”按钮会跳转到查询结果页面，展示该操作的完整查询结果。 图1 运行记录 操作列功能： 在执行算法请求的过程中，您想要停止算法的执行，可以在操作列单击“停止”。 想要重新执行Gremlin、Cypher、DSL查询请求，无需在查询区重新输入，可以直接在操作列单击“重发”。 想要对已经执行的Gremlin、Cypher、DSL查询请求进行修改，可以在该请求的操作列单击“重新输入”，该查询语句会重新输入在查询区。 如果您想要将运行记录导出，可以在右上角单击“导出”，选择导出格式。 Cypher查询支持json，txt两种导出格式。 Gremlin查询和DSL查询仅支持json导出格式。 父主题： 访问图和分析图

图引擎编辑器介绍 编辑器页面分为图分析区（包括探索区、操作区、元数据区、算法区）、绘图区、查询区、结果展示区、条件过滤及属性区。 图1 编辑器页面 表1 区域说明 区域名称 说明 探索区 提供图相关工具来探索图（例如：路经拓展），具体功能介绍请参考图探索功能。 操作区 通过调用API的方式来添加自定义操作。具体功能介绍请参考添加自定义操作。 元数据区 可以对元数据进行操作（如添加、隐藏、导入或导出等）。具体功能介绍请参考Schema编辑。 算法区 显示了GES服务支持的所有算法，且可在此区域设置各算法相关的属性。完整算法区功能介绍如表2所示。 说明： 算法区选择算法，执行后，画布区将展示包含关键结果的采样子图，对应的执行结果非完整结果。想获取完整返回结果请通过调用API获取。 绘图区 图数据的可视化展示区。绘图区预置了快捷操作，方便您对图数据进行分析。 绘图区详细功能介绍如表3所示。 图数据查询区 可以输入Gremlin查询语句执行查询操作。 可以输入Cypher查询语句执行查询操作。 可以输入DSL查询语句执行查询操作。 结果展示区 包含如下两个页签： 运行记录：具体介绍请参考查看运行记录 查询结果：具体介绍请参考查看查询结果 条件过滤及属性区 在绘图区，可以选中一个点，单击右键，选择“查看属性”，显示该页面。 包含如下三个页签： 条件过滤页签可以设置条件属性，对图数据进行筛选分析。具体介绍请参考条件过滤。 属性页签展示选中点或边的属性信息。 统计信息展示页签会显示出当前所框选的点边对应的标签和节点权重的数量。具体介绍请参考统计信息展示。 图2 算法区 表2 算法区介绍 界面元素 说明 输入算法名称，快速查找对应的算法。 展开算法的参数配置区域。 运行算法。 算法的属性设置区域。每个算法的属性不同，详细信息请参考算法介绍。 图3 绘图区 表3 绘图区介绍 界面元素 说明 第1行： 13表示当前图上的点数据，886813表示整张图的所有点数据。 第2行： 9表示当前图上的边数据，892773表示整张图所有边的数据。 孤立点是指和其余点没有关联，在画布中独立存在的点。 框选内孤立点：框选（Ctrl+ 鼠标左键拖动）画布中的点，单击该按钮可查看框选范围内的所有孤立点。 画布内全量孤立点：直接单击该按钮，可显示画布中所有的孤立点。 选中画布中任意一个点，单击该按钮可查看与当前选中点有关联的所有点。 撤销前一步操作。 恢复被撤销的前一步操作。 选择显示“全图数据”或“当前数据”。 “全图数据”是图的所有数据。 “当前数据”是当前在画布上渲染出来的数据。 可以切换图引擎编辑器的主题，支持浅色、深色和跟随系统三种主题。 选择了“全图数据”或者“当前数据”，在搜索框里输入节点ID，例如2，按回车或者单击查询图标，可快捷搜索出对应的点数据并渲染到图展示区域。 说明： 当前只支持单个顶点ID的输入。 选择“当前数据”搜索，当前画布存在点会高亮显示出来。 单击“清空”，清除画布所有内容。 将画布内容导出，支持导出为TXT格式（当前画布的snapshot/点边文件）。 快捷键。 Ctrl+E（选择关联实体）。 Ctrl+‘+’（放大）。 Ctrl+‘-’（缩小）。 Ctrl+Z (撤销 undo)。 Ctrl+A（画布内容全选）。 Ctrl+Delete：清空画布。 Delete（快捷隐藏点）。 Ctrl+单击（多选单击的点和边）。 快照，用户可以快速保存和恢复画布当前所展示的图。具体功能介绍请参考快照。 放大图，最大放大至6倍。 缩小图，最小缩小至0.05倍。 适配当前屏幕。 当界面中展示的点边与当前操作的浏览器窗口大小失调时，单击此按钮，可快速自动适配窗口大小。 快速切换布局。从左往右分别为：力引导布局、圆形布局、网格布局、核心单节点布局、分层布局、自动分群布局、核心双节点布局。展示效果如图 力引导布局展示效果所示。 说明： 核心双节点布局必须要选中两个点才可以生效。 当画布中有图数据时，单击图数据内容，可根据需要选择图数据的颜色和大小。 点详情弹窗。把鼠标移动到想要查看的非虚化节点上，会自动显示出该节点的id、label，属性等信息。 说明： 弹窗最多能显示节点的6个属性。当该节点的属性大于6个时，您可以到条件过滤及属性区查看该节点的完整属性信息。 绘图区快捷键操作 框选：Shift+ 鼠标左键拖动 框选区域内所有点边，效果如下所示。 多选：Ctrl+ 鼠标左键拖动 框选区域内所有点边被选中并高亮，效果如下所示。 正选/反选：Ctrl + 鼠标左键 ctrl+鼠标左键选中点或者边，可以选中并高亮，按住ctrl键再次单击选中点或者边，可以取消选中并去除高亮状态。 全选：Ctrl + A 选中所有点和边，并高亮。 选择关联点边：Ctrl + E 选中点之后按ctrl+E，可以将有关系的点和边选中高亮。 隐藏：Delete 快捷隐藏点或者边。 适配：Ctrl + F 根据当前屏幕宽度和高度自动缩放所有点和边。 缩小：- 键盘对应 - 键，缩小当前画布显示。 放大：=（+） 键盘对应 + 键，放大当前画布展示。 取消选中：Esc 所有选中的点和边取消选中，高亮状态消失。 放大缩小：滑动鼠标滚轮 滑动鼠标滚轮可以放大缩小画布显示。 图4 力引导布局展示效果 图5 圆形布局展示效果 图6 网格布局展示效果 图7 核心单节点布局展示效果 图8 分层布局展示效果 图9 自动分群布局展示效果 图10 核心双节点布局展示效果 父主题： 访问图和分析图

概念说明 GES基于属性图模型导入图数据，因此，您需要了解属性图（Property graph）的基本概念。 一个属性图是由点、边、标签（Label）和属性（Property）组成的有向图。 点又称作节点（Node），边又称作关系（Relationship），点和关系是最重要的实体。 元数据是用于描述点或边的属性信息，元数据由多个标签组成，每个标签由一个或多个属性组成。 为点或边设置标签，那么拥有相同标签的点属于一个分组，是一个集合。 点和边只能设置一个标签。 如下示例中，此图数据由3个点和3条边组成，Vivian、Eric和Lethal Weapon表示点，（Vivian，Eric）、（Vivian，Lethal Weapon）和（Eric、Lethal Weapon）表示边，user和movie表示点的类型（标签），rate和friends表示关系类型（标签）。 图1 图数据格式的示例

点文件 点文件罗列了各个点的数据信息。一行为一个点的数据。格式如下所示，id是点数据的唯一标识。 id,label,property 1,property 2,property 3,… 点id的名称中不能包含中划线（-）。 点id的类型不需要设置，默认为string。 请注意label前后不要任意加空格，逗号表示分隔符，空格会被识别成label的一部分，可能会出现识别不了或提示label不存在的情况。 示例： Vivian,user,薇薇安,F,25-34,artist,98133 Eric,user,埃里克,M,18-24,college/grad student,40205

边文件 边文件罗列了各个边的数据信息，一行为一条边的数据。GES中图规格是以边的数量进行定义的，如一百万边。格式如下所示，id 1、id 2是一条边的两个端点的id。 id 1, id 2, label, property 1, property 2, … 示例： Eric,Lethal Weapon,rate,4,2000-11-21 15:33:18 Vivian,Eric,friends 注意：在持久化版中想要把两个端点和标签都相同的边存入进去，则需要sortKey列，放在属性后面即最后一列。 导入时指定sortKeyColumn参数，如果sortKey有值，则会根据图的sortKey类型正确读入，如果没有值需要在属性的末尾添加逗号，导入时会读入空表示将sortKey设置为空，即NULL。 id 1, id 2, label, property 1, property 2, …,sortKey 示例： Eric,Lethal Weapon,rate,4,2000-11-21 15:33:18，5 Vivian,Eric,friends,

图管理简介 在“图管理”页面，您可以查看图的名称，运行状态，内网访问地址，公网访问地址，计费模式，创建时间。 “内网访问地址”可单击查看，该地址是访问图实例的浮动IP，通过单击该IP地址您可以查看访问图实例的物理IP列表。为了防止浮动IP切换造成业务闪断，推荐您通过轮询的方式使用物理IP访问图实例。 方式1：单击“图名称”前的 ，页面下方将会显示该图的信息，包括“图ID”，“虚拟私有云”，“子网”，“安全组”，“图规格（边数）”，“点数据集”，“边数据集”，“元数据”，“图版本”，“是否支持跨AZ高可用”，“是否支持全文索引”，“创建人”，“企业项目”，“CPU架构”，“是否加密”，“多标签”，“多图”，“点ID类型”（持久化版）等。 图1 图详情页签 方式2：单击图名称进入图详情页，查看图的详细信息。在该页面右上角可以单击“访问”、“备份”、“更多”等按钮对该图进行图管理操作。 图2 图详情页 父主题： 管理图

角色权限 角色是IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。只包含系统角色，不可自定义角色。 表1 GES系统角色 角色名称 描述 Tenant Guest 普通租户用户。 操作权限：可以对GES资源执行查看操作。 作用范围：项目级服务。 GES Administrator GES服务管理用户。 操作权限：可以对GES资源执行任意操作。 作用范围：项目级服务。 说明： 拥有该权限的用户同时拥有Tenant Guest、Server Administrator、VPC Administrator权限时，可以对GES资源执行任意操作。如果没有Tenant Guest或Server Administrator权限，将无法正常使用GES。 如果需要绑定/解绑EIP，则还需要拥有Security Administrator权限用于创建委托。 如果需要与OBS服务进行交互，例如创建，导入等操作，则还需要拥有OBS服务的权限，具体请参考GES常用操作对OBS权限的依赖关系，OBS权限授权时需要指定权限范围为全局服务资源。 GES Manager GES服务高级用户。 操作权限：可以对GES资源执行除创建图、删除图、变更规格、扩副本以外的任意操作。 作用范围：项目级服务。 说明： 拥有该权限的用户同时拥有Tenant Guest和Server Administrator权限时，可以对GES资源执行除创建图和删除图以外的任意操作。如果没有Tenant Guest权限，将无法正常使用GES。 如果需要绑定/解绑EIP，则还需要拥有Security Administrator和Server Administrator权限。 如果需要与OBS服务进行交互，例如导入操作，则还需要拥有OBS服务的权限，具体请参考GES常用操作对OBS权限的依赖关系，OBS权限授权时需要指定权限范围为全局服务资源。 GES Operator GES服务普通用户。 操作权限：可以对GES资源执行查看操作和访问图。 作用范围：项目级服务。 说明： 拥有该权限的用户同时拥有Tenant Guest权限时，可以对GES资源执行查看操作和访问图。如果没有Tenant Guest，则无法执行查看类操作或者访问图。 如果需要与OBS服务进行交互，例如查看元数据，则还需要拥有OBS服务的权限，具体请参考表3。 表2 GES常用操作与角色的关系 操作 GES Administrator GES Manager GES Operator Tenant Guest 创建图 √ × × × 删除图 √ × × × 查看图 √ √ √ √ 访问图 √ √ √ × 导入数据 √ √ × × 创建元数据 √ √ × × 查看元数据 √ √ √ √ 复制元数据 √ √ × × 编辑元数据 √ √ × × 删除元数据 √ √ × × 清空数据 √ √ × × 备份图 √ √ × × 恢复备份 √ √ × × 删除备份 √ √ × × 查看备份 √ √ √ √ 启动图 √ √ × × 停止图 √ √ × × 升级图 √ √ × × 导出图 √ √ × × 绑定EIP √ √ × × 解绑EIP √ √ × × 查看任务中心 √ √ √ √ 变更规格 √ × × × 扩副本图 √ × × × 重启图 √ √ × × 图细粒度权限配置 √ √ × × 用户组配置 √ √ × × 导入IAM用户 √ √ × × 查看用户详情 √ √ √ √ 表3 GES常用操作对OBS权限的依赖关系 GES操作 依赖的OBS权限 查看元数据 OBS Viewer策略或者OBS Buckets Viewer角色 创建/导入/复制/编辑/删除元数据 OBS Operator策略或者Tenant Administrator角色 创建图，导入图/导出图 OBS Operator策略或者Tenant Administrator角色 表4 GES常用操作对IAM权限的依赖关系 GES操作 依赖的IAM权限 导入IAM用户 iam:users:listUsers自定义策略或者IAM ReadOnlyAccess系统策略或者Server Administrator角色 创建/编辑用户组 iam:users:listUsers自定义策略或者IAM ReadOnlyAccess系统策略或者Server Administrator角色 父主题： 权限管理

自定义创建图 登录华为云账号，进入图引擎服务管理控制台，单击右上角的“创建图”按钮，进入创建图页面。 选择“区域”，即集群工作区域，可在页面左上角下拉栏选择。 在创建图页面单击“自定义创建”tab页进入自定义创图界面。 在“服务选型”页面设置以下参数： 图1 图名称和软件版本 参数 说明 图名称 可自行设置或使用系统默认名称。图创建后，不支持修改图名称。 图名称的长度需同时满足如下条件： 4～50个字符，且必须以字母开头。 字母不区分大小写。 只能包含字母、数字或下划线，不能包含其他特殊字符。 GES软件版本 系统默认当前最新版本，目前只能选择当前默认的版本号。 选择网络信息，包含“虚拟私有云”、“子网”、“安全组”、“公网访问”和“企业信息”。 图2 网络信息 参数 说明 虚拟私有云 VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 选择需要创建集群的VPC，单击“查看虚拟私有云”，可进入VPC服务查看已创建的VPC名称和ID。 说明： 若您的账号下有vpc，则自动选择一个填充，您可自行更改；若无vpc，则需要创建一个新的vpc，创建成功后，可自动填充。 子网 通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。 选择需要创建集群的子网，可进入VPC服务查看VPC下已创建的子网名称和ID。 安全组 安全组是一个逻辑上的分组，为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 单击“如何配置安全组”可了解配置安全组的具体操作。 单击“查看安全组”可了解安全组详情。 公网访问 选择公网访问的方式，用户可根据自身需求选择。 “暂不使用”：不使用弹性IP的图实例并且不能与互联网互通，仅可通过私有网络中已部署的弹性云服务器连接当前图实例使用。 “现在购买”：服务将自动为图实例分配独享带宽的弹性IP，以支持通过弹性IP从互联网对图实例进行访问。同时，服务将使用租户权限在当前项目下自动创建以ges_agency_default为前缀的授权委托以支持弹性IP的绑定处理。 “使用已有”：为图实例绑定指定的弹性IP，通过弹性IP可以从互联网对图实例进行访问。 单击“创建弹性IP”可进入VPC服务创建弹性公网IP。 企业项目 企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。 在页面上单击“新建企业项目”跳转至“企业项目管理”页面进行创建。 标签 为资源添加标签。在输入框中，输入标签键和标签值，单击“添加”按钮即可将标签添加在标签框中。 添加后您可以在“图管理”页面的图详情中查看到给该图添加的标签，也可以在“图管理”页面中筛选同一标签下的图。 说明： 如果您需要使用同一标签标识多种云资源，即所有服务均可在标签输入框下拉选择同一标签，建议在TMS中创建预定义标签。 安全模式 开启安全模式后，访问图实例将进行通讯加密（表示调用API时只能采用HTTPS协议），该功能开启后对性能有一定的影响。 密码算法 有两种方式可供选择。 通用加密算法（不支持SM系列商密算法）：该状态下所有部件敏感数据存储、传输均使用通用加密算法。主要适用于国外局点和没有特殊算法需求的局点。 支持SM系列商密算法（兼容国际通用算法）：该状态下所有部件敏感数据存储使用SM系列商密算法，数据传输兼容SM系列商密算法和国际算法。 填写图相关参数。 图3 图相关参数 参数 说明 是否支持跨AZ高可用 该选项表示是否支持跨可用区部署集群。 开启该选项，图实例分布在不同可用区（AZ）增强可靠性。 用途 创建图的用途。 “企业生产”：支持高可靠，高并发，适合企业生产及大规模应用时使用。 “开发学习”：完整功能体验，适合开发者学习使用。 产品类型 可选的产品类型。 内存版：容量有限，最大可支持到百亿边。基于内存存储和计算，预置丰富的算法，支持Gremlin和Cypher查询语言。 持久化版：容量无限。基于分布式KV数据库做存储和计算的新一代图数据库，有更高的性能，仅支持Cypher查询语言。 点ID类型（当您选择产品类型为持久化版时，会有此选项） 持久化版目前支持固定长度String、可变长度String和哈希三种点ID类型。 String（固定长度）：实际点ID直接用于内部存储与计算，需指定一长度，实际点ID不可超过此长度。长度过大可能影响查询性能，建议根据数据集状态进行设置。 String（可变长度）：用户写入的点ID无长度限制，但是ID过长会影响读写性能，建议长度控制在1K字节以内，最大不要超过4K字节。 哈希：哈希格式下，内部计算时将实际点ID转换成哈希码进行存储与计算，对实际点ID长度无限制，但是存在极低的概率(约10^(-43))出现点ID碰撞。 说明： 若用户无法确定点ID的最大长度，建议选择哈希类型。 SortKey类型（当您选择产品类型为持久化版时，会有此选项） 通过配置不同SortKey的值来区分重复边（源点，终点，Label三者都相同的边）。有如下三种取值： 整数： 整数类型，可节省空间。 String（字节长度小于等于40）。 String（可变长度）：不限长度字符串，过长会影响读写性能，建议长度控制在1K字节以内，最大不要超过2K字节。 计算类型 计算类型。 弹性云服务器：是具有完整硬件、操作系统、网络功能，并且运行在一个完全隔离环境中的计算机系统。 CPU架构 CPU架构：目前支持“X86计算”和“鲲鹏计算”架构。 图规格（边数） 以边为单位，根据用户当前的配额，系统会提示可创建的图的数量以及边数。 “企业生产”和“开发学习”有不同的规格。 “开发学习”：目前只有“一万边”一种规格，无论在哪种产品类型下。 “企业生产”：产品类型不同，图规格不同。 “内存版”：目前可选择“一百万边”、“一千万边”、“一亿边”，“十亿边”，“十亿边-增强版”，“一百亿边”六种规格。 “持久化版”：目前可选择“十亿边”，“一百亿边”和“一千亿边”三种规格。 说明： 图的规模，以图的边数为依据，非精确值。如果图的点数和属性较多的话，建议您申请更大规模图。 “高级配置”：包括“默认配置”或“自定义”。 “默认配置”：选择系统设定的默认值。 “自定义”： 当您选择产品类型为“内存版”时，自定义包括“加密图实例”“启用细粒度权限控制”“多标签”和“多图”。 图4 内存版高级配置 参数 说明 加密图实例 是否对图实例进行加密。“密钥源”默认为“KMS”。“密钥名称”用于选择对应的密钥。 说明： KMS密钥的禁用或删除会影响实例的功能。 启用细粒度权限控制 开启后可对特定Label的特定属性设置遍历（traverse）、读、写权限。 多标签 开启该选项后，图中同一个点可以同时设置多个label。 说明： 仅内存版支持配置多标签开关。 不同label对应不同的属性，调用查询点详情API时会返回点上所有Label和对应属性的信息，属性过滤相关查询会对点上不同的Label都进行过滤。 多图 开启该选项后，默认支持多图集群，一个图集群下可以包含多个图实例，不同的图实例可以分配不同的数据，方便用户同时对多个图数据进行分析。 当您选择产品类型为“持久化版”时，自定义包括“是否支持HyG计算引擎”“启用细粒度权限控制”。 图5 持久化版高级配置 参数 说明 是否支持HyG计算引擎 HyG是一个高性能分布式图计算框架，支持了诸多图分析算法。如果用户有复杂的图分析场景，可以使用HyG引擎来完成。 启用细粒度权限控制 开启后可对特定Label的特定属性设置遍历（traverse）、读、写权限。 单击“确认创建”。进入“规格确认”页面。 在“规格确认”页面，确认信息无误后，单击“提交”开始创建图。 提交成功后系统将自动跳转到“完成”页面，单击“返回任务中心”可查看所创建图的状态及运行结果。 父主题： 创建图

GES系统策略 表1 GES系统策略 策略名称 描述 GES FullAccess 图引擎服务管理员权限，拥有该权限的用户拥有图引擎服务的全部权限，包括创建、删除、访问、升级等操作。 说明： 拥有该权限的用户需要同时拥有Tenant Guest、Server Administrator、VPC Administrator权限。 如果需要绑定/解绑EIP，则还需要拥有Security Administrator角色用于创建委托。Security Administrator角色权限较大，可以使用如下自定义策略替代："iam:agencies:listAgencies","iam:permissions:listRolesForAgency","iam:permissions:listRolesForAgencyOnProject","iam:permissions:listRolesForAgencyOnDomain" 资源操作依赖OBS，需要拥有OBS OperateAccess策略。（OBS是全局服务，对应的OBS策略需要在全局服务下查找）。 “企业项目”中配置GES FullAccess时，需要额外在IAM权限中配置如下策略权限： ecs:availabilityZones:list，请参考可用区管理。 ecs:cloudServerNics:update，请参考网卡管理。 GES Development 图引擎服务使用权限，拥有该权限的用户可以执行除了创建图、删除图、变更规格、扩副本以外所有操作。 说明： 如果需要绑定/解绑EIP，则还需要拥有Security Administrator角色用于创建委托。Security Administrator角色还可以使用自定义策略替代，自定义策略包含："iam:agencies:listAgencies","iam:permissions:listRolesForAgency","iam:permissions:listRolesForAgencyOnProject","iam:permissions:listRolesForAgencyOnDomain"。 资源操作依赖OBS，需要拥有OBS OperateAccess策略。（OBS是全局服务，对应的OBS策略需要在全局服务下查找）。 GES ReadOnlyAccess 图引擎服务资源只读权限，拥有该权限的用户只能做一些资源查看类的操作如查看图列表、查看元数据和查看备份等。 说明： 资源操作依赖OBS，需要拥有OBS OperateAccess策略。（OBS是全局服务，对应的OBS策略需要在全局服务下查找） 由于缓存的存在，对用户和用户组授予OBS相关的角色后，大概需要等待13分钟角色才能生效；授予策略后，大概需要等待5分钟策略才能生效。 表2 GES常用操作与系统策略的关系 操作 GES FullAccess GES Development GES ReadOnlyAccess 对应资源 查询图列表 √ √ √ - 查看图详情 √ √ √ graphName 创建图 √ x x graphName 访问图 √ √ x graphName 关闭图 √ √ x graphName 启动图 √ √ x graphName 删除图 √ x x graphName 增量导入图 √ √ x graphName 导出图 √ √ x graphName 清空图 √ √ x graphName 升级图 √ √ x graphName 变更规格 √ x x graphName 扩副本图 √ x x graphName 重启图 √ √ x graphName 绑定EIP √ √ x graphName 解绑EIP √ √ x graphName 查看所有备份列表 √ √ √ - 查看某个图的备份列表 √ √ √ - 新增备份 √ √ x backupName 删除备份 √ √ x backupName 查询元数据列表 √ √ √ - 查询元数据 √ √ √ metadataName 校验元数据 √ √ x - 新增元数据 √ √ x metadataName 删除元数据 √ √ x metadataName 查询任务状态 √ √ √ - 查询任务列表 √ √ √ - 图细粒度权限配置 √ √ x - 用户组配置 √ √ x - 导入IAM用户 √ √ x - 查看用户详情 √ √ √ - 父主题： 策略权限

图状态 图状态展示了处于不同状态的图数量，当前系统支持的状态如下。 表1 状态说明 状态 说明 运行中 表示正在运行的图，处于该状态的图可访问。 准备中 表示正在创建或正在启动ECS。 启动中 表示正在启动图。 停止中 表示正在停止的图。 升级中 表示正在升级的图。 导入中 表示正在导入的图。 导出中 表示正在导出的图。 回滚中 表示正在回滚的图。 清空中 表示正在清空的图。 变更规格准备中 表示正在创建或正在启动变更图规格。 变更规格中 表示正在变更图规格。 已停止 表示已停止的图，处于该状态的图不可继续访问。停止状态的图可以重新启动。 已冻结 表示用户的账户和资源被冻结。详情可参考账号中心。 说明： 用户账户被冻结后，只能做删除操作。 故障 表示出现故障的图，处于该状态的图不可访问。 失败 表示创建失败的图。

图规格 图规格展示了不同规格的图数量，当前系统支持8种规格。 当前图规格支持显示图名称及个数。 表2 规格介绍 规格 说明 一万 表示允许创建的图的边数不超过一万。 一百万 表示允许创建的图的边数不超过一百万。 一千万 表示允许创建的图的边数不超过一千万。 一亿 表示允许创建的图的边数不超过一亿。 十亿 表示允许创建的图的边数不超过十亿。 十亿增强 表示允许创建的图的边数不超过二十亿。 一百亿 表示允许创建的图的边数不超过百亿。 一千亿 表示允许创建的图的边数不超过千亿。

使用算法分析图 服务为您提供了丰富的基础图算法、图分析算法和图指标算法，您可以使用图算法做关系分析等。 使用算法分析图，具体操作如下： 进入图引擎编辑器页面，详细操作请参见访问图引擎编辑器。 在算法分析区，你可以选择算法，并设置参数。 图引擎服务支持的算法如算法一览表所示，详细算法介绍请参见算法参考。 图1 设置算法参数 对于用source（节点ID） 和target参数进行查询的算法，例如personalrank算法，k跳算法，最短路径算法等，支持按照属性查询点。当前该功能只支持图规格为内存版的图使用。 图2 查询点 单击运行算法分析，分析结束后您可以查询结果。 在图引擎编辑器页面上调用算法，由于受限于可视化呈现效果，仅截取了500个节点的结果进行显示。对于全局迭代性算法例如pagerank算法等，如果您想要获得全量的算法结果可以采用API方式调用，具体请参考算法API。 以模板中的电影数据为例，运行后得到的PageRank值如下图所示。 图3 查询分析结果 将参数进行调整后，再次运行算法得到的PagRank值不同，但TOP排序不会有明显差异。 挑出了最有影响力的两部电影，分别是ID Comedy和ID Action。 图4 调整参数 执行“关联预测”，分析上述两部电影的关联程度，关联度为0.029，说明很少有人同时看过这两部电影。 图5 关联分析 图6 关联分析结果 父主题： 访问图和分析图

新增图和删除图 创建完持久化版图集群后，进入图引擎编辑器页面，详细操作请参见访问图引擎编辑器。 在页面左上角，单击“新增图”按钮，在弹出的新增图窗口中填写图名称、选择点ID类型和SortKey类型。 图2 新增图 ID类型：目前支持固定长度String、可变长度String和哈希三种点ID类型。 String（固定长度）：实际点ID直接用于内部存储与计算，需指定一长度，实际点ID不可超过此长度。长度过大可能影响查询性能，建议根据数据集状态进行设置。选择固定长度String格式，还需填写点ID长度。 String（可变长度）：用户写入的点ID无长度限制，但是ID过长会影响读写性能，建议长度控制在1K字节以内，最大不要超过4K字节。 哈希格式下，内部计算时将实际点ID转换成哈希码进行存储与计算，对实际点ID长度无限制，但是存在极低的概率(约10^(-43))出现点ID碰撞。 若用户无法确定点ID的最大长度，建议选择哈希类型。 SortKey类型：选择SortKey的值类型，通过配置不同SortKey的值来区分重复边（源点，终点，Label三者都相同的边）。 整数：整数类型。 String（字节长度小于等于40）：导入大于40的SortKey将报错。 String（可变长度）：长度无限制，但是过长会影响读写性能，建议长度控制在1K字节以内，最大不要超过2K字节。 填写完成后，单击“确定”完成新增图操作。 若您需要删除某个图实例，可以单击“删除图”按钮，来完成删除图操作。

操作步骤 登录图引擎服务管理控制台。 在左侧导航栏，选择“图管理”。 在图管理列表中，选择需要导入数据的图，在“操作”列选择“导入”。 图1 导入数据 在弹出的导入提示框中，选择以下参数。 图集群（持久化版图会有此项）：持久化版的图在创建时会自动升级为多图集群，一个图集群下可以包含多个图实例，具体可参见多图管理（持久化版）。 元数据：可选择已有元数据或创建新的元数据，具体操作可参考创建元数据。 边数据集：选择对应的边数据集。 点数据集：选择对应的点数据集。若不选择，则以边数据集中的点作为点数据集来源。 日志存储路径：用于存储导入图过程中不符合元数据定义的点、边数据集和详细日志。存储在OBS中可能会产生费用，请及时删除。 边文件中包含SortKey（持久化版图有此选项）：通过配置不同SortKey的值来区分重复边（源点，终点，Label三者都相同的边）。 边处理：包括“允许重复边”，“忽略之后的重复边”，“覆盖之前的重复边”和“重复边忽略Label”。 边处理的具体含义如下： “边处理”：重复边默认起点和终点相同，当考虑label时，表示边的起点、终点和label相同才为重复边。 “允许重复边”：表示起点到终点之间可以有多条边。 “忽略之后的重复边”：表示起点和终点之间有多条边时，仅保留最先读入的那条边。 “覆盖之前的重复边”：表示起点和终点之间有多条边时，仅保留最后读入的那条边。 “重复边忽略Label”：忽略label时，表示边的起点、终点相同即为重复边。 导入类型：包括“在线导入”和“离线导入”。 持久化版图支持多图管理需要选择图名称，不支持导入类型。 边数据集和点数据集当前仅支持英文路径和文件夹格式。 目前只支持从OBS中选择边数据集和点数据集，建议您提前将数据文件存储至OBS中，导入OBS的操作请参见OBS《快速入门》。 所选边数据文件或点数据文件中的“Label”和“Label”中“Property”的顺序需与所选元数据文件中的一致，否则会提示“所选边数据/点数据文件与元数据文件不匹配”而无法创建图。关于GES图数据的格式的具体内容可参考图数据的格式。 图数据（包含元数据、边数据集、点数据集）需按照模板中的格式导入。模板中已包含一份电影数据，可单击“下载模板”后直接导入。 单击“确定”完成导入。

变更规格后对计费的影响 如果您在创建按需计费集群后变更了规格配置，会产生一个新订单并开始按新配置的价格计费，旧订单自动失效。 如果您在一个小时内变更了节点规格，将会产生多条计费信息。每条计费信息的开始时间和结束时间对应不同配置在该小时内的生效时间。 例如，您在9:00:00创建了一个按需计费集群，节点规格为dwsx2.8xlarge，并在9:30:00升配为dwsx2.16xlarge，那么在9:00:00 ~ 10:00:00间会产生两条计费信息。 第一条对应9:00:00 ~ 9:30:00，实例规格按照dwsx2.8xlarge计费。 第二条对应9:30:00 ~ 10:00:00，实例规格按照dwsx2.16xlarge计费。

计费示例 假设您在2023/04/18 9:59:30创建了一个按需计费GaussDB(DWS)集群（节点规格：dwsx2.2xlarge.m7，每节点热数据存储50GB），然后在2023/04/18 10:45:46将其删除，则： 第一个计费周期为9:00:00 ~ 10:00:00，在9:59:30 ~ 10:00:00间产生费用，该计费周期内的计费时长为30秒。 第二个计费周期为10:00:00 ~ 11:00:00，在10:00:00 ~ 10:45:46间产生费用，该计费周期内的计费时长为2746秒。 您需要为每个计费周期付费，各项DWS资源单独计费，计费公式如表2-3所示。产品价格详情中标出了资源的每小时价格，您需要将每小时价格除以3600，得到每秒价格。 表2 计费公式 资源类型 计费公式 资源单价 数据仓库节点 节点规格单价 * 计费时长 请参见GaussDB(DWS)价格详情中的“价格详情”。 快照存储空间 存储单价*存储量*计费时长 GaussDB(DWS) 提供了部分免费存储空间，用于存放您的快照数据，免费空间内不计费。当快照数据存储空间超过免费空间大小时，超出部分按照对象存储服务（OBS）的计费规则进行计费。 免费空间大小是您的集群的总存储空间大小，即单节点存储空间大小 x 节点数。 请参见OBS价格详情中的“价格详情”。 数据仓库服务磁盘存储 热数据存储容量单价*热数据存储容量*节点数量 *数据副本数量*计费时长 请参见GaussDB(DWS)价格详情中的“热数据存储资源”。 冷数据存储 冷数据存储容量单价*冷数据存储容量*节点数量 *数据副本数量*计费时长 冷数据采用OBS存储性价比高，按需或包周期集群均使用按需计费，无需提前购买。 公网带宽（可选） 按固定带宽值采用阶梯计费： 0Mbit/s~5Mbit/s（含）：均为一个统一的单价 大于5Mbit/s：按每Mbit/s计费 请参见弹性云服务器价格详情中的“带宽价格”，或者弹性公网IP价格详情。 弹性负载均衡ELB（可选） 按照您实际使用时长收取费用： LCU费用：根据独享型实例每小时使用的性能容量单位 (Loadbalancer Capacity Unit，简称LCU) 数计费。 实例费用：根据用户的独享型实例使用时长（不足1小时按实际使用时长计算）计费。 请参见弹性负载均衡价格详情中的“带宽价格”。 数据库加密密钥（可选） 密钥管理(KMS)： 密钥个数：按创建成功或导入成功的密钥实例进行按需计费，以小时为单位，不设最低消费标准。 API请求次数：免费请求次数为20000次，超出的部分进行计费，以万次为单位。 请参见数据加密服务价格详情中的“价格详情”。 下图给出了上述示例配置的费用计算过程。 图中价格仅供参考，实际计算请以GaussDB(DWS)价格详情中的价格为准。 图2 按需计费DWS费用计算示例

计费周期 按需计费GaussDB(DWS)资源按秒计费，每一个小时整点结算一次费用（以UTC+8时间为准），结算完毕后进入新的计费周期。计费的起点以GaussDB(DWS)集群创建成功的时间点为准，终点以集群删除时间为准。 集群从创建到启动需要一定时长，计费的起点是创建成功的时间点，而非创建时间。您可以在GaussDB(DWS)详情页“集群详情”页签查看这两个时间，创建成功的时间点对应界面上的“启动时间”。 例如，您在8:45:30创建了一个按需计费的GaussDB(DWS)集群，相关资源包括数据仓库节点、快照存储空间等，然后在8:55:00将其删除，则计费周期为8:00:00 ~ 9:00:00，在8:45:30 ~ 8:55:30间产生费用，该计费周期内的计费时长为600秒。

适用计费项 以下计费项支持按需计费： 表1 适用计费项 计费项 说明 数据仓库节点 对选择的节点规格按需计费，计费详情请参见GaussDB(DWS)价格详情。 快照存储空间 GaussDB(DWS)提供了部分免费存储空间，用于存放您的快照数据，免费空间内不计费。当快照数据存储空间超过免费空间大小时，超出部分按照对象存储服务（OBS）的计费规则进行计费，参见OBS价格详情。 免费空间大小是您的集群的总存储空间大小，即单节点存储空间大小 （副本）x 节点数。 数据仓库服务磁盘存储 按需计费集群在可选范围内自定义集群使用的存储类型与存储容量，采用存储资源独立计费的方式。 说明： 即创建集群以及创建成功后集群详情界面显示的热存储（含缓存）该存储为磁盘存储，与OBS存储不同。 冷数据存储 冷数据采用OBS存储性价比高，按需或包周期集群均使用按需计费，无需提前购买。 公网带宽（可选） 按需计费集群搭配“按带宽计费”的弹性公网IP时，带宽的计费模式同为按需计费，由弹性云服务器（Elastic Cloud Server，ECS）负责其计费。 弹性负载均衡 ELB（可选） 按需计费集群搭配“使用已有”的弹性负载均衡时，负载均衡的计费模式同为按需计费，由弹性负载均衡服务（ Elastic Load Balance，ELB）负责其计费。 数据库加密密钥（可选） 按需计费集群搭配“加密数据库”的功能时，密钥的计费模式同为按需计费，由数据加密服务（ Data Encryption Workshop，DEW）负责其计费。 假设您计划创建一个GaussDB(DWS)集群，开启数据库加密且选择“按带宽计费”的弹性公网IP和“使用已有”的弹性负载均衡。在创建数据仓库集群页面底部，您将看到参考价格，如下图所示： 图1 配置费用示例 配置费用将包括以下部分： 节点费用：根据所选节点规格和节点数量计算的费用。 存储费用：数据仓库服务磁盘存储费用。 公网带宽：根据所选带宽大小计算的费用，由ECS负责其计费。 弹性负载均衡：根据所选弹性负载均衡大小计算的费用，由ELB负责其计费。 数据库加密密钥：根据所选密钥计算的费用，由DEW负责其计费。

语音交互服务的区域如何选择 不同区域的资源之间内网不互通。为保证网络的连通性，降低网络时延、提高访问速度，请选择靠近您客户的区域，当前语音服务支持北京和上海区域，后续会陆续上线其他区域，当前支持的区域请参见地区与终端节点。 华北-北京四，为推荐的区域，支持一句话识别、录音文件识别、实时语音识别、语音合成和热词等接口。 华东-上海一，推荐的区域，支持一句话识别、录音文件识别、实时语音识别、语音合成和热词等接口。 父主题： 区域与可用区

Token消息体中user name，domain name和project name分别指的是什么 user name指用户名称，domain name指用户所属的账号名称。如果是账号获取token，账号的user name和domain name相同。如果是IAM用户获取token（账号可以创建多个IAM用户），user name和domain name不相同，user name为实际的用户名称。 project name指项目名称，如“cn-north-4”。。 父主题： API使用类

终端节点 终端节点即调用API的请求地址，不同服务不同区域的终端节点不同。 目前语音交互服务一句话识别、录音文件识别支持以下地区和终端节点： 当前服务仅支持北京和上海区域，后续会陆续上线其他区域。 华北-北京四，推荐的区域，支持一句话识别、录音文件识别、实时语音识别、语音合成和热词等接口。 华东-上海一，推荐的区域，支持一句话识别、录音文件识别、实时语音识别、语音合成和热词等接口 。 一句话识别，录音文件识别支持的终端节点： 表1 一句话识别、录音文件识别 区域名称 区域 终端节点（Endpoint） 协议类型 华北-北京四 cn-north-4 sis-ext.cn-north-4.myhuaweicloud.com sis-ext.cn-north-4.myhuaweicloud.cn https 华东-上海一 cn-east-3 sis-ext.cn-east-3.myhuaweicloud.com sis-ext.cn-east-3.myhuaweicloud.cn https 实时语音识别( RASR)支持的终端节点： 表2 实时语音识别 区域名称 区域 终端节点（Endpoint） 协议类型 华北-北京四 cn-north-4 sis-ext.cn-north-4.myhuaweicloud.com sis-ext.cn-north-4.myhuaweicloud.cn Websocket 华东-上海一 cn-east-3 sis-ext.cn-east-3.myhuaweicloud.com sis-ext.cn-east-3.myhuaweicloud.cn Websocket 语音合成支持的终端节点： 表3 语音合成 区域名称 区域 终端节点（Endpoint） 协议类型 华北-北京四 cn-north-4 sis-ext.cn-north-4.myhuaweicloud.com sis-ext.cn-north-4.myhuaweicloud.cn https 华东-上海一 cn-east-3 sis-ext.cn-east-3.myhuaweicloud.com sis-ext.cn-east-3.myhuaweicloud.cn https 实时语音合成服务支持的终端节点： 表4 实时语音合成 区域名称 区域 终端节点（Endpoint） 协议类型 华北-北京四 cn-north-4 sis-ext.cn-north-4.myhuaweicloud.com sis-ext.cn-north-4.myhuaweicloud.cn Websocket 华东-上海一 cn-east-3 sis-ext.cn-east-3.myhuaweicloud.com sis-ext.cn-east-3.myhuaweicloud.cn Websocket 热词（一句话识别、录音文件识别、实时语音识别中的热词）支持服务终端： 表5 热词： 区域名称 区域 终端节点（Endpoint） 协议类型 华北-北京四 cn-north-4 sis-ext.cn-north-4.myhuaweicloud.com sis-ext.cn-north-4.myhuaweicloud.cn https 华东-上海一 cn-east-3 sis-ext.cn-east-3.myhuaweicloud.com sis-ext.cn-east-3.myhuaweicloud.cn https 父主题： 使用前必读

使用华为云原生服务保障安全性 华为云原生服务提供多个特性来保障安全性。 数据库 云数据库服务RDS具有完善的性能监控体系和多重安全防护措施，并提供了专业的数据库管理平台，让用户能够在云上轻松的进行设置和扩展云数据库。通过云数据库RDS服务的管理控制台，用户无需编程就可以执行所有必需任务，简化运营流程，减少日常运维工作量，从而专注于开发应用和业务发展。 应用中间件 分布式缓存服务DCS提供多个特性来保障租户数据的可靠性和安全性，例如VPC、安全组、白名单、公网访问SSL加密连接、自动备份、数据快照和跨可用区部署等。

准备工作 本地已安装PyCharm 2019.2或以上版本，推荐Windows版本，社区版或专业版均可，请单击PyCharm工具下载地址获取工具并在本地完成安装。 使用PyCharm ToolKit远程连接Notebook开发环境，仅限PyCharm专业版。 使用PyCharm ToolKit提交训练作业，社区版和专业版都支持。 已注册华为账号并开通华为云，且在使用ModelArts前检查账号状态，账号不能处于欠费或冻结状态。 已创建当前使用账号的访问密钥，并获得对应的AK和SK。如果未创建，请参见创建访问密钥（AK和SK）。 当前账号已完成访问授权的配置。如未完成，请参考使用委托授权。

步骤2：使用PyCharm进行本地开发调试 下载代码至本地 本案例中，以图像分类模型resnet50模型为例，路径为“./models/official/cv/resnet/” # 在本地电脑Terminal下载代码至本地 git clone https://gitee.com/mindspore/models.git -b v1.5.0 图3 下载代码至本地 配置本地PC开发环境 修改“models/official/cv/resnet/requirements.txt”文件，改为： numpy==1.17.5 scipy==1.5.4 easydict==1.9 执行pip命令安装： # 在PyCharm的Terminal安装mindspore pip install mindspore==1.7.0 --trusted-host https://repo.huaweicloud.com -i https://repo.huaweicloud.com/repository/pypi/simple # 在PyCharm的Terminal安装resnet依赖 pip install -r .\official\cv\resnet\requirements.txt --trusted-host https://repo.huaweicloud.com -i https://repo.huaweicloud.com/repository/pypi/simple 图4 安装resnet依赖 准备数据集 本样例使用的数据集为类别数为五类的花卉识别数据集，下载数据集并解压数据到工程目录。新建dataset文件夹，将解压后数据集保存在dataset文件夹下。 图5 准备数据集 配置PyCharm解释器和入参 单击右上角“Current File”，选择“Edit Configuration”，打开“Run/Debug Configuration”对话框。在对话框中单击“+”，选择“Python”。 图6 前往PyCharm解释器 “Script path”选择train.py文件，“Parameters”命令如下所示，并选择Python解释器，然后单击“OK”： --net_name=resnet50 --dataset=imagenet2012 --data_path=../../../dataset/flower_photos/ --class_num=5 --config_path=./config/resnet50_imagenet2012_config.yaml --epoch_size=1 --device_target="CPU" 图7 配置PyCharm解释器 根据README说明文档，配置Parameter参数device_target="CPU"表示CPU环境运行，device_target="Ascend"表示在Ascend环境运行。 本地代码开发调测 一般本地CPU算力较低并且内存较小，可能出现内存溢出的报错，因此可以把“models/official/cv/resnet/config/resnet50_imagenet2012_config.yaml”的“batch_size”由“256”改为“32”，使得训练作业可以快速运行。 图8 修改batch_size AI开发过程中的数据集开发及模型开发是和硬件规格无关的，而且这一部分的开发耗时是最长的，因此可以先在本地PC的CPU环境进行数据集和模型开发调试。 本例中，因为样例代码已经支持在CPU上进行训练，因此用户能够在CPU上完成整个训练流程。如果代码只支持在GPU或者Ascend上训练，那么可能会报错，需要使用Notebook进行云端调试。 设置断点后单击“调试”，可实现代码逐步调试，查看中间变量值。 图9 “调试”按钮 图10 通过设置断点实现代码调试 可单击“运行”按钮，通过日志观察是否能正常训练。 图11 “运行”按钮 图12 训练日志

子用户启动其他用户的SSH实例 子用户可以看到所有用户的Notebook实例后，如果要通过SSH方式远程连接其他用户的Notebook实例，需要将SSH密钥对更新成自己的，否则会报错ModelArts.6786。更新密钥对具体操作请参见修改Notebook SSH远程连接配置。 具体的错误信息提示：ModelArts.6789: 在ECS密钥对管理中找不到指定的ssh密钥对xxx，请更新密钥对并重试。

应用场景 Notebook等线上开发工具工程化开发体验不如IDE，但是本地开发服务器等资源有限，运行和调试环境大多使用团队公共搭建的CPU或GPU服务器，并且是多人共用，这带来一定的环境搭建和维护成本。因此使用本地IDE+远程Notebook结合的方式，可以同时享受IDE工程化开发和云上资源的即开即用，优势互补，满足开发者需求。 VS Code在Python项目开发中提供了优秀的代码编辑、调试、远程连接和同步能力，在开发者中广受欢迎。本文以Ascend Model Zoo为例，介绍如何通过VS Code插件及ModelArts Notebook进行云端数据调试及模型开发。

训练脚本mindspore-verification.py文件 mindspore-verification.py文件内容如下： import os import numpy as np from mindspore import Tensor import mindspore.ops as ops import mindspore.context as context print('Ascend Envs') print('------') print('JOB_ID: ', os.environ['JOB_ID']) print('RANK_TABLE_FILE: ', os.environ['RANK_TABLE_FILE']) print('RANK_SIZE: ', os.environ['RANK_SIZE']) print('ASCEND_DEVICE_ID: ', os.environ['ASCEND_DEVICE_ID']) print('DEVICE_ID: ', os.environ['DEVICE_ID']) print('RANK_ID: ', os.environ['RANK_ID']) print('------') context.set_context(device_target="Ascend") x = Tensor(np.ones([1,3,3,4]).astype(np.float32)) y = Tensor(np.ones([1,3,3,4]).astype(np.float32)) print(ops.add(x, y))

断点续训练操作过程 baichuan2-13b的断点续训脚本baichuan2.sh，存放在“6.3.904-Ascend/llm_train/AscendSpeed/scripts/baichuan2”目录下。 执行命令如下，进入AscendSpeed代码目录。 cd /home/ma-user/ws/6.3.904-Ascend/llm_train/AscendSpeed/ 在AscendSpeed代码目录下执行断点续训练脚本。 单机启动 MODEL_TYPE=13B RUN_TYPE=retrain DATA_PATH= /home/ma-user/ws/processed_for_ma_input/BaiChuan2-13B/data/retrain/alpaca_text_document TOKENIZER_MODEL=/home/ma-user/ws/tokenizers/BaiChuan2-13B/tokenizer.model CKPT_LOAD_DIR=/home/ma-user/ws/saved_dir_for_ma_output/BaiChuan2-13B/pretrain TRAIN_ITERS=300 MBS=1 GBS=16 TP=8 PP=1 sh scripts/baichuan2/baichuan2.sh 多机启动 以baichuan2-13b为例，多台机器执行训练启动命令如下。多机启动需要在每个节点上执行,已双机为例。 #第一台节点 MASTER_ADDR=xx.xx.xx.xx NNODES=2 NODE_RANK=0 MODEL_TYPE=13B RUN_TYPE=retrain DATA_PATH=/home/ma-user/ws/processed_for_ma_input/BaiChuan2-13B/data/pretrain/alpaca_text_document TOKENIZER_MODEL=/home/ma-user/code/model/Baichuan2-13B-Chat/tokenizer.model CKPT_LOAD_DIR=/home/ma-user/ws/saved_dir_for_ma_output/BaiChuan2-13B/pretrain TRAIN_ITERS=300 MBS=2 GBS=32 TP=8 PP=2 sh scripts/baichuan2/baichuan2.sh ... ... # 第二台节点 MASTER_ADDR=xx.xx.xx.xx NNODES=2 NODE_RANK=1 MODEL_TYPE=13B RUN_TYPE=retrain DATA_PATH=/home/ma-user/ws/processed_for_ma_input/BaiChuan2-13B/data/pretrain/alpaca_text_document TOKENIZER_MODEL=/home/ma-user/ws/tokenizers/BaiChuan2-13B/tokenizer.model CKPT_LOAD_DIR=/home/ma-user/ws/saved_dir_for_ma_output/BaiChuan2-13B/pretrain TRAIN_ITERS=300 MBS=2 GBS=32 TP=8 PP=2 sh scripts/baichuan2/baichuan2.sh 以上命令多台机器执行时，只有${NODE_RANK}：节点ID值不同，其他参数都保持一致。 其中MASTER_ADDR、NODE_RANK、MODEL_TYPE 、RUN_TYPE、DATA_PATH、TOKENIZER_MODEL、CKPT_LOAD_DIR为必填；TRAIN_ITERS、MBS、GBS、TP、PP、WORK_DIR为非必填，有默认值。 图1 保存的ckpt 可以参考查看日志和性能操作，查看断点续训练日志和性能。