华为云用户手册

新旧版训练代码适配的差异 旧版训练中，用户需要在输入输出数据上做如下配置： #解析命令行参数 import argparse parser = argparse.ArgumentParser(description='MindSpore Lenet Example') parser.add_argument('--data_url', type=str, default="./Data", help='path where the dataset is saved') parser.add_argument('--train_url', type=str, default="./Model", help='if is test, must provide\ path where the trained ckpt file') args = parser.parse_args() ... #下载数据参数至容器本地，在代码中使用local_data_path代表训练输入位置 mox.file.copy_parallel(args.data_url, local_data_path) ... #上传容器本地数据至obs路径 mox.file.copy_parallel(local_output_path, args.train_url)

新旧版训练预置引擎差异 新版的预置训练引擎默认安装Moxing2.0.0及以上版本。 新版的预置训练引擎统一使用了Python3.7及以上版本。 新版镜像修改了默认的HOME目录，由“/home/work”变为“/home/ma-user”，请注意识别训练代码中是否有“/home/work”的硬编码。 提供预置引擎类型有差异。新版的预置引擎在常用的训练引擎上进行了升级。 如果您需要使用旧版训练引擎，单击显示旧版引擎即可选择旧版引擎。新旧版支持的预置引擎差异请参考表1。详细的训练引擎版本说明请参考新版训练和旧版训练分别支持的AI引擎。 表1 新旧版预置引擎差异 工作环境 预置训练I引擎与版本 旧版训练 新版训练 TensorFlow Tensorflow-1.8.0 √ x Tensorflow-1.13.1 √ 后续版本支持 Tensorflow-2.1.0 √ √ MXNet MXNet-1.2.1 √ x Caffe Caffe-1.0.0 √ x Spark_MLlib Spark-2.3.2 √ x Ray RAY-0.7.4 √ x XGBoost-Sklearn XGBoost-0.80-Sklearn-0.18.1 √ x PyTorch PyTorch-1.0.0 √ x PyTorch-1.3.0 √ x PyTorch-1.4.0 √ x PyTorch-1.8.0 x √ Ascend-Powered-Engine Mindspore-1.3.0 √ x Mindspore-1.7.0 x √ Tensorflow-1.15 √ √ MPI MindSpore-1.3.0 x √ Horovod horovod_0.20.0-tensorflow_2.1.0 x √ horovod_0.22.1-pytorch_1.8.0 x √ MindSpore-GPU MindSpore-1.1.0 √ x MindSpore-1.2.0 √ x

新旧版创建训练作业方式差异 旧版训练支持使用“算法管理”（包含已保存的算法和订阅的算法）、“常用框架”、“自定义”（即自定义镜像）方式创建训练作业。 新版训练支持使用“自定义算法”、“我的算法”、“我的订阅”方式来创建训练作业。 新版训练的创建方式有了更明确的类别划分，选择方式和旧版训练存在区别。 旧版中使用“算法管理”中已保存的算法创建训练作业的用户，可以在新版训练中使用“我的算法”创建训练作业。 旧版中使用“算法管理”中订阅的算法创建训练作业的用户，可以在新版训练中使用“我的订阅”创建训练作业。 旧版中使用“常用框架”创建训练作业的用户，可以在新版训练中使用“自定义算法”创建训练作业（启动方式选择“预置框架”）。 旧版中使用“自定义”（即自定义镜像）创建训练作业的用户，可以在新版训练中使用“自定义算法”创建训练作业（启动方式选择“自定义”）。

支持哪些型号的Ascend芯片？ 目前支持Ascend Snt3和Snt9。Ascend应用案例请参见Ascend应用样例。 模型训练：支持使用Snt9训练模型。其中ModelArts提供了可直接使用Snt9训练的算法。 模型推理：在ModelArts中将模型部署上线为在线服务时，支持使用Snt3规格资源进行模型推理。 模型转换：针对不适用于Ascend芯片的模型，您可以使用ModelArts转换模型，转换后的模型可以应用于Ascend芯片，当前ModelArts转换的模型支持Ascend Snt3芯片。在ModelArts中，转换模型仅支持使用Caffe或TensorFlow框架开发的模型。 父主题： 一般性问题

训练作业参数填写应该注意什么？ 训练作业参数填写需要您注意以下几点： 如果已配置算法来源和数据来源，则下方的运行参数，将根据选择的对象自动填写“data_url”，无法直接在运行参数中直接修改。 图1 自动填充的运行参数 在创建训练作业配置运行参数时，只需要填写对应的参数与参数值，如图2所示。 图2 配置运行参数 训练作业中的参数值为OBS桶路径时，需要使用数据对应的路径，且以“obs://”开头。如图3所示。 图3 配置参数OBS路径 在代码中创建OBS文件夹时，需要调用MoXing的API，具体方法如下： import moxing as mox mox.file.make_dirs('obs://bucket_name/sub_dir_0/sub_dir_1') 父主题： 创建训练作业

Notebook无法执行代码，如何处理？ 当Notebook出现无法执行时，您可以根据如下几种情况判断并处理。 如果只是Cell的执行过程卡死或执行时间过长，如图1中的第2个和第3个Cell，导致第4个Cell无法执行，但整个Notebook页面还有反应，其他Cell也还可以单击，则直接单击下图中红色方框处的“interrupt the kernel”，停止所有Cell的执行，同时会保留当前Notebook中的所有变量空间。 图1 停止所有Cell 如果整个Notebook页面也已经无法使用，单击任何地方都无反应，则关闭Notebook页面，关闭ModelArts管理控制台页面。然后，重新打开管理控制台，打开之前无法使用的Notebook，此时的Notebook仍会保留无法使用之前的所有变量空间。 如果重新打开的Notebook仍然无法使用，则进入ModelArts管理控制台页面的Notebook列表页面，“停止”此无法使用的Notebook。待Notebook处于“停止”状态后，再单击“启动”，重新启动此Notebook，并打开Notebook。此时，Notebook仍会保留无法使用之前的所有变量空间。 父主题： 代码运行常见错误

优化方式 以TensorFlow代码为例。 优化前代码如下所示： 1 2 3 4 ... tf.flags.DEFINE_string('data_url', '', 'dataset directory.') FLAGS = tf.flags.FLAGS mnist = input_data.read_data_sets(FLAGS.data_url, one_hot=True) 优化后的代码示例如下，将数据复制至“/cache”目录。 1 2 3 4 5 6 7 ... tf.flags.DEFINE_string('data_url', '', 'dataset directory.') FLAGS = tf.flags.FLAGS import moxing as mox TMP_CACHE_PATH = '/cache/data' mox.file.copy_parallel('FLAGS.data_url', TMP_CACHE_PATH) mnist = input_data.read_data_sets(TMP_CACHE_PATH, one_hot=True)

优化原理 对于ModelArts提供的GPU资源池，每个训练节点会挂载500GB的NVMe类型SSD提供给用户免费使用。此SSD挂载到“/cache”目录，“/cache”目录下的数据生命周期与训练作业生命周期相同，当训练作业运行结束以后“/cache”目录下面所有内容会被清空，腾出空间，供下一次训练作业使用。因此，可以在训练过程中将数据从OBS复制到“/cache”目录，然后每次从“/cache”目录读取数据，直到训练结束。训练结束以后“/cache”目录的内容会自动被清空。

JupyterLab目录的文件、Terminal的文件和OBS的文件之间的关系 JupyterLab目录的文件与Terminal中work目录下的文件相同。即用户在Notebook中新建的，或者是从OBS目录中同步的文件。 挂载OBS存储的Notebook，JupyterLab目录的文件可以与OBS的文件进行同步，使用JupyterLab文件上传下载功能。Terminal的文件与JupyterLab目录的文件相同。 挂载EVS存储的Notebook，JupyterLab目录的文件可使用Moxing接口或SDK接口，读取OBS中的文件。Terminal的文件与JupyterLab目录的文件相同。 父主题： 更多功能咨询

安装文件规范 请根据依赖包的类型，在代码目录下放置对应文件： 依赖包为开源安装包时 暂时不支持直接从github的源码中安装。 在“代码目录”中创建一个命名为“pip-requirements.txt”的文件，并且在文件中写明依赖包的包名及其版本号，格式为“包名==版本号”。 例如，“代码目录”对应的OBS路径下，包含模型文件，同时还存在“pip-requirements.txt”文件。“代码目录”的结构如下所示： |---模型启动文件所在OBS文件夹 |---model.py #模型启动文件。 |---pip-requirements.txt #定义的配置文件，用于指定依赖包的包名及版本号。 “pip-requirements.txt”文件内容如下所示： alembic==0.8.6 bleach==1.4.3 click==6.6 依赖包为whl包时 如果训练后台不支持下载开源安装包或者使用用户编译的whl包时，由于系统无法自动下载并安装，因此需要在“代码目录”放置此whl包，同时创建一个命名为“pip-requirements.txt”的文件，并且在文件中指定此whl包的包名。依赖包必须为“.whl”格式的文件。 例如，“代码目录”对应的OBS路径下，包含模型文件、whl包，同时还存在“pip-requirements.txt”文件。“代码目录”的结构如下所示： |---模型启动文件所在OBS文件夹 |---model.py #模型启动文件。 |---XXX.whl #依赖包。依赖多个时，此处放置多个。 |---pip-requirements.txt #定义的配置文件，用于指定依赖包的包名。 “pip-requirements.txt”文件内容如下所示： numpy-1.15.4-cp36-cp36m-manylinux1_x86_64.whl tensorflow-1.8.0-cp36-cp36m-manylinux1_x86_64.whl

解析输入路径参数、输出路径参数 运行在ModelArts的模型读取存储在OBS服务的数据，或者输出至OBS服务指定路径，输入和输出数据需要配置3个地方： 训练代码中需解析输入路径参数和输出路径参数。ModelArts推荐以下方式实现参数解析。 1 2 3 4 5 6 7 8 9 10 import argparse # 创建解析 parser = argparse.ArgumentParser(description="train mnist", formatter_class=argparse.ArgumentDefaultsHelpFormatter) # 添加参数 parser.add_argument('--train_url', type=str, help='the path model saved') parser.add_argument('--data_url', type=str, help='the training data') # 解析参数 args, unknown = parser.parse_known_args() 完成参数解析后，用户使用“data_url”、“train_url”代替算法中数据来源和数据输出所需的路径。 在使用预置框架创建算法时，根据1中的代码参数设置定义的输入输出参数。 训练数据是算法开发中必不可少的输入。“输入”参数建议设置为“data_url”，表示数据输入来源，也支持用户根据1的算法代码自定义代码参数。 模型训练结束后，训练模型以及相关输出信息需保存在OBS路径。“输出”数据默认配置为模型输出，代码参数为“train_url”，也支持用户根据1的算法代码自定义输出路径参数。 在创建训练作业时，填写输入路径和输出路径。 训练输入选择对应的OBS路径或者数据集路径，训练输出选择对应的OBS路径。

在Terminal中安装 在Terminal里激活需要的anaconda python环境后再进行安装。 例如，通过terminal在“TensorFlow-1.8”的环境中使用pip安装Shapely。 在总览页面进入CodeLab。 在“Other”区域下，选择“Terminal”，新建一个terminal文件。 在代码输入栏输入以下命令，获取当前环境的kernel，并激活需要安装依赖的python环境。 cat /home/ma-user/README source /home/ma-user/anaconda3/bin/activate TensorFlow-1.8 如果需要在其他python环境里安装，请将命令中“TensorFlow-1.8”替换为其他引擎。 在代码输入栏输入以下命令安装Shapely。 pip install Shapely

解决方法 参考如下示例进行图片显示。注意opencv加载的是BGR格式， 而matplotlib显示的是RGB格式。 Python语言： 1 2 3 4 5 6 from matplotlib import pyplot as plt import cv2 img = cv2.imread('图片路径') plt.imshow(cv2.cvtColor(img, cv2.COLOR_BGR2RGB)) plt.title('my picture') plt.show()

Step3 在TMS中根据资源类型查询ModelArts资源使用情况 登录TMS控制台，在资源标签页面根据资源类型和资源标签查询指定区域的资源任务。 区域：使用华为云的具体Region，区域概念请参见什么是区域、可用区？ 资源类型：ModelArts支持查询的资源类型如表1所示。 资源标签：不填写标签时，表示查询所有资源，无论此资源是否有配置标签。选择相应标签查询资源，用户可以通过多个标签组合查询资源使用情况。 表1 ModelArts的资源类型 资源类型 说明 ModelArts-Notebook ModelArts的开发环境Notebook对应的资源类型。 ModelArts-TrainingJob ModelArts的训练作业对应的资源类型。 ModelArts-RealtimeService ModelArts的推理在线服务对应的资源类型。 ModelArts-ResourcePool ModelArts的专属资源池对应的资源类型。 如您的组织已经设定ModelArts的相关标签策略，则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则，则可能会导致资源创建失败，请联系组织管理员了解标签策略详情。

Step2 在ModelArts任务中添加标签 在ModelArts中创建Notebook、创建训练作业、创建推理在线服务时，对这些任务配置标签。 在ModelArts的Notebook中添加标签。 可以在创建Notebook页面添加标签，也可以在已经创建完成的Notebook详情页面的“标签”页签中添加标签。 在ModelArts的训练作业中添加标签。 可以在创建训练作业页面添加标签，也可以在已经创建完成的训练作业详情页面的“标签”页签中添加标签。 在ModelArts的在线服务中添加标签。 可以在创建在线服务页面添加标签，也可以在已经创建完成的在线服务详情页面的“标签”页签中添加标签。 图1 添加标签 用户也可以在ModelArts任务中添加标签时，创建新的标签，直接输入标签键和标签值即可。此处创建的标签仅当前的项目Project可见。不同的项目中查看不到。

欠拟合的解决方法有哪些？ 模型复杂化。 对同一个算法复杂化。例如回归模型添加更多的高次项，增加决策树的深度，增加神经网络的隐藏层数和隐藏单元数等。 弃用原来的算法，使用一个更加复杂的算法或模型。例如用神经网络来替代线性回归，用随机森林来代替决策树。 增加更多的特征，使输入数据具有更强的表达能力。 特征挖掘十分重要，尤其是具有强表达能力的特征，可以抵过大量的弱表达能力的特征。 特征的数量并非重点，质量才是，总之强表达能力的特征最重要。 能否挖掘出强表达能力的特征，还在于对数据本身以及具体应用场景的深刻理解，这依赖于经验。 调整参数和超参数。 神经网络中：学习率、学习衰减率、隐藏层数、隐藏层的单元数、Adam优化算法中的β1和β2参数、batch_size数值等。 其他算法中：随机森林的树数量，k-means中的cluster数，正则化参数λ等。 增加训练数据作用不大。 欠拟合一般是因为模型的学习能力不足，一味地增加数据，训练效果并不明显。 降低正则化约束。 正则化约束是为了防止模型过拟合，如果模型压根不存在过拟合而是欠拟合了，那么就考虑是否降低正则化参数λ或者直接去除正则化项。 父主题： 功能咨询

相关最大连接数配置 如果GaussDB连接数过高，会消耗服务器大量资源，导致操作响应变慢，参考以下几个参数进行优化，具体内容请参见连接设置： max_connections：允许和数据库连接的最大并发连接数，此参数会影响集群的并发能力。 max_inner_tool_connections：允许和数据库连接的工具的最大并发连接数，此参数会影响GaussDB的工具连接并发能力。 sysadmin_reserved_connections：为管理员用户预留的最少连接数，不建议设置过大。该参数和max_connections参数配合使用，管理员用户的最大连接数等于max_connections + sysadmin_reserved_connections。 该参数属于POSTMASTER类型参数，具体内容请参见设置参数中对应设置方法进行设置。 父主题： 安全介绍

产品生命周期 生命周期是指LakeFormation实例从创建到删除（或释放）历经的各种状态。LakeFormation各状态说明请参考表1。 表1 LakeFormation状态说明 状态 说明 资源准备中 创建LakeFormation实例后，LakeFormation实例状正在进行资源准备。 资源准备失败 创建LakeFormation实例后，LakeFormation实例准备资源失败。 运行中 LakeFormation实例正常运行状态。在这个状态的实例可以运行您的业务。 资源释放中 执行删除LakeFormation实例操作后，资源正在进行释放。 删除中 触发删除LakeFormation实例后，在LakeFormation实例在彻底被删除之前的状态。 已删除 LakeFormation实例已经删除成功。 恢复中 已删除的实例正在从回收站中恢复。 冻结 如果您的账号因为欠费或者违规，LakeFormation实例将被冻结。此时该实例处于只读状态，不能进行修改和删除操作。

LakeFormation服务权限 默认情况下，管理员创建的IAM用户没有任何权限，需要将其加入用户组，并给用户组授予策略或角色，才能使得用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于被授予的权限对云服务进行操作。 LakeFormation授权时，在全局级服务中设置权限，不需要切换区域。 权限根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系，因此给用户授予角色时，可能需要一并授予依赖的其他角色，才能正确完成业务。角色并不能满足用户对精细化授权的要求，无法完全达到企业对权限最小化的安全管控要求。 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：针对LakeFormation服务，管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。 表1 LakeFormation细粒度权限 操作类型 操作项 描述 只读 lakeformation:instance:describe 查询LakeFormation实例的权限。 lakeformation:catalog:describe 查询LakeFormation元数据的数据目录的权限。 lakeformation:database:describe 查询LakeFormation元数据的数据库的权限。 lakeformation:table:describe 查询LakeFormation元数据的数据表的权限。 lakeformation:function:describe 查询LakeFormation元数据的函数的权限。 lakeformation:policy:describe 查询LakeFormation权限策略的权限。 lakeformation:policy:export 批量查询LakeFormation权限策略的权限。 lakeformation:agency:describe 查询LakeFormation委托的权限。 lakeformation:credential:describe 获取访问LakeFormation认证信息的权限。 lakeformation:group:describe 查询LakeFormation用户组以及关联角色关系的权限。 lakeformation:user:describe 查询LakeFormation用户以及关联角色关系的权限。 lakeformation:role:describe 查询LakeFormation角色的权限。 lakeformation:configuration:describe 查询用户配置的权限。 lakeformation:access:describe 查询LakeFormation接入客户端的权限。 lakeformation:job:describe 查询LakeFormation任务的权限。 写 lakeformation:instance:create 创建LakeFormation实例的权限。 lakeformation:role:create 创建LakeFormation角色的权限。 lakeformation:policy:create 创建LakeFormation权限策略的权限。 lakeformation:function:create 创建LakeFormation元数据的函数的权限。 lakeformation:catalog:create 创建LakeFormation元数据的数据目录的权限。 lakeformation:database:create 创建LakeFormation元数据的数据库的权限。 lakeformation:table:create 创建LakeFormation元数据的数据表的权限。 lakeformation:access:create 创建LakeFormation接入客户端的权限。 lakeformation:agency:create 创建LakeFormation委托的权限。 lakeformation:job:create 创建LakeFormation任务的权限。 lakeformation:instance:alter 修改LakeFormation实例的权限。 lakeformation:catalog:alter 修改LakeFormation元数据的数据目录的权限。 lakeformation:database:alter 修改LakeFormation元数据的数据库的权限。 lakeformation:table:alter 修改LakeFormation元数据的数据表的权限。 lakeformation:function:alter 修改LakeFormation元数据的函数的权限。 lakeformation:role:alter 修改LakeFormation角色以及关联用户组关系的权限。 lakeformation:group:alter 修改LakeFormation用户组以及关联角色关系的权限。 lakeformation:user:alter 修改LakeFormation用户以及关联角色关系的权限。 lakeformation:job:alter 修改LakeFormation任务的权限。 lakeformation:instance:drop 删除LakeFormation实例的权限。 lakeformation:role:drop 删除LakeFormation角色的权限。 lakeformation:policy:drop 删除LakeFormation权限策略权限。 lakeformation:function:drop 删除LakeFormation元数据的函数的权限。 lakeformation:catalog:drop 删除LakeFormation元数据的数据目录的权限。 lakeformation:database:drop 删除LakeFormation元数据的数据库的权限。 lakeformation:table:drop 删除LakeFormation元数据的数据表的权限。 lakeformation:access:delete 删除LakeFormation接入客户端的权限。 lakeformation:agency:drop 删除LakeFormation委托的权限。 lakeformation:job:drop 删除LakeFormation任务的权限。 lakeformation:transaction:operate 操作LakeFormation事务的权限。 lakeformation:instance:access 查询或申请接入LakeFormation实例的权限。 lakeformation:job:exec 执行LakeFormation任务的权限。 表2 LakeFormation系统权限 系统角色/策略名称 描述 类别 依赖关系 LakeFormation FullAccess LakeFormation管理员权限，拥有该权限的用户可以操作并使用所有LakeFormation服务功能。 系统策略 无 LakeFormation ReadOnlyAccess LakeFormation只读权限，拥有该权限的用户可以执行LakeFormation所有查询类功能。 系统策略 无 LakeFormation CommonAccess LakeFormation基础权限，包含LakeFormation服务协议查看/授权/取消，以及OBS、TMS等周边依赖服务的基础权限集合。 系统策略 无

到期与欠费 用户欠费后，可以查看欠费详情。为防止相关资源被停止或者释放，需要用户及时进行充值。如果账户余额不足，账号将进入欠费状态，需要在约定时间内支付欠款，详细操作请参考欠费还款。 如果没有及时的进行续费或充值，将进入宽限期。如宽限期满仍未续费或充值，将进入保留期。在保留期内资源将停止服务。保留期满仍未续费或充值，存储在云服务中的数据将被删除、云服务资源将被释放。详细说明请参考“资源停止服务或逾期释放说明”。宽限期与保留期的具体规则请参考“宽限期保留期”。

计费项 华为云湖仓构建服务LakeFormation根据您选择的实例规格和使用时长计费。 详细的计费项及说明请参考表1。 您也可以通过LakeFormation提供的价格计算器，选择您需要的实例规格和使用时长等，来快速计算出购买LakeFormation实例的参考价格。 表1 计费项信息 实例规格 计费项 计费说明 独享型 元数据对象数量 按照元数据对象使用量收费，元数据对象数量为Catalog、数据库、表、分区、索引、函数数量之和。 按照万个/小时计费，不足万个按照万个计算。 每秒查询率（QPS） 按照用户购买时选择的QPS上限进行计费。当前支持购买1W至5W五种QPS规格。 共享型 元数据对象数量 按照元数据对象使用量收费，元数据对象数量为Catalog、数据库、表、分区、索引、函数数量之和。 前100万个不计费，后续按照万个/小时计费，不足万个按照万个计算。 API调用次数 按照元数据相关API的调用次数收费，每个月前100万次不收费，后续按每次计费。

身份认证 Console界面本租户IAM用户访问LakeFormation。 LakeFormation针对界面下发的HTTPS请求中IAM Token进行认证，识别出租户、IAM用户等身份。认证失败则拒绝请求。 Console界面其他租户IAM用户切换到本租户的委托角色来访问LakeFormation。 LakeFormation针对界面下发的HTTPS请求中IAM Token进行认证，识别出委托方租户、委托、被委托方租户、被委托方IAM用户等身份。认证失败则拒绝请求。 其他云服务（如MRS）的实例或集群以本租户的委托身份来访问LakeFormation。 LakeFormation针对界面下发的HTTPS请求中IAM Token进行认证，识别出委托方租户（本租户）、委托、被委托方租户（ECS云服务账号）、被委托方IAM用户（ECS云服务内置用户）等身份。认证失败则拒绝请求。

资产的访问控制 元数据信息的访问控制 LakeFormation实例针对Console或其他云服务的元数据访问请求，在经过身份认证后，首先进行IAM鉴权，检查用户是否具备请求中的元数据操作权限，接着再进行细粒度的鉴权，检查用户是否具备针对请求中的具体元数据的请求操作权限。鉴权失败则拒绝请求。 数据权限策略信息的访问控制 LakeFormation实例针对Console或其他云服务的元数据访问请求，在经过身份认证后，进行IAM鉴权，检查用户是否具备请求中的权限策略操作权限。鉴权失败则拒绝请求。

产品功能 表1列出了湖仓构建LakeFormation提供的常用功能特性。 在使用LakeFormation之前，建议您先了解湖仓构建服务LakeFormation的基本概念，以便更好地理解LakeFormation提供的各项功能。 表1 湖仓构建服务LakeFormation功能概览 功能名称 功能描述 实例类型 LakeFormation提供了不同实例类别，满足不同场景下客户对性能和成本的不同诉求。具体介绍请参考共享型与独享型LakeFormation对比。 实例管理 LakeFormation提供实例的创建、总览、删除等基本功能，帮助您便捷的进行实例管理，加速实现数据湖承载的业务的规划和部署。 元数据管理 LakeFormation提供数据湖元数据Catalog、数据库、数据表等的创建、修改、查看、删除等功能，并支持配置元数据生命周期。帮助您便捷的进行数据湖初始化构建以及持续运营，集中式的统一管理LakeFormation实例下所有的元数据，加速实现数据湖承载的业务的规划和部署。 数据权限管理 LakeFormation提供针对Catalog、Database、Table等数据资源的授权、取消、查看等功能。帮助您对数据湖实现便捷的统一的数据权限管理。 任务管理 LakeFormation支持将外部服务的元数据及其权限全量或增量迁移至当前LakeFormation实例中，对元数据及权限进行统一管理。 接入管理 LakeFormation提供统一的接入管理能力，用户可以通过创建接入客户端的方式为指定的客户端环境建立网络连接通道，同时可以在客户端详情中查看接入IP、接入域名等信息，用于其他云服务接入LakeFormation实例。

LakeFormation架构 LakeFormation服务架构图如图1所示。 图1 LakeFormation服务架构 LakeFormation功能包括元数据管理、数据权限管理、控制台、API。 元数据基于Hive元数据模型，支持Catalog、数据库、表、函数等元数据对象。 数据权限管理提供权限策略的配置和对应的权限访问控制。 授权主体支持IAM用户和用户组以及LakeFormation角色。 授权对象支持Catalog、数据库、表及列、函数等元数据对象，也支持OBS并行文件系统路径。 授权操作包含元数据对象的相关操作，以及OBS路径的读写操作。 Console支持实例管理、元数据管理、数据权限管理、接入管理、任务管理等操作。 API层提供支持兼容Hive社区的元数据接口，以及兼容Ranger社区的权限同步接口，以便于MRS、DWS等服务的集成对接。

产品优势 生态开放 遵循开源事实标准，支撑存量业务平滑演进。 提供兼容Hive/Spark/Flink/Trino社区的元数据接口，支持计算引擎平滑对接。 提供兼容Ranger的权限接口，一次授权，统一生效。 提供迁移工具，支持存量MRS集群相关元数据的平滑迁移。 数智融合 打通大数据的数据壁垒，实现真正数智融合。 支持数据库、表、函数、模型、非结构化数据集等统一管理。 实现统一的细粒度数据权限管理，支持跨服务/跨集群的数据共享。 大规格高可靠 支撑超大规模大数据业务的高可靠。 超大规模元数据管理能力。 统一权限管理能力，支持海量细粒度权限管理。 支持多AZ的容灾能力。 简单易用 提供基于元数据的增值管理能力。 Serverless架构，开箱即用。 提供数据湖管理、元数据统计等管理能力。

共享型与独享型LakeFormation对比 LakeFormation提供了不同实例类别，满足不同场景下用户对性能和成本的不同诉求。 独享型特性当前仅针对白名单用户开放。 计费对比 共享型与独享型实例的计费项及计费说明详细介绍请参考计费说明章节中表1。 性能对比 表1 性能对比 类型 共享型实例 独享型实例 部署模式 物理资源共享，实例间逻辑隔离。 物理资源独占，实例的性能不受其它实例的影响，可根据业务需要选择不同规格的实例。 每秒请求数（QPS） 保证2000每秒请求数。 按照用户创建实例时的选择不同。 功能对比 表2 功能对比 类型 描述 共享型实例 独享型实例 Catalog管理 LakeFormation提供数据湖元数据Catalog的创建、修改、删除、查看等功能。 √ √ 数据库管理 LakeFormation提供数据湖元数据数据库的创建、修改、删除、查看等功能。 √ √ 表管理 LakeFormation提供数据湖元数据数据表的创建、修改、删除、查看等功能。 √ √ 函数管理 LakeFormation提供数据湖元数据函数的创建、修改、删除、查看等功能。 √ √ 元数据生命周期管理 LakeFormation支持配置数据的删除策略，节省空间及成本，提升系统的灵活性。 √ √ 元数据权限管理 提供针对元数据的授权、取消、查看等功能。 √ √ 元数据迁移管理 支持将外部服务的元数据全量或增量迁移至当前LakeFormation实例中，对元数据进行统一管理。 √ √ 权限迁移管理 支持将外部服务的元数据权限全量或增量迁移至当前LakeFormation实例中，对元数据的权限进行统一管理。 √ √ 接入客户端管理 提供统一的接入管理能力，用户可以通过创建接入客户端的方式为指定的客户端环境建立网络连接通道，用于其他云服务接入LakeFormation实例。 √ √

区域与可用区 通常用区域和可用区来描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）指物理的数据中心。每个区域完全独立，这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区（AZ，Availability Zone）是同一区域内，电力和网络互相隔离的物理区域，一个可用区不受其他可用区故障的影响。一个区域内可以有多个可用区，不同可用区之间物理隔离，但内网互通，既保障了可用区的独立性，又提供了低价、低时延的网络连接。 图1 区域和可用区 目前，华为云已在全球多个地域开放云服务，您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 父主题： 基本概念

LakeFormation服务权限 默认情况下，管理员创建的IAM用户没有任何权限，需要将其加入用户组，并给用户组授予策略或角色，才能使得用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于被授予的权限对云服务进行操作。 权限根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。由于各服务之间存在业务依赖关系，因此给用户授予角色时，可能需要一并授予依赖的其他角色，才能正确完成业务。角色并不能满足用户对精细化授权的要求，无法完全达到企业对权限最小化的安全管控要求。 IAM项目只读授权指导：当租户管理员需要给某个子用户分配LakeFormation服务在某个IAM项目下的只读权限。可以给该用户创建一个用户组，同时在用户组将LakeFormation ReadOnlyAccess系统策略授权给指定IAM项目即可。 企业项目授权指导：当租户管理员需要给某个子用户分配LakeFormation服务在某个企业项目下的所有操作权限。可以给该用户创建一个用户组，同时在用户组中将LakeFormation CommonAccess授权给全局，将LakeFormation FullAccess授权给指定企业项目即可。 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。多数细粒度策略以API接口为粒度进行权限拆分，LakeFormation的自定义IAM策略操作可参考创建LakeFormation自定义IAM策略。 表1 LakeFormation系统权限 系统角色/策略名称 描述 类别 依赖关系 LakeFormation FullAccess LakeFormation管理员权限，拥有该权限的用户可以操作并使用所有LakeFormation服务功能。 系统策略 无 LakeFormation ReadOnlyAccess LakeFormation只读权限，拥有该权限的用户可以执行LakeFormation所有查询类功能。 系统策略 无 LakeFormation CommonAccess LakeFormation基础权限，包含LakeFormation服务协议查看/授权/取消，以及OBS、TMS等周边依赖服务的基础权限集合。 系统策略 无 表2 LakeFormation细粒度权限 操作类型 操作项 描述 只读 lakeformation:instance:describe 查询LakeFormation实例的权限。 lakeformation:catalog:describe 查询LakeFormation元数据的数据目录的权限。 lakeformation:database:describe 查询LakeFormation元数据的数据库的权限。 lakeformation:table:describe 查询LakeFormation元数据的数据表的权限。 lakeformation:function:describe 查询LakeFormation元数据的函数的权限。 lakeformation:policy:describe 查询LakeFormation权限策略的权限。 lakeformation:policy:export 批量查询LakeFormation权限策略的权限。 lakeformation:agency:describe 查询LakeFormation委托的权限。 lakeformation:credential:describe 获取访问LakeFormation认证信息的权限。 lakeformation:group:describe 查询LakeFormation用户组以及关联角色关系的权限。 lakeformation:user:describe 查询LakeFormation用户以及关联角色关系的权限。 lakeformation:role:describe 查询LakeFormation角色的权限。 lakeformation:configuration:describe 查询用户配置的权限。 lakeformation:access:describe 查询LakeFormation接入客户端的权限。 lakeformation:job:describe 查询LakeFormation任务的权限。 写 lakeformation:instance:create 创建LakeFormation实例的权限。 lakeformation:role:create 创建LakeFormation角色的权限。 lakeformation:policy:create 创建LakeFormation权限策略的权限。 lakeformation:function:create 创建LakeFormation元数据的函数的权限。 lakeformation:catalog:create 创建LakeFormation元数据的数据目录的权限。 lakeformation:database:create 创建LakeFormation元数据的数据库的权限。 lakeformation:table:create 创建LakeFormation元数据的数据表的权限。 lakeformation:access:create 创建LakeFormation接入客户端的权限。 lakeformation:agency:create 创建LakeFormation委托的权限。 lakeformation:job:create 创建LakeFormation任务的权限。 lakeformation:instance:alter 修改LakeFormation实例的权限。 lakeformation:catalog:alter 修改LakeFormation元数据的数据目录的权限。 lakeformation:database:alter 修改LakeFormation元数据的数据库的权限。 lakeformation:table:alter 修改LakeFormation元数据的数据表的权限。 lakeformation:function:alter 修改LakeFormation元数据的函数的权限。 lakeformation:role:alter 修改LakeFormation角色以及关联用户组关系的权限。 lakeformation:group:alter 修改LakeFormation用户组以及关联角色关系的权限。 lakeformation:user:alter 修改LakeFormation用户以及关联角色关系的权限。 lakeformation:job:alter 修改LakeFormation任务的权限。 lakeformation:instance:drop 删除LakeFormation实例的权限。 lakeformation:role:drop 删除LakeFormation角色的权限。 lakeformation:policy:drop 删除LakeFormation权限策略权限。 lakeformation:function:drop 删除LakeFormation元数据的函数的权限。 lakeformation:catalog:drop 删除LakeFormation元数据的数据目录的权限。 lakeformation:database:drop 删除LakeFormation元数据的数据库的权限。 lakeformation:table:drop 删除LakeFormation元数据的数据表的权限。 lakeformation:access:delete 删除LakeFormation接入客户端的权限。 lakeformation:agency:drop 删除LakeFormation委托的权限。 lakeformation:job:drop 删除LakeFormation任务的权限。 lakeformation:transaction:operate 操作LakeFormation事务的权限。 lakeformation:instance:access 查询或申请接入LakeFormation实例的权限。 lakeformation:job:exec 执行LakeFormation任务的权限。

操作流程 图1 给用户授权LakeFormation权限流程 创建用户组并授权 在IAM控制台创建用户组，并授予LakeFormation服务对应权限。 创建用户并加入用户组 在IAM控制台创建用户，并将其加入1.创建用户组并授权中创建的用户组。 用户登录并验证权限 以新创建的用户登录云服务控制台，切换至授权区域，验证权限是否生效。 例如： 在“服务列表”中选择LakeFormation服务，进入总览界面，单击右上角“购买实例”，实例创建界面正常展示，表示“lakeformation:role:create”权限已生效。