华为云用户手册

参数说明 表1 参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...，field 表“DLI_TEST”中的列值，需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制，num参数仅支持INT类型。 values_row 想要插入到表中的值，列与列之间用逗号分隔。

示例代码 返回example.com。 select parse_url('file://username@example.com:666/over/there/index.dtb?type=animal&name=narwhal#nose', 'HOST'); 返回/over/there/index.dtb。 select parse_url('file://username@example.com:666/over/there/index.dtb?type=animal&name=narwhal#nose', 'PATH'); 返回animal。 select parse_url('file://username@example.com:666/over/there/index.dtb?type=animal&name=narwhal#nose', 'QUERY', 'type'); 返回nose。 select parse_url('file://username@example.com:666/over/there/index.dtb?type=animal&name=narwhal#nose', 'REF'); 返回file。 select parse_url('file://username@example.com:666/over/there/index.dtb?type=animal&name=narwhal#nose', 'PROTOCOL'); 返回 username@example.com:8042。 select parse_url('file://username@example.com:666/over/there/index.dtb?type=animal&name=narwhal#nose', 'AUTHORITY'); 返回username。 select parse_url('file://username@example.com:666/over/there/index.dtb?type=animal&name=narwhal#nose', 'USERINFO');

参数说明 表1 参数说明 参数 是否必选 参数类型 说明 urlString 是 STRING URL链接。无效URL链接会返回报错。 partToExtract 是 STRING 取值包含：HOST、PATH、QUERY、REF、PROTOCOL、AUTHORITY、FILE和USERINFO，不区分大小写。 keyToExtract 否 STRING 当part取值为QUERY时，根据key值取出对应的Value值。

语法格式 1 2 3 4 5 6 7 CREATE TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name1 col_type1 [COMMENT col_comment1], ...)] USING file_format [OPTIONS (key1=val1, key2=val2, ...)] [PARTITIONED BY (col_name1, col_name2, ...)] [COMMENT table_comment] [AS select_statement];

参数说明 表1 参数描述 参数 是否必选 描述 db_name 否 Database名称。 由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。 table_name 是 Database中的表名。 由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。匹配规则为：^(?!_)(?![0-9]+$)[A-Za-z0-9_$]*$。 特殊字符需要使用单引号（''）包围起来。 表名对大小写不敏感，即不区分大小写。 col_name 是 以逗号分隔的带数据类型的列名。 列名由字母、数字和下划线（_）组成。不能是纯数字，且至少包含一个字母。 列名为大小写不敏感，即不区分大小写。 col_type 是 列字段的数据类型。数据类型为原生类型。 请参考原生数据类型。 col_comment 否 列字段描述。仅支持字符串常量。 file_format 是 DLI表数据存储格式，支持：parquet和orc格式。 table_comment 否 表描述。仅支持字符串常量。 select_statement 否 用于CTAS命令，将源表的select查询结果或某条数据插入到新创建的DLI表中。 表2 OPTIONS参数描述 参数 是否必选 描述 默认值 multiLevelDirEnable 否 是否迭代查询子目录中的数据。当配置为true时，查询该表时会迭代读取该表路径中所有文件，包含子目录中的文件。 false compression 否 指定压缩格式。一般为parquet格式时指定该参数，推荐使用'zstd'压缩格式。 -

示例2：创建DLI分区表 示例说明：创建一个名为student的分区表，该分区表使用院系编号（facultyNo）和班级编号（classNo）进行分区，该student表会同时按照不同的院系编号（facultyNo）和不同的班级编号（classNo）分区。 在实际的使用过程中，您可以选择合适的分区字段并将其添加到PARTITIONED BY关键字后。 1 2 3 4 5 6 7 CREATE TABLE IF NOT EXISTS student ( Name STRING, facultyNo INT, classNo INT ) USING orc PARTITIONED BY (facultyNo, classNo);

示例5：创建DLI分区表，自定义表的OPTIONS参数 示例说明：创建DLI表时支持自定义属性名与属性值，OPTIONS参数说明可参考表2。 本例创建名为table3并以col_2为分区依据的DLI分区表。在OPTIONS中配置pmultiLevelDirEnable和compression。 multiLevelDirEnable：本例设置为true，表示查询该表时会迭代读取表路径中的所有文件和子目录文件，若不需要此项配置可以设置为false或不设置（默认为false）； compression：当创建的OBS表需要压缩时，可以使用compression关键字来配置压缩格式，本例中就使用了zstd压缩格式。 1 2 3 4 5 6 7 8 9 10 CREATE TABLE IF NOT EXISTs table3 ( col_1 STRING, col_2 int ) USING parquet PARTITIONED BY (col_2) OPTIONS ( multiLeveldirenable = true, compression = 'zstd' );

注意事项 CTAS建表语句不能指定表的属性。 若没有指定分隔符，则默认为逗号（,）。 关于分区表的使用说明： 创建分区表时，PARTITIONED BY中指定分区列必须是表中的列，且必须在Column列表中指定类型。分区列只支持string, boolean, tinyint, smallint, short, int, bigint, long, decimal, float, double, date, timestamp类型。 创建分区表时，分区字段必须是表字段的最后一个字段或几个字段，且多分区字段的顺序也必须对应。否则将出错。 单表分区数最多允许7000个。 CTAS建表语句不支持创建分区表。

示例代码 返回example.com。 select parse_url('file://username@example.com:666/over/there/index.dtb?type=animal&name=narwhal#nose', 'HOST'); 返回/over/there/index.dtb。 select parse_url('file://username@example.com:666/over/there/index.dtb?type=animal&name=narwhal#nose', 'PATH'); 返回animal。 select parse_url('file://username@example.com:666/over/there/index.dtb?type=animal&name=narwhal#nose', 'QUERY', 'type'); 返回nose。 select parse_url('file://username@example.com:666/over/there/index.dtb?type=animal&name=narwhal#nose', 'REF'); 返回file。 select parse_url('file://username@example.com:666/over/there/index.dtb?type=animal&name=narwhal#nose', 'PROTOCOL'); 返回 username@example.com:8042。 select parse_url('file://username@example.com:666/over/there/index.dtb?type=animal&name=narwhal#nose', 'AUTHORITY'); 返回username。 select parse_url('file://username@example.com:666/over/there/index.dtb?type=animal&name=narwhal#nose', 'USERINFO');

参数说明 表1 参数说明 参数 是否必选 参数类型 说明 urlString 是 STRING URL链接。无效URL链接会返回报错。 partToExtract 是 STRING 取值包含：HOST、PATH、QUERY、REF、PROTOCOL、AUTHORITY、FILE和USERINFO，不区分大小写。 keyToExtract 否 STRING 当part取值为QUERY时，根据key值取出对应的Value值。

使用账号登录时，界面提示没有权限登录 在使用时空数据专属存储过程中，如果使用账号登录时提示“没有权限登录”，原因是统一身份认证服务平台认证失败。 您可按照以下步骤排查原因、解决问题： 联系当前租户的安全管理员，登录统一身份认证服务控制台。 查看当前AK所属用户是否被禁用。 查看当前AK所属用户的访问方式是否开启编程访问。 查看当前用户请求是否授权登录操作。 查看当前用户策略是否授权登录操作。 父主题： 常见问题

AK方式登录 打开时空数据专属存储客户端，进入登录界面。 输入账号名、Access Key ID、Secret Access Key。 账号名仅用于区分您在本地登录时空数据专属存储的不同账号，与云服务账号无关，无需保持一致。 AK：Access Key ID，接入键标识，用户在OBS系统中的接入键标识，一个接入键标识唯一对应一个用户，一个用户可以同时拥有多个接入键标识。OBS系统通过接入键标识识别访问系统的用户。 SK：Secret Access Key，安全接入键，用户在OBS系统中的安全接入键，是用户访问OBS系统的密钥，用户根据安全接入键和请求头域生成鉴权信息。安全接入键和接入键标识一一对应。 单击“登录”，进入时空数据专属存储。

如何获取AK和SK IAM用户如果希望使用AK/SK访问时空数据专属存储，必须要账号为其开启“编程访问”。开启方法请参见查看或修改IAM用户信息。 在调用接口的时候，需要使用AK/SK进行签名验证。AK/SK获取步骤如下： 登录KooMap管理控制台。 鼠标指向界面右上角的登录用户名，在下拉列表中单击“我的凭证”。 在左侧导航栏单击“访问密钥”。 单击“新增访问密钥”，进入“新增访问密钥”页面。 输入当前用户的登录密码。 通过邮箱或者手机进行验证，输入对应的验证码。 在统一身份认证服务IAM中创建的用户，如果创建时未填写邮箱或者手机号，则只需校验登录密码。 单击“确定”，浏览器自动下载访问密钥。 为防止访问密钥泄露，建议您将其保存到安全的位置。 父主题： 常见问题

使用账号登录时，界面提示账号或者密码错误 在使用时空数据专属存储过程中，如果使用账号登录时提示“登录认证失败，账号或者密码错误”，可能原因如下： 账号或者密码输入错误，请检查您的账号或者密码是否输入正确。 如果确认输入的账号密码无误，则可能的原因是您使用的账号为华为账号而非华为云账号，当前由于IAM不支持通过华为账号获取账号Token，因此无法通过华为账号直接登录时空数据专属存储。 华为账号登录时空数据专属存储的解决方案如下： 使用华为账号登录华为云控制台，并创建新的IAM用户，授予该用户必要的权限，使用该IAM用户账号信息登录时空数据专属存储。 华为账号登录时空数据专属存储的解决方案：直接使用AK、SK进行登录时空数据专属存储，具体可以参考AK方式登录。 参考链接： 获取IAM用户Token（使用密码） 华为云账号、华为账号的关系 如何知道当前登录华为云使用的是“华为账号” 还是“华为云账号” 父主题： 常见问题

示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1：根据部署在线服务生成的服务对象进行查询服务监控 1 2 3 4 5 6 7 from modelarts.session import Session from modelarts.model import Predictor session = Session() predictor_instance = Predictor(session, service_id="your_service_id") predictor_monitor = predictor_instance.get_service_monitor() print(predictor_monitor) 方式2：根据查询服务对象列表返回的服务对象进行查询服务监控 1 2 3 4 5 6 7 8 from modelarts.session import Session from modelarts.model import Predictor session = Session() predictor_object_list = Predictor.get_service_object_list(session) predictor_instance = predictor_object_list[0] predictor_monitor = predictor_instance.get_service_monitor() print(predictor_monitor)

参数说明 表1 Estimator请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象，初始化方法见Session鉴权。 job_id 是 String 训练作业的ID。job_id可通过创建训练作业生成的训练作业对象查询，如“job_instance.job_id”。或可通过查询训练作业列表的响应获取。 表2 get_job_version_object_list请求参数说明 参数 是否必选 参数类型 描述 is_show 否 Boolean 是否打印训练作业版本详情列表，默认为“True”。 “get_job_version_object_list”成功响应后返回训练对象列表，其中列表中的每个元素参数请参见表3。 表3 TrainingJob对象描述 参数 参数类型 描述 TrainingJob Object 训练对象。该对象包含job_id、version_id等属性，及对训练作业的查询、更新、删除等操作，如可通过job_version_instance.job_id获取训练作业ID。

示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 1 2 3 4 5 6 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() estimator = Estimator(session, job_id="182626") job_version_instance_list = estimator.get_job_version_object_list() print(job_version_instance_list)

参数说明 表1 delete_job_by_id请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象，初始化方法见Session鉴权。 job_id 是 String 训练作业的id。job_id可通过创建训练作业生成的训练作业对象查询，如“job_instance.job_id”。或可通过查询训练作业列表的响应获取。 表2 delete_job_by_id返回参数说明 参数 参数类型 描述 error_msg String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码。 调用成功时无此字段。 is_success Boolean 接口调用是否成功。

示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式一：根据指定的job_id删除 1 2 3 4 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() Estimator.delete_job_by_id(modelarts_session=session, job_id="155500") 方式二：根据创建训练作业生成的训练作业对象删除 1 status = job_instance.delete_job()

参数说明 表1 查询检索参数说明 参数 是否必选 参数类型 描述 session 是 Object 会话对象，初始化方法见Session鉴权。 service_id 否 String 服务ID，默认不过滤服务ID。 service_name 否 String 服务名称，默认不过滤服务名。 infer_type 否 String 推理方式，取值为：real-time/batch/edge，默认不过滤推理方式。 offset 否 Integer 分页列表的起始页，默认为：“0”。 limit 否 Integer 指定每一页返回的最大条目数，默认为：“1000”。 service_status 否 String 服务状态，默认不过滤服务状态。可根据服务状态查询，取值如下。 running：运行中，服务正常运行，正在计费。 deploying：部署中，服务正在部署，调度资源部署等。 concerning：告警，后端实例异常，可能正在计费。例如多实例的情况下，有的实例正常，有的实例异常。正常的实例会产生费用，此时服务状态是concerning。 failed：失败，服务部署失败，失败原因可以查看事件和日志标签。 stopped：停止。 finished：只有批量服务会有这个状态，表示运行完成。 sort_by 否 String 指定排序字段，可选“publish_at”、“service_name”，默认可选“publish_at”。 order 否 String 排序方式，可选“asc”或“desc”，代表递增排序及递减排序，默认为：“desc”。 model_id 否 String 模型ID，默认不过滤模型ID。

示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景1：查询当前用户所有服务 1 2 3 4 5 6 from modelarts.session import Session from modelarts.model import Predictor session = Session() predictor_list = Predictor.get_service_list(session) print(predictor_list) 场景2：按照检索条件查询当前用户服务 1 2 3 4 5 6 from modelarts.session import Session from modelarts.model import Predictor session = Session() predictor_list = Predictor.get_service_list(session, service_name="digit", order="asc", offset="0", infer_type="real-time") print(predictor_list)

参数说明 表1 Estimator请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象，初始化方法见Session鉴权。 train_instance_count 是 Long 训练作业worker的个数。 code_dir 否 String 训练作业的代码目录，如“/bucket/src/”。当填入model_name时不需要填写。 boot_file 否 String 训练作业的代码启动文件，需要在代码目录下，如“/bucket/src/boot.py”。当填入model_name时不需要填写。 model_name 否 Long 训练作业的内置算法模型名称。填入model_name后app_url与boot_file_url不需填写，framework_type和framework_version也不需要填写。 output_path 是 String 训练作业的输出位置。 hyperparameters 否 JSON Array 训练作业的运行参数，为label-value格式；当为自定义镜像训练作业的时候，此参数为容器环境变量。 log_url 否 String 训练作业的日志OBS输出路径URL，默认为空。如：“/usr/log/”。 train_instance_type 是 Long 训练作业选择的资源规格。若选择在训练平台训练，请从查询资源规格列表接口获取。 framework_type 否 String 训练作业选择的引擎规格。请从查询引擎规格列表接口获取引擎规格。当填入model_name时不需要填写。 framework_version 否 String 训练作业选择的引擎版本。请从查询引擎规格列表接口获取引擎版本。当填入model_name时不需要填写。 job_description 否 String 训练作业的描述。 user_image_url 否 String 自定义镜像训练作业的自定义镜像的SWR-URL。如：“100.125.5.235:20202/jobmng/custom-cpu-base:1.0”。 user_command 否 String 自定义镜像训练作业的自定义镜像的容器的启动命令。形式为：“bash /home/work/run_train.sh python /home/work/user-job-dir/app/train.py {python_file_parameter}”。

示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 示例一：使用OBS存储位置创建训练作业参数 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() estimator = Estimator( modelarts_session=session, framework_type='PyTorch', # AI引擎名称 framework_version='PyTorch-1.0.0-python3.6', # AI引擎版本 code_dir='/bucket/src/', # 训练脚本目录 boot_file='/bucket/src/pytorch_sentiment.py', # 训练启动脚本目录 log_url='/bucket/log/', # 训练日志目录 hyperparameters=[ {"label":"classes", "value": "10"}, {"label":"lr", "value": "0.001"} ], output_path='/bucket/output/', # 训练输出目录 train_instance_type='modelarts.vm.gpu.p100', # 训练环境规格 train_instance_count=1) # 训练节点个数 job_config_instance = estimator.create_job_configs(config_name='my_job_config', inputs='/bucket/data/train/', config_desc='my job config') 示例二：使用数据集创建训练作业参数 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() estimator = Estimator( modelarts_session=session, framework_type='PyTorch', # AI引擎名称 framework_version='PyTorch-1.0.0-python3.6', # AI引擎版本 code_dir='/bucket/src/', # 训练脚本目录 boot_file='/bucket/src/pytorch_sentiment.py', # 训练启动脚本目录 log_url='/bucket/log/', # 训练日志目录 hyperparameters=[ {"label":"classes", "value": "10"}, {"label":"lr", "value": "0.001"} ], output_path='/bucket/output/', # 训练输出目录 train_instance_type='modelarts.vm.gpu.p100', # 训练环境规格 train_instance_count=1) # 训练节点个数 job_config_instance = estimator.create_job_configs(config_name='my_job_config', dataset_id='4AZNvFkN7KYr5EdhFkH', dataset_version_id='UOF9BIeSGArwVt0oI6T', config_desc='my job config')

示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式一： 根据指定的config_name查询 1 2 3 4 5 6 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() estimator = Estimator(modelarts_session=session, config_name="my_job_config") job_paras_info = estimator.get_job_configs_info() print(job_paras_info) 方式二： 根据创建训练作业参数返回的对象查询 1 2 job_paras_info = job_config_instance.get_job_configs_info() print(job_paras_info) 方式三： 根据查询训练作业参数对象列表返回的对象查询 1 2 job_paras_info = job_config_instance_list[0].get_job_configs_info() print(job_paras_info)

参数说明 表1 Estimator请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象，初始化方法见Session鉴权。 config_name 是 String 训练作业参数名称。 表2 get_job_configs_info返回参数说明 参数 参数类型 描述 error_msg String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码，具体请参见错误码。 调用成功时无此字段。 config_name String 训练作业参数的名称。 config_desc String 训练作业参数的描述信息。 worker_server_num Integer 训练作业worker的个数。 app_url String 训练作业的代码目录。 boot_file_url String 训练作业的代码启动文件。 model_id Long 训练作业的模型ID。 parameter JSON Array 训练作业的运行参数，为label-value格式；当为自定义镜像训练作业的时候，此参数为容器环境变量。 spec_id Long 训练作业资源规格ID。 data_url String 训练作业的数据集。 dataset_id String 训练作业的数据集ID。 dataset_version_id String 训练作业的数据集版本ID。 engine_type Short 训练作业的引擎类型。 engine_name String 训练作业的引擎名称。 engine_id Long 训练作业的引擎ID。 engine_version String 训练作业使用的引擎版本。 train_url String 训练作业的输出文件OBS路径URL，默认为空，如“/usr/train/”。 log_url String 训练作业的日志OBS输出路径URL，默认为空。如：“/usr/train/”。 user_image_url String 自定义镜像训练作业的自定义镜像的SWR-URL。 user_command String 自定义镜像训练作业的自定义镜像的容器的启动命令。 is_success Boolean 接口调用是否成功。

示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 1 2 3 4 5 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() algo_info = Estimator.get_built_in_algorithms(modelarts_session=session) print(algo_info)

参数说明 表1 get_built_in_algorithms请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象，初始化方法见Session鉴权。 表2 get_built_in_algorithms返回参数说明 参数 参数类型 描述 error_msg String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码，具体请参见错误码。 调用成功时无此字段。 model_total_count Integer 模型的数量。 models JSON Array 模型的参数列表。 is_success Boolean 接口调用是否成功。 表3 models说明 参数 参数类型 描述 model_id Integer 模型ID。 model_name String 模型名称。 model_usage Integer 模型用途。 1代表图像分类 2代表检测物体的类别和位置 3代表图像语义分割 4代表自然语言处理 model_precision String 模型精度描述。 model_size Long 模型大小，单位为字节(Byte)。 model_train_dataset String 模型训练数据集。 model_dataset_format String 使用模型需要的数据集格式。 model_description_url String 模型描述链接。 parameter JSON Array 模型的运行参数，为label-value格式；当为自定义镜像训练作业的时候，此参数为容器环境变量。该样例请参考请求样例。 create_time Long 模型的创建时间。 engine_id Long 模型的引擎ID。 engine_name String 模型的引擎名称。 engine_version String 模型的引擎版本。

示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式一： 根据指定的visualization_id删除 1 2 3 4 5 from modelarts.session import Session from modelarts.estimator import VisualizationJob session = Session() job = VisualizationJob(modelarts_session=session, visualization_id='8992') status = job.delete_visualization_job() 方式二： 根据创建可视化作业生成的可视化作业对象删除 1 status = job_visualization_instance.delete_visualization_job() 方式三： 根据查询可视化作业对象列表返回的指定可视化作业对象删除 1 status = job_visualization_instance_list[0].delete_visualization_job()

参数说明 表1 VisualizationJob请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象，初始化方法见Session鉴权。 visualization_id 是 String 可视化作业ID。 表2 delete_visualization_job返回参数说明 参数 参数类型 描述 error_code String 调用失败时的错误码，具体请参见错误码。 调用成功时无此字段。 error_msg String 调用失败时的错误信息。 调用成功时无此字段。 is_success Boolean 接口调用是否成功。

参数说明 表1 Estimator请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象，初始化方法见Session鉴权。 job_id 是 String 训练作业的ID。job_id可通过创建训练作业生成的训练作业对象查询，如“job_instance.job_id”。或可通过查询训练作业列表的响应获取。 version_id 是 String 训练作业的版本ID。version_id可通过查询训练作业版本列表的响应获取。 表2 stop_job_version返回参数说明 参数 参数类型 描述 error_msg String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码，具体请参见错误码。 调用成功时无此字段。 is_success Boolean 接口调用是否成功。