华为云用户手册

示例代码 示例一：基于图像类型的数据集创建物体检测标注任务。 from modelarts.session import Sessionfrom modelarts.dataset import Datasetsession = Session()dataset = Dataset(session, dataset_id="VukxA2FlaTUm7tkDtq0") # 初始化数据集create_task_resp = dataset.create_label_task(task_name="obj_detection_task", task_type=1, description="label task")

参数说明 表1 请求参数 参数 是否必选 参数类型 描述 task_name 是 String 标注任务的名称。 task_type 是 Integer 标注任务的类型。可选值如下： 0：图像分类 1：物体检测 3: 图像分割 100：文本分类 101：命名实体 102：文本三元组 200：声音分类 201：语音内容 202：语音分割 400：表格数据集 600：视频标注 900：自由格式 description 否 String 标注任务的描述信息。

示例代码 在保存Pascal VOC的XML文件之前需要先创建包含Pascal VOC信息的对象，包括voc object信息等。保存的时候调用save_xml接口，将session信息传入，即可保存到指定路径。 from modelarts.dataset.format.voc.pascal_voc import PascalVocfrom modelarts.dataset.format.voc.voc_object import VocObjectfrom modelarts.session import Sessionpath = "obs://your-obs-bucket/voc/test2.xml"size_list = [640, 321, 3]file_name = "000000089955.jpg"voc_object_tags = ["trafficlight", "trafficlight"]voc_object_properties = [{"@modelarts:color": "#FFFFF0", "@modelarts:shortcut": "C", "pose": "0", "truncated": "0", "difficult": "0", "@modelarts:shape": "bndbox", "@modelarts:feature": [[347, 186], [382, 249]]}, {"@modelarts:color": "#FFFFE0", "@modelarts:shortcut": "D", "pose": "0", "truncated": "0", "difficult": "0", "@modelarts:shape": "bndbox", "@modelarts:feature": [[544, 50], [591, 149]]}]voc_objects = []for i in range(len(voc_object_tags)): object_tag = voc_object_tags[i] object_properties = voc_object_properties[i] voc_objects.append(VocObject(name=object_tag, properties=object_properties))pascal_voc = PascalVoc(file_name=file_name, width=size_list[0], height=size_list[1], depth=size_list[2], voc_objects=voc_objects)session = Session()pascal_voc.save_xml(path, session=session)

示例代码 示例一：查询数据集下所有的标注任务，根据标注任务创建时间降序排序。 from modelarts.session import Sessionfrom modelarts.dataset import Datasetsession = Session()dataset = Dataset(session,dataset_id="VukxA2FlaTUm7tkDtq0")list_label_task_resp = dataset.get_label_tasks(sort_key="create_time", sort_dir="desc")print(list_label_task_resp) 示例二：查询数据集下所有的团队标注任务。 list_label_task_resp = dataset.get_label_tasks(is_workforce_task=True)print(list_label_task_resp)

参数说明 表1 请求参数 参数 是否必选 参数类型 描述 is_workforce_task 否 Boolean 过滤条件，是否只获取团队标注任务。 True：只查询团队标注任务 False：默认值，查询所有标注任务 sort_key 否 String 排序字段。可选值如下： create_time：根据创建时间排序 task_name：根据任务名称进行排序 sort_dir 否 String 排序方式。可选值如下： asc：按照升序排序 desc：默认值，按照降序排序

Manifest管理概述 在ModelArts使用过程中，需要做数据标注、模型训练、推理、数据集管理、市场发布等业务，这些业务都基于数据集进行的。为了规范对数据集的使用，适配各个使用场景，同时兼顾数据集管理的灵活性，本文档描述数据集管理的接口和描述规范——Manifest文件。 Manifest文件中定义了标注对象和标注内容的对应关系。Manifest文件中也可以只有原始文件信息，没有标注信息，如生成的未标注的数据集。 Manifest文件使用UTF-8编码，Manifest处理程序需具备UTF-8处理能力。 Manifest文件中文本分类的source数值可以包含中文，其他字段不建议用中文。 Manifest文件可以由用户、第三方工具或ModelArts标注系统生成。 Manifest文件名没有特殊要求，可以为任意合法文件名。 父主题： Manifest管理

示例代码 查询数据集导出任务状态 from modelarts.session import Sessionfrom modelarts.dataset import Datasetsession = Session()dataset = Dataset(session, dataset_id)task_info = dataset.get_export_task_info(task_id="iuHALF6xdkSAGKVN2jD")print(task_info) # 查询导出任务的详细信息

示例代码 查询数据集导出任务列表 from modelarts.session import Sessionfrom modelarts.dataset import Datasetsession = Session()dataset = Dataset(session, dataset_id)list_tasks_resp = dataset.list_export_tasks()print(list_tasks_resp) # 打印导出任务列表

示例代码 查询数据集导入任务的详情 from modelarts.session import Sessionfrom modelarts.dataset import Datasetsession = Session()dataset = Dataset(session, dataset_id)task_info = dataset.get_import_task_info(task_id="r4R52nJ4VJKcivuioCU")print(task_info) # 打印导入任务的详细信息

示例代码 导出数据集到OBS目录 from modelarts.session import Sessionfrom modelarts.dataset import Datasetsession = Session()dataset = Dataset(session, dataset_id)export_resp = dataset.export_data("/obs-gaia-test/data/output/export-test/")

示例代码 查询数据集导入任务列表 from modelarts.session import Sessionfrom modelarts.dataset import Datasetsession = Session()dataset = Dataset(session, dataset_id)list_tasks_resp = dataset.list_import_tasks()print(list_tasks_resp) # 打印导入任务列表

示例代码 批量删除数据集中的样本 from modelarts.session import Sessionfrom modelarts.dataset import Datasetsession = Session()dataset = Dataset(session, dataset_id)samples = []samples.append("2551e78974aed9b60156d8376232f6bd")samples.append("0d315fec1efc7568de5cccf522c10a1b")dataset.delete_samples(samples)

示例代码 示例一：为数据集创建新的版本 from modelarts.session import Sessionfrom modelarts.dataset import Datasetsession = Session()dataset = Dataset(session, dataset_id)create_version_resp = dataset.create_version(name="V001", version_format="Default", label_task_type=0, description="version 001")

示例代码 删除数据集指定版本 from modelarts.session import Sessionfrom modelarts.dataset import Datasetsession = Session()dataset = Dataset(session, dataset_id)dataset.delete_version(version_id="cSPuXPgnYp7ObRs6LaR")

示例代码 根据ID查询数据集中样本的详细信息 from modelarts.session import Sessionfrom modelarts.dataset import Datasetsession = Session()dataset = Dataset(session, dataset_id)sample_info = dataset.get_sample_info(sample_id="2551e78974aed9b60156d8376232f6bd")print(sample_info) # 打印样本的详细信息

示例代码 示例一：查询数据集样本列表 from modelarts.session import Sessionfrom modelarts.dataset import Datasetsession = Session()dataset = Dataset(session, dataset_id)list_samples_resp = dataset.list_samples()print(list_samples_resp) # 打印样本列表的信息 示例二：查询数据集指定版本的样本列表 list_samples_resp = dataset.list_samples(version_id = "cSPuXPgnYp7ObRs6LaR")print(list_samples_resp)

参数说明 表1 请求参数 参数 是否必选 参数类型 描述 session 是 Object 会话对象，初始化方法请参见Session鉴权。 dataset_type 否 Integer 根据数据集类型查询数据集列表，默认为空。可选值如下： 0：图像分类 1：物体检测 3: 图像分割 100：文本分类 101：命名实体 102：文本三元组 200：声音分类 201：语音内容 202：语音分割 400：表格数据集 600：视频标注 900：自由格式 dataset_name 否 String 模糊匹配数据集名称，默认为空。 offset 否 Integer 分页列表的起始页，默认为0。 limit 否 Integer 指定每一页返回的最大条目数，取值范围[1,100]，默认为10。

示例代码 查询数据集版本列表 from modelarts.session import Sessionfrom modelarts.dataset import Datasetsession = Session()dataset = Dataset(session, dataset_id)version_list = dataset.list_versions()print(version_list) # 打印数据集的版本列表

示例代码 查询数据集指定版本的详细信息 from modelarts.session import Sessionfrom modelarts.dataset import Datasetsession = Session()dataset = Dataset(session, dataset_id)version_info = dataset.get_version_info(version_id="cSPuXPgnYp7ObRs6LaR")print(version_info) # 打印数据集版本的详情

示例代码 示例一：查询数据集列表 from modelarts.session import Sessionfrom modelarts.dataset import Datasetsession = Session()# 查询数据集列表dataset_list = Dataset.list_datasets(session)print(dataset_list) # 打印出查询结果 示例二：根据数据集类型查询数据集列表 # 查询图像分类数据集dataset_list = Dataset.list_datasets(session, dataset_type=0)print(dataset_list) 示例三：根据数据集名称查询数据集列表 # 查询名称中包含dataset的数据集列表dataset_list = Dataset.list_datasets(session, dataset_name="dataset")print(dataset_list)

示例代码 查询数据集详情 from modelarts.session import Sessionfrom modelarts.dataset import Datasetsession = Session()dataset = Dataset(session, dataset_id)dataset_info = dataset.get_dataset_info()print(dataset_info) # 输出数据集的详细信息

成分分析的开源漏洞文件路径如何查看？ 有多种方式可查看开源漏洞分析结果的文件路径： 方式一：进入报告详情页面，打开开源漏洞分析扫描结果，单击“组件名称”可查看包含组件的文件对象，鼠标放在相应“对象路径”，即可查看该对象路径，也可点击右侧按钮复制； 方式二：打开报告详情页面，单击“下载报告”，“生成PDF报告”，待文件生成后单击“导出PDF”下载报告至本地，查阅PDF报告中第3章节，即可查看相应组件文件路径； 方式三：打开报告详情页面，单击“下载报告”，“生成Excel报告”，待文件生成后单击“导出Excel”下载报告至本地，查阅Excel报告中“组件报告”或“漏洞报告”sheet页，即可查看相应组件文件路径。 对象路径以“/”标识目录结构，其中“_/”表示服务对该层文件进行解析，进而分析其子目录文件。比如：scrm-service-weixin.jar_/BOOT-INF/classes/libWeWorkFinanceSdk_Java.so，您可以对scrm-service-weixin.jar进行解压缩，查看其子目录BOOT-INF/classes/libWeWorkFinanceSdk_Java.so文件，进而分析该文件中开源软件是否存在或准确。 若文件有多个层级，则表示服务对父层级文件进行解析，进而分析子层级文件是否引用开源软件。对于方式一，多层级效果以换行缩进形式呈现，如下图所示；对于方式二或方式三，多层级路径以“:”连接展示。 父主题： 二进制成分分析类

成分分析的任务扫描失败怎么办？ 任务扫描失败可能由多种原因造成，需要针对具体情况进行分析，常见的失败原因如下： 表1 常见失败原因分析 失败原因 解决方案 文件解析异常 文件本身存在不完整、结构异常等问题，导致服务无法正常解析。提供通用的压缩、固件、包格式文件重新创建扫描任务即可。 文件上传中损坏 文件在传送过程中损坏，导致无法正确解析。重新创建扫描任务进行扫描即可。 其它原因导致任务失败 多次重复创建任务后扫描任务仍然失败，可联系服务运维团队。 若用户使用“按需套餐包”创建正式版任务，如果任务扫描失败，不会扣除套餐包配额；若用户使用免费版配额创建免费版任务，如果任务扫描失败，不会扣除免费版配额。 父主题： 二进制成分分析类

如何修复扫描出来的主机漏洞？ 不同的主机系统修复漏洞的方法有所不同，软件漏洞的修复需要具有一定专业知识的人员进行操作，根据服务器的情况进行漏洞修复，可参考漏洞扫描服务给出的修复建议，修复漏洞时应按照如下的操作步骤进行修复。 对需要修复的服务器实例进行备份，防止出现不可预料的后果。 对需要修复的资产和漏洞进行多次确认。根据业务情况以及服务器的使用情况等综合因素，确认自己的资产是否需要做漏洞修复，并形成漏洞修复列表。 在模拟测试环境中部署待修复漏洞的相关补丁，从兼容性和安全性方面进行测试，并输出补丁漏洞修复测试报告，报告内容应包含补丁漏洞修复情况、漏洞修复的时长、补丁本身的兼容性、以及漏洞修复可能造成的影响。 进行漏洞修复时，最好多人在场，边操作边记录，防止出现误操作。 漏洞修复完成后，在测试环境对目标服务器系统上的漏洞进行修复验证，确保服务器没有异常，输出详细的修复记录进行归档，方便日后遇见相关问题可快速反应。 总之，为了防止在漏洞修复过程中出现问题，在漏洞修复前要及时备份、制定方案、在测试环境进行模拟测试验证可行性，在修复过程中要小心并及时记录，在修复后及时生成完备的修复报告进行归档。 如果以上方案仍未能解决您的问题，建议您使用华为云“管理检测与响应”的安全加固功能，一站式完成漏洞修复。 父主题： 主机扫描类

漏洞扫描服务支持哪些操作系统的主机扫描？ 漏洞扫描服务支持扫描的主机操作系统版本如下： 支持的Linux操作系统版本，如表1所示。 支持的Windows操作系统版本，如表2所示。 表1 Linux操作系统版本 分类 支持的OS类型 EulerOS EulerOS 2.2, 2.3, 2.5, 2.8 and 2.9 64bit CentOS CentOS 6.5, 6.8, 6.9, 6.10, 7.1, 7.2, 7.3, 7.4, 7.5, 7.6, 7.7, 7.8 and 7.9 64 bit RedHat Red Hat Enterprise Linux 6.10 and 7.5 64bit Ubuntu Ubuntu 16.04, 18.04 and 20.04 server 64bit SUSE SUSE Enterprise 11 SP4 64bit, SUSE Enterprise 12 SP1/SP2/SP3/SP4 64bit, SUSE Enterprise 15 SP1/SP2 64bit OpenSUSE OpenSUSE 13.2 and 42.2 64bit Debian Debian 8.2.0, 8.8.0, 9.0.0, 10.0.0 64bit Kylin OS Kylin OS V10 SP1 64bit 统信UOS V20 Huawei Cloud EulerOS HCE 2.0 表2 Windows操作系统版本 分类 支持的Windows系统版本 Windows Server Windows Server 2012 R2，Windows Server 2016 父主题： 主机扫描类

标准策略、极速策略和深度策略有哪些区别？ VSS提供支持以下3种网站扫描模式： “极速策略”：扫描的网站URL数量有限且VSS会开启耗时较短的扫描插件进行扫描。 “深度策略”：扫描的网站URL数量不限且VSS会开启所有的扫描插件进行耗时较长的遍历扫描。 “标准策略”：扫描的网站URL数量和耗时都介于“极速策略”和“深度策略”两者之间。 有些接口只能在登录后才能访问，建议用户配置对应接口的用户名和密码，VSS才能进行深度扫描。 父主题： 网站扫描类

使用跳板机扫描内网主机和直接扫描公网主机，在扫描能力方面有什么区别？ 使用跳板机扫描内网主机和直接扫描公网主机，在扫描能力方面区别如表1所示。 表1 扫描能力差异介绍 扫描能力 通过公网IP直接扫描公网主机 通过跳板机扫描内网主机 操作系统安全补丁扫描 支持 支持 远程服务/协议漏洞扫描 支持 不支持 说明： 远程服务/协议类漏洞的扫描依赖于扫描器与被测目标的相关端口直接交互，因此不能通过跳板机完成测试验证。 操作系统安全配置扫描 支持 支持 Web中间件安全配置扫描 支持 支持 等保合规扫描 支持 支持 父主题： 主机扫描类

漏洞扫描服务可以扫描本地的物理服务器吗？ 漏洞扫描服务可以扫描本地的物理服务器。若需要扫描本地的物理服务器，需要满足以下条件。 本地网络可通外网。 本地物理服务器为Linux操作系统，且满足以下版本要求： EulerOS：支持的最低系统版本为EulerOS 2.2。 CentOS：支持的最低系统版本为CentOS 6.5。 RedHat：支持的最低系统版本为Red Hat Enterprise Linux 6.10。 Ubuntu：支持的最低系统版本为Ubuntu 16.04 server。 SUSE：支持的最低系统版本为SUSE Enterprise 11 SP4。 OpenSUSE：支持的最低系统版本为OpenSUSE 13.2。 Debian：支持的最低系统版本为Debian 8.2.0。 Kylin OS：支持的系统版本为Kylin OS V10 SP1。 可以远程登录到本地物理服务器。 本地物理服务器满足以上条件后，可以在漏洞扫描服务界面通过添加跳板机的方式，使用漏洞扫描服务扫描本地的物理服务器。 有关物理服务器使用VSS的详细介绍，请参见物理服务器可以使用漏洞扫描服务吗？。 父主题： 主机扫描类

漏洞扫描服务的扫描IP有哪些？ 如果您的网站设置了防火墙或其他安全策略，将导致VSS的扫描IP被当成恶意攻击者而误拦截。因此，在使用VSS前，请您将以下VSS的扫描IP添加至网站访问的白名单中： 119.3.232.114，119.3.237.223，124.70.102.147，121.36.13.144，124.70.109.117，139.9.114.20，119.3.176.1 VSS会模拟客户端使用随机端口连接被测试设备，建议放通来自vss这些ip的全量端口。 父主题： 产品咨询类

Apache Log4j2漏洞检测相关问题 网站漏洞扫描和主机扫描是否支持Apache Log4j2漏洞检测？检测原理有何不同？ 答：网站漏洞扫描和主机扫描支持Apache Log4j2漏洞检测，但检测原理不同。网站漏洞扫描的检测原理是基于漏洞POC验证，如果没有攻击入口或路径，或已经开启了Web应用防火墙等防护措施，则无法扫出来；主机扫描的检测原理是登录操作系统之后探测JAR包版本，匹配是否在受影响的版本范围之内，相对高效。 建议有条件的话，使用网站漏洞扫描和主机扫描远程扫描，若发现问题请尽快按处置办法进行操作。 Apache Log4j2漏洞之前能扫出来，后来扫不出来，不稳定是什么原因？ 答：只要扫出来过Apache Log4j2漏洞，建议马上排查相应网站或主机，尽快按处置办法进行操作。 后面扫不出来的原因，可能是网站已修复，或已通过Web应用防火墙等防护措施解决，另外由于该漏洞POC验证相对复杂，涉及较多网络交互，网络环境因素如安全组策略加固等变动，也可能导致漏洞不能稳定扫出来，但建议客户还是尽快排查处置，彻底规避风险。 哪些版本支持Apache Log4j2漏洞检测？ 答：当前包括基础版（可免费开通）在内的所有版本均支持，但由于基础版规格有较多限制，如不支持主机漏洞扫描、Web漏洞扫描的扫描时长和次数受限，可能存在扫描不全面的问题。建议有条件的话，根据业务需求购买专业版及以上版本进行全面扫描。 不同版本规格说明请参见服务版本。 父主题： 产品咨询类