华为云用户手册

  • 待我审核 在DataArts Studio数据架构控制台的左侧导航栏中,单击“审核中心”,进入审核中心页面,系统默认显示待审核页面,如下图所示。 图4 待审核页面 功能区域 说明 1 批量审核: 勾选多个待审核信息。 单击,弹出“批量审核”对话框。 输入有效的审核意见。 单击“批量通过”,所选审核信息通过审核;单击“批量驳回”,所选审核信息被驳回。 2 单个审核: 单击操作列“审核”,进入指定待审核信息的审核页面。 根据实际情况选择审核结果(通过或驳回),并输入有效的审核的意见。 单击“确定”,完成审核。 3 :通过该按钮过滤出修改时间段内的待审核信息。 :通过该按钮查询对象和创建人的待审核信息。 :通过该按钮设置待审核表的表列项。 :刷新按钮。
  • 查看已审核、待审核、我的申请 待我审核 在DataArts Studio数据架构的左侧导航树中,单击“审核中心”,选择“待我审核”页签,可以查看待审核的对象。 已审核 在DataArts Studio数据架构的左侧导航树中,单击“审核中心”,选择“已审核”页签,可以查看已通过审核的对象。 我的申请 在DataArts Studio数据架构的左侧导航树中,单击“审核中心”,选择“我的申请”页签,可以查看自己提交审核的对象。
  • 审核人员审核对象 如果您是审核人员,请使用审核人员的账号参考以下步骤审核对象。 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据架构”模块,进入数据架构页面。 图1 选择数据架构 在左侧导航树中,单击“审核中心”,选择“待我审核”页签,在列表中找到需要审核的对象,然后在该对象所在行单击“审核”。 您也可以勾选多个待审核的对象,然后单击“批量审核”按钮进行批量审核。 图2 审核 在审核的详情页面,确认信息无误后,单击“通过”,然后在弹出对话框中输入审核意见并单击“确定”完成审核。 如果信息有误,请单击“驳回”,然后在弹出对话框中输入审核意见并单击“确定”完成审核。 图3 审核信息
  • 数据治理组织职责 在战略层面,由数据治理Sponsor和各部门负责人组成的数据治理领导组制定数据治理的战略方向,以构建数据文化和氛围为纲,整体负责数据治理工作的开展、政策的推广和执行,并作为数据治理问题的最终决策组织解决争议,监控和监督数据治理工作的绩效,并确保数据治理工作预算支持。 数据治理委员会和各领域数据治理工作组是数据治理战略在运作层面具体的实施团队。其中: 数据治理委员会:由数据治理负责人、数据治理专家和数据架构专家团组成,面向企业进行数据治理工作的统筹并提供工作指导,在整个企业范围定期沟通数据治理工作,形成数据质量精细化管控文化。根据数据治理领导组的愿景和长期目标,建立和管理数据治理流程、阶段目标和计划,设计和维护数据治理方法、总则、工具和平台,协助各数据领域工作组实施数据治理工作,对整体数据治理工作进行度量和汇报,并对跨领域的数据治理问题和争议进行解决和决策。 各领域数据治理工作组:在各领域数据范围内进行数据治理的工作,依据数据治理委员会制定的数据治理方法和总则,制定本领域数据治理目标和工作计划,负责领域数据资产的看护,维护更新相应数据标准和及相关元数据,设计本领域数据度量和规则,监控收集数据质量问题并持续改进提升,主动升级数据相关问题。最终完成领域内数据资产的看护,并支撑数据治理目标的达成。 领域数据治理工作组由数据Owner、数据代表、数据管家、数据专员和数据架构师组成。其中: 数据Owner(Data Owners):数据Owner是领域数据治理工作的责任人。 制定本领域数据治理的目标,工作计划和执行优先级。 建立数据治理责任机制,将本领域的数据治理工作分解到工作组成员,并跟进及管理工作组工作。 设计数据质量规格,承接数据需求,对数据问题及争议进行裁决。 建设和维护本领域信息架构。 建立和推动领域数据文化和氛围。 数据代表(Data Representatives):数据代表是领域数据治理工作的专家带头人。 深刻理解数据工作的目标、方法、规则、工具,并通过识别关键业务流程和IT系统,对本领域数据治理的路标和工作计划进行细化并排序,最终管理执行。 作为本领域数据治理专家,管理并解决问题和争议,必要时提交数据Owner进行裁决。 对业务环节数据的完整性、及时性、准确性、一致性、唯一性、有效性负责,确保行为即记录,记录即数据,并依据数据质量规格对本领域数据进行度量和报告。 落实本领域信息架构的建设和遵从,负责本领域数据资产的看护,维护相应数据标准和数据目录并更新发布。 承接上下游数据需求,并主动根据领域内应用场景和业务需求识别数据需求,对需求的实现进行推动和管理。 依据相关规定定义本领域数据安全等级,并进行数据授权管理。 数据管家(Data Stewards):数据管家是领域数据治理工作的协助者。 确保领域治理工作的流程和内容规范,符合数据治理要求。 协助数据代表进行问题跟踪和解决。 梳理、维护并更新领域数据元数据(业务对象、数据标准、数据模型)。 推广和维护数据治理工具和平台在本领域的应用。 数据专员(Data Specialists):数据专员是领域数据治理工作的专家团队。 基于本领域数据治理的工作计划,利用数据专项技能,支撑数据代表完成数据Owner分配的各类数据治理工作。 数据架构师(Data Architects):数据架构师是领域数据治理工作在IT层面的代表。 开发和维护本领域的数据系统或子系统,确保数据在系统中得以记录,数据标准、数据质量规则、数据安全、主/参考数据管理、数据服务在系统中得以实施。 提供数据系统的数据相关信息(元数据、数据字典、数据血缘)。 协助执行IT相关的数据治理工作。 确保数据系统的技术方案符合本领域的信息架构,技术选择能够满足数据发展中长期的需求。 父主题: 数据治理组织架构
  • 华为数据治理实践 华为数据治理的规范流程建设,完成了从数据产生、数据整合、数据分析与数据消费全价值流的规则制定。华为数据治理组织实践,建立实体化的数据管理组织,向公司数据管理部汇报,同时组建了跨领域数据联合作战团队。华为已建立统一的数据分类管理框架,指导各领域进行分类管理。华为信息架构框架,通过政策发文明确信息架构的定义和构成要素,在公司层面建立统一的架构方法。基于ISO8000标准,华为建立了数据质量管理框架和运作机制,每年例行开展两次公司级数据质量度量,从“设计“与”执行”两个方面度量数据质量,由公司数据Owner定期发布公司数据质量报告,牵引各业务领域持续改进数据质量。 图1 华为数据治理愿景与目标 图2 华为数据治理能力 父主题: 华为数据治理案例
  • 数据治理模块域 数据治理主要专注于如下模块域: 数据集成 数据集成用来完成数据入湖动作,不是简单的数据搬家,而是按照一定的方法论进行数据备份。数据入湖的前提条件是满足6项数据标准,包括:明确数据Owner、发布数据标准、定义数据密级、明确数据源、数据质量评估、元数据注册。此标准由数据代表在入湖前完成梳理并在数据治理平台上进行资产注册。 数据标准 数据标准管理着重建立统一的数据语言,各级数据层级业务对象的定义是数据标准的载体,并对应发布各数据层级的数据标准。各业务对象对应物理实现的IT系统需发布相应的数据字典并进行数据源认证。而对于梳理出来,但没有落IT系统的业务对象,需在后继的开发中进行数字化落地。 数据开发 数据开发是编排、调度和运维的中心,数据开发是一个提供分析、设计、实施、部署及维护一站式数据解决方案,完成数据加工、转换和质量提升等。数据开发屏蔽了各种数据存储的差异,一站式满足从数据集成、数据清洗/转换、数据质量监控等全流程的数据处理,是数据治理实施的主战场。 数据质量 数据质量管理的目标在于保证数据满足使用的要求。数据标准是衡量数据质量最基本的基准。数据质量要求各业务部门对相应数据领域的数据质量全权负责,按业务需求设计数据质量标准,制定数据质量管控目标,并遵循企业数据治理要求进行数据质量度量,制定符合各自业务情况的数据质量政策及数据质量相关的改进计划,持续进行数据质量管控。 数据资产 数据资产包括业务资产、技术资产、指标资产等。数据资产管理是数据治理的重要支撑手段,核心是构建企业级的元数据管理中心、建立数据资产目录、建立数据搜索引擎、实现数据血缘和数据全景可视。其中元数据包括业务元数据、技术元数据和操作元数据,要求将企业所有概念数据模型、逻辑数据模型以及物理数据模型系统化地管理起来,同时建设企业数据地图及数据血缘关系,为数据调用、数据服务、数据运营及运维提供强有力的信息支撑。 数据服务 数据服务通过在整个企业范围统一数据服务设计和实现的规范并进行数据服务生命周期管理,集约管理数据服务并减少数据调用和集成的开发成本。 数据安全 由于企业使用的数据资源,既有来自于内部业务系统,所有权属于企业的数据,同时也有来自外部的数据,必须将数据安全纳入数据治理的范畴,对所有企业数据要求依据数据安全等级定义进行数据安全定级,在数据产生、传输、存储和使用的过程中进行必要的数据安全访问控制,同时对数据相应的CRUD活动均需产生日志以完成安全审计。 主数据 主数据管理是数据标准落地和提升数据质量的重要手段,是企业级数据治理的重要范畴,其目标在于保证在企业范围内重要业务实体数据的一致(定义和实际物理数据的一致)。主数据管理首先进行企业主数据的识别,然后对已识别主数据按照主数据规范要求进行数据治理和IT改造,以支撑企业业务流和工具链的打通和串联。 管理中心 数据治理的开展离不开组织、流程和政策的建设,管理中心也管理着数据治理过程中公共核心的统一数据源、数据驾驶舱等,满足不同角色的用户拥有个性化的工作台。 父主题: 数据治理框架
  • 新冠疫情数据治理思考 中共中央政治局常务委员会2020年2月3日召开会议强调:这次疫情是对我国治理体系和能力的一次大考。全民抗疫的过程中,缺乏有效数据支持就是缺乏对于疫情的快速响应机制、缺乏对于医疗资源合理调配的能力。 通过数据治理,我们可以构建开放通用的数据采集接口,提高数据采集效率;统一数据标准,轻松融合数据;建立跨平台的数据提取和数据追溯,实现开放共享,打通信息孤岛;保护隐私数据,构建可信数据。 以“健康码”为依托的各类政务小程序,正在加速提升市民信息化应用能力,基于数据治理、数据共享,很可能在不久以后,我们就可以实现“一码走天下”。将线上疫情应急治理体系转变为常态化管理体系,降低日常行政成本,发挥更大的数据流动与服务价值。通过自主申报健康信息,民众可获取反映健康状况的健康码,并凭码通行社区、办公楼、交通口等核验场景。在防疫初期,健康码有助于防止线下扎堆填报信息带来的病毒传染风险,一改政府人海战术排查病患的做法;随着疫情得到初步控制,健康码实现的人员行程追踪、同行密切接触人员自查等功能亦助力企业复工复产。随着各地复工复产加速,跨区域人口流动为疫情防控带来新的挑战,统一各层级政府和不同部门的数据标准,共享确诊、疑似病例、密切接触者、县域风险等级数据库是当下数据治理的关键。
  • 高质量数据是业务创新的基础 企业在市场中的竞争领域已经从同一领域市场份额争夺,发展到开发新竞争领域的创新性竞争阶段,这从客观上对企业的创新能力提出了更高的要求,现在企业的创新在很大程度上要借助科技的手段,在业务数据的开发和利用基础上进行创新,数据为企业实施有效的创新提供了丰富强大的动力。 企业数据繁杂,无标准,质量低。 企业的IT系统经历了数据量高速膨胀的时期,这些海量的、分散在不同角落的数据导致了数据资源利用的复杂性和管理的高难度。企业无法从统一的业务视角去概览整个企业内部的数据信息。暴露出来的只是一个个独立的系统,系统与系统之间的关系、标准数据从哪里获取都无从知晓。
  • 两个层面的数据治理度量评估工具 通过年度的整体数据治理成熟度评估,了解各维度数据治理现状,并制定可操作性目标,分析差距,制定切实可行的计划,在推进落实计划的过程中,利用季度性实施的数据治理评分卡,针对性地监测度量各业务/IT部门的数据治理情况,持续推进各部门的数据治理水平提升,进而提高整体数据治理成熟度。 年度进行的整体数据治理成熟度评估,可以结合主观及客观调查度量,综合反映企业当前数据治理成熟度水平,帮助制定切实可行的数据治理整体目标。季度性实施的数据治理评分卡是一个重要的工具手段,从一些关键核心维度进行季度性迭代评分,持续促进所有部门数据治理工作的落实提升。
  • 配置Elasticsearch连接 Elasticsearch连接适用于第三方云的Elasticsearch服务,以及用户在本地数据中心或ECS上自建的Elasticsearch。 Elasticsearch连接器仅支持非安全模式的Elasticsearch集群。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接Elasticsearch时,相关参数如表1所示。 表1 Elasticsearch连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 es_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。 192.168.0.1:9200;192.168.0.2:9200 父主题: 管理连接
  • 工作空间隔离资源 工作空间:是Octopus自动驾驶云服务面向企业客户提供的一个高阶功能,用于进一步将用户的资源划分在多个逻辑隔离的空间中,并支持以空间维度进行访问的权限限定。 工作空间默认有一个“default”空间,在没有创建新的工作空间之前,您操作的所有资源均默认在该空间下。当您创建新的工作空间之后,相当于您拥有了一个新的“Octopus分身”,您可以通过菜单栏的左上角进行工作空间的切换,不同工作空间中的工作互不影响。只有被授权的用户才能访问特定的工作空间(在创建、编辑工作空间进行配置),像数据资产、仿真服务等,均可以借助工作空间做访问的限制。 图9 工作空间
  • Octopus CommonOperations策略内容 { "Version": "1.1", "Statement": [ { "Action": [ "octopus:annotation*:*", "octopus:common*:*", "octopus:dataCache:*", "octopus:dataCalibration:*", "octopus:dataExpress:create", "octopus:dataExpress:delete", "octopus:dataExpress:get", "octopus:dataExpress:list", "octopus:dataExpress:updateBaseInfo", "octopus:dataExpress:updateTaskConfig", "octopus:dataImportRecord:*", "octopus:dataJob:*", "octopus:dataMap:*", "octopus:dataOverview:get", "octopus:dataPackage:*", "octopus:dataProcessors:*", "octopus:dataReplay:get", "octopus:dataScenario:*", "octopus:dataset:*", "octopus:dataTag:*", "octopus:dataVehicle:*", "octopus:dataWarehouse:*", "octopus:imageRepo:*", "octopus:resource*:*", "octopus:sim*:*", "octopus:training*:*", "octopus:workspace:list", "octopus:workspace:get" ], "Effect": "Allow" } ] }
  • Octopus MapVendorOperations策略内容 { "Version": "1.1", "Statement": [ { "Action": [ "octopus:dataExpress:create", "octopus:dataExpress:get", "octopus:dataExpress:list", "octopus:dataExpress:updateConfig", "octopus:dataPackage:list", "octopus:dataProcessors:list" ], "Effect": "Allow" } ] }
  • Octopus权限管理 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。创建用户并授权使用八爪鱼自动驾驶云服务请参考创建用户并授权使用服务。 Octopus部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域(如华北-北京1)对应的项目(cn-north-1)中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问Octopus时,需要先切换至授权区域。 图1 权限授权 IAM在对用户组授权的时候,并不是直接将具体的某个权限进行赋权,而是需要先将权限加入到“策略”当中,再把策略赋给用户组。为了方便用户的权限管理,各个云服务都提供了一些预置的“系统策略”供用户直接使用。如果预置的策略不能满足您的细粒度权限控制要求,则可以通过“自定义策略”来进行精细控制。请参考创建自定义策略。 如表1所示,包括了Octopus的所有系统权限。 表1 表1 Octopus系统策略 策略名称 描述 策略类别 角色/策略内容 Octopus FullAccess Octopus管理员权限,拥有该权限的用户可以操作并使用所有Octopus服务。 系统策略 Octopus FullAccess策略内容 Octopus CommonOperations Octopus操作权限,拥有该权限的用户拥有Octopus服务的除智驾模型服务、数据合规递送、创建工作空间、编辑工作空间、删除工作空间之外的所有操作权限。 系统策略 Octopus CommonOperations策略内容 Octopus MapVendorOperations(待下线) Octopus服务图商供应商权限。拥有该权限的用户拥有获取数据包列表、获取算子列表和数据递送的部分操作权限。 系统策略 Octopus MapVendorOperations策略内容 表2列出了Octopus常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。 表2 Octopus常用操作与系统权限的授权关系 服务 功能 操作 Octopus FullAccess Octopus CommonOperations Octopus MapVendorOperations(待下线) 镜像仓库 ALL ALL √ √ x 运维配置 ALL ALL √ √ x 标注服务 ALL ALL √ √ x 训练服务 ALL ALL √ √ x 仿真服务 ALL ALL √ √ x 智驾模型服务 ALL ALL √ x x 数据资产 数据总览 ALL √ √ x 地图管理 ALL √ √ x 标定管理 ALL √ √ x 源数据包 获取数据包列表 √ √ √ 获取数据包详情 √ √ x 永久删除数据包 √ √ x 操作数据包 √ √ x 更新数据包标签 √ √ x 数据场景 ALL √ √ x 数据集 ALL √ √ x 数据缓存 ALL √ √ x 模型管理 ALL √ √ x 通用存储 ALL √ √ x 数据合规 数据合规递送 创建合规订单 √ x x 获取合规订单列表 √ x x 获取合规订单配置信息 √ x x 更新合规订单状态 √ x x 获取合规数据包列表 √ x x 推送合规数据包 √ x x 合规处理模板 创建合规处理模板 √ x x 查询合规处理模板列表 √ x x 查询合规处理模板详情 √ x x 更新合规处理模板 √ x x 删除合规处理模板 √ x x 合规作业 查询合规作业列表 √ x x 查询合规作业详情 √ x x 创建合规作业 √ x x 操作合规作业和作业队列 √ x x 删除合规作业 √ x x 数据处理 数据导入 ALL √ √ x 算子 创建算子 √ √ x 查询算子列表 √ √ √ 查询算子详情 √ √ x 更新算子 √ √ x 删除算子 √ √ x 作业、队列 ALL √ √ x 回放仿真 ALL √ √ x 工作空间 ALL 获取工作空间列表 √ √ x 查看工作空间详情 √ √ x 创建工作空间 √ x x 编辑工作空间 √ x x 删除工作空间 √ x x 更详细的细粒度策略支持的授权项请参考《Octopus API参考》中“策略及授权项说明”章节。
  • 理解Octopus的权限与委托 如果您需要对华为云上购买的Octopus自动驾驶云服务资源,给企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。 通过IAM,您可以在华为云账号中给员工创建IAM用户,并使用策略来控制IAM用户对华为云资源的访问范围,例如您的员工中有负责软件开发的人员,您希望他们拥有Octopus的使用权限,但是不希望他们拥有删除通道等高危操作的权限,那么您可以使用IAM为开发人员创建用户,通过授予仅能使用通道,但是不允许删除通道的权限策略,控制他们对通道资源的使用范围;在使用Octopus云资源过程中需要访问用户的其他服务,需要先获得用户的授权,这个动作就是一个“委托”,用户委托Octopus代表自己访问特定的云服务,已完成其在Octopus平台上的操作。 权限:使用Octopus自动驾驶云服务平台上的镜像仓库、运维配置、工作空间、数据资产、数据合规、数据处理、标注服务、训练服务、仿真服务的所有功能,均需要通过IAM权限体系进行正确权限授权。 委托:使用Octopus自动驾驶云服务平台上的智驾模型服务中的模型微调和2D图像生成功能需要访问对象存储服务(OBS),均需要获得用户的委托授权。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关于IAM的详细介绍,请参见《IAM产品介绍》。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用Octopus的其它功能。
  • 欠费与到期 如下图所示,包年/包月资源各个阶段的状态。购买后,在计费周期内资源正常运行,此阶段为有效期;资源到期而未续费时,将陆续进入宽限期和保留期。 当您的账号欠费后,资源不会立即停止服务,资源进入宽限期。在宽限期内客户可正常访问和使用此服务资源。 如果您在宽限期内仍未续费服务资源,那么就会进入保留期,资源状态变为“已冻结”,针对已购买的服务、扩展资源、模型,允许访问、修改、删除其中的数据,不允许创建数据。 保留期到期后,如果服务资源仍未续费,那么服务资源以及其中的数据将被自动删除,无法恢复。 图1 包年/包月资源生命周期 父主题: 计费说明
  • 计费模式 Octopus当前支持包年/包月、套餐包和按需计费三种计费模式,满足不同场景下用户需求。 包年/包月:是一种预付费模式,即先付费再使用,按照订单的购买周期进行结算,因此在购买之前,用户必须保证账户余额充足。 套餐包:一种预付费模式,即先付费再使用,您可以根据实际需求购买套餐包获取更多的优惠。 按需计费:一种后付费模式,即先使用再付费,按照实际使用次数、处理数据量进行结算。 表1 计费模式说明 计费模式 包年/包月 套餐包 按需计费 付费方式 预付费 预付费 后付费 计费周期 按订单的实际购买时长计费。 按照订单的有效周期结算。 按照单次生成订单费用结算。 适用计费项 基础版、扩容资源 模型 模型 适用功能模块 数据服务、标注服务、训练服务、仿真服务、合规服务 智驾模型服务 智驾模型服务、合规服务 适用场景 适用于可预估资源使用周期的场景。推荐长期使用者购买。 适用于可预估资源使用周期的场景,价格比按需计费模式更优惠。 适用于需求波动大的场景,随时适用。 父主题: 计费说明
  • 访问控制 Octopus作为一个完备的自动驾驶工具链,支持用户对其进行细粒度的权限配置,以达到精细化资源、权限管理之目的。为了支持客户对Octopus的权限做精细化控制,提供了IAM权限控制方面的能力来支撑。 IAM权限控制。 用户使用Octopus的任何功能,都需要通过IAM权限体系进行正确的权限授权。例如:用户希望在Octopus创建训练作业,则该用户必须拥有 "训练服务" 的权限才可以完成操作(无论界面操作还是API调用)。 管理员新创建的用户在没有配置细粒度授权策略时,默认具有Octopus所有权限。如果需要控制用户的详细权限,管理员可以通过IAM为用户组配置细粒度授权策略,使用户获得策略定义的权限,操作对应云服务的资源。基于策略授权时,管理员可以按Octopus的资源类型选择授权范围。详细的资源权限项可以参见API参考中的权限策略和授权项章节。
  • 服务韧性 韧性特指安全韧性,即云服务受攻击后的韧性,不含可靠性、可用性。本章主要阐述Octopus服务受入侵的检测响应能力、防抖动的能力、域名合理使用、内容安全检测等能力。 安全防护套件覆盖和使用堡垒机,增强入侵检测和防御能力 Octopus服务部署主机层、应用层、网络层和数据层的安全防护套件。及时检测主机层、应用层、网络层和数据层的安全入侵行为。 Octopus服务涉及对互联网开放的Web应用,采用了统一推荐的Web安全组件防范Web安全风险,并且通过WAF进行安全防护。 所有承载Octopus服务的主机部署了主机安全防护和容器安全产品。包括不限于华为自研HSS/CGS或计算安全平台CSP。 Octopus服务部署了漏洞扫描服务并自行进行例行扫描,能快速发现漏洞并能及时修复。 Octopus服务通过统一的安全管控平台对云上资源进行安全运维。 Octopus服务部署了态势感知服务,以感知攻击现状,还原攻击历史,同时及时发现合规风险,对威胁告警及时响应。 Octopus对存放关键数据的数据库部署了数据库安全服务。 云服务防抖动和遭受攻击后的应急响应/恢复策略 Octopus服务具备租户资源隔离能力,避免单租户资源被攻击导致爆炸半径大,影响其他租户。 Octopus服务具备资源池和隔离能力,避免单租户资源被攻击导致爆炸半径过大风险。 Octopus服务定义并维护了性能规格用于自身的抗攻击性。例如:设置API访问限制,防止恶意接口调用等场景。 Octopus服务在攻击场景下,具备告警能力及自我保护能力。 Octopus服务提供了业务异常行为感知能力。 Octopus服务具备遭受攻击时的风险控制和应急响应能力。例如快速识别恶意租户,恶意IP。 Octopus服务具备攻击流量停止后,快速恢复业务的能力。 云服务域名使用安全及租户内容安全策略 Octopus服务使用的租户可见域名、租户不可见域名均满足如下安全相关要求, 避免了域名使用过程中的合规和钓鱼风险。其中: 租户可见域名:指租户可访问的域名,需要格外重视安全性和合规性。 租户不可见域名:指华为云服务在内网相互调用使用的域名,外部用户无法访问到对应的权威DNS服务器;或者Internet受限访问域名,只允许华为办公网络黄&绿区华为员工及合作方或外包人员访问的域名。 华为云基础域名安全使用,避免直接为租户分配基础域名。 华为云服务在内网互相调用使用的域名,避免使用外部已备案域名。 父主题: 安全
  • 对象存储服务 Octopus服务使用对象存储服务(Object Storage Service, 简称OBS)存储原始Rosbag数据以及预处理后的视频、抽帧图片等数据,实现安全、高可靠和低成本的存储需求。OBS的更多信息请参见《对象存储服务控制台指南》。 表1 Octopus各环节与OBS的关系 功能 子任务 Octopus与OBS的关系 数据资产 地图管理 高精地图上传后存储在OBS中。 标定管理 传感器标定上传的标定文件存储在OBS中。 数据场景 场景挖掘后切出的rosbag片段存储在OBS中。 数据集 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 模型管理 模型文件存储在OBS中。 通用存储 支持数据导出存储在OBS中。 数据处理 数据批导 支持导入OBS存储数据,支持实时扫描数据在OBS客户端操作。 数据处理 数据处理后的结果存储在OBS中。 标注服务 项目管理 标注的图片、点云数据存储在OBS中。 标注信息数据、标注规范存储在OBS中。 标注任务日志和审核报告存储在OBS中。 训练服务 算法管理 算法文件存储在OBS中。 训练任务 训练产物、训练任务日志存储在OBS中。 模型评测 评测脚本文件、评测产物、评测任务日志存储在OBS中。 编译管理 编译产物、编译任务日志存储在OBS中。 仿真服务 场景管理 场景文件存储在OBS中。 逻辑场景管理 逻辑场景的参数空间敏感性分析文件存储在OBS中。 并行仿真 仿真结果存储在OBS中。 智驾模型服务 2D图像生成 获取OBS访问授权,生成的2D图像存储在OBS中。 模型微调 获取OBS访问授权,模型微调使用的训练数据集从OBS中获取。
  • 责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS各类各项云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类各项云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题: 安全
  • 数据保护技术 Octopus通过多种数据保护手段和特性,保障存储在Octopus中的数据安全可靠。 表1 表1 多种数据保护手段 数据保护手段 简要说明 传输加密(HTTPS) 支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。 数据备份 支持设置数据库的备份和恢复,来保障数据的可靠性。 权限最小化 临时AK/SK和SecurityToken是系统颁发给用户的临时访问令牌,通过接口设置有效期,范围为15分钟至24小时,过期后需要重新获取。临时AK/SK和SecurityToken遵循权限最小化原则。使用临时AK/SK鉴权时,临时AK/SK和SecurityToken必须同时使用。 父主题: 安全
  • 云服务费用 云服务费用是指购买服务所需要的费用,包含了服务运行所需公共资源产生的费用。 表1 云服务基础版计费说明 云服务名称 计费模式 计费说明 计费公式 八爪鱼自动驾驶云服务-基础版 包年/包月 购买八爪鱼自动驾驶云服务-基础版产生的费用。 规格单价 * 购买时长 * 套(仅支持1套) 数据服务-基础版 购买数据服务-基础版产生的费用。 标注服务-基础版 购买标注服务-基础版产生的费用。 训练服务-基础版 购买训练服务-基础版产生的费用。 仿真服务-基础版 购买仿真服务-基础版产生的费用。 合规服务-基础版 购买合规服务-基础版产生的费用。
  • 模型费用 模型费用是在使用智驾模型服务2D预标注、2D图像生成、场景识别时,调用API所产生的费用。 表5 模型计费项说明 计费项 计费模式 计费说明 计费公式 场景识别 套餐包、按需计费 使用模型时API调用次数产生的费用。 购买模型套餐包,价格比按需计费模式更优惠。 套餐包:套餐包规格单价 * 购买数量 * 有效周期(当前仅支持1个月) 按需计费:规格单价 * API调用次数 2D图像生成 2D预标注
  • 扩容资源费用 扩展资源费用是指使用Octopus时需额外购买的仿真扩展包、增强计算资源和存储扩容资源等产生的费用。除服务中自带的资源外,用户可增量购买扩容资源,提高计算性能和扩容存储空间。 表2 扩容资源计费项说明 计费项 计费子项 计费模式 计费说明 计费公式 存储扩容包 自动驾驶数据管理缓存扩容包 包年/包月 使用弹性文件服务(SFS)缓存文件,产生的费用。 规格单价 * 购买时长 * 套 自动驾驶数据管理存储扩容包 使用对象存储服务(OBS)存储数据和模型,产生的费用。 通用处理节点 octopus计算型CPU(16u32g)专属实例 增强计算性能,产生的费用。 octopus计算型CPU(64u128g)专属实例 AI处理节点 octopus计算型GPU(ant0324g24u96g)专属实例 octopus.hp.s2 octopus计算型NPU(x866sntp24g96u384g)专属实例 标注服务扩容包 同时在线用户数扩容包 支持多人在线标注,产生的费用。 仿真服务扩容包 规控仿真引擎-在线 购买在线仿真器,产生的费用。 感知规控仿真引擎-在线 仿真场景编辑器 规控仿真引擎-并行 增加并行任务数,产生的费用。
  • 故障恢复 Octopus全球基础设施围绕华为云区域和可用区构建。华为云区域提供多个在物理上独立且隔离的可用区,这些可用区通过延迟低、吞吐量高且冗余性高的网络连接在一起。利用可用区,您可以设计和操作在可用区之间无中断地自动实现故障转移的应用程序和数据库。与传统的单个或多个数据中心基础设施相比,可用区具有更高的可用性、容错性和可扩展性。 Octopus通过对DB的数据进行备份,保证在原数据被破坏或损坏的情况下可以恢复业务。 父主题: 安全
  • 个人数据说明 Octopus自动驾驶服务平台在自动驾驶开发的过程中,在以下场景中需要您同意授权我们收集和使用您的内容数据,其中可能包括个人信息或个人敏感信息,对于这部分数据您有义务根据所适用国家的法律制定必要的用户隐私政策并采取足够的措施以确保用户的个人数据受到充分的保护。 表1 个人数据说明 使用个人数据的场景 数据批导 数据集 通用存储 数据合规递送 收集的个人数据项 路采数据包(含有人像的2D图片,音频或视频) 自定义数据集(含有人像的2D图片,音频或视频) 路采数据包(含有人像的2D图片,音频或视频) 个人数据收集的来源和方式 对象存储导入 本地 标注 OBS 通用存储 数据递送 使用个人数据的目的以及安全保护措施 路采数据导入平台转换为平台支持的opendata格式 用于数据转换,标注,训练,仿真服务 对数据包中的人脸、车牌、点云、高程进行脱敏 个人数据的存留期限与存留策略 用户自行决定存留期限和策略。 用户自行决定存留期限和策略。 合规数据推送到数据服务后,会将源数据删除。 个人数据的销毁方式 用户自行删除 用户自行删除 平台删除 个人数据的导出方式 不涉及 提供数据集下载功能 不涉及 个人数据的导出指导 不涉及 OBS导出 不涉及
  • 续费 包年/包月自动驾驶云服务到期后会影响云服务器正常运行。如果您想继续使用,需要在指定的时间内为服务、资源、模型续费,否则将终止服务,系统中的数据也将被永久删除。在到期前续费成功,所有资源、数据得以保留,且服务的使用不受影响。 表1 续费相关功能 功能 说明 手动续费 包年/包月云服务、资源从购买到自动删除之前,您可以随时在自动驾驶云服务控制台续费,以延长使用时间。 自动续费 开通云服务时勾选自动续费选项,系统会在每次到期前为您自动续费,避免因忘记手动续费而导致资源、数据被自动删除。 图1 自动续费 父主题: 计费说明
  • 模型微调任务相关操作 在模型微调任务列表页,还可以完成以下操作。 表1 模型微调任务管理相关操作 任务 操作步骤 查看任务详情 单击任务名称,在任务详情页面查看模型微调任务详情,包括任务基本信息、参数详情以及任务日志。 停止任务 当任务状态为“排队中”或“运行中”时,可单击操作栏内的“停止”,进行停止任务操作。 复制任务 单击操作栏内的“复制”,可基于现有任务创建新任务。 单个删除任务 单击操作栏内的“删除”可单个删除任务。模型微调任务删除后无法恢复,请谨慎操作。 批量删除任务 勾选名称前面的复选框,单击列表左上角的“删除”,可批量删除任务。模型微调任务删除后无法恢复,请谨慎操作。 查询模型微调任务 在搜索输入框中输入搜索条件,按回车键即可查询目标任务。
  • 敏感性分析 Octopus平台支持基于参数组合、回归训练、敏捷性评定三个参数空间分析得到的敏感性分析结果,主要对逻辑场景的参数空间进行敏感性分析。在泛化任务完成的批量仿真任务后加上敏感性分析,然后把敏感性分析结果展现在新的泛化任务创建界面上,来帮助客户更好调节参数创建泛化任务。 进入到创建泛化任务界面,参数设置,选择参数设置后的“灵敏度分析”。 图5 灵敏度分析 选择关联到该逻辑场景下泛化任务的仿真任务。 图6 选择仿真任务 单击“确定”,界面出现上次任务的敏感性分析结果,展示每个参数的灵敏度参数,该值的范围在[0,1],该值越大,说明该参数的变化对评测分数的影响越大。 图7 泛化参数 用户可根据敏感性分析结果,设置当前各项参数的数值。
共100000条