华为云用户手册

  • 产品优势 一站式 开箱即用,全托管的自动驾驶云服务,用户无需从零搭建一套复杂的自动驾驶大数据平台、AI平台、仿真平台、标注平台等多个工具平台,只需聚焦于核心价值(自动驾驶算法、标注数据、仿真场景),快速开展自动驾驶业务,跟上瞬息多变的市场节奏。 海量数据 平台可支持PB级数据存储和亿级数据秒级检索。 软硬件加速 感知算法训练和仿真需要使用大量GPU资源,Octopus依托华为自研软硬件能力提供的强大算力支持,满足每天百万公里仿真测试和算法训练。 自动化标注 自动驾驶算法的持续提升依托于持续增加的高质量标注数据集,平台提供预标注范例模型,能对常用的物体如乘用车、大巴车、行人、骑行人、交通灯、可行驶区域等进行预标注,同时通过难例挖掘持续提升标注数据集质量。 仿真场景库 提供场景库管理和分布式运行能力,覆盖大部分驾驶路况,提升自动驾驶安全性。 并行仿真 实车测试成本高,危险系数高,提供并行仿真能力,能够利用云端资源快速回归仿真场景,提供上千个并行仿真节点,完成日行百万公里虚拟里程。 车云无缝对接 支持无缝对接自动驾驶车辆上的移动数据中心(Mobile Data Center,简称MDC)等车端硬件平台,实现车云协同。
  • 到期与欠费 如下图所示,包年/包月资源各个阶段的状态。购买后,在计费周期内资源正常运行,此阶段为有效期;资源到期而未续费时,将陆续进入宽限期和保留期。 当您的账号欠费后,资源不会立即停止服务,资源进入宽限期。在宽限期内客户可正常访问和使用此服务资源。 如果您在宽限期内仍未续费服务资源,那么就会进入保留期,资源状态变为“已冻结”,针对已购买的服务、扩展资源、模型,允许访问、修改、删除其中的数据,不允许创建数据。 保留期到期后,若服务资源仍未续费,那么服务资源以及其中的数据将被自动删除,无法恢复。 图1 包年/包月资源生命周期
  • 计费模式 Octopus当前支持包年和包月购买的计费模式,满足不同用户需求。 按包周期(包年/包月):是一种预付费模式,即先付费再使用,按照订单的购买周期进行结算,因此在购买之前,用户必须保证账户余额充足。 表3 计费模式 参数 说明 计费模式 包年/包月。 付费方式 预付费。 按照订单的购买周期结算。 计费周期 按订单的实际购买时长计费。 使用场景 适用于可预估资源使用周期的场景,价格比按需计费模式更优惠。这种计费模式更推荐长期使用者购买。
  • 计费项 Octopus服务公测试用期间,除仿真服务以外的服务均暂不收费。试用期过后按购买的规格类型收费。 其他相关资源的计费信息请参考云服务价格详情。 具体的收费时间和计费规则请关注Octopus服务产品公告。 使用Octopus自动驾驶云服务进行自动驾驶全流程开发时,涉及到计费项主要包括云服务费用、资源费用、模型费用。 云服务费用:订阅服务所需要的费用,其中包含服务运行所需基本的资源。 资源扩容费用:使用Octopus时需额外购买的计算、存储等资源产生的费用。 模型费用:使用相关模型时所需的订阅费。 存储费用 表1 计费项信息 计费项 计费说明 对象存储(Object Storage Service,OBS) Octopus使用对象存储服务,存储数据和模型,会产生相应的费用,具体费用可参见对象存储价格详情。 资源费用 Octopus服务可根据用户的使用区域和所需要的业务类型,选择合适的计算资源,完成相应的自动驾驶开发。具体资源详情请参考产品价格详情。 在使用Octopus时,不同场景的计算资源使用详情可参见按需付费使用。 表2 计算资源计费项说明 计费项 说明 自动驾驶全流程开发 面向开发者,提供数据采集到仿真任务的全功能,包含数据采集、数据处理、标注服务、模型开发、模型训练、仿真服务等。 涉及计费项包含: 仿真服务 资源配置 当购买资源时,要先购买对应服务,除服务中自带资源外,可增量购买资源。 涉及计费项包含: 通用处理节点,Octopus用于增强计算性能,会产生相应的费用。 存储扩容包,Octopus用于存储数据和模型。 模型费用 按用户实际情况,购买汽车大模型相关模型。
  • 续费 包年/包月自动驾驶云服务到期后会影响云服务器正常运行。如果您想继续使用,需要在指定的时间内为服务、资源、模型续费,否则将终止服务,系统中的数据也将被永久删除。在到期前续费成功,所有资源、数据得以保留,且服务的使用不受影响。 表4 续费相关功能 功能 说明 手动续费 包年/包月云服务、资源从购买到自动删除之前,您可以随时在自动驾驶云服务控制台续费,以延长使用时间。 自动续费 开通云服务时勾选自动续费选项,系统会在每次到期前为您自动续费,避免因忘记手动续费而导致资源、数据被自动删除。 图1 自动续费
  • 支持审计的关键操作 操作场景 平台提供了云审计服务。通过云审计服务,您可以记录与云服务器相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通云审计服务。 支持审计的关键操作列表 表1 云审计服务支持的云服务器操作列表 操作名称 资源类型 事件名称 创建在线仿真加载任务 host create load online tasks 创建在线仿真保存任务 host create save online tasks 创建在线仿真回放任务 host create replay online tasks 下载仿真任务报告 batch download simulation report 创建算法镜像 algorithmImage create algorithm image 更新算法镜像 algorithmImage update algorithm image 删除算法镜像 algorithmImage delete algorithm image 创建算法 algorithms create algorithms 更新算法 algorithms update algorithm 删除算法 algorithms delete algorithm 创建仿真配置 batchConfig create batch config 更新仿真配置 batchConfig update batch config 删除仿真配置 batchConfig delete batch config 创建仿真任务 batch create batch config 更新仿真任务 batch update batch 删除仿真任务 batch delete batch 调整仿真任务队列优先级 batchQueue update batch queue priority 仿真pb下载 simulation download sim osi 算法日志下载 simulation download algorithm log 评测日志下载 simulation download evaluation log 评测pb下载 simulation download evaluation 算法pb下载 simulation download algorithm pb 仿真meta下载 simulation download osi meta 算法meta下载 simulation download algorithm meta 创建评测镜像 evaluationImage create evaluation image 更新评测镜像 evaluationImage update evaluation image 删除评测镜像 evaluationImage delete evaluation image 创建评测 evaluations create evaluations 更新评测 evaluations update evaluations 删除评测 evaluations delete evaluations 创建场景库分类 categories create categories 更新场景库分类 categories update categories 删除场景库分类 categories delete categories 创建逻辑场景库分类 categories create logical categories 更新逻辑场景库分类 categories update logical categories 删除逻辑场景库分类 categories delete logical categories 创建场景库 groups create groups 更新场景库 groups update groups 删除场景库 groups delete groups 场景库中添加场景 groups update groups scenarios 场景库删除场景 groups delete groups scenarios 创建逻辑场景库 groups create logical groups 更新逻辑场景库 groups update logical groups 逻辑场景库中添加场景 groups update logical groups scenarios 删除逻辑场景库 groups delete logical groups 删除逻辑场景库中的场景 groups delete logical groups scenarios 创建场景地图 maps create maps 更新场景地图文件 maps update maps files 下载地图文件 maps download maps files 创建逻辑场景地图 maps create maps 更新逻辑场景地图文件 maps update logical maps files 创建场景3D模型 models create models 更新场景3D模型 models update models 下载场景3D模型文件 models download models files 创建测试套件 suits create suits 更新测试套件 suits update suits 删除测试套件 suits delete suits 套件添加用例 suits add cases 从套件删除用例 suits delete cases 创建测试用例 cases create testcases 更新测试用例 cases update testcases 删除测试用例 cases delete testcases 测试用例添加单个标签 cases update testcases labels 测试用例删除单个标签 cases delete testcases labels 创建场景 scenarios create scenarios 更新场景 scenarios update scenarios 删除场景 scenarios delete scenarios 下载场景文件 scenarios download scenarios files 创建场景文件 scenarios create scenarios files 修改场景文件 scenarios update scenarios files 场景绑定单个标签 scenarios update scenarios labels 场景解绑标签 scenarios delete scenarios labels 创建逻辑场景 scenarios create logical scenarios 更新逻辑场景 scenarios update logical scenarios 删除逻辑场景 scenarios delete logical scenarios 下载逻辑场景文件 scenarios download logical scenarios files 创建逻辑场景文件 scenarios create logical scenarios files 更新逻辑场景文件 scenarios update logical scenarios files 创建标签 labels create labels 更新标签 labels update labels 删除标签 labels delete labels 更新逻辑场景标签 scenarios update logical scenarios labels 删除逻辑场景标签 scenarios delete logical scenarios labels 创建参数泛化资源 parameters create logical parameters 下载逻辑参数文件 parameters download logical parameters files 更新参数泛化资源文件 parameters update logical parameters files 导入标签 labels create turtles 创建路采场景 scenarios create road scenarios 创建场景转换 scenarios create scenario transformers 创建泛化任务 generalizations create logical generalizations 删除泛化任务 generalizations delete logical generalizations
  • 审计 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务后,CTS可记录八爪鱼的管理事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 Octopus支持审计的操作事件,请参见支持审计的关键操作。 查看审计日志,请参见如何查看审计日志。 图1 云审计服务
  • 错误码说明 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。 表1 错误码 状态码 错误码 错误信息 描述 处理措施 400 octopus.400000 Request parameter verification failed. 请求参数校验失败。 请确认请求参数正确。 401 octopus.400001 The request token is invalid. 请求token不合法。 请更新Authorization中的Token。 403 octopus.400003 Insufficient permission to operate. 操作权限不足。 请联系管理员申请权限。 404 octopus.400004 The resource does not exist. 您请求的资源不存在。 请确认您访问的资源是否正确。 405 octopus.400005 The server denies the request using the current HTTP method. 服务器禁止了使用当前HTTP方法的请求。 请改变HTTP请求方法。 409 octopus.400009 The resource you requested is already in use, or the resource is bound to another resource. 您请求的资源已经被占用,或存在关联资源。 请稍后重试,或请确保请求资源已解除或已删除关联资源。 500 octopus.400100 Internal server error. 内部服务错误。 请联系华为自动驾驶云服务技术支持团队或稍后再试。 502 octopus.400102 The response received from the upstream server is invalid. 从上游服务器中接收到的响应是无效的。 请检查网关和代理服务器。 504 octopus.400104 The server acting as a gateway or proxy cannot get the desired response within the specified time. 扮演网关或者代理的服务器无法在规定的时间内获得想要的响应。 请检查网关和代理服务器。
  • 调用API获取项目ID 项目ID还用通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例如下,其中projects下的“id”即为项目ID。 { "projects": [ { "domain_id": "65382450e8f64ac0870cd180d14e684b", "is_domain": false, "parent_id": "65382450e8f64ac0870cd180d14e684b", "name": "cn-north-4", "description": "", "links": { "next": null, "previous": null, "self": "https://www.example.com/v3/projects/a4a5d4098fb4474fa22cd05f897d6b99" }, "id": "a4a5d4098fb4474fa22cd05f897d6b99", "enabled": true } ], "links": { "next": null, "previous": null, "self": "https://www.example.com/v3/projects" } }
  • 产品优势 一站式 开箱即用,全托管的自动驾驶云服务,用户无需从零搭建一套复杂的自动驾驶大数据平台、AI平台、仿真平台、标注平台等多个工具平台,只需聚焦于核心价值(自动驾驶算法、标注数据、仿真场景),快速开展自动驾驶业务,跟上瞬息多变的市场节奏。 海量数据 路测车预计每天产生8TB数据,平台可支持PB级数据存储和亿级数据秒级检索。 软硬件加速 感知算法训练和仿真需要使用大量GPU资源,Octopus依托华为自研软硬件能力提供的强大算力支持,满足每天百万公里仿真测试和算法训练。 自动化标注 自动驾驶算法的持续提升依托于持续增加的高质量标注数据集,平台提供预标注范例模型,能对常用的物体如乘用车、大巴车、行人、骑行人、交通灯、可行驶区域等进行预标注,同时通过难例挖掘持续提升标注数据集质量。 仿真场景库 系统预置智能驾驶、主动安全、危险场景等六大场景实例,提供20000个场景库管理和分布式运行能力,覆盖大部分驾驶路况,提升自动驾驶安全性。 并行仿真 实车测试成本高,危险系数高,提供并行仿真能力,能够利用云端资源快速回归仿真场景,提供上千个并行仿真节点,完成日行百万公里虚拟里程。 车云无缝对接 支持无缝对接自动驾驶车辆上的移动数据中心(Mobile Data Center,简称MDC)等车端硬件平台,实现车云协同。
  • 函数工作流FunctionGraph定制化开发 本实例数据库表均使用python代码基于FunctionGraph创建,在实际使用过程中,用户可以根据自己的业务场景参考函数工作流 FunctionGraph使用流程对代码进行定制化开发。 在控制台单击“服务列表”,选择“函数工作流 FunctionGraph”,单击进入函数主页面,依次单击“函数”“函数列表”,打开该解决方案创建的函数。 图21 函数 函数代码相关配置。用户可以根据实际情况,进行二次定制化代码开发及参数配置。 图22 函数代码 图23 环境变量
  • 数据说明 本案例中使用两类数据:(详见步骤6 体验Demo样例) 1、详单数据:车辆上报的详单数据,包括定时上报的位置记录和异常的驾驶行为触发的告警事件数据。 2、订单数据:记录了货运订单相关的信息。 表1 详单数据 字段名称 字段类型 字段说明 driverID string 驾驶员ID carNumber string 车牌号 latitude double 纬度 longitude double 经度 speed int 速度 direction int 方向 siteName string 地点 time timestamp 记录上报时间 isRapidlySpeedup int 急加速标识,“1”表示急加速,“0”表示非急加速 isRapidlySlowdown int 急减速 isNeutralSlide int 空挡滑行 isNeutralSlideFinished int 空挡滑行结束 neutralSlideTime bigint 空挡滑行时长 isOverspeed int 超速 isOverspeedFinished int 超速结束 overspeedTime bigint 超速时长 isFatigueDriving int 疲劳驾驶 isHthrottleStop int 停车轰油门 isOilLeak int 用油异常 表2 订单数据 字段名称 字段类型 字段说明 orderNumber string 订单号 driverID string 驾驶员ID carNumber string 车牌号 customerID string 客户ID sourceCity string 出发城市 targetCity string 到达城市 expectArriveTime timestamp 期望送达时间 time timestamp 记录产生时间 action string 事件类型,包括创建订单、开始发货、货物送达、订单签收等事件
  • 访问控制 MRS提供两种访问控制权限模型:基于角色的权限控制和基于策略的权限控制,详情请参见权限模型。 基于角色的权限控制 MRS基于用户和角色的认证统一体系,遵从账户/角色RBAC(Role-Based Access Control)模型,实现通过角色进行权限管理,对用户进行批量授权管理,同时提供单点登录能力,统一了系统用户和组件用户的管理及认证。具体机制详情描述请参见权限机制。 基于策略的权限控制 Ranger鉴权 MRS提供了基于Ranger的鉴权方案,对于MRS安全集群,默认启用了Ranger鉴权;对于安装了Ranger服务的普通集群,Ranger可以支持基于OS用户进行组件资源的权限控制。 Ranger鉴权的具体策略请参见鉴权策略。 OBS存算分离细粒度鉴权 对于OBS存算分离集群,如果您想对OBS上的资源进行细粒度的权限控制,可以通过MRS提供的基于IAM委托的细粒度权限控制方案进行配置,请参见配置MRS多用户访问OBS细粒度权限。
  • 责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS各类各项云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类各项云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题: 安全
  • 请求参数 参数 类型 必填 说明 url String 是 接口url。提示:URL中如果包含中文或者特殊字符,请使用encodeURIComponent进行处理 method String 是 服务请求类型,仅支持 get / post / put / delete body String 是 请求参数 headers Object 是 请求头 timeout Number 否 超时时间 注意:headers为x-www-form-urlencoded时,body需要code=value&key=value格式。
  • 搭建网站 该方案的部署为步骤1-步骤3,如需购买域名,请参考步骤4-步骤6。 单击该方案资源栈后的“输出”,打开浏览器,输入部署成功显示的网址进入WordPress安装向导。 图4 输出 初始化WordPress登录密码,单击“Install WordPress”。 图5 初始化 图6 安装成功 单击“Log In”,或者浏览器访问“http://服务器IP地址/wp-login.php”,输入用户名和密码后单击“Log In”,进入WordPress。 图7 WordPress登录页面 图8 WordPress界面 购买域名。为了便于网站的访问和使用,可以给网站设置一个单独的域名,使用域名访问网站。首先,需要在域名注册商处获得授权的域名。 进行备案。如果网站未进行备案,且需要使用华为云进行托管,则需要通过华为云备案系统进行备案。具体操作请参见如何进行备案。 配置域名解析。配置域名解析后才能使用注册的域名访问网站。具体操作请参见配置域名解析。例如,配置的域名为“www.example.com”,配置成功后,可在浏览器地址栏中输入“http://www.example.com”访问部署的网站。
  • 管理CCE弹性到CCI中的Pod 在云容器引擎控制台,进入CCE集群,单击左侧导航栏的“工作负载”,单击wordpress负载,看到Pod弹性运行在CCI上。 图9 Pod弹性运行在CCI上 单击Pod所在节点的CCI集群,观察CCI侧Pod运行状态。 图10 CCI侧Pod运行状态 回到CCE集群工作负载页面,单击右上角“更多”按钮,单击“标签管理”,将“virtual-kubelet.io/burst-to-cci”标签键值由“auto”改为“localPrefer”,单击“确定”,查看Pod运行状态,发现Pod分别运行在CCE节点和CCI上。您还可以尝试将标签改为“enforce”或“off”进行观察。 图11 标签管理 图12 修改标签 图13 Pod分别运行在CCE节点和CCI上 增加实例个数,观察到更多的Pod被调度到CCI上。您也可以尝试减少实例个数进行观察。 图14 更多的Pod被调度到CCI上
  • 快速部署 本章节主要帮助用户快速部署该解决方案 表1 参数说明 参数名称 类型 是否必填 参数解释 默认值 vpc_name string 是 虚拟私有云名称,该模板使用新建VPC,不支持重名。取值范围:1-64个字符,支持数字、字母、中文、_(下划线)、-(中划线)、.(点)。 cce-extreme-elastic-transformation-to-cci-demo elb_name string 必填 弹性负载均衡ELB名称,取值范围:1-64个字符组成,支持中文、英文字母、数字、_(下划线)、-(中划线)、.(点)。 cce-extreme-elastic-transformation-to-cci-demo cce_name string 必填 云容器引擎CCE名称,取值范围:4-128个字符,以小写字母开头,由小写字母、数字、中划线(-)组成,且不能以中划线(-)结尾。 cce-extreme-elastic-transformation-to-cci-demo cce_node_pool_name string 必填 CCE集群节点池名称(节点规格为c7.xlarge.2),取值范围:2-50个字符,以小写字母开头,由小写字母、数字、中划线(-)组成,且不能以中划线(-)结尾。 cce-extreme-elastic-transformation-to-cci-demo cce_node_pool_password string 必填 CCE集群nodepool节点池初始密码,用于集群节点登录,创建完成后可以参考部署指南修改集群节点密码。取值范围:8-26个字符,密码至少必须包含大写字母、小写字母、数字和特殊字符(!@$%^-_=+[{}]:,./?)中的三种。 空 cce_flavor_id string 必填 集群规格,集群创建完成后规格不可再变更,可选值为: cce.s1.small: 小规模单控制节点CCE集群(最大50节点)。 cce.s1.medium: 中等规模单控制节点CCE集群(最大200节点)。 cce.s2.small: 小规模多控制节点CCE集群(最大50节点)。 cce.s2.medium: 中等规模多控制节点CCE集群(最大200节点)。 cce.s2.large: 大规模多控制节点CCE集群(最大1000节点)。 cce.s2.xlarge: 超大规模多控制节点CCE集群(最大2000节点)。 cce.s2.small deployment_name string 必填 工作负载的名称,取值范围:2-53个字符,可以包含小写字母、数字和中划线(-),并以小写字母开头,小写字母或者数字结尾。 wordpress burst_to_cci_label string 必填 实例Pod弹性转换到云容器实例CCI的策略,可选值为: auto:根据用户集群内调度器实际打分结果自动决定是否弹性至CCI。 localPrefer:集群资源不足时,将Pod部署到CCI。 enforce:强制调度至CCI。 off:不调度至CCI。 auto mysql_root_password string 必填 MySQL数据库的root账户初始密码。取值范围:长度为8-12位,密码必须包含大写字母、小写字母、数字和特殊字符(~!@#$%^*-_=+?,()&)中的三种。 空 登录华为云解决方案实践,选择“基于CCI的CCE容器集群极致弹性转换架构”,单击“一键部署”,跳转至解决方案创建资源栈界面 图1 解决方案实践 在选择模板界面中,单击“下一步”。 图2 选择模板 在配置参数界面中,参考表1 参数填写说明完成自定义参数填写,单击“下一步”。 图3 配置参数 (可选,如果使用华为主帐号或admin用户组下的IAM子账户可不选委托)在资源设置界面中,在权限委托下拉框中选择“rf_admin_trust”委托,单击“下一步”。 图4 资源栈设置 在配置确认界面中,单击“创建执行计划”。 图5 配置确认 在弹出的创建执行计划框中,自定义填写执行计划名称,单击“确定”。 图6 创建执行计划 单击“部署”,并且在弹出的执行计划确认框中单击“执行”。 图7 执行计划 图8 执行计划确认 待“事件”中出现“Apply required resource success”,表示该解决方案资源已经部署完成,后台将自动完成环境构建。 图9 部署完成 父主题: 实施步骤
  • 方案架构 该解决方案部署架构图如下: 图1 方案架构图 该解决方案会部署如下资源: 创建三台弹性云服务器 ECS,安装 WordPress 和 MySQL。 创建一个云容器引擎 CCE 集群,创建节点池并将弹性云服务器 ECS 纳管为集群的 Node 节点。 创建一个弹性负载均衡 ELB,提供流量转发能力,WordPress 的 Service 类型为 Loadbalancer。 创建两个弹性公网 IP EIP,分别绑定到弹性负载均衡 ELB 和云容器引擎 CCE 集群,允许公网访问云容器引擎 CCE 集群的 API 接口。 创建一个云硬盘 EVS,用于业务部署 MySQL 数据库。
  • 创建rf_admin_trust委托(可选) 进入华为云官网,打开控制台管理界面,鼠标移动至个人帐号处,打开“统一身份认证”菜单。 图1 控制台管理界面 图2 统一身份认证菜单 进入“委托”菜单,搜索“rf_admin_trust”委托。 图3 委托列表 如果委托存在,则不用执行接下来的创建委托的步骤。 如果委托不存在时执行接下来的步骤创建委托。 单击步骤2界面中的“创建委托”按钮,在委托名称中输入“rf_admin_trust”,委托类型选择“云服务”,选择“RFS”,单击“下一步”。 图4 创建委托 在搜索框中输入“Tenant Administrator”权限,并勾选搜索结果,单击“下一步”。 图5 选择策略 选择“所有资源”,并单击下一步完成配置。 图6 设置授权范围 “委托”列表中出现“rf_admin_trust”委托则创建成功。 图7 委托列表
  • 资源和成本规划 该解决方案主要部署如下资源,以下费用仅供参考,具体请参考华为云官网价格计算器,实际收费以账单为准。 表1 资源和成本规划(按需计费) 华为云服务 计费说明 每月花费 弹性云服务器 ECS 区域:华北-北京四 按需计费:0.92元/小时 规格:X86计算 | 通用计算增强型 | c7.xlarge.2 | 4vCPUs | 8 GiB 镜像:EulerOS 2.0 (SP5) 系统盘:高IO | 50GB 数据盘:高IO | 100GB 购买量:3 0.92 * 24 * 30 * 3 = 1987.2‬‬ 元 弹性公网IP EIP 区域:华北-北京四 按需计费:1.59元/10MBit/s/小时 计费模式:按需计费 线路:动态BGP 公网带宽:按流量计费 带宽大小:10Mbit/s 购买量:2 1.59 * 24 * 30 * 2 = 2289.6‬ 元 弹性负载均衡 ELB 共享型负载均衡(性能保障模式) 按需计费:0.32元/小时 区域:华北-北京四 计费模式:按需计费 购买量:1 0.32 * 24 * 30 = ‭230.4‬元 云容器引擎 CCE 按需计费:2.91元/小时 区域:华北-北京四 计费模式:按需计费 规格:cce.s2.small(50节点) 类型:CCE 购买量:1 2.91 * 24 * 30 = 2,095.2‬‬元 云硬盘 EVS 按需计费:0.097元/小时 区域: 华为-北京四 计费模式:按需计费 规格:通用SSD 100GB 购买量:1 0.097 * 24 * 30 = 69.84元 云容器实例 CCI 区域: 华为-北京四 计费模式:按需计费 规格:通用计算型 CPU:0.000049元/秒/Core 内存:0.00000613元/秒/GB (具体花费根据实际业务使用估算) 合计 - 6672.24元+CPU使用费(0.000049元/秒/Core)+内存使用费(0.00000613元/秒/GB)
  • 名词解释 弹性云服务器 ECS:是一种云上可随时自助获取、可弹性伸缩的计算服务,可帮助您打造安全、可靠、灵活、高效的应用环境。 虚拟私有云 VPC:是用户在华为云上申请的隔离的、私密的虚拟网络环境。用户可以基于VPC构建独立的云上网络空间,配合弹性公网IP、云连接、云专线等服务实现与Internet、云内私网、跨云私网互通,帮您打造可靠、稳定、高效的专属云上网络。 弹性公网IP EIP:提供独立的公网IP资源,包括公网IP地址与公网出口带宽服务。可以与弹性云服务器、裸金属服务器、虚拟IP、弹性负载均衡、NAT网关等资源灵活地绑定及解绑,提供访问公网和被公网访问能力。 弹性负载均衡 ELB:将访问流量自动分发到多台云服务器,扩展应用系统对外的服务能力,实现更高水平的应用容错。 云容器引擎 CCE:基于云原生1.0的容器引擎服务,提供多种异构节点的混合部署,基于高性能网络模型提供全方位、多场景、安全稳定的容器运行环境。 云容器实例 CCI:服务提供Serverless Container(无服务器容器)引擎,无需创建和管理服务器集群即可直接运行容器。 WordPress:使用PHP语言开发的博客平台,用户可以在支持PHP和MySQL数据库的服务器上架设属于自己的网站 云硬盘 EVS:可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求,适用于分布式文件系统、开发测试、数据仓库以及高性能计算等场景。
  • 附录 名词解释 基本概念、云服务简介、专有名词解释 弹性云服务器ECS:是一种可随时自助获取、可弹性伸缩的云服务器,可帮助您打造可靠、安全、灵活、高效的应用环境,确保服务持久稳定运行,提升运维效率。 弹性公网IP:提供独立的公网IP资源,包括公网IP地址与公网出口带宽服务。可以与弹性云服务器、裸金属服务器、虚拟IP、弹性负载均衡、NAT网关等资源灵活地绑定及解绑。 弹性文件服务SFS Turbo:为用户提供一个完全托管的共享文件存储,能够弹性伸缩至320TB规模,具备高可用性和持久性,为海量的小文件、低延迟高IOPS型应用提供有力支持。 Gearbox: Gearbox是一个华为云自研开源的资源协同系统。Gearbox系统与调度平台(Slurm)协同,协调云下、云上资源使用。支持自定义业务负载指标,提供基于指标的自动扩容能力,感知业务任务状态,闲置自动释放,提供无损的弹性伸缩能力。 Slurm:是一个开源,高度可扩展的集群管理工具和作业调度系统,用于各种规模的Linux集群。 主要提供如下集中关键的特性: 资源分配 分配独占或者非独占的资源给用户,可以控制分配的时长,供用户运行作业。 作业管理框架 提供一个框架,可以帮助用户控制并行作业在所分配资源上的启动、运行和监控。 队列 提交的作业资源需求超出了可用资源,将作业放入队列。 不同的作业调度策略 提供资源预留,公平分享,回填等高级作业调度策略供使用。 其他工具 提供作业信息统计,作业状态诊断等工具。
  • 快速卸载 登录应用编排服务RFS资源栈,找到该解决方案创建的资源栈,单击资源栈名称最右侧“删除”按钮,在弹出的“删除资源栈”提示框输入“Delete”,单击“确定”进行解决方案卸载。 图1 解决方案删除 图2 删除确认 函数工作流创建的资源不会被资源栈删除,请进入镜像服务中删除。 图3 计算节点镜像 创建的伸缩配置资源不会被资源栈删除,请进入伸缩配置中删除。 图4 删除伸缩配置 父主题: 实施步骤
  • 商品名称发布说明 商品名称需与商品内容相符,软件类商品名称须与软件著作权证书中软件名称对应。 商品名称不能扩大宣传,如无授权,请勿借用华为名义,如:命名为“华为XXX”。 如发布的是SaaS类商品,且商家已有相同的镜像、License商品在架,用作区分,请将商品名称命名为“XXXSaaS版”。 如发布的是License类商品,且商家已有相同的镜像、SaaS商品在架,用作区分,请将商品名称命名为“XXX独立部署”。 如发布的是软件配套的人工服务类商品,需合理优化商品名称,请命名为“XXX配套服务”。 如发布的是HCS版商品,请命名为“XXX(HCS版)”。 父主题: 商品发布
  • 通用商品服务协议发布说明 商品服务协议为线上协议,该协议为服务商与买家之间的双方协议 ,下单时勾选生效,线下合同不适用于该场景,协议中不可有留白待填写、盖章生效、签约地点等内容,请调整或下载参考样例模板进行修改,模板可通过点击下方提示中的“通用商品服务协议模板”进行下载。 根据隐私和安全规定,该协议必须包含保护用户个人信息的条款,请添加用户隐私条款。 通用商品服务协议模板填写说明请参考如下内容: 父主题: 商品发布
  • 通用商品规格发布说明 如无授权,规格名称不能直接借助华为名义,如命名为“华为XXX”。 商品规格名称的命名应有一定规则,请勿以“规格1”、“规格2”等无规格信息的简单文字,“年”、“月”等计费模式,“套”、“次”等计数单位命名。 商品请勿发布“0元”免费试用规格,避免被无限购买的风险。 软件商品的规格请勿涉及人工服务内容,如:运维服务、迁移服务、定制开发等,需要另外发布一个配套的“人工服务”商品,命名为“XXX配套服务”,再添加该规格。 发布人工服务类商品时,若商品规格涉及人天服务内容,请参考《发布多SKU定价的商品规格》。 API类商品规格,如设置0元套餐包,不可设置为“0元,同一用户订购次数多次”,此套餐包对同一用户,不可无限次购买,请将同一用户订购次数中多次改为一次。 父主题: 商品发布
  • 使用须知 DRS全量+增量同步过程一般包含四个阶段:任务启动阶段、全量阶段、增量阶段、结束任务阶段(单全量任务则包含三个阶段)。为了确保同步各个阶段的平顺,在创建同步任务前,请务必阅读以下使用须知。 表4 使用须知 类型名称 使用和操作限制 任务启动前须知 源数据库参数要求: 目前仅支持同步如下字符集:ZHS16GBK、AL32UTF8、UTF8、US7ASCII、WE8MSWIN1252、WE8ISO8859P1、WE8ISO8859P2、WE8ISO8859P4、WE8ISO8859P5、WE8ISO8859P7、WE8ISO8859P9、WE8ISO8859P13、WE8ISO8859P15。 源数据库对象要求: 源数据库中的库名或映射后的名称不允许以ib_logfile开头,也不能为ib_buffer_pool、ib_doublewrite、ibdata1、ibtmp1。 源数据库支持to_date和sys_guid函数做默认值。将其他函数作为default值时,需要目标库也有相同功能的函数。对于目标库不存在对应函数的情况,可能会出现以下结果: 默认值函数可能会被置空。 创建表失败,导致对象对比不一致或者任务失败。 Oracle单行记录不能超过8K(lob、long类型除外,会自动转换成MySQL的text、blob类型),原因是MySQL innodb引擎限制单行大小不能超过8K(text、blob类型除外)。 不建议以字符串类型作为主键或唯一键,因为Oracle的字符串作为主键、唯一键时区分空格,而MySQL不区分,可能导致数据不一致和死锁问题。 对于Oracle的binary_float或者binary_double类型,MySQL中不支持设置Nan、Inf、-Inf三种值,DRS默认会将这三种值转为0保存。 Oracle的check约束同步到MySQL会失效,原因是MySQL不支持check约束。 Oracle中建议列名不要取名AUTO_PK_ROW_ID,原因是这个列名在MySQL5.7中是保留列名,无法创建出来。 Oracle中number(p, s)字段的精度不要超过p: [1, 38], s:[p-65, min(p, 30)]的精度表示范围。其中,s取值依赖于p的取值变化,即下限为p-65, 上限为p或30中取最小值。例如:当p=1, s的取值范围是[-64, 1]。当p=38, s取值范围是[-27, 30]。int字段的值不要超过(65,0)的精度表示范围。原因是MySQL数字的表示范围比Oracle小。 Oracle归档日志文件大小必须大于单条数据最大值,避免单条数据日志跨文件(超过2个日志文件)导致的增量数据解析异常。 源数据库不允许存在索引列的长度之和超过目标库索引列长度限制的索引,具体长度要求请参见索引长度说明。 默认值不支持default user,MySQL没有对应的语法。 目标库参数要求: DRS同步时会有大量数据写入目标库,目标库max_allowed_packet 参数过小会导致无法写入,建议将目标库max_allowed_packet参数值设置为大于100MB。 目标库对象要求: 源库和目标库时区设置必须一致。 选择同步表结构时,目标数据库不能存在待同步数据库。 目标数据库需要有足够的磁盘空间,约为源库空间大小的1.5倍。 目标数据库版本小于5.7.7时,源库单个索引的全部列的长度不得超过767,反之则不得超过3072。 同步的表要禁用外键,因为DRS并行回放会使得不同表之间的写入顺序和源库不一致,可能会触发外键约束限制,造成同步失败。 支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。 目标端多的列要求非空且没有默认值,源端insert数据,同步到目标端后多的列为null,不符合目标端要求。 目标端多的列设置固定默认值,且有唯一约束。源端insert多条数据后,同步到目标端后多的列为固定默认值,不符合目标端要求。 其他使用须知: 数据类型不兼容时,可能引起同步失败。 由于无主键表缺乏行的唯一性标志,网络不稳定时涉及少量重试,表数据存在少量不一致的可能性。 如有中文、日文等特殊字符,业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致,否则目标库会出现乱码。 在创建DRS任务之前,如果目标数据库实例开启并设置了SQL限流规则,可能会导致DRS任务失败。 Oracle中表结构长度(所有列长字节数之和,char、varchar2等类型字节长度和编码有关)超过65535时,可能导致同步失败。 Oracle中表结构同步到MySQL后表的字符集为UTF8MB4。 当Oracle字符集是WE8MSWIN1252时,CLOB列同步到目标库可能出现乱码,建议先修改源库字符集为AL32UTF8再同步数据。 当使用PDB数据库同步时,由于Oracle LogMiner组件的限制,增量同步时必须打开全部PDB。 Oralce 12.2及以上版本,由于Oracle LogMiner组件的限制,增量同步不支持表名或列名超过30个字符。 对于Oracle RAC集群,建议使用SCAN IP+ SERVICE_NAMES方式创建任务,SCAN IP具有更强的容错性,更好的负载能力,更快的同步体验。 源库为Oracle RAC时,如果需要使用SCAN IP配置DRS任务,需要保证SCAN IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。若不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。 由于Oracle与MySQL的部分语法有明显区别,结构同步无法完全保证支持全部语法的转换,包括但不限于函数,表达式,依赖的系统表等。所以在同步过程中,会有在Oracle上存在,在MySQL中没有直接对应的语法,或者MySQL中有对应的语法,但当前还未适配转换的情况,这样会导致结构同步失败。这时,需要手工在目标数据库创建表结构。 同步对象支持设置事务的强一致性(事务同步到目标库的提交顺序和原子性与源库保持一致),性能相比默认模式有较大幅度降低。 打开事务强一致性开关,如果一次提交事务过大(大于256M),可能会导致内存溢出。 全量+增量或单增量任务场景,不支持直接连PDB数据库,用户需要提供CDB的Service Name/SID、用户名和密码。 lob类型及扩展字符类型(字节长度超过4000)不建议作为增量数据过滤条件,Oracle日志中可能出现不记录update旧值的情况。 全量同步阶段须知 任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 全量同步过程中,不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限,或修改源和目标数据库的端口号。 全量同步过程中,不允许对正在同步中的目标数据库进行修改操作(包括但不限于DDL、DML操作)。 全量同步过程中,不允许对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。 全量同步过程中,不支持LOB类型的rollback操作,否则会导致同步任务失败。 全量同步过程中,不支持修改源数据库Oracle用户名(SCHEMA名),包括11.2.0.2之前版本通过修改USER$字典表方式及11.2.0.2之后通过ALTER USER username RENAME TO new_username修改SCHEMA名称的场景。 DRS全量同步表结构时,源库中的char、varchar2类型长度在目标库会按照字节长自动扩大(因为目标库为字节长),至少扩大1.5倍。扩大倍数和源库目标库的字符集有关,例如同为UTF8的情况下,默认扩大3倍,同为GBK的情况下,默认扩大2倍。 全量同步分区表的结构时会将该对象转为非分区的普通表,增量同步时,源库跟分区表相关的操作,在目标库执行可能会失败。 增量同步阶段须知 增量同步过程中,不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限,或修改源和目标数据库的端口号。 增量同步过程中,不允许对正在同步中的目标数据库进行修改操作(包括但不限于DDL、DML操作)。 增量同步过程中,不允许对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。 增量同步过程中,不支持LOB类型的rollback操作,否则会导致同步任务失败。 增量同步过程中,不支持修改源数据库Oracle用户名(SCHEMA名),包括11.2.0.2之前版本通过修改USER$字典表方式及11.2.0.2之后通过ALTER USER username RENAME TO new_username修改SCHEMA名称的场景。 增量同步过程中,请勿修改源库或目标库表中的char类型字段为varchar,由于Oracle和MySQL表现不同,产生的空格可能会导致数据对比不一致。 增量同步过程中,支持部分DDL操作。异构数据库DDL转换需要分析语义,考虑语法兼容性,无法做到完美转换,所以目前仅支持部分DDL操作,仅在转换成功并在以下范围内时会进行同步。如果出现其余情况的DDL同步导致的任务异常,需要手动在目标库执行相应的DDL来规避。 表级同步支持alter table add column、alter table drop column、alter table rename column、alter table modify column以及truncate table的基本DDL,不支持默认值等的修改。 库级同步支持create table(表内定义不能包含函数)。 DDL中的对象不能是目标库的关键字,比如index,where等。目标库MySQL关键字可参考MySQL官网文档。 目标库为8.0以下版本时,不支持alter table rename column。 增量DDL不支持全角、中文等特殊字符。 增量同步时,BLOB末尾的0x00、CLOB末尾的空格会被截断。 增量同步时,不建议选择混合分区表,因为混合分区表中的外部分区数据变更不产生DML日志,DRS增量数据同步无法获取变更信息,会存在数据不一致的风险。 增量同步时,增量解析时间类型仅支持在Oracle时间类型合法范围内的数据,超范围的数据可能导致任务异常,例如年份大于9999时会出现数据截断。 若源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。 若源库为RAC,增量同步时,不支持增加、减少节点数量,避免导致增量同步异常(为保证数据的强一致性)。 表的对象名同步到目标库后会转换成小写,如ABC和abc。因此增量同步阶段,选择的源库的表中不能存在仅大小写不同的表,否则会导致同步失败。 任务再编辑增加新表时,请确保新增的表的事务都已提交,否则未提交的事务可能无法同步到目标库。建议在业务低峰期做增加表的操作。
  • 前提条件 当前支持的DDL操作包含如下: 表级同步支持:TRUNCATE(仅PostgreSQL 11及以上版本支持)、DROP TABLE 、ALTER TABLE(包含ADD COLUMN、DROP COLUMN、ALTER COLUMN、RENAME COLUMN、ADD CONSTRAINT、DROP CONSTRAINT、RENAME)、COMMENT ON COLUMN、COMMENT ON TABLE。 库级同步支持:TRUNCATE(仅PostgreSQL 11及以上版本支持)、CREATE SCHEMA/TABLE、DROP TABLE 、ALTER TABLE(包含ADD COLUMN、DROP COLUMN、ALTER COLUMN、RENAME COLUMN、ADD CONSTRAINT、DROP CONSTRAINT、RENAME)、CREATE SEQUENCE、DROP SEQUENCE、ALTER SEQUENCE、CREATE INDEX、ALTER INDEX、DROP INDEX、CREATE VIEW、ALTER VIEW、COMMENT ON COLUMN、COMMENT ON TABLE、COMMENT ON SCHEMA、COMMENT ON SEQUENCE、COMMENT ON INDEX、COMMENT ON VIEW。 表级同步:RENAME表名之后,向更改名称后的表插入新的数据时,DRS不会同步新的数据到目标库。 库级同步:源库使用非CREATE TABLE方式创建的表不会同步到目标库。常见地如:使用CREATE TABLE AS创建表、调用函数创建表。 暂不支持以注释开头的DDL语句的同步,以注释开头的DDL语句将被忽略。 不支持函数和存储过程中DDL语句的同步,函数和存储过程中执行的DDL语句将被忽略。 源库和目标库版本不同时,请使用源库和目标库都兼容的SQL语句执行DDL操作。例如:源库为pg11,目标库为pg12,要将源库表的列类型从char修改为int时,请使用如下语句: alter table tablename alter column columnname type int USING columnname::int; 执行如下操作步骤前,请检查待同步的源数据库public模式下,是否存在名为hwdrs_ddl_info的表、名为hwdrs_ddl_function()的函数、名为hwdrs_ddl_event的触发器。如存在,请将其删除。 库级同步时,如创建无主键表,请执行如下命令,将无主键表复制属性设置为full。 alter table tablename replica identity full;
  • 支持的同步对象范围 在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考表2。DRS会根据用户选择,在“预检查”阶段对同步对象进行自动检查。 表2 支持的同步对象 类型名称↵ 同步范围 同步范围须知 支持场景:支持全量同步。 支持表级同步、库级同步或导入对象文件: 支持表、主键索引、唯一索引、普通索引,不支持存储过程、视图、函数的同步、事件、触发器、外键的同步。 使用非字母、非数字、非下划线等字符作为库表名称,或库表映射后名称包含中划线、井号时,名称的长度请不要超过42个字符。 索引长度不能超过3072字节。 列最大长度不能超过65535字节。如果超过,需要自行将源库列类型转换为TEXT或BLOB。
共100000条