华为云用户手册

  • 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。以下是一些适用于包年/包月计费模式的业务场景: 稳定业务需求:对于长期运行且资源需求相对稳定的业务,如企业官网、博客等,包年/包月计费模式能提供较高的成本效益。 长期项目:对于周期较长的项目,如科研项目、大型活动策划等,包年/包月计费模式可以确保在整个项目周期内资源的稳定使用。 业务高峰预测:如果能预测到业务高峰期,如电商促销季、节假日等,可提前购买包年/包月资源以应对高峰期的需求,避免资源紧张。 数据安全要求高:对于对数据安全性要求较高的业务,包年/包月计费模式可确保资源的持续使用,降低因资源欠费而导致的数据安全风险。
  • 适用计费项 包年/包月计费模式下,不同规格的弹性负载均衡实例收取计费项见表1。 表1 包年/包月模式的计费项 实例类型 规格 LCU费用 实例费用 独享型 固定规格 √ × 共享型 固定规格 × √ 假设您计划购买一个固定规格的独享型弹性负载均衡实例,选择了两个可用区,同时选了应用型规格(小型 I)和网络型规格(小型 I),购买时长为1个月。在购买弹性负载均衡页面底部,您将看到所需费用的明细,如图1所示。 图1 配置费用示例 配置费用将包括以下部分: 网络型规格费:网络型规格的费用(按折算LCU数计算)。 应用型规格费:应用型规格的费用(按折算LCU数计算)。 独享型负载均衡支持同时部署在多个可用区,负载均衡实例性能随可用区数量叠加,LCU数量 = 单AZ的LCU数 × AZ数。 如果用户购买弹性负载均衡实例时,选择新创建弹性公网IP,将会收取公网IP的费用以及公网IP所耗费的带宽费用。具体请参考弹性公网IP产品价格详情。
  • 适用计费项 按需计费模式下,不同规格的弹性负载均衡实例收取计费项见表1。 表1 按需模式的计费项 实例类型 规格 LCU费用 实例费用 独享型 弹性规格 √ √ 固定规格 √ × 共享型 固定规格 × √ 假设您计划购买一个固定规格的独享型弹性负载均衡实例,选择了两个可用区,同时选了应用型规格(小型 I)和网络型规格(小型 I)。在购买弹性负载均衡页面底部,您将看到所需费用的明细,如图1所示。 图1 配置费用示例 配置费用将包括以下部分: 网络型规格费:网络型规格的费用(按折算20个LCU计算)。 应用型规格费:应用型规格的费用(按折算20个LCU计算)。 独享型负载均衡支持同时部署在多个可用区,负载均衡实例性能随可用区数量叠加,LCU数量 = 单AZ的LCU数 × AZ数。 如果用户购买弹性负载均衡实例时,选择新创建弹性公网IP,将会收取公网IP的费用以及公网IP所耗费的带宽费用。具体请参考弹性公网IP产品价格详情。
  • 计费示例 假设您在2023/04/18 9:30:00购买了一个按需计费的弹性负载均衡实例,选择了一个可用区,固定规格,同时选了网络型规格(小型 I)和应用型规格(小型 I),在2023/04/19 10:00:00将规格升级为网络型规格(小型 I)和应用型规格(小型 II),然后在2023/04/19 12:00:00将其释放成功。则: 如表2所示,给出了上述示例配置的弹性负载均衡的计算过程,总的费用是22.935元。 表2 按需计费费用明细 计费项 产生费用时间段 费用明细 费用总和 网络型规格费 (折算10个LCU) 2023/04/18 9:30:00~2023/04/19 00:00:00 计费时长共870分钟 2023/04/19 00:00:00~2023/04/19 12:00:00 计费时长共720分钟 (870/60)*0.417= 6.0465元 (720/60)*0.417=5.004元 6.0465+5.004=11.0505元 应用型规格费 (折算10个LCU) 2023/04/18 9:30:00~2023/04/19 00:00:00 计费时长共870分钟 2023/04/19 00:00:00~2023/04/19 10:00:00 计费时长共600分钟 (870/60)*0.417= 6.0465元 (600/60)*0.417= 4.17元 6.0465+4.17=10.2165元 应用型规格费 (折算20个LCU) 2023/04/19 10:00:00~2023/04/19 12:00:00 计费时长共120分钟 (120/60)*0.834= 1.668元 1.668元 图2给出了上述示例配置的费用计算过程。 图2 按需计费ELB费用计算示例 图中价格仅供参考,实际计算请以弹性负载均衡价格详情中的价格为准。
  • 变更配置后对计费的影响 如果您在购买按需计费实例后变更了实例配置,会产生一个新订单并开始按新配置的价格计费,旧订单自动失效。 如果您在一个小时内变更了实例配置,将会产生多条计费信息。每条计费信息的开始时间和结束时间对应不同配置在该小时内的生效时间。 例如,您在9:00:00购买了一台按需计费实例,部署在两个可用区,同时选择了应用型规格(小型 I)和网络型规格(小型 I),并在9:30:00升配为应用型规格(小型 II)和网络型规格(小型 II),那么在9:00:00 ~ 10:00:00间会产生两条计费信息。 第一条对应9:00:00 ~ 9:30:00,实例按照应用型规格(小型 I)和网络型规格(小型 I)计费。 第二条对应9:30:00 ~ 10:00:00,实例按照应用型规格(小型 II)和网络型规格(小型 II)计费。
  • 计费周期 按需计费资源按秒计费,每一个小时整点结算一次费用(以UTC+8时间为准),结算完毕后进入新的计费周期。计费的起点以ELB实例创建成功的时间点为准,终点以实例删除时间为准。 弹性负载均衡计费的起点是创建成功的时间点,您可以在弹性负载均衡详情页“基本信息”页签查看这个时间。 例如,您在8:45:30购买了一个按需计费的弹性负载均衡实例,然后在8:55:30将其删除,则计费周期为8:00:00 ~ 9:00:00,在8:45:30 ~ 8:55:30间产生费用,该计费周期内的计费时长为600秒。
  • 包年/包月资源 对于包年/包月计费模式的资源,用户在购买时会一次性付费,服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金额到您的账户。详细的退订规则请参见云服务退订规则概览。 如果您已开启“自动续费”功能,为避免继续产生费用,请在自动续费扣款日(默认为到期前7日)之前关闭自动续费。
  • AppStage业务控制台主页(管理员视角) 具备组织管理员权限的账号登录AppStage业务控制台,默认进入业务控制台主页。 AppStage业务控制台主页分为顶部导航栏、快捷入口、我的待办/我的申请、应用基础信息、公告、帮助文档六大功能区域,如图1所示,各功能区域说明请参见图1。 图1 AppStage业务控制台主页 表1 AppStage业务控制台主页各功能区域说明 编号 功能区域 说明 1 顶部导航栏 业务控制台的功能导航栏,包括: 产品与服务(产品管理、服务管理、微服务管理) 公告(公告管理) 组织(部门管理、成员管理) 权限(权限申请) (帮助文档、新手指引) 账号信息(登录账号的相关信息管理) 2 快捷入口 进入AppStage的AI原生应用引擎、开发中心、运维中心、运营中心的快捷入口。用户需要申请不同中心的角色,从而具备对应角色的操作权限,可申请的角色以及对应的权限范围请参见权限管理。 3 我的待办/我的申请 选择“我的待办”或“我的待办”页签,可查看我名下待办的和我申请的相关事项。 说明: 当“我的待办”或“我的待办”超过4条后,将在“我的待办”或“我的申请”区域右上角显示“更多”按钮,单击“更多”可进入“我的待办”/“我的申请”界面查看全部信息。 4 应用基础信息 对企业拥有的产品、服务、微服务的相关信息进行规范管理和维护。主要包括: 产品管理:创建、查看、编辑、删除、发布、同步或下线产品相关信息,详细介绍请参见创建产品信息。 服务管理:创建、查看、编辑、删除、发布、同步或下线服务相关信息,详细介绍请参见创建服务。 微服务管理:创建、查看、编辑、删除、发布、同步或下线微服务相关信息,详细介绍请参见创建微服务。 5 公告 查看、修改、删除、置顶/取消置顶项目活动的相关公告、通知。详细介绍请参见公告管理。 6 帮助文档 快速跳转到高频问题的详细指导文档。 父主题: 管理员操作指南
  • 修订记录 发布日期 修订记录 2024-04-22 第五次正式发布。 修改如下章节: AppStage业务控制台主页(管理员视角) 快速上手流程 AppStage业务控制台主页(企业成员视角) 查看产品与服务信息 删除如下章节: 标签管理 定义标签 配置标签作用域 2024-03-30 第四次正式发布。 配置服务授权 关联CodeArts 配置凭证授权 2024-02-08 第三次正式发布。 修改购买AppStage 2024-01-31 第二次正式发布。 新增如下章节: 关联CodeArts 配置凭证授权 2023-11-25 第一次正式发布。
  • AppStage业务控制台主页(企业成员视角) 以企业成员账号登录AppStage业务控制台,默认进入业务控制台主页。 AppStage业务控制台主页分为顶部导航栏、快捷入口、我的待办/我的申请、应用基础信息、公告、帮助文档六大功能区域,如图1所示,各功能区域说明请参见表1。 图1 AppStage业务控制台主页 表1 AppStage业务控制台主页各功能区域说明 编号 功能区域 说明 1 顶部导航栏 业务控制台的功能导航栏,包括: 产品与服务(产品管理、服务管理、微服务管理) 权限(权限申请) (帮助文档、新手指引) 账号信息(登录账号的相关信息管理) 2 快捷入口 进入AppStage的AI原生应用引擎、开发中心、运维中心、运营中心的快捷入口。企业成员需要申请不同中心的角色,从而具备对应角色的操作权限,可申请的角色以及对应的权限范围请参见权限管理。 3 我的待办/我的申请 选择“我的待办”或“我的申请”页签,可查看我名下待办的和我申请的相关事项。 说明: 当“我的待办”或“我的待办”超过4条后,将在“我的待办”或“我的申请”区域右上角显示“更多”按钮,单击“更多”可进入“我的待办”/“我的申请”界面查看全部信息。 4 应用基础信息 查看企业拥有的产品、服务、微服务的相关信息,详细介绍请参见查看产品与服务信息。 5 公告 查看项目活动的相关公告、通知。 说明: 业务控制台主页当前生效的公告,且最多显示3条公告,单击此区域右上角“更多”可查看更多生效的公告。 6 帮助文档 快速跳转至高频使用的功能详细指导文档。 父主题: 企业成员操作指南
  • 数据库特性规范 表1 数据库价值特性推荐 特性分类 特性列表 说明 表类型 HASH分布表 自动分片的表,建议数据量大的表使用(如交易记录)。 REPLICATE分布表 不分片的普通表,建议数据少的表使用(如国家名称表)。 事务 分布式事务(弱一致) GTM Free模式,在sharding场景下可保证强一致,不保证跨DN分片读一致性。建议完美sharding业务使用。 分布式事务(强一致) GTM Lite模式,保证跨DN读写一致性,建议非完美sharding业务使用。 扩容 在线平滑扩容 在线业务的最大阻塞小于5s,主要是为了追增切换期间写入日志,扩容速度100G/小时。 部署 3AZ3副本 建议默认采用3AZ3副本部署。 数据类型 整数类型 TINYINT, SMALLINT, INTEGER, BIGINT 任意精度类型 NUMERIC/DECIMAL 浮点类型 REAL/FLOAT4,DOUBLE PRECISION/FLOAT8,FLOAT 布尔类型 BOOLEAN 定长字符 CHAR(n) 变长字符 VARCHAR(n),NVARCHAR2(n), TEXT 时间类型 DATE, TIME, TIMETZ, TIMESTAMP, TIMESTAMPTZ, SMALLDATETIME, INTERVAL, REALTIME 二进制类型 BYTEA(变长二进制类型) 位串类型 BIT(n), VARBIT(n) 函数 字符处理函数 字符类数据类型处理函数 二进制字符串函数 二进制字符类型处理函数 数字操作函数 数值类型处理函数 时间和日期处理函数 时间和日期类型处理函数 索引 主键/唯一索引 单列或多列主键/唯一索引 BTREE索引 索引类型 未包含在价值列表中的特性(包括但不限于自定义,UUID等数据类型,触发器等特性),如需使用建议联系GaussDB 数据库技术人员进行评估。
  • 日志组 用户可以在日志组界面对标签进行增删改查。 在云日志服务管理控制台,选择左侧的“日志管理”。 在日志管理页面,日志组列表中,将鼠标悬浮在“标签”列单击。 在弹出的编辑标签页面,单击添加标签,填写标签键和标签值,开启应用到日志流后会将标签同步至该日志组下所有日志流。 图1 编辑标签 如需添加多个标签可重复该步骤。 如需删除标签可单击标签操作列的。 标签键长度不能超过128个字符;标签值长度不能超过255个字符。 标签键名称不可重复。 如果配置转储时使用了该标签,删除标签后,请同步修改转储配置信息。 单击“确定”,完成对该日志组的标签管理。 在日志管理页面,日志组列表的“标签”列可以查看日志组已添加的普通标签。
  • 日志流 用户可以在日志流界面对标签进行增删改查,操作日志流标签仅对当前流有效。 在云日志服务管理控制台,选择左侧的“日志管理”。 在日志管理页面,单击日志组列表下日志组名称对应的按钮。 在日志流列表中,将鼠标悬浮在日志流的“标签”列单击。 在弹出编辑标签页面,单击添加标签,填写标签键和标签值。 图2 编辑标签 如需添加多个标签可重复该步骤。 如需删除标签可单击标签操作列的。 标签键长度不能超过128个字符;标签值长度不能超过255个字符。 标签键名称不可重复。 如果配置转储时使用了该标签,删除标签后,请同步修改转储配置信息。 单击“确定”,完成对该日志流的标签管理。 在日志流列表的“标签”列可以查看该日志流下的系统标签和已添加的普通标签。
  • 主机组 用户可以在主机组界面对标签进行增删改查,操作主机组标签仅对当前主机组有效。 在云日志服务管理控制台,选择左侧的“主机管理”。 在主机管理页面,单击主机组所在行“操作”列的。 在弹出的编辑标签页面,单击添加标签,填写标签键和标签值。 如需添加多个标签可重复该步骤。 如需删除标签可单击标签操作列的。 标签键长度不能超过128个字符;标签值长度不能超过255个字符。 标签键名称不可重复。 单击“确定”,完成对该主机组的标签管理。 在主机管理页面,主机组列表的“标签”列可以查看主机组已添加的普通标签。
  • 日志接入 用户可以在日志接入界面对标签进行增删改查,操作日志接入标签仅对当前日志接入有效。 在云日志服务管理控制台,选择左侧的“日志接入”。 在日志接入页面,单击接入配置名称所在行“操作”列的标签管理。 在弹出的编辑标签页面,单击添加标签,填写标签键和标签值。 如需添加多个标签可重复该步骤。 如需删除标签可单击标签管理界面显示框中待删除标签后的。 标签键长度不能超过128个字符;标签值长度不能超过255个字符。 标签键名称不可重复。 单击“确定”,完成对该日志接入的标签管理。 在日志接入页面,日志接入列表的“标签”列可以查看日志接入已添加的普通标签。
  • 操作场景 Ranger管理员可通过Ranger为Spark2x用户进行相关的权限设置。 Spark2x开启或关闭Ranger鉴权后,需要重启Spark2x服务。 需要重新下载客户端,或手动刷新客户端配置文件“客户端安装目录/Spark2x/spark/conf/spark-defaults.conf”: 开启Ranger鉴权:spark.ranger.plugin.authorization.enable=true,同时需要修改参数“spark.sql.authorization.enabled”值为“true”。 关闭Ranger鉴权:spark.ranger.plugin.authorization.enable=false Spark2x中,spark-beeline(即连接到JDBCServer的应用)支持Ranger的IP过滤策略(即Ranger权限策略中的Policy Conditions),spark-submit与spark-sql不支持。
  • Topic和Partition的划分关系说明 假设集群中部署了K个Kafka节点,每个节点上配置的磁盘个数为N,每块磁盘大小为M,集群共有n个Topic(T1,T2…Tn),并且其中第m个Topic的每秒输入数据总流量为X(Tm) MB/s,配置的副本数为R(Tm),配置数据保存时间为Y(Tm)小时,那么整体必须满足: 假设单个磁盘大小为M,该磁盘上有n个Partition(P0,P1……Pn),并且其中第m个Partition的每秒写入数据流量为Q(Pm) MB/s(计算方法:所属Topic的数据流量除以Partition数) 、数据保存时间为T(Pm)小时,那么单个磁盘必须满足: 根据吞吐量粗略计算,假设生产者可以达到的吞吐量为P,消费者可以达到的吞吐量为C,预期Kafka吞吐量为T,那么建议该Topic的Partition数目设置为Max(T/P , T/C)。 在Kafka集群中,分区越多吞吐量越高,但是分区过多也存在潜在影响,例如文件句柄增加、不可用性增加(如:某个节点故障后,部分Partition重选Leader后时间窗口会比较大)及端到端时延增加等。 建议:单个Partition的磁盘占用最大不超过100GB;单节点上Partition数目不超过3000;整个集群的分区总数不超过10000。
  • 用户权限模型 ClickHouse用户权限管理实现了对集群中各个ClickHouse实例上用户、角色、权限的统一管理。通过Manager UI的权限管理模块进行创建用户、创建角色、绑定ClickHouse访问权限配置等操作,通过用户绑定角色的方式,实现用户权限控制。 管理资源:Clickhouse权限管理支持的资源如表1所示。 资源权限:ClickHouse支持的资源权限如表2所示。 本章节不支持MRS 3.1.0普通模式(未开启Kerberos认证)集群。 表1 ClickHouse支持的权限管理对象 资源列表 是否集成 备注 数据库 是(一级) - 表 是(二级) - 视图 是(二级) 与表一致 表2 资源权限列表 资源对象 可选权限 备注 数据库(DATABASE) CREATE CREATE DATABASE/TABLE/VIEW/DICTIONARY权限 表/视图(TABLE/VIEW) SELECT/INSERT -
  • 通过云专线访问FusionInsight Manager 操作前请确保云专线服务可用,并已打通本地数据中心到线上VPC的连接通道。云专线详情请参考什么是云专线。 登录MRS管理控制台。 单击集群名称进入集群详情页。 在集群详情页面的“概览”页签,单击“集群管理页面”右侧的“前往 Manager”。 “访问方式”选择“专线访问”,并勾选“我确认已打通本地与浮动IP的网络,可使用专线直接访问MRS Manager。”。 浮动IP为MRS为您访问MRS Manager页面自动分配的IP地址,使用专线访问MRS Manager之前您确保云专线服务已打通本地数据中心到线上VPC的连接通道。 单击“确定”,进入MRS Manager登录页面,用户名使用“admin”,密码为创建集群时设置的admin密码。
  • 通过ECS访问FusionInsight Manager 进入MRS管理控制台。 在“现有集群”列表中,单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“集群管理页面”、“安全组”。 在管理控制台首页服务列表中选择“弹性云服务器”,进入ECS管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。例如,选择一个标准镜像“Windows Server 2012 R2 Standard 64bit(40GB)”。 其他配置参数详细信息,请参见购买弹性云服务器。 如果ECS的安全组和Master节点的“默认安全组”不同,用户可以选择以下任一种方法修改配置: 将ECS的安全组修改为Master节点的默认安全组,请参见更改安全组。 在集群Master节点和Core节点的安全组添加两条安全组规则使ECS可以访问集群,“协议”需选择为“TCP”,“端口”需分别选择“28443”和“20009”。请参见创建安全组。 如果界面提示“添加安全组规则失败”,请检查安全组配额是否不足,请增加配额或删除不再使用的安全组规则。 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。 具体请参见为弹性云服务器申请和绑定弹性公网IP。 登录弹性云服务器。 登录ECS需要Windows系统的账号、密码,弹性IP地址以及配置安全组规则。具体请参见Windows云服务器登录方式。 在Windows的远程桌面中,打开浏览器访问Manager。 Manager访问地址为“集群管理页面”地址。访问时需要输入集群的用户名和密码,例如“admin”用户。 如果使用其他集群用户访问Manager,第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下,在登录时输入5次错误密码将锁定用户,需等待5分钟自动解锁。 注销用户退出Manager时移动鼠标到右上角 ,然后单击“注销”。
  • 操作场景 MRS 3.x及之后版本的集群使用FusionInsight Manager对集群进行监控、配置和管理。用户在集群安装后可使用账号登录FusionInsight Manager。 当前支持以下几种方式访问FusionInsight Manager,请根据实际情况选择。 通过弹性IP访问FusionInsight Manager。 通过云专线访问FusionInsight Manager。 通过ECS访问FusionInsight Manager。 其中弹性IP访问和专线访问可以在MRS集群管理控制台上进行切换,具体切换操作步骤如下: 登录MRS管理控制台,单击待操作的MRS集群,在集群“概览”页面单击“集群管理页面”后的,在打开的页面中进行切换。 如果不能正常登录组件的WebUI页面,请参考通过ECS访问FusionInsight Manager方式访问FusionInsight Manager。 集群处于以下状态时无法访问FusionInsight Manager: 启动中、停止中、停止、删除中、已删除、冻结。
  • 批量写入Hudi表 引入Hudi包生成测试数据,参考快速入门章节的2到4。 写入Hudi表,写入命令中加入参数:option("hoodie.datasource.write.operation", "bulk_insert"),指定写入方式为bulk_insert,如下所示: df.write.format("org.apache.hudi"). options(getQuickstartWriteConfigs). option("hoodie.datasource.write.precombine.field", "ts"). option("hoodie.datasource.write.recordkey.field", "uuid"). option("hoodie.datasource.write.partitionpath.field", ""). option("hoodie.datasource.write.operation", "bulk_insert"). option("hoodie.table.name", tableName). option("hoodie.datasource.write.keygenerator.class", "org.apache.hudi.keygen.NonpartitionedKeyGenerator"). option("hoodie.datasource.hive_sync.enable", "true"). option("hoodie.datasource.hive_sync.partition_fields", ""). option("hoodie.datasource.hive_sync.partition_extractor_class", "org.apache.hudi.hive.NonPartitionedExtractor"). option("hoodie.datasource.hive_sync.table", tableName). option("hoodie.datasource.hive_sync.use_jdbc", "false"). option("hoodie.bulkinsert.shuffle.parallelism", 4). mode(Overwrite). save(basePath) 示例中各参数介绍请参考表1。 使用spark datasource接口更新Mor表,Upsert写入小数据量时可能触发更新数据的小文件合并,使在Mor表的读优化视图中能查到部分更新数据。 当update的数据对应的base文件是小文件时,insert中的数据和update中的数据会被合在一起和base文件直接做合并产生新的base文件,而不是写log。
  • 操作场景 Hudi提供多种写入方式,具体见hoodie.datasource.write.operation配置项,这里主要介绍UPSERT、INSERT和BULK_INSERT。 INSERT(插入): 该操作流程和UPSERT基本一致,但是不需要通过索引去查询具体更新的文件分区,因此它的速度比UPSERT快。当数据源不包含更新数据时建议使用该操作,若数据源中存在更新数据,则在数据湖中会出现重复数据。 BULK_INSERT(批量插入):用于初始数据集加载, 该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表,该操作性能是最高的,但是无法控制小文件,而UPSERT和INSERT操作使用启发式方法可以很好的控制小文件。 UPSERT(插入更新): 默认操作类型。Hudi会根据主键进行判断,如果历史数据存在则update如果不存在则insert。因此在对于CDC之类几乎肯定包括更新的数据源,建议使用该操作。 由于INSERT时不会对主键进行排序,所以初始化数据集不建议使用INSERT。 在确定数据都为新数据时建议使用INSERT,当存在更新数据时建议使用UPSERT,当初始化数据集时建议使用BULK_INSERT。
  • 为其他用户开通访问MRS Manager的权限 在MRS管理控制台,在“现有集群”列表,单击指定的集群名称,进入集群信息页面。 单击弹性公网IP后边的“添加安全组规则”,如图5所示。 图5 集群详情 进入“添加安全组规则”页面,添加需要开放权限用户访问公网的IP地址段并勾选“我确认这里设置的授权对象是可信任的公网访问IP范围,禁止使用0.0.0.0/0,否则会有安全风险。”如图6所示。 图6 添加安全组规则 默认填充的是用户访问公网的IP地址,用户可根据需要修改IP地址段,如需开放多个IP段为可信范围,请重复执行1-4。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 单击“确定”完成安全组规则添加。
  • 访问MRS Manager 登录MRS管理控制台页面。 单击“现有集群”,在集群列表中单击指定的集群名称,进入集群信息页面。 单击“前往 Manager”,打开“访问MRS Manager页面”。 若用户创建集群时已经绑定弹性公网IP,如图1所示: 选择待添加的安全组规则所在安全组,该安全组在创建群时配置。 添加安全组规则,默认填充的是用户访问公网IP地址9022端口的规则,如需开放多个IP段为可信范围用于访问MRS Manager页面,请参考6~9。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为knox的端口,需要开启访问knox的9022端口权限,才能访问MRS Manager服务。 勾选“我确认xx.xx.xx.xx为可信任的公网访问IP,并允许从该IP访问MRS Manager页面。” 图1 添加访问MRS Manager的安全组规则 若用户创建集群时暂未绑定弹性公网IP,如图2所示: 在弹性公网IP下拉框中选择可用的弹性公网IP或单击“管理弹性公网IP”购买弹性公网IP。 选择待添加的安全组规则所在安全组,该安全组在创建群时配置。 添加安全组规则,默认填充的是用户访问公网IP地址9022端口的规则,如需开放多个IP段为可信范围用于访问MRS Manager页面,请参考6~9。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为knox的端口,需要开启访问knox的9022端口权限,才能访问MRS Manager服务。 勾选“我确认xx.xx.xx.xx为可信任的公网访问IP,并允许从该IP访问MRS Manager页面。” 图2 绑定弹性公网IP 单击“确定”,进入MRS Manager登录页面。 输入默认用户名“admin”及创建集群时设置的密码,单击“登录”进入MRS Manager页面。 在MRS管理控制台,在“现有集群”列表,单击指定的集群名称,进入集群信息页面。 如需给其他用户开通访问MRS Manager的权限,请执行6-9,添加对应用户访问公网的IP地址为可信范围。 单击弹性公网IP后边的“添加安全组规则”,如图3所示。 图3 集群详情 进入“添加安全组规则”页面,添加需要开放权限用户访问公网的IP地址段并勾选“我确认这里设置的授权对象是可信任的公网访问IP范围,禁止使用0.0.0.0/0,否则会有安全风险。”如图4所示。 图4 添加安全组规则 默认填充的是用户访问公网的IP地址,用户可根据需要修改IP地址段,如需开放多个IP段为可信范围,请重复执行6-9。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 单击“确定”完成安全组规则添加。
  • 操作场景 Yarn NodeManager定义的存储目录不正确或Yarn的存储规划变化时,MRS集群管理员需要在Manager中修改NodeManager的存储目录,以保证Yarn正常工作。NodeManager的存储目录包含本地存放目录“yarn.nodemanager.local-dirs”和日志目录“yarn.nodemanager.log-dirs”。适用于以下场景: 更改NodeManager角色的存储目录,所有NodeManager实例的存储目录将同步修改。 更改NodeManager单个实例的存储目录,只对单个实例生效,其他节点NodeManager实例存储目录不变。
  • 配置option 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 在调用C SDK的功能函数时,都要传入obs_options参数,您可通过init_obs_options函数初始化obs_options配置,通过obs_options设置AK、SK、Endpoint、bucket、超时时间、临时鉴权。obs_options主要包括obs_bucket_context和obs_http_request_option两个结构,可以设置的参数见下表: 表1 obs_options.obs_bucket_context参数 参数 描述 默认值 建议值 host_name 请求使用的主机名,是指存放资源的服务器的域名,就是终端节点endpoint。 NULL - bucket_name 操作的桶名。 NULL - protocol 请求使用的协议类型: http、https。(出于安全性考虑,建议使用https协议) HTTPS协议:OBS_PROTOCOL_HTTPS OBS_PROTOCOL_HTTPS access_key 连接对象存储服务的AK NULL - secret_access_key 鉴权使用的SK,可用于字符串的签名。 NULL - obs_storage_class 在PUT,POST请求中,需要配置存储类型时设置此参数。 标准存储:OBS_STORAGE_CLASS_STANDARD 默认值 token 临时访问密钥的SecurityToken。 NULL - bucket_type 创桶时,指定是对象桶还是并行文件系统 对象桶:OBS_BUCKET_OBJECT - bucket_list_type 列举桶时,确定列举桶的类型:所有桶、对象桶、并行文件系统 所有桶:OBS_BUCKET_LIST_ALL - 表2 obs_options.obs_http_request_option参数 参数 描述 默认值 建议值 connect_time 建立HTTP/HTTPS连接的超时时间(单位:毫秒)。默认为60000毫秒。 60000 [10000, 60000] max_connected_time 请求超时时间(单位:秒)。0代表永远不会断开链接。 0 0 proxy_auth 代理认证信息,格式username:password NULL - proxy_host 代理服务器 NULL - 如网络状况不佳,建议增大connect_time和max_connected_time的值。 父主题: 初始化
  • 日志级别 当系统出现问题需要定位且当前的日志无法满足要求时,可以通过修改日志的级别来获取更多的信息。其中DEBUG(0)日志信息最丰富,ERROR(3)日志信息最少。 具体说明如下: DEBUG(0):调试级别,如果设置为这个级别,除了打印INFO级别的信息外,还将打印其它帮助调试的信息等。 INFO(1):信息级别,如果设置为这个级别,除了打印WARN级别的信息外,还将打印OBS接口的调用过程和关键信息等。 WARN(2):告警级别,如果设置为这个级别,除了打印ERROR级别的信息外,还将打印一些关键事件的信息,如curl_global_init初始化失败等。 ERROR(3):错误级别,如果设置为这个级别,仅打印发生异常时的错误信息。
  • 设置方式 修改lib目录下的OBS.ini,配置日志的大小、个数以及级别(其中*_Run参数的配置为最常用的配置项): ;Every line must be less than 1024 [LogConfig] ;Log Size: unit=KB, 10MB = 10KB * 1024 = 10240KB LogSize_Interface=10240 LogSize_Operation=10240 LogSize_Run=10240 ;Log Num LogNum_Interface=10 LogNum_Operation=10 LogNum_Run=10 ;Log level: debug = 0,info = 1,warn = 2,error = 3 LogLevel_Interface=0 LogLevel_Operation=0 LogLevel_Run=0 ;LogFilePermission LogFilePermission=0600 [ProductConfig] ;Product Name sdkname=eSDK-OBS-API-Linux-C [LogPath] ;Log Path is relative to the path of configuration file LogPath=../logs
  • 其他日志相关配置 Windows下,OBS.ini中LogPath字段可以以wchar_t格式读取,需要通过设置文件路径编码来实现,案例如下: set_file_path_code(UNICODE_CODE);//默认是ANSI_CODE 设置后,以下方法的本地文件路径也需要是wchar_t类型(参数是以char*格式传入,内部处理逻辑是wchar_t) 表1 影响函数 说明 download_file 参数download_file_config的downLoad_file、check_point_file成员需要是wchar_t类型,以char*格式传入 upload_file 参数upload_file_config的upload_file、check_point_file成员需要是wchar_t类型,以char*格式传入 set_obs_log_path 参数log_path需要是wchar_t类型,以char*格式传入
共100000条