华为云用户手册

  • 操作步骤 登录CCE控制台,在左侧导航栏中选择“集群管理”。 找到需要变更规格的集群,查看集群的更多操作,并选择“规格变更”。 图1 变更规格 在弹出的页面中,根据实际需求选择新的“集群管理规模”。 单击“下一步”进行规格确认,并单击“确定”。 您可以在控制台右上角单击“操作记录”查看集群变更记录。状态从“执行中”变为“成功”,表示集群规格变更成功。 当集群规格变更为1000节点及以上时,为了保证集群性能,集群部分参数值会根据集群的规格进行自动调整,详情请参见集群配置管理。 图2 操作记录
  • 检查项内容 检查节点上的Pod是否直接挂载docker/containerd.sock文件。升级过程中Docker/Containerd将会重启,宿主机sock文件发生变化,但是容器内的sock文件不会随之变化,二者不匹配,导致您的业务无法访问Docker/Containerd。Pod重建后sock文件重新挂载,可恢复正常。 通常K8S集群用户基于如下场景在容器中使用上述sock文件: 监控类应用,以DaemonSet形式部署,通过sock文件连接Docker/Containerd,获取节点容器状态信息。 编译平台类应用,通过sock文件连接Docker/Containerd,创建程序编译用容器。
  • 解决方案 问题场景一:检查到应用存在该异常,进行整改。 推荐您使用挂载目录的方式挂载sock文件。例如,若宿主机sock文件路径为/var/run/docker.sock,您可参考下述配置进行整改。注意,该整改生效时会触发Pod重建。 kind: Deployment apiVersion: apps/v1 metadata: name: test spec: replicas: 1 selector: matchLabels: app: nginx template: metadata: app: nginx spec: containers: - name: container-1 image: 'nginx' imagePullPolicy: IfNotPresent volumeMounts: - name: sock-dir mountPath: /var/run imagePullSecrets: - name: default-secret volumes: - name: sock-dir hostPath: path: /var/run 问题场景二:检查到应用存在该异常,明确应用使用场景后,接受sock短暂不可访问风险,继续升级。 请选择跳过该检查项异常后重新检查,在集群升级完成后删除存量Pod,触发Pod重建,访问将恢复。 问题场景三:部分老版本的CCE插件存在该异常 请将老版本的CCE插件升级至最新版本。例如1.2.2以下的dolphin插件存在该问题,需升级至1.2.2及以上版本。 问题场景四:日志分析里面出现“failed to execute docker ps -aq”错误。 该报错出现一般是因为容器引擎功能异常导致,请您提工单联系运维人员处理。
  • 如何激活签名(短信签名为什么会出现处于待激活状态)? 因为账户欠费且保留期限已满,签名需进行激活处理。 若要激活签名,请您先进行账户充值,再登录控制台-签名管理,右上角“状态”选择“待激活”,筛选出需要激活的签名,点击“激活”即可。激活签名申请提交成功后,请等待运营经理审核。 如果您在界面中找不到“激活”,可能是页面比例问题,建议您提高网页分辨率,缩小屏幕上的内容。 图1 签名激活示例 父主题: 签名问题
  • 产品优势 本节为您介绍华为云消息&短信平台的优势,方便您迅速了解消息&短信服务。 极速稳定 国内验证码和行业通知短信,99%到达率,秒级可达。 基于送达计费,降低企业运营成本。 电信级平台,保证服务可靠性。 海量并发 国内三网100%覆盖(移动,联通,电信),新增支持广电运营商。 10万级并发容量,满足企业海量发送需求。 高效调度算法,确保消息极速发送。 易管理 可视化数据增强统计,随时掌握使用情况。 使用群发助手,操作简单,满足企业一键群发需求。 自定义 短信内容支持按模板或自定义,验证码位数可根据需求配置,满足企业不同的业务诉求。 如有任何疑问,请联系 华为云智能客服,将有专人为您解答。 父主题: 产品概述
  • 运用场景 本文为您介绍华为云消息&短信服务的运用场景。 验证码短信 发送携带数字验证码内容的短信。 用于用户注册、用户登录、转账和密码找回等场景。验证码位数可根据需求配置,满足企业不同的业务诉求。 通知短信 发送携带通知类内容的短信。 用于快递通知、消费通知、即时提醒等场景。 推广短信 又称营销短信,向有订购关系的会员用户发送推广短信。 用于会员关怀、促销活动、运营活动等场景。 如有任何疑问,请联系 华为云智能客服,将有专人为您解答。 父主题: 产品概述
  • 签名审核要求 审核规则 由于短信签名需要在运营商备案,需要您提供企业的营业执照正本或副本复印件(要加盖企业公章),没有涉及第三方权益签名不需要上传授权委托书,如果第三方短信签名侵犯到第三方权益须获第三方的真实授权,查看第三方权益介绍。 签名来源不同,需要提供的申请材料也不同,查看签名申请材料。 审核申请材料 营业执照和授权委托书支持jpg、png、gif、jpeg格式的图片,每张图片不大于2MB。图片命名请勿出现空格,否则导致文件上传失败。 签名来源↵ 申请要求↵ 企事业单位的全称或简称↵ 需上传签名归属实体的三证合一、五证合一、企业营业执照、事业单位法人证书、社会团体法人登记证书、组织机构代码证书、行政执法主体资格证或统一社会信用代码证书。↵ 注:根据实际情况,选择其中一种证书文件上传即可。↵ 若涉及第三方权益,还需上传授权委托书。↵ 工信部备案网站的全称或简称↵ 需上传签名归属实体的三证合一、五证合一、企业营业执照、事业单位法人证书、社会团体法人登记证书、组织机构代码证书、行政执法主体资格证或统一社会信用代码证书。↵ 注:根据实际情况,选择其中一种证书文件上传即可。↵ 若涉及第三方权益,还需上传授权委托书。↵ 网站链接:输入域名已在工信部备案的签名网址,例如:签名为【华为云】,链接为:/↵ 查询入口:http://beian.miit.gov.cn/↵ APP应用的全称或简称↵ 需上传签名归属实体的三证合一、五证合一、企业营业执照、事业单位法人证书、社会团体法人登记证书、组织机构代码证书、行政执法主体资格证或统一社会信用代码证书。↵ 注:根据实际情况,选择其中一种证书文件上传即可。↵ 若涉及第三方权益,还需上传授权委托书。↵ APP应用地址:输入带有开发者信息的APP展示链接。↵ 公众号或小程序的全称或简称↵ 需上传签名归属实体的三证合一、五证合一、企业营业执照、事业单位法人证书、社会团体法人登记证书、组织机构代码证书、行政执法主体资格证或统一社会信用代码证书。↵ 注:根据实际情况,选择其中一种证书文件上传即可。↵ 若涉及第三方权益,还需上传授权委托书。↵ 公众号或者小程序的全称或简称:需填写公众号或小程序的全称或简称↵ 要求公众号或小程序已上线且在微信上能搜索到。↵ 如需查看公众号或小程序签名归属与帐号主体是否一致,请打开微信 - 搜索 - 公众号/小程序 - 点击右上角更多资料查看相关信息。↵ 电商平台店铺名的全称或简称↵ 需上传签名归属实体的三证合一、五证合一、企业营业执照、事业单位法人证书、社会团体法人登记证书、组织机构代码证书、行政执法主体资格证或统一社会信用代码证书。↵ 注:根据实际情况,选择其中一种证书文件上传即可。↵ 若涉及第三方权益,还需上传授权委托书。↵ 电商平台店铺地址:输入电商平台店铺的链接地址。↵ 如需查看电商平台店铺签名归属与帐号主体是否一致,请打开电商平台 - 搜索店铺 - 查看店铺详情 - 营业执照查看信息真实性。↵ 商标名的全称或简称↵ 需上传签名归属实体的三证合一、五证合一、企业营业执照、事业单位法人证书、社会团体法人登记证书、组织机构代码证书、行政执法主体资格证或统一社会信用代码证书。↵ 注:根据实际情况,选择其中一种证书文件上传即可。↵ 若涉及第三方权益,还需上传授权委托书。↵ 如需查看签名归属商标申请人与帐号主体是否一致,请前往中国商标网查看相关信息真实性。↵ 第三方权益↵ 概念:↵ 如果A公司申请签名,签名归属主体属于A,则不涉及第三方权益。↵ 如果A公司替B公司申请签名,签名归属主体属于B,则涉及第三方权益且需要B公司给予A公司的授权委托书。B为授权方,A为被授权方。 优势:↵ 为了简化签名申请的流程,对于不涉及第三方权益可以直接申请签名,只需上传签名归属主体单位的营业执照;对于涉及第三方权益需要上传签名归属主体单位的企业营业执照和授权委托书。↵ 示例:↵ A公司因业务需求,为自己申请签名,即签名归属主体属于A,则签名申请材料中的营业执照,需上传A公司的营业执照正本或副本复印件(要加盖企业公章)。↵ A公司替B公司申请签名,即签名归属主体属于B,则签名申请材料中的营业执照,需上传B公司的营业执照正本或副本复印件(要加盖企业公章),且还需上传B公司给予A公司的授权委托书。↵ 华为云帐号(企业实名认证主体)↵ 签名归属主体↵ 签名申请材料(营业执照)↵ 签名申请材料(授权委托书)↵ A公司↵ A公司↵ A公司的营业执照正本或副本复印件(要加盖企业公章)↵ 不需要↵ A公司↵ B公司↵ B公司的营业执照正本或副本复印件(要加盖企业公章)↵ B公司给予A公司的授权委托书↵ 授权委托书填写指引:↵ 被授权方名称:入驻华为云企业用户的企业名称。↵ 授权方名称:真实需要发送短信一方(即短信内容归属方)的企业名称。↵ 授权书有效期限:具体时间以实际签名使用期限为准填写。↵ 授权方盖章:真实发送消息的一方的实体在此盖公司公章。↵ 法定代表人或负责人(签字):授权方法定代表人或授权方负责人手写签字,字迹需工整清晰。↵ 委托书模板下载参考:第三方授权委托书下载↵ 图1 图1 授权委托书模板↵ ↵ 签名审核常见问题↵ 一级问题 二级问题 处理建议 材料或来源错误 提交资料与公众号/小程序、APP等主体不一致 检查是否填错了签名(错别字、同音字等)。 检查是否提交错材料,如本来需要提交A营业执照,结果上传时误选了B营业执照。 未查询到相关小程序或公众号 检查是否填错了签名(错别字、同音字等)。 确认小程序/公众号是否已上线。 签名与企业名称不一致 签名并非企业全称或简称,而是公司产品,可在申请说明中提供官网产品介绍链接。 若签名为公司商标、APP等,请选择合适的签名来源。 选择签名来源为APP应用而未提供相关下载链接 请在“APP应用下载地址”输入框中填写带有开发者信息的APP下载链接。 未查询到商标 检查是否填错了签名(错别字、同音字等)。 可到“中国商标网”核实商标信息。 资料图片无法显示 可能是由于上传时文件损坏导致不显示,一般确保文件格式正确,重新上传即可。 网站取名工信部备案网站域名未查询到的 看是否为提供的域名填错。 可到http://beian.miit.gov.cn/自检。 签名来源为电商店铺名,未提供所属电商平台 请在“电商平台店铺地址”输入框中填写电商平台店铺链接。 自建商城的可填写商城链接以供核实。 涉及第三方,上传的营业执照是申请方的 涉及第三方权益的签名,需提供的是签名归属方的营业执照。 业务类型不支持 推广、通知签名属于不支持的行业 有些行业并不支持发送所有类型的短信,详情可参照模板规范和变量规范。 格式错误 签名名称要求2~16个字,只能包含中文、数字、字母,不能为纯数字 国内短信尽可能使用中文签名,若签名为公司英文名等,可提供公司的官网链接等以便查证。 中性签名,签名不能很好的辨别企事业单位或公司产品、APP等 建议严格按照所选签名来源拟定签名,在有较多相似名称产品时,使用全称。 如有任何疑问,请联系 华为云智能客服,将有专人为您解答。
  • 登录短信控制台 在使用华为云消息&短信平台提供的优质短信服务前,您需要先登录短信控制台,消息&短信服务十分重视用户体验的简易性和灵活性,所以我们为您提供了三种帐号登录的方式:通过产品首页登录、通过短信控制台网页登录和华为云产品首页登录。 控制台支持的浏览器版本,请参考浏览器兼容性。 通过产品首页登录 浏览器访问消息&短信产品首页。 单击“立即使用”,打开用户登录界面。 输入华为云帐号和密码,单击“登录”。 通过短信控制台网页登录 浏览器访问短信控制台地址:https://console.huaweicloud.com/msgsms/。 输入华为云帐号和密码,单击“登录”。 通过华为云产品首页登录 浏览器访问华为云产品首页。 单击界面右上角的“控制台”,打开用户登录界面。 输入华为云帐号和密码,单击“登录”,进入华为云管理控制台。 单击界面左上角的“服务列表”,选择“云通信”下的“消息&短信”服务。 如有任何疑问,请联系华为云智能客服,将有专人为您解答。
  • 修订记录 发布日期 修改说明 2022-09-09 第九次正式发布。 优化恢复成免费实例章节。 2022-07-11 第八次正式发布。 DBA智能运维新增TOP SQL等内容。 2022-03-15 第七次正式发布。 DBA智能运维新增设置付费实例和恢复成免费实例场景内容。 2020-10-15 第六次正式发布。 新增DBA智能运维场景和数据管理场景内容。 2020-09-27 第五次正式发布。 刷新约束限制内容。 2020-08-17 第四次正式发布。 刷新目录。 2020-07-21 第三次正式发布。 修改TaurusDB为GaussDB(for MySQL)。 2019-10-20 第二次正式发布。 调整章节结构及适配新版界面。 2018-06-25 第一次正式发布。
  • keyspace管理功能面介绍 在GeminiDB Cassandra中,键空间(Keyspace)是用于保存列族,用户定义类型的对象。键空间相当于数据库,创建一个键空间即是创建了一个数据库。 进入Keyspace管理页面有2种方式: 您可从首页Keyspace列表操作栏中,单击“Keyspace管理”进入管理页面。 您也可从顶部导航菜单栏,单击“Keyspace管理”进入管理页面。 图1 Keyspace管理功能面 表1 功能面编号说明 编号 说明 1 显示当前页面所打开的Keyspace名称,可在当前实例内切换Keyspace。 2 显示当前实例IP、端口信息。 3 单击SQL窗口,可快速打开当前Keyspace的SQL窗口操作页面。 4 将对对象列表数据信息定期采集,并保存到DAS的数据库中。 优势: 减少对用户Keyspace的查询次数,降低对用户Keyspace的性能影响; 针对含有大量表的实例,可提升模块搜索性能,并支持翻页查询 。 仅集采结构元数据,不包含用户表里的实际数据。 5 Keyspace管理主要分为对象列表、元数据采集2大功能模块。 6 各功能模块操作窗口区域。
  • 元数据采集 DAS将对实例的元数据信息由实时查库,升级为后台任务的定期采集,并保存到DAS的数据库中。仅集采结构元数据,不包含用户表里的实际数据,请您放心开启元数据采集功能。 减少对用户Keyspace的查询次数,降低对用户库的性能影响; 针对含有大量表的实例,可提升模块搜索性能,并支持翻页查询 。 为了不影响实例性能,当实例QPS大于10000或者TPS大于1000时不进行采集。 在Keyspace管理页面,打开右上方的元数据采集开关,单击“元数据采集”页签,打开元数据采集窗口。 在元数据采集窗口单击“立即采集”,触发采集动作,您可在右侧操作栏中止采集或查看采集详情信息。 清空采集数据:清空采集的元数据、Keyspace结构、表结构等结构数据。 删除日志:日志删除后将不能恢复,请谨慎操作。
  • 回答 场景一:(import场景)使用sqoop import命令抽取开源postgre到MRS hdfs或hive等。 问题现象: 使用sqoop命令查询postgre表可以,但是执行sqoop import命令倒数时报错: The authentication type 12 is not supported. Check that you have configured the pg_hba.conf file to include the client's IP address or subnet, and that it The authentication type 5 is not supported. Check that you have configured the pg_hba.conf file to include the client's IP address or subnet, and that it 问题根因: 报错中type为5时:在执行sqoop import命令时,会启动MapReduce任务,由于MRS Hadoop安装目录(/opt/Bigdata/FusionInsight_HD_*/1_*_NodeManager/install/hadoop/share/hadoop/common/lib)下自带了postgre驱动包gsjdbc4-*.jar,与开源postgre服务不兼容导致报错。 报错中type为12时:数据库的pg_hba.conf文件配置有误。 解决方案: 报错中type为5时:在每台MRS NodeManager实例所在节点上移动驱动包gsjdbc4-*.jar到tmp目录下。 mv /opt/Bigdata/FusionInsight_HD_*/1_*_NodeManager/install/hadoop/share/hadoop/common/lib/gsjdbc4-*.jar /tmp 报错中type为12时:调整数据库的pg_hba.conf文件,将address改成sqoop所在节点的ip。 场景二:(export场景)使用sqoop export命令抽取开源postgre到MRS hdfs或hive等。 问题现象: 使用sqoop命令查询postgre表可以,但是执行sqoop export命令倒数时报错:The authentication type 5 is not supported. Check that you have configured the pg_hba.conf file to include the client's IP address or subnet, and that it 问题根因: 在执行sqoop export命令时,会启动MapReduce任务,由于MRS Hadoop安装目录(/opt/Bigdata/FusionInsight_HD_*/1_*_NodeManager/install/hadoop/share/hadoop/common/lib)下自带了postgre驱动包gsjdbc4-*.jar,与开源postgre服务不兼容导致报错。 解决方案: 在每台MRS NodeManager实例所在节点上移动驱动包gsjdbc4-*.jar到tmp目录下。 mv /opt/Bigdata/FusionInsight_HD_*/1_*_NodeManager/install/hadoop/share/hadoop/common/lib/gsjdbc4-*.jar /tmp 将/opt/Bigdata/client/Hive/Beeline/lib/gsjdbc4-*.jar删除 。
  • 环境准备 在配置开源Spark组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备LakeFormation实例,详细操作请参考创建LakeFormation实例。 创建LakeFormation接入客户端,并与Spark在相同的虚拟私有云、子网下,详细操作请参考管理接入客户端。 准备开发环境,详细操作请参考准备开发程序环境中“准备开发环境”部分,其中“安装和配置IntelliJ IDEA”为可选。 准备LakeFormation客户端。 方式一:下载客户端发行版 获取地址为:https://gitee.com/HuaweiCloudDeveloper/huaweicloud-lake-formation-lakecat-sdk-java/releases 根据Spark、Hive版本下载对应客户端(如Spark3.1.1,对应Hive版本为2.3.7,则下载lakeformation-lakecat-client-hive2.3-spark3.1-1.0.0.jar) 方式二:本地编译客户端 获取客户端代码。 获取地址为:https://gitee.com/HuaweiCloudDeveloper/huaweicloud-lake-formation-lakecat-sdk-java。 在Git中执行以下命令将分支切换为“master_dev”: git checkout master_dev 配置maven源,详细操作请参考https://mirrors.huaweicloud.com/mirrorDetail/5ea148ce302e67c59c8fe162。 获取以下jar包及对应的pom文件,并将文件放入maven本地仓库。 例如本地仓库地址为“D:\maven\repository”,则放入“D:\maven\repository\com\huaweicloud\hadoop-huaweicloud\3.1.1-hw-45”目录下。 jar包:https://github.com/huaweicloud/obsa-hdfs/blob/master/release/hadoop-huaweicloud-3.1.1-hw-45.jar pom文件:https://github.com/huaweicloud/obsa-hdfs/blob/master/hadoop-huaweicloud/pom.xml,并改名为hadoop-huaweicloud-3.1.1-hw-45.pom。 编译打包客户端代码。 根据Spark版本,进入客户端工程目录,执行以下打包命令: mvn clean install -DskipTests=true -P"${SPARK_PROFILE}" -P"${HIVE_PROFILE}" SPARK_PROFILE:填写spark-3.1或者spark-3.3。 HIVE_PROFILE:填写hive-2.3。 打包完成后可以在“lakeformation-lakecat-client”的target目录下获取“lakeformation-lakecat-client-1.0.0.jar”。 准备并补充替换Hive内核相关的jar包。 如仅使用SparkCatalogPlugin方式对接,不使用MetastoreClient方式对接,本步骤可省略。 方式一:下载预构建Hive相关jar包 获取地址为:https://gitee.com/HuaweiCloudDeveloper/huaweicloud-lake-formation-lakecat-sdk-java/releases 根据Spark、Hive版本下载对应客户端(如Spark3.1.1,对应Hive版本为2.3.7,则下载hive-exec-2.3.7-core.jar、hive-common-2.3.7.jar) 方式二:本地编译Hive相关jar包 如果对接的环境为Spark 3.1.1,则需使用Hive 2.3.7版本。对接的环境为Spark 3.3.1,则需使用Hive 2.3.9版本。 Windows系统下需要在WSL开发环境下进行maven相关操作。 根据Hive版本下载Hive源码。 例如Hive内核版本号为2.3.9,则下载链接为https://github.com/apache/hive/tree/rel/release-2.3.9。 将LakeFormation的客户端代码中的patch应用到Hive源码。 根据需要切换Hive源码分支,例如Hive内核版本号为2.3.9,则执行如下命令: git checkout rel/release-2.3.9 执行以下命令,将patch应用到切换分支后的Hive源码工程。 mvn patch:apply -DpatchFile=${your patch file location} 其中,“your patch file location”为hive-2_3_for_lakeformation.patch的存储路径。patch文件可在客户端工程中获取,如下图所示: 执行以下命令重新编译Hive内核源码。 mvn clean install -DskipTests=true 补充Spark环境所需jar包。 获取以下jar包,并补充或替换到Spark的jars目录下。 表1 获取Spark环境所需jar包 序号 jar包名称 获取途径 1 spring-web-5.3.24.jar https://mirrors.huaweicloud.com/repository/maven/org/springframework/spring-web/5.3.24/ 2 spring-core-5.3.24.jar https://mirrors.huaweicloud.com/repository/maven/org/springframework/spring-core/5.3.24/ 3 spring-context-5.3.24.jar https://mirrors.huaweicloud.com/repository/maven/org/springframework/spring-context/5.3.24/ 4 spring-beans-5.3.24.jar https://mirrors.huaweicloud.com/repository/maven/org/springframework/spring-beans/5.3.24/ 5 caffeine-2.9.3.jar https://mirrors.huaweicloud.com/repository/maven/com/github/ben-manes/caffeine/caffeine/2.9.3/ 6 mapstruct-1.5.3.Final.jar https://mirrors.huaweicloud.com/repository/maven/org/mapstruct/mapstruct/1.5.3.Final/ 7 log4j-api-2.19.0.jar https://mirrors.huaweicloud.com/repository/maven/org/apache/logging/log4j/log4j-api/2.19.0/ 8 java-sdk-core-3.2.4.jar (如果仅使用自定义认证信息获取类使用Token认证,则无需补充该jar包。) https://mirrors.huaweicloud.com/repository/maven/huaweicloudsdk/com/huawei/apigateway/java-sdk-core/3.2.4/ 9 bcprov-jdk15to18-1.70.jar https://mirrors.huaweicloud.com/repository/maven/org/bouncycastle/bcprov-jdk15to18/1.70/ 10 jca-1.0.4.jar https://mirrors.huaweicloud.com/repository/maven/org/openeuler/jca/1.0.4/ 11 hadoop-huaweicloud-3.1.1-hw-45.jar https://github.com/huaweicloud/obsa-hdfs/blob/master/release/hadoop-huaweicloud-3.1.1-hw-45.jar 12 lakeformation-lakecat-client-1.0.0.jar 步骤 5中获取。 13 hive-exec-${version}-core.jar 步骤 6中获取。 14 hive-common-${version}.jar 步骤 6中获取。 父主题: 配置开源Spark组件对接LakeFormation
  • 环境准备 在配置开源Hive组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Hive环境,目前支持Hive 2.3以及Hive 3.1两个版本,并安装Git环境。 准备LakeFormation实例,详细操作请参考创建LakeFormation实例。 创建LakeFormation接入客户端,并与Hive在相同的虚拟私有云、子网下,详细操作请参考管理接入客户端。 准备开发环境,详细操作请参考准备开发程序环境中“准备开发环境”部分,其中“安装和配置IntelliJ IDEA”为可选。 准备LakeFormation客户端。 方式一:下载客户端发行版 获取地址为:https://gitee.com/HuaweiCloudDeveloper/huaweicloud-lake-formation-lakecat-sdk-java/releases 根据Spark、Hive版本下载对应客户端(Hive版本为2.3.9,则下载lakeformation-lakecat-client-hive2.3-spark3.1-1.0.0.jar) 方式二:本地编译客户端 获取客户端代码。 获取地址为:https://gitee.com/HuaweiCloudDeveloper/huaweicloud-lake-formation-lakecat-sdk-java。 并在Git中执行以下命令将分支切换为“master_dev”: git checkout master_dev 配置maven源,详细操作请参考https://mirrors.huaweicloud.com/mirrorDetail/5ea148ce302e67c59c8fe162。 获取以下jar包以及对应的pom文件,并将文件放入maven本地仓库。 例如本地仓库地址为“D:\maven\repository”,则放入“D:\maven\repository\com\huaweicloud\hadoop-huaweicloud\3.1.1-hw-45”目录下。 jar包:https://github.com/huaweicloud/obsa-hdfs/blob/master/release/hadoop-huaweicloud-3.1.1-hw-45.jar pom文件:https://github.com/huaweicloud/obsa-hdfs/blob/master/hadoop-huaweicloud/pom.xml,并改名为hadoop-huaweicloud-3.1.1-hw-45.pom。 编译打包客户端代码。 根据Hive版本,进入客户端工程目录,执行以下打包命令: mvn clean install -DskipTests=true -P"${HIVE_PROFILE}" “HIVE_PROFILE”:可选择为“hive-2.3”或者“hive-3.1”。 打包完成后可以在“lakeformation-lakecat-client”的target目录下获取“lakeformation-lakecat-client-1.0.0.jar”。 准备Hive内核相关的jar包。 方式一:下载预构建Hive相关jar包 获取地址为:https://gitee.com/HuaweiCloudDeveloper/huaweicloud-lake-formation-lakecat-sdk-java/releases 根据Hive版本下载对应客户端(Hive版本为2.3.9,则下载hive-exec-2.3.9.jar、hive-common-2.3.9.jar) 方式二:本地编译Hive相关jar包 Windows系统下需要在WSL开发环境下进行maven相关操作。 根据Hive版本下载Hive源码。 例如Hive内核版本号为2.3.9,则下载链接为:https://github.com/apache/hive/tree/rel/release-2.3.9 将LakeFormation的客户端代码中的patch应用到Hive源码。 根据需要切换Hive源码分支,例如Hive内核版本号为2.3.9,则执行如下命令: git checkout rel/release-2.3.9 执行以下命令,将patch应用到切换分支后的Hive源码工程。 mvn patch:apply -DpatchFile=${your patch file location} 其中,“your patch file location”为hive-2_3_for_lakeformation.patch或hive-3_1_for_lakeformation.patch的存储路径。patch文件可在客户端工程中获取,如下图所示: 执行以下命令重新编译Hive内核源码。 mvn clean install -DskipTests=true 准备并补充替换Hive内核相关的jar包。 获取以下jar包,并补充或替换到Hive安装环境的lib目录下。 表1 获取Hive环境所需jar包 序号 jar包名称 获取途径 1 spring-web-5.3.24.jar https://mirrors.huaweicloud.com/repository/maven/org/springframework/spring-web/5.3.24/ 2 spring-core-5.3.24.jar https://mirrors.huaweicloud.com/repository/maven/org/springframework/spring-core/5.3.24/ 3 spring-context-5.3.24.jar https://mirrors.huaweicloud.com/repository/maven/org/springframework/spring-context/5.3.24/ 4 spring-beans-5.3.24.jar https://mirrors.huaweicloud.com/repository/maven/org/springframework/spring-beans/5.3.24/ 5 caffeine-2.9.3.jar https://mirrors.huaweicloud.com/repository/maven/com/github/ben-manes/caffeine/caffeine/2.9.3/ 6 mapstruct-1.5.3.Final.jar https://mirrors.huaweicloud.com/repository/maven/org/mapstruct/mapstruct/1.5.3.Final/ 7 http-core-4.4.13.jar (如果Hive内核版本为3.1,则不需要该jar包。) https://mirrors.huaweicloud.com/repository/maven/org/apache/httpcomponents/httpcore/4.4.13/ 8 jca-1.0.4.jar https://mirrors.huaweicloud.com/repository/maven/org/openeuler/jca/1.0.4/ 9 将commons-codec-1.4.jar替换为commons-codec-1.15.jar (如果Hive内核版本为3.1,则不需要该jar包。) https://mirrors.huaweicloud.com/repository/maven/commons-codec/commons-codec/1.15/ 10 java-sdk-core-3.2.4.jar (如果仅使用自定义认证信息获取类使用Token认证,则无需补充该jar包。) https://mirrors.huaweicloud.com/repository/maven/huaweicloudsdk/com/huawei/apigateway/java-sdk-core/ 11 hadoop-huaweicloud-3.1.1-hw-45.jar https://github.com/huaweicloud/obsa-hdfs/blob/master/release/hadoop-huaweicloud-3.1.1-hw-45.jar 12 lakeformation-lakecat-client-1.0.0.jar 步骤 5中获取。 13 hive-exec-${version}.jar 步骤 6中获取。 14 hive-common-${version}.jar 步骤 6中获取。 父主题: 配置开源Hive组件对接LakeFormation
  • 什么是并行文件系统 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件语义系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS。 作为对象存储服务的子产品,并行文件系统支持用户按照标准的OBS接口读取数据。也支持通过部署在弹性云服务器中的OBSA,执行大数据场景业务。 父主题: 简介
  • 修订记录 发布日期 修订记录 2023-11-30 第九次正式发布。 更新: 什么是并行文件系统、应用场景、使用方式、工具方式,更新相关说明。 2023-10-17 第八次正式发布。 本次更新说明如下: 新增常见问题文件列表是否支持排序?。 2023-07-31 第七次正式发布。 本次更新说明如下: 刷新并行文件系统相关约束与限制。 2023-07-10 第六次正式发布。 本次更新说明如下: 刷新生命周期管理章节的其他说明内容。 2020-07-30 第五次正式发布。 本次更新说明如下: 新增生命周期管理的相关特性介绍。 2020-05-30 第四次正式发布。 本次更新说明如下: 在创建并行文件系统章节新增数据冗余存储策略描述。 2019-11-08 第三次正式发布。 本次更新说明如下: 调整并行文件系统计费模式。 2019-08-15 第二次正式发布。 本次更新说明如下: 新增并行文件系统的性能限制说明。 新增并行文件系统支持的API列表。 2019-07-15 第一次正式发布。
  • 示例 对图片进行水平翻转。 https://e-share.obs.cn-north-1.myhuaweicloud.com/example.jpg?x-image-process=image/flip,horizontal 图1 对图片进行水平翻转 对图片进行垂直翻转。 https://e-share.obs.cn-north-1.myhuaweicloud.com/example.jpg?x-image-process=image/flip,vertical 图2 对图片进行垂直翻转
  • 什么是移动应用测试 移动应用测试(MobileAppTest)是联合TestBird提供的移动兼容性测试服务。提供TOP流行机型、数百名测试专家,使用图像识别和准确控件识别技术,只需提供App应用,便可生成详细兼容性测试报告(包含系统日志、截图、错误原因、CPU、内存等)。 服务特性 机型全面,提供TOP机型,覆盖98%主流机型;快速上新、快速上线主流机型。 全自动化测试。无需提供测试脚本,无需人工编写用例,只需提交Android、iOS应用安装文件,选取测试套餐,即可输出详尽测试报告。 测试深、速度快,深入测试包括UI异常、闪退、卡死、程序异常、黑屏等兼容性问题。用户只需要提交任务,即可快速得到专业完整的测试报告。 详尽在线测试报告,支持一键下载。提供详细测试分析、问题上下文信息、全过程截图和日志。 快速定位、解决问题,丰富的问题描述信息,支持操作截图和日志联动分析,支持影响度排序,支持终端等多维度筛选问题,帮助准确定位问题。 计费说明 按次计费,由合作伙伴TestBird在华为云应用市场提供产品规格和报价。 购买TestBird兼容性测试时,华为云市场会从华为云账号扣费,并在TestBird生成一个账号,自动绑定该租户。 TestBird兼容性测试支持多次购买。
  • 操作步骤 进入Classroom个人中心,在“成员管理”选择“老师”,单击“添加老师”。 输入下表中的基本信息,单击“添加”。 参数名 说明 用户名 必填。且必须唯一,长度5到32位,首位字符需为字母,其他位可以是-或_或字母或数字。 说明: 可使用老师姓名首字母+工号的方式创建用户名。 邮箱 必填。且必须唯一,邮箱地址需符合一般邮箱规范。 姓名 必填。可重复,长度为1到32位。 学号/工号 必填。且必须唯一,长度为1-18位,可为数字或大小写字母。 职务 必填。 学校/单位 必填。 学院 必填。 专业 必填。 被添加的教师会收到账号信息的邮件,提醒老师留意邮件。
  • 操作步骤 教师添加完成后,请在邮箱内获取账号信息进行登录。 登录Classroom官网,单击“IAM用户登录”,依次输入账号名、用户名、初始密码。 单击“登录”。 进入后输入初始密码、新密码、单击“获取邮箱验证码”。 打开邮箱后,找到发件人为“system@info.hueweicloud.com”,标题为“华为云邮箱验证码邮件”邮件,获取“邮件验证码”后,输入到修改密码界面“邮件验证码”框中。 单击“确定”。
  • 添加方式二 进入Classroom个人中心,在“成员管理”选择“学生”,单击“添加学生”。 输入下表中的基本信息,单击“添加”,完成单个添加。 参数名 说明 用户名 必填。且必须唯一,长度5到32位,首位字符需为字母,其他位可以是-或_或字母或数字。 说明: 可使用学生姓名首字母+学号的方式创建用户名。 邮箱 必填。且必须唯一,邮箱地址需符合一般邮箱规范。 姓名 必填。可重复,长度为1到32位。 学号/工号 选填。且必须唯一,长度为1-18位,可为数字或大小写字母。 学校 选填。可在下拉栏中选择。 学院 选填。 专业 选填。 班级 选填。可选择已存在的班级。 单击批量导入学生,下载批量导入模板文件。 填写模板中成员信息。 需要学生信息如下: 鼠标悬浮在表头处可以查看对应信息的填写要求。 教师勾选已阅读并同意相关协议,单击导入模板,在本地选择已经添加好的学生模板,单击导入。 导入后,右上角会提示“成员批量添加完成,请在下载的文件中查看详情”,已导入的账号会同步显示在当前页面。 导入完成后,系统会生成一个压缩包,解压可以查看导入结果。 若“是否创建成功”列显示“创建成功”,则该账号成功导入。 若导入结果中“是否创建成功”列显示“创建失败”,可能会出现下表情况。 表1 创建失败解决方法 提示信息 解决方法 此班级不存在 说明该班级在Classroom中不存在,需要在Classroom中新建该班级,重新导入模板。 已存在此用户名 说明该用户名在Classroom中已存在,需要修改模板中用户名,且用户名唯一,重新导入模板。 已存在此学号 说明该学号在Classroom中已存在,需要修改模板中学号,且学号唯一,重新导入模板。 邮箱已经存在 说明该邮箱在Classroom中已存在,需要修改模板中邮箱,且邮箱唯一,重新导入模板。 手机号已经存在 说明该手机号在Classroom中已存在,需要修改模板中手机号,且手机号唯一,重新导入模板。 (可选)添加成员时,有信息填写错误,有两种解决方式: 将已有成员删除,重新添加班级成员。 若不方便登录IAM用户,先删除成员,重新添加班级成员。 添加时学号、用户名、邮箱等信息不能与之前删除的成员信息相同。
  • 教师自主注册获取账号 教师进入华为云,并按照页面提示注册账号。 记录好注册时填写的手机号和密码。 登录Classroom官网(https://classroom.devcloud.huaweicloud.com/home),单击“登录”。 输入注册时填写的手机号和密码,单击“登录”。 登录Classroom官网后,单击页面右侧头像,单击“认证为管理员老师”。 教师在弹框中输入姓名、学号、职务、学校、学院、专业,勾选同意相关声明后单击“申请开课”,完成教师账号的创建。 父主题: 账号登录
  • 响应示例 状态码: 200 OK { "instances" : { "items_before" : 0, "size" : 10, "items" : [ { "updated_time" : "2020-03-17 15:21:36", "private" : false, "owner_id" : "d78cbac186b744899480f25bd022f...", "description" : "ddd", "cpu_memory" : "2U4G", "domain_name" : "IAM_DOMAIN_NAME_A", "is_temporary" : false, "stack_id" : "java", "id" : "instancewrqztsgn12imjq7e", "created_time" : "2020-01-06 15:25:04", "owner_name" : "ide_owner_name", "refresh_interval" : 30, "display_name" : "test001", "organization_id" : "6251b1ee539f4c02ad4b83daeda81633...", "name" : "ide_instance8bmjgqx6vfrb9e9n", "platform_id" : 1, "attributes" : { "cpu_limit" : "2", "pvc_quantity" : "5Gi", "memory_limit_bytes" : "4294967296" }, "pvc_quantity" : "5GB", "arch" : "x86", "region" : "cn-north-7", "status" : "STOPPED", "visitor_id" : "c78cbac186b744899480f25bd022f...", "visitor_name" : "ide_visitor_name", "visitor_domain_name" : "IAM_DOMAIN_NAME_B" } ], "empty" : false }, "status" : "success" }
  • URI GET /v2/instances 表1 Query参数 参数 是否必选 参数类型 描述 limit 否 Long 每页显示的条目数量最大值为100,最小值为1 offset 否 Long 偏移量,表示从此偏移量开始查询 is_temporary 否 Boolean 是否页面显示(以标签配置为准) label 否 String 标签 search 否 String 关键字查询(根据实例名,描述模糊查询) sort_dir 否 String 排序方式 asc/desc sort_key 否 String 排序字段。 display_name 实例名、status状态、pvc_quantity 存储容量、created_time 创建时间、stack_id 技术栈
  • 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 result AccountStatus object 返回值 status String 状态 表3 AccountStatus 参数 参数类型 描述 cur_org_create_role Boolean 是否有创建实例权限 cur_org_open Boolean 账号所属租户是否开通服务 has_free_trial Boolean 免费试用 show_manage Boolean 是否有管理入口的权限 状态码: 403 表4 响应Body参数 参数 参数类型 描述 error_msg String 错误描述 error_code String 错误码 状态码: 404 表5 响应Body参数 参数 参数类型 描述 error_msg String 错误描述 error_code String 错误码 状态码: 406 表6 响应Body参数 参数 参数类型 描述 error_msg String 错误描述 error_code String 错误码 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_msg String 错误描述 error_code String 错误码
  • 响应示例 状态码: 200 OK { "instance" : { "created_time" : "2020-01-07 11:25:56", "updated_time" : "2020-03-20 17:14:00", "private" : false, "owner_name" : "ide_owner_name", "refresh_interval" : 30, "owner_id" : "d78cbac186b744899480f25bd022f468...", "description" : "aaa", "cpu_memory" : "1U1G", "display_name" : "chen002", "domain_name" : "IAM_DOMAIN_NAME_A", "is_temporary" : false, "organization_id" : "6251b1ee539f4c02ad4b83daeda81633...", "stack_id" : "python", "name" : "ide-instance8bmjgqx6vfrb9e9n", "platform_id" : 1, "attributes" : { "cpu_limit" : "1", "pvc_quantity" : "5Gi", "memory_limit_bytes" : "1073741824" }, "pvc_quantity" : "5GB", "arch" : "x86", "id" : "instancewc0yk05c8y6jov0v", "region" : "cn-north-7", "status" : "STOPPED", "visitor_id" : "c78cbac186b744899480f25bd022f468...", "visitor_name" : "ide_visitor_name", "visitor_domain_name" : "IAM_DOMAIN_NAME_B" }, "status" : "success" }
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 result result object 返回值 status String 状态 表5 result 参数 参数类型 描述 link String 链接 arch String cpu架构 x86|arm 枚举值: x86 arm id String 实例id private Boolean 是否私有平台 状态码: 403 表6 响应Body参数 参数 参数类型 描述 error_msg String 错误描述 error_code String 错误码 状态码: 404 表7 响应Body参数 参数 参数类型 描述 error_msg String 错误描述 error_code String 错误码 状态码: 406 表8 响应Body参数 参数 参数类型 描述 error_msg String 错误描述 error_code String 错误码 状态码: 500 表9 响应Body参数 参数 参数类型 描述 error_msg String 错误描述 error_code String 错误码
  • 请求示例 创建IDE实例 POST https://{endpoint}/v2/6251b1ee539f4c02ad4b83daeda81633/instances { "display_name" : "testjava", "stack_id" : "java", "description" : "", "cpu_memory" : "2U4G", "pvc_quantity" : "5GB", "refresh_interval" : "30" }
  • 创建IDE实例 检查实例名是否重复。 GET https://{endpoint}/v2/instances/duplicate?display_name=test 接口相关信息请参考查询IDE实例名是否重复。 确定待创建实例的技术栈。 GET https://{endpoint}/v2/stacks/tag 接口相关信息请参考按region获取标签所有技术栈。 查询所有技术栈,根据实际需要选择技术栈及其对应的规格(CPU、存储)。 { "stack" : { "tags" : [ "Java", "Maven", "CPP", "Vue", "ServiceComb", "Blockchain", "GO", "Node.js", "DCN", "Quantum", "JavaScript", "Ruby", "Python" ], "stack_list" : [ { "id" : 1, "stack_id" : "all", "creator" : "ide", "name" : "All in One", "description" : "支持Java、Python、JS/TS等多种语言", "scope" : "general", "config" : { "recipe" : { "content" : "hishell-all-in-one:alpha", "type" : "dockerimage" }, "attributes" : { "specs" : [ "2U4G" ], "volumes" : [ "5GB", "10GB", "20GB" ] } }, "tags" : [ "Java", "Maven", "CPP", "JavaScript", "Vue", "GO", "Node.js", "Ruby", "Python", "ServiceComb" ], "disable" : false, "arm_config" : { "recipe" : { "content" : "hishell-all-in-one:alpha", "type" : "dockerimage" }, "attributes" : { "specs" : [ "4U8G" ], "volumes" : [ "5GB", "10GB", "20GB" ] } } } ] }, "status" : "success" } stack_id:技术栈id。 config.attributes.specs:技术栈x86架构支持的内存。 config.attributes.volumes:技术栈x86架构支持的存储容量。 arm_config.attributes.specs:技术栈arm架构支持的内存。 arm _config.attributes.volumes:技术栈arm架构支持的存储容量。 查询技术栈费用。 可以参考获取技术栈费用信息,为cpu内存和存储容量价格和。 确定技术栈模板工程。 GET https://{endpoint}/v2/templates?stack_id=all 接口相关信息参考查询技术栈模板工程,根据实际需求选择模板工程。 { "templates" : [ { "template_id" : 5, "name" : "web-java-spring", "source" : { "location" : "git@codehub.alpha.devcloud.inhuawei.com:Demo00226/JavaWeb.git", "type" : "git", "parameters" : { } }, "display_name" : "web-java-spring", "path" : "/web-java-spring", "description" : "A basic example using Spring servlets. The app returns values entered into a submit form.", "project_type" : "maven", "region" : "cn-north-7", "tags" : [ "maven", "spring", "java", "web" ], "arch" : "x86,arm" } ], "status" : "success" } 其中,source.location为模板git仓地址。 创建IDE实例。 org_id:组织id(对应华为云账号的domainId)。 POST https://{endpoint}/v2/{org_id}/instances { "display_name" : "test", "stack_id" : "java", "description" : "", "cpu_memory" : "2U4G", "pvc_quantity" : "5GB", "refresh_interval" : 30 } display_name:实例名称。 stack_id:技术栈id。 cpu_memory:内存。 pvc_quantity:存储容量。 refresh_interval:实例生命周期。 响应如下,表示创建成功。 { "result" : { "link" : "https://****/cloudide/loading?instanceId=mpdrao", "arch" : "x86", "id" : "mpdrao" }, "status" : "success" } id:实例id。 link:实例访问地址。 访问接口返回的link地址,可以进入IDE实例。此处没有获取模板工程,如果要下载模板,可以指定模板git地址scmUrl。 https://****/cloudide/loading?scmName=test&scmUrl=git@***/JavaWeb.git&deleteRepoInfo=true&instanceId=mpdrao
  • 响应示例 状态码: 200 OK { "instances" : { "items_before" : 0, "size" : 10, "items" : [ { "updated_time" : "2020-03-17 15:21:36", "private" : false, "owner_id" : "d78cbac186b744899480f25bd022f...", "description" : "ddd", "cpu_memory" : "2U4G", "domain_name" : "IAM_DOMAIN_NAME_A", "is_temporary" : false, "stack_id" : "java", "id" : "instancewrqztsgn12imjq7e", "created_time" : "2020-01-06 15:25:04", "owner_name" : "ide_owner_name", "refresh_interval" : 30, "display_name" : "test001", "organization_id" : "6251b1ee539f4c02ad4b83daeda81633...", "name" : "ide_instance8bmjgqx6vfrb9e9n", "platform_id" : 1, "attributes" : { "cpu_limit" : "2", "pvc_quantity" : "5Gi", "memory_limit_bytes" : "4294967296" }, "pvc_quantity" : "5GB", "arch" : "x86", "region" : "cn-north-7", "status" : "STOPPED", "visitor_id" : "c78cbac186b744899480f25bd022f...", "visitor_name" : "ide_visitor_name", "visitor_domain_name" : "IAM_DOMAIN_NAME_B" } ], "empty" : false }, "status" : "success" }
共100000条