华为云用户手册

  • 回调示例 录制文件生成事件回调示例如下。回调消息体字段如表2所示。 { "project_id": "70b76xxxxxx34253880af501cdxxxxxx", "job_id": "dc0a1773-0cef-xxxx-xxxx-9a38fdb095d2", "task_id": "51126d0ebe94b1da00d2e21a10xxxxxx", "event_type": "RECORD_FILE_COMPLETE", "publish_domain": "push.example.com", "app": "live", "stream": "mystream", "record_format": "HLS", "download_url": "https://obs.cn-north-4.myhuaweicloud.com/live/record-xxxx-mystream-1589967495/record-push.example.com-live-mystream-1589967495.m3u8", "asset_id": "1a0d8e9bfaexxxxxxbe5021e62aa1e96", "file_size": 3957964, "record_duration": 120, "start_time": "2020-03-08T14:10:25Z", "end_time": "2020-03-08T14:12:25Z", "width": 1280, "height": 720, "obs_location": "https://obs.cn-north-4.myhuaweicloud.com", "obs_bucket": "mybucket", "obs_object": "live/record-xxxx-mystream-1589967495/record-hwpublish.myun.tv-live-mystream-1589967495.m3u8", "auth_sign": "4f97f46759axxxxxx7ad21e9935dc175", "auth_timestamp": 1583676745 }
  • 回调示例 直播推流和断流生成事件通知示例如下。通知消息体字段如表1所示。 { "domain":"push.example.com", "app":"live", "stream":"example_stream", "user_args":"auth_info=yz1TG0PVN/5isfyrGrRj10gKPCWqSS2X02t6QsRrocH+mEq0gQ0g8k6KhalS84sQ+kDprFyqI0yajbYiFmUO8e45B7ryaS+MpJBlYkhwnuFLnRiKK/IXG7.33436b625354564f6e4d4d434f55&cdn=hw", "client_ip":"100.111.*.*", "node_ip":"112.11.*.*", "publish_timestamp":"1587954134", "event":"PUBLISH", "auth_timestamp":1587954140, "auth_sign":"ff3b2bxxx5cfd56e76d72bed4c4aa2dxxxca8c2e46467d205a6417d4fc" }
  • 前提条件 成功登录华为乾坤控制台。 MSP帐号下存在工作组,且该工作组已绑定租户代维资源。 该租户下已上线以下款型设备: USG63xxE-C:USG6301E-C/6302E-C/6303E-C USG65xxE-C:USG6501E-C/USG6502E-C/USG6503E-C 防火墙USG61xxE:USG6106E 防火墙USG63xxE:USG6305E/USG6306E/USG6308E/USG6309E/USG6312E/USG6315E/USG6322E/USG6325E/USG6332E/USG6335E/USG6350E/USG6355E/USG6365E/USG6385E/USG6395E 防火墙USG6303E:USG6303E 防火墙USG65xxE:USG6515E/USG6525E/USG6530E/USG6550E/USG6555E/USG6560E/USG6565E/USG6575E-B/USG6580E/USG6585E 防火墙USG65xxE-K:USG6520E-K/USG6560E-K/USG6590E-K 防火墙USG63xxE-B:USG6308E-B/USG6318E-B/USG6338E-B/USG6358E-B/USG6378E-B/USG6388E-B/USG6398E-B 防火墙USG6xxxE-Exx:USG6000E-E03/USG6000E-E07 防火墙USG66xxE:USG6605E-B 防火墙USG66xxE:USG6610E/USG6620E/USG6630E/USG6650E/USG6680E/USG6605E-B/USG6620E-K/USG6640E-K 防火墙USG67xxE:USG6712E/USG6716E
  • 排查思路 在访问控制日志中,搜索被阻断IP/域名的日志记录。 如有记录,可单击“规则”列跳转至匹配到的阻断策略,后续操作见场景一:防护策略配置错误。 如无记录,执行步骤 2。 在攻击事件日志中,搜索被阻断IP/域名的日志记录。 如有记录,可复制“规则ID”列信息,后续操作见场景二:IPS等入侵防御功能的误拦截。 如无记录,执行步骤 3。 弹性公网IP管理中关闭了EIP的防护或VPC边界防火墙管理中关闭了防护后,业务恢复正常,则建议您关闭防火墙防护并提交工单咨询。 (可选)为了监测防火墙状态,迅速把握异常情况,推荐您进行如下配置: 在云防火墙控制台配置告警通知,请参见告警通知。 在云监控控制台配置CFW告警规则,配置方式请参见设置监控告警规则,支持的监控指标请参见CFW监控指标说明。
  • 定位方式 关闭CFW的防护。 EIP流量故障:关闭CFW对业务中断的EIP的防护,请参见关闭EIP防护。 SNAT或VPC间访问不通:关闭VPC边界防火墙的防护,请参见关闭VPC边界防火墙。 观察业务情况。 业务恢复正常,请参见排查思路。 业务仍未恢复,说明非CFW造成的流量中断,可参考常见的故障原因: 网络故障:路由配置错误,网元故障。 策略拦截:其他安全服务、网络ACL或安全组配置错误导致的误拦截。 若您需要华为云协助排查,可提交工单。
  • 为什么调用API时提示“APIG.0301” 如果在调用API时返回错误信息与错误码: "error_msg":"Incorrect IAM authentication information: decrypt token fail","error_code":"APIG.0301",是因为token解密失败,解决方案:(1)请检查token是否过期;(2)获取token的方法,请求体信息是否填写正确,token是否正确完整;(3)获取token的环境与调用的环境是否一致是否跨区;(4)检查账号权限,是否欠费,被冻结等。 "error_msg":"Incorrect IAM authentication information: verify aksk signature fail","error_code":"APIG.0301",是因为AK/SK认证失败,解决方案:(1)请检查AK/SK是否正确,AK对应的SK错误,不匹配;AK/SK中多填了空格;(2)AK/SK频繁出现鉴权出错,连续错误5次以上,被锁定5分钟(5分钟内,则一直认为其是异常的鉴权请求),5分钟后解锁重新认证;(3)检查账号权限,是否欠费,被冻结等账号。 父主题: 错误码类
  • 子账户导出数据受obs权限影响时怎么处理 如果您所使用的子账户(IAM用户)因OBS的权限导致无法导出问答日志,请联系主账户调整OBS权限,详细的OBS权限介绍请参见OBS权限管理。 添加OBS权限方法: 管理员在控制台右上角用户名的下拉框中单击“统一身份认证”。 在“用户”页面,在子账户操作列单击“授权”。 图1 授权 在“选择授权方式”中勾选“继承所选用户组的策略”,在“用户组名称”列勾选目标用户组,单击“确定”。 目标用户组需要具备OBS OperateAccess权限。如果不存在用户组,请参考创建用户组并授权创建具备OBS OperateAccess权限的用户组。 图2 选择授权方式 授权成功后,在“用户”页面,单击用户名,进入用户详情页,确认子账户的目标用户组添加成功。 图3 所属用户组 父主题: 智能问答机器人
  • 修订记录 发布日期 修订记录 2023-04-08 第十二次公测发布。 开通KooMap服务:增加AR地图生产服务的开通描述和操作。 购买套餐包:增加该章节。 退订KooMap服务:增加AR地图生产服务退订的描述和操作。 AR地图:增加AR地图生产服务的相关操作。 支持云审计的关键操作:增加AR地图生产服务的审计操作。 2023-12-28 第十一次公测发布。 开通KooMap服务:增加实景三维生产服务的开通描述和操作。 退订KooMap服务:增加实景三维生产服务退订的描述和操作。 实景三维:增加该章节。 任务管理:增加实景三维建模任务的概述、创建、处理以及管理的描述和操作。 审计:增加实景三维生产服务的审计操作。 2023-11-17 第十次公测发布。 退订KooMap服务:增加卫星影像生产服务退订的描述和操作。 创建工作共享空间: 修改每个租户下创建工作共享空间的上限值。 表1中删除“空间类型”参数。 导入卫星影像:修改“导入完成”的截图。 管理卫星影像: 修改查询、下载、迁移、删除卫星影像的操作步骤及截图。 增加“预览成果影像”和“查看成果数据/原始数据列表”章节。 AR地图:增加该章节。 创建卫星影像生产任务:修改每个工作共享空间内创建任务的上限值。 管理任务: 在“查看成果数据”的操作步骤中增加说明。 增加“执行成功”状态下的任务可被删除的相关描述。 2023-07-03 第九次公测发布。 管理工作共享空间:修改“工作共享空间管理”页面截图。 导入卫星影像: 表2中修改了“卫星名”前缀的说明。 修改了通过Excel方式批量添加影像文件上限值。 2023-04-27 第八次公测发布。 开通KooMap服务:修改KooMap开通步骤。 退订KooMap服务:增加KooMap退订描述。 支持云审计的关键操作:增加云审计服务支持的KooMap服务操作列表。 2023-04-25 第七次公测发布。 导入卫星影像 截图和表1中删除“供应商”字段。 修改单个导入和批量导入卫星影像文件的操作描述。 增加“命名辅助工具”的使用方法。 管理卫星影像:截图中删除“供应商”字段。 2023-03-29 第六次公测发布。 导入卫星影像:修改“卫星名”参数描述。 创建卫星影像生产任务:“坐标系”参数增加“国家2000”、“国家2000-GaussKruger”选项描述;操作步骤中增加该坐标系的操作说明。 2023-03-10 第五次公测发布。 卫星影像: 概述:增加生产资料的描述。 导入卫星影像:更新截图;增加生成文件夹与文件名称模板参数说明。 查看卫星影像元数据:更新查看影像元数据信息的约束条件。 增加了生产资料章节。 用量统计:增加生产资料、L3的用量统计描述。 任务管理: 概述:增加了L3处理等级描述。 创建卫星影像生产任务:更新前提条件、截图、操作步骤。 管理任务:增加查询任务方式以及各个操作适用的任务状态;更新截图。 支持云审计的关键操作:更新表1内容。 2023-02-03 第四次公测发布。 管理工作共享空间:更新图1。 影像数据: 修改“影像供应商”参数说明。 更新截图(支持按影像别名和影像名称排序)。 在查看卫星影像元数据章节,增加限制说明。 创建卫星影像生产任务:更新截图。 2023-01-18 第三次公测发布。 导入卫星影像: 删除“坐标系”参数。 更新图1。 创建卫星影像生产任务:更新操作步骤描述和相关截图。 2023-01-11 第二次公测发布。 创建工作共享空间:更改了参数名称。 导入卫星影像: 增加批量导入卫星影像操作说明。 增加“OBS Endpoint”参数。 修改“影像目录地址”参数说明。 管理卫星影像:增加批量删除、下载、迁移卫星影像操作说明。 导入矢量数据:增加“OBS Endpoint”参数以及更新截图。 管理矢量数据:增加批量删除、下载、迁移矢量数据操作说明。 用量统计:更改了导航树路径、操作步骤的描述。 任务管理:优化了任务概览页的图片。 2022-12-27 第一次公测发布。
  • 处理实景三维任务 登录KooMap管理控制台。 在左侧导航栏选择“工作共享空间管理”,然后在右侧页面单击工作共享空间名称。 单击“实景三维概览”页签,进入任务概览页。 找到需要启动的任务,单击任务卡片中的用来启动任务,如图1。 无控建模:启动任务即可直接开始无控建模,直至任务处理成功。 有控建模:启动任务开始空三建模,完成空三建模后再依次进行5和6操作。 图1 启动任务 (仅适用于有控建模)单击蓝色字体“编辑”,进入“编辑刺点”页面编辑刺点。 图2 编辑刺点 在“生产资料”下拉选项列表中选择生产资料,然后勾选该生产资料下的像控点。 系统根据勾选的像控点,在左下方区域将显示推荐刺点图片列表。 单击图片,系统在右侧放大显示该图片。 您可根据需要在右侧图片上进行人工刺点或者使用推荐刺点。 同一个像控点不能在同一张图片上重复刺点,但可在多张图片上刺点,一张图片上可刺多个像控点。 人工刺点 单击鼠标在图片上刺点,刺点后系统以图标标记在图片上。如果您想改变刺点位置,可单击“取消刺点”删除该刺点后,重新刺点。 图3 人工刺点 使用推荐刺点 单击“使用推荐点”,使用系统推荐刺点,此时推荐点标记由变为,如果你不想使用系统推荐刺点,可单击“取消刺点”,此时推荐点标记由变回。 图4 使用推荐刺点 刺点完成后,图片右上角标识由变为。 (仅适用于有控建模)刺点编辑完成后,单击“确定”,返回任务预览界面(如图5),再次单击该任务卡片中的用来启动有控建模直至完成。 图5 启动有控建模
  • 开发环境中不同Notebook规格资源“/cache”目录的大小 创建Notebook时,可以根据业务数据量的大小选择资源。 ModelArts会挂载硬盘至“/cache”目录,用户可以使用此目录来储存临时文件。“/cache”与代码目录共用资源,不同资源规格有不同的容量。 映射规则:当前不支持CPU配置cache盘;GPU与昇腾资源为单卡时,cache目录保持500G大小限制;除单卡外,cache盘大小与卡数有关,计算方式为卡数*500G,上限为3T。详细表1所示。 表1 不同Notebook规格资源“/cache”目录的大小 规格类别 cache盘大小 GPU-0.25卡 500G*0.25 GPU-0.5卡 500G*0.5 GPU-单卡 500G GPU-双卡 500G*2 GPU-四卡 500G*4 GPU-八卡 3T 昇腾-单卡 500G 昇腾-双卡 500G*2 昇腾-四卡 500G*4 昇腾-八卡 3T CPU -- 父主题: 更多功能咨询
  • 上传对象 桶创建成功后,您可以通过以下多种方式将文件上传至桶,OBS最终将这些文件以对象的形式存储在桶中。 表2 不同访问方式上传对象的方法 访问方式 上传对象方法 控制台 通过控制台上传对象 OBS Browser+ 通过OBS Browser+上传对象 obsutil 通过obsutil上传对象 SDK 使用SDK上传对象,具体参考各语言开发指南的上传对象章节 API PUT上传、POST上传
  • 创建桶 桶是OBS中存储对象的容器,在上传对象前需要先创建桶。OBS提供多种使用方式,您可以根据使用习惯、业务场景选择不同的工具来创建桶。 表1 不同访问方式创建桶的方法 访问方式 创建桶方法 控制台 通过控制台创建桶 OBS Browser+ 通过OBS Browser+创建桶 obsutil 通过obsutil创建桶 SDK 使用SDK创建桶,具体参考各语言开发指南的创建桶章节 API 通过API创建桶
  • ModelArts和Hilens的模型转换有什么区别吗? ModelArts提供的模型转换功能支持以下场景: 使用Caffe(.caffemodel格式)或者Tensorflow框架(“frozen_graph”或“saved_model”格式)训练的模型,使用转换功能可转换成“.om格式”,转换后的模型可在昇腾(Ascend)芯片上部署运行。 使用Tensorflow框架(“frozen_graph”或“saved_model”格式)训练的模型,使用转换功能可转换成om格式,转换后的模型可在昇腾(Ascend)芯片上部署运行。 Hilens在导入模型过程中支持以下场景模型自动转换: 使用Caffe(.caffemodel格式)或者Tensorflow框架(“frozen_graph”或“saved_model”格式)训练的模型,使用转换功能可转换成“.om格式”,转换后的模型可在昇腾(Ascend)芯片上部署运行。 使用ModelArts模型转换的转换模板“TF-FrozenGraph-To-Ascend-HiLens”和“TF-SavedModel-To-Ascend-HiLens”生成的“.om格式”模板可以在Hliens Kit运行。 父主题: 压缩和转换模型
  • 如何对OBS的文件重命名? 由于OBS管理控制台不支持对OBS的文件重命名,当您需要对OBS文件进行重命名时需要通过调用MoXing API实现,在已有的或者新创建的Notebook中,执行如下命令,通过接口对OBS中的文件进行重命名。 具体操作如下: 如下示例为将文件“obs_file.txt”重命名为“obs_file_2.txt”。 import moxing as mox mox.file.rename('obs://bucket_name/obs_file.txt', 'obs://bucket_name/obs_file_2.txt') 父主题: 数据存储
  • 运行训练代码,出现dead kernel,并导致实例崩溃 在Notebook实例中运行训练代码,如果数据量太大或者训练层数太多,亦或者其他原因,导致出现“内存不够”问题,最终导致该容器实例崩溃。 出现此问题后,系统将自动重启Notebook,来修复实例崩溃的问题。此时只是解决了崩溃问题,如果重新运行训练代码仍将失败。如果您需要解决“内存不够”的问题,建议您创建一个新的Notebook,使用更高规格的资源池,比如专属资源池来运行此训练代码。已经创建成功的Notebook不支持选用更高规格的资源规格进行扩容。 父主题: 代码运行常见错误
  • 使用从OBS选择的数据创建表格数据集如何处理Schema信息? Schema信息表示表格的列名和对应类型,需要跟导入数据的列数保持一致。 若您的原始表格中已包含表头,需要开启“导入是否包含表头”开关,系统会导入文件的第一行(表头)作为列名,无需再手动修改Schema信息。 若您的原始表格中没有表头,需要关闭“导入是否包含表头”开关,从OBS选择数据后,Schema信息的列名默认为表格中的第一行数据,请更改Schema信息中的“列名”为attr_1、attr_2、……、attr_n,其中attr_n为最后一列,代表预测列。 父主题: 准备数据
  • 基本语法 DROP [TEMPORARY] TABLE [IF EXISTS] [database_name.]name [ON CLUSTER cluster] [SYNC] 示例: 删除表 t1。 drop table t1 SYNC; 在删除复制表时,因为复制表需要在Zookeeper上建立一个路径,存放相关数据。ClickHouse默认的库引擎是原子数据库引擎,删除Atomic数据库中的表后,它不会立即删除,而是会在24小时后删除。在删除表时,加上SYNC字段,即可解决该问题,例如:drop table t1 SYNC; 删除本地表和分布式表,则不会出现该问题,可不带SYNC字段,例如:drop table t1; 如果建表语句中包含了“ON CLUSTER ClickHouse集群名”,删除表命令: drop table 表名 ON CLUSTER default_cluster; 如果建表语句不包含“ON CLUSTER ClickHouse集群名”,删除表命令: drop table 表名; 删除数据表前,需确认此数据表是否应用中,以免引起不必要的麻烦。删除数据表后可在24小时内恢复,超过24小时无法恢复。恢复命令如下: set allow_experimental_undrop_table_query = 1; UNDROP TABLE 数据表名;
  • 操作步骤 确认CloudTable集群已经安装,并正常运行。 准备Windows弹性云服务器。 具体操作请参见准备弹性云服务器章节。 请在Windows的弹性云服务器上安装JDK1.7及以上版本,强烈推荐使用JDK1.8及以上版本,并且安装Eclipse,Eclipse使用JDK1.7及以上的版本。 如果使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。 如果使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle JDK。 不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。
  • 开发环境简介 在进行二次开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装JDK 开发环境的基本配置。版本要求:1.7或者1.8。考虑到后续版本的兼容性,强烈推荐使用1.8。 说明: 基于安全考虑,CloudTable服务只支持TLS 1.1和TLS 1.2加密协议,IBM JDK默认TLS只支持1.0,如果使用IBM JDK,请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS1.0/1.1/1.2。详情请参见IBM官方网站的相关说明。 安装和配置Eclipse 用于开发CloudTable应用程序的工具。 网络 确保开发环境或客户端与表格存储服务主机在网络上互通。 父主题: 准备开发环境
  • 修订记录 发布日期 修订说明 2024-04-07 第十一次正式发布。 新增章节如下: Doris组件使用规范 2023-10-16 第十次正式发布。 新增章节如下: 概述 Hive JDBC通过ssl方式连接doris(验证证书) JDBC通过ssl方式连接doris(无需验证证书) 数据导入 2023-08-18 第九次正式发布。 新增章节如下: 开发HBase冷热分离应用 ClickHouse应用开发指导 2023-07-11 第八次正式发布。 新增章节如下: 通过JDBC方式连接Doris 2023-04-30 第七次正式发布。 新增章节如下: Doris应用开发指导 2019-03-06 第五次正式发布。 修改如下章节: 开发流程 2018-09-25 第四次正式发布。 新增如下章节: 配置参数 2018-06-30 第一次正式发布。
  • 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 安装JDK,版本为1.8.0_272。 安装和配置IntelliJ IDEA 开发环境的基本配置,建议使用2019.1或其他兼容版本。 说明: 如果使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。 如果使用Oracle JDK,请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 如果使用Open JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 准备开发用户 准备用于应用开发的ClickHouse集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。
  • 数据变更类 【强制】应用程序不可以直接使用delete后者update语句变更数据,可以使用CDC的upsert方式来实现。 低频操作上使用,比如Update几分钟更新一次。 如果使用Delete一定带上分区条件。 【强制】禁止使用INSERT INTO tbl1 VALUES (“1”), (“a”);这种方式做数据导入,少量少次写可以,多量多频次时要使用Doris提供的StreamLoad、BrokerLoad、SparkLoad或者Flink Connector方式。 【建议】执行特殊的长SQL操作时,可以使用SELECT /*+ SET_VAR(query_timeout = xxx*/ from table 类似这样通过Hint方式去设置Session 会话变量,不要设置全局的系统变量。
  • 建表规范 【强制】创建表指定分桶buckets时,每个桶的数据大小为应保持在100M-3G之间,单分区中最大分桶数据不超过5000。 【强制】表数据超过5亿条以上必须设置分区分桶策略。 【强制】分桶的列不要设置太多,一般情况下1或2个列,同时需要兼顾数据分布均匀和查询吞吐之间的均衡,考虑数据均匀是为了避免某些桶的数据存在倾斜影响数据均衡和查询效率,考虑查询吞吐是为了利用查询SQL的分桶剪裁优化避免全桶扫描提升查询性能,所以优先考虑那些数据较为均匀且常用于查询条件的列适合做分桶列。 【强制】2000kw 以内数据禁止使用动态分区(动态分区会自动创建分区,而小表用户客户关注不到,会创建出大量不使用分区分桶)。 【强制】创建表时的副本数必须至少为2,默认是3,禁止使用单副本。 【建议】单表物化视图不能超过6个。 【建议】对于有大量历史分区数据,但是历史数据比较少,或者不均衡,或者查询概率的情况,使用如下方式将数据放在特殊分区: 对于历史数据,如果数据量比较小我们可以创建历史分区(比如年分区,月分区),将所有历史数据放到对应分区里。 创建历史分区方式:FROM ("2000-01-01") TO ("2022-01-01") INTERVAL 1 YEAR。 【建议】1000w-2亿以内数据为了方便可以不设置分区,直接用分桶策略(不设置其实Doris内部会有个默认分区)。 【建议】如果分桶字段存在30%以上的数据倾斜,则禁止使用Hash分桶策略,改使用random分桶策略:Create table ... DISTRIBUTED BY RANDOM BUCKETS 10 ... 【建议】建表时第一个字段一定是最常查询使用的列,默认有前缀索引快速查询能力,选取分区分桶外最长查询且高基数的列,前缀索引36位,如果列超长也不能使用前缀索引能力。 【建议】亿级别以上数据,如果有模糊匹配或者等值/in条件,可以使用倒排索引或者是 Bloomfilter。如果是低基数列的正交查询适合使用bitmap索引。 【强制】Doris 建表不要指定Merge-On-Write属性,当前有很多开源问题,不推荐。如使用了该属性,CloudTable服务不承诺SLA。
  • 数据查询规范 【强制】in中条件超过2000后,必须修改为子查询。 【强制】禁止使用REST API(Statement Execution Action)执行大量SQL查询,该接口仅仅用于集群维护。 【建议】一次insert into select数据超过1亿条后,建议拆分为多个insert into select语句执行,分成多个批次来执行。如果非要这样执行不可,必须在集群资源相对空闲的时候可以通过调整并发度来加快的数据导入速度 。 例如:set parallel_fragment_exec_instance_num = 8 建议数值是单BE节点上CPU内核的一半。 【强制】query查询条件返回结果在5w条以上,使用JDBC Catalog或者OUTFILE方式导出。不然大量FE上数据传输将占用FE资源,影响集群稳定性。 如果你是交互式查询,建议使用分页方式(offset limit),分页要加Order by。 如果是数据导出提供给第三方使用,建议使用 outfile或者export 方式。 【强制】2个以上大于3亿的表JOIN使用Colocation Join。 【强制】亿级别大表禁止使用select * 查询,查询时需要明确要查询的字段。 使用SQL Block方式禁止这种操作。 如果是高并发点查,建议开启行存(2.x版本)。 使用PreparedStatement查询。 【强制】亿级以上表数据查询必须带分区分桶条件。 【建议】尽量不要使用OR作为JOIN条件。 【建议】大量数据排序(5亿以上)后返回部分数据,建议先减少数据范围再执行排序,否则大量排序会影响性能。 例如:将from table order by datatime desc limit 10优化为from table where datatime='2023-10-20' order by datatime desc limit 10。
  • 值存储数据类型解析 查找与目标字段准确的匹配。 试着将表达式直接转换成目标类型。如果已知这两种类型之间存在一个已登记的转换函数,那么直接调用该转换函数即可。如果表达式是一个未知类型文本,该文本字符串的内容将交给目标类型的输入转换过程。 检查一下看目标类型是否有长度转换。长度转换是一个从某类型到自身的转换。如果在pg_cast表里面找到一个,那么在存储到目标字段之前先在表达式上应用。这样的转换函数总是接受一个额外的类型为integer的参数,它接收目标字段的atttypmod值(实际上是其声明长度,atttypmod的解释随不同的数据类型而不同),并且它可能接受一个boolean类型的第三个参数,表示转换是显式的还是隐式的。转换函数负责施加那些长度相关的语义,比如长度检查或者截断。
  • 示例 character存储类型转换。对一个目标列定义为character(20)的语句,下面的语句显示存储值的长度正确: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 CREATE TABLE x1 ( customer_sk integer, customer_id char(20), first_name char(6), last_name char(8) ) with (orientation = column,compression=middle) distribute by hash (last_name); INSERT INTO x1(customer_sk, customer_id, first_name) VALUES (3769, 'abcdef', 'Grace'); SELECT customer_id, octet_length(customer_id) FROM x1; customer_id | octet_length ----------------------+-------------- abcdef | 20 (1 row) 两个unknown文本缺省解析成text,这样就允许||操作符解析成text连接。然后操作符的text结果转换成bpchar("空白填充的字符型", character类型内部名称)以匹配目标字段类型。不过,从text到bpchar的转换是二进制兼容的,这样的转换是隐含的并且实际上不做任何函数调用。最后,在系统表里找到长度转换函数bpchar(bpchar, integer, boolean) 并且应用于该操作符的结果和存储的字段长。这个类型相关的函数执行所需的长度检查和额外的空白填充。
  • 原因分析 用例状态在用例库和测试计划中是相互独立的,相互不受影响。 测试用例的结果和状态,在用例库中和测试计划中的同步规则是:用例库记录测试用例的最新结果,该结果可能是在由用例库中执行产生的,也可能是在测试计划下执行产生的。 如果用例库中的测试用例被添加到测试计划中,那么: 在测试计划中执行测试用例,执行的结果会同步到用例库中。 在用例库中执行测试用例,执行的结果不会同步到测试计划。 在测试计划中更新测试用例的状态,状态不会同步到用例库中。 在用例库中更新测试用例的状态,状态不会同步到测试计划。
  • 操作步骤 进入代码托管服务仓库列表页。 单击“新建仓库”按钮,跳转到“归属项目和仓库类型”页面。 “归属项目”下拉框单击“新建项目”,或选择已有的项目。“仓库类型”选择“模板仓库”,单击下一步 代码仓库必须挂到项目下,通过项目维度查看仓库看板。 如果账号下没有项目请在项目选择框中选择“新建项目”会先弹出“新建项目”页面,这时建立的项目是Scrum或IPD-自运营软件/云服务类。 如果在项目内新建仓库则默认选择该项目。 仓库类型选择“模板仓库”。 单击“下一步”按钮,跳转到“选择仓库模板”页面。 “选择模板”页面支持模糊查询,根据您的需求选中某个模板。 单击“下一步”按钮,进入“基本信息”页面,填写仓库基本信息。 表1 按模板新建仓库的参数说明 字段名称 是否必填 备注说明 代码仓库名称 是 请以字母、数字、下划线开头,名称还可包含点和连字符,但不能以.git、.atom或.结尾,限制200个字符。 描述 否 为您的仓库填写描述,限制2000个字符。 权限设置 否 自动创建代码检查任务(免费)。 仓库创建完成后在代码检查任务列表中,可看到对应仓库的检查任务。 说明: "将项目开发人员自动添加为该仓库成员" 功能下线,不再自动将项目经理和开发人员添加为仓库成员。仅默认将项目创建者、项目管理员加入仓库。 项目成员自动添加到仓库的功能,可基于成员组的成员动态同步能力实现。 是否公开 是 可选择 私有。 仓库仅对仓库成员可见,仓库成员可访问仓库或者提交代码。 公开只读。 仓库对所有访客公开只读,但不出现在访客的仓库列表及搜索中。 单击“确定”按钮,完成仓库新建。 按模板新建时,仓库的类型会根据选择的模板的仓库类型自动配置。 按模板新建的仓库将包含模板预置的仓库文件结构。
  • 查看仓库的统计信息 在仓库详情中的“仓库统计”页签,可以查看仓库的相关统计信息,详情如下: 仓库信息概要:主要显示Git库容量、LFS容量、分支数量、Tags数量、成员数量、提交数量。可选择分支,对仓库趋势图、贡献者统计、提交统计的统计范围产生影响。(不会影响仓库信息概要) 语言统计:显示仓库当前分支的各语言分布情况。 仓库趋势图:显示仓库当前分支的提交分布情况。 贡献者统计:统计当前分支中代码提交者们的贡献度(提交次数、代码行数)。 提交统计:按不同维度(每周、每天、每小时)统计代码提交活跃度。 开发者及以上权限可以触发代码贡献度统计与语言比例统计。 因资源限制,每个仓库一天可以统计10次。 每个用户一天可以统计1000次。 统计完成,将显示每一位用户在截止时间之前的全部新增、删除的代码行数量(“+”表示新增,“-”表示删除)。 merge(将两个或两个以上的开发历史合并在一起的操作)节点的提交均不被统计。 父主题: 使用代码托管仓库
  • 方式二:将Git仓库克隆到本地,再关联并推送到代码托管 当因为网络等原因,无法直接在线导入时,可以使用以下方法,将远程仓库克隆到本地,再关联、推送到代码托管中。 安装与配置Git客户端。 从源仓库地址下载仓库。 下面以GitHub为例: 在浏览器中打开并进入GitHub代码仓地址。 单击右侧“code”,选择“HTTPS”,单击右侧图标。 在本地打开Git Bash客户端,执行以下命令将仓库克隆到本地计算机,再使用cd指令进入仓库目录。 git clone --bare 源仓库地址 将本地仓库关联并推送到代码托管。 在代码托管服务中新建普通仓库,在“权限设置”里,不要勾选“允许生成README文件”。 进入1中新建的仓库详情页,单击“克隆/下载”,根据需要单击“用SSH克隆”或“用HTTPS克隆”,再单击按钮,取得仓库地址。 本示例中以HTTPS地址为例。 在本地源代码的根目录下,打开Git Bash客户端,执行以下命令将本地的仓库推送到新建的代码托管仓库中。 git push --mirror 新建的代码托管仓库的地址 指令执行时,会提示您输入代码托管仓库的HTTPS账号和密码,正确输入即可。(如何获取HTTPS账号、密码?) 如果您的源仓库有分支和标签,也会一并推送到代码托管仓库。 推送成功后,到代码托管仓库内验证迁移是否完整,如有问题请联系华为云技术支持。(如何浏览代码托管仓库?)
共100000条