华为云用户手册

URI URI格式 POST https://{Endpoint}/v3/{project_id}/weak-password-verification URI样例 https://gaussdb-opengauss.cn-north-4.myhuaweicloud.com/v3/054b61972980d4552f0bc00ac8d3f5cd/weak-password-verification 参数说明 表1 参数说明 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一region下的project ID。 获取方法请参见获取项目ID/名称。

响应消息 正常响应要素说明 表2 参数说明 参数 参数类型 描述 quotas object 租户实例配额信息。 详情请参见表3。 表3 project-quotas 参数 参数类型 描述 resources Array of objects 资源列表对象。 详情请参见表4。 表4 resources 参数 参数类型 描述 type String 指定类型的配额。 instance: 表示实例的配额。 used Integer 已创建的资源个数。 quota Integer 资源最大的配额数。

请求示例 切换多个DN分片的主备。 { "shards": [ { "node_id": "0bc478b4d132494a8f7b804da521b4b2no14", "component_id": "dn_6001" }, { "node_id": "53dee94c50574d36a0060db0a6b644f6no14", "component_id": "dn_6004" } ] }

响应消息 正常响应要素说明 表2 参数说明 参数 参数类型 描述 tags Array of objects 用户标签列表。 详情请参见表3。 total_count Integer 总记录数。 表3 tags字段数据结构说明 参数 参数类型 描述 key String 标签键。最大长度36个unicode字符，key不能为空。 字符集：0-9，A-Z，a-z，“_”，“-”，中文。 value Array of strings 标签值。最大长度43个unicode字符，可以为空字符串。 字符集：0-9，A-Z，a-z，“_”，“.”，“-”，中文。 正常响应样例 标签列表： { "tags" : [ { "key" : "key1", "value" : [ "value1", "value2" ] }, { "key" : "key2", "value" : [ "value2", "value3" ] } ], "total_count": 2 }

URI URI格式 GET https://{Endpoint}/v3/{project_id}/instances/{instance_id}/tags URI样例 https://gaussdb-opengauss.cn-north-1.myhuaweicloud.com/v3/0483b6b16e954cb88930a360d2c4e663/instances/dsfae23fsfdsae3435in14/tags 参数说明 表1 参数说明 名称 是否必选 说明 project_id 是 租户在某一region下的project ID。 获取方法请参见获取项目ID/名称。 instance_id 是 实例ID。

请求示例 设置GaussDB实例备份策略，备份文件保存时长7天，备份时间段为"19:00-20:00"。 { "backup_policy": { "keep_days": 7, "start_time": "19:00-20:00", "period": "1,2,3,4,5", "differential_period": "30", "rate_limit": 75 , "prefetch_block": 64 , "file_split_size": 4 , "enable_standby_backup" : "false" } }

URI URI格式 DELETE https://{Endpoint}/v3/{project_id}/jobs/{job_id} URI样例 https://gaussdb-opengauss.cn-north-1.myhuaweicloud.com/v3/0483b6b16e954cb88930a360d2c4e663/jobs/6b00c41d-d54f-4bcb-80da-566ccedc2b5d 参数说明 表1 参数说明 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一region下的project ID。 获取方法请参见获取项目ID/名称。 job_id 是 String 任务id。

URI URI格式 GET https://{Endpoint}/v3/{project_id}/recycle-policy URI样例 https://gaussdb-opengauss.cn-north-1.myhuaweicloud.com/v3/0611f1bd8b00d5d32f17c017f15b599f/recycle-policy 参数说明 表1 参数说明 名称 是否必选 说明 project_id 是 租户在某一region下的project ID。 获取方法请参见获取项目ID/名称。

响应消息 正常响应要素说明 表2 参数说明 参数 参数类型 描述 tags Array of objects 标签列表。 详情请参见表3。 表3 tags字段数据结构说明 参数 参数类型 描述 key String 标签键。最大长度36个unicode字符，key不能为空。 字符集：0-9，A-Z，a-z，“_”，“-”，中文。 value Array of strings 标签值。最大长度43个unicode字符，可以为空字符串。 字符集：0-9，A-Z，a-z，“_”，“.”，“-”，中文。 正常响应样例 标签列表： { "tags" : [ { "key" : "key1", "value" : [ "value1", "value2" ] }, { "key" : "key2", "value" : [ "value2", "value3" ] } ] } 异常响应 请参见异常请求结果。

响应消息示例 正常响应要素说明 { "created": "2022-04-11 10:46:59", "updated": "2022-04-11 10:46:59", "datastore_version": "2.0", "datastore_name": "GaussDB(for openGauss)", "configuration_parameters": [ { "name": "audit_system_object", "value": "12295", "type": "integer", "description": "该参数决定是否对数据库对象的CREATE、DROP、ALTER操作进行审计。", "restart_required": false, "value_range": "0-2097151" } ] }

URI URI格式 GET https://{Endpoint}/v3/{project_id}/deployment-form URI样例 https://gaussdb-opengauss.cn-north-1.myhuaweicloud.com/v3/fff3cb7f644d4fc9a3c58f2bfe239b9e/deployment_form?solution=triset 参数说明 表1 参数说明 名称 是否必选 说明 project_id 是 租户在某一region下的project ID。 获取方法请参见获取项目ID/名称。 instance_id 否 实例ID。 solution 否 解决方案模板名称。 triset：高可用（1主2备）。

是否支持同步删除文件 不支持；当前obsutil工具支持同步上传本地目录到OBS桶中，同步成功后，如果用户删除了本地目录下的部分文件，再次进行增量同步上传时，工具将只会检查本地存在的文件是否需要增量进行上传，无法感知已删除文件是否需要在目标桶内进行删除。 需要注意的是，如果在上传过程中，本地目录中的文件有新增则无法保证工具最终上传的对象数目和本地目录内文件数目的一致性；如果希望同步这部分新增文件可以在上传完成后重新执行增量上传命令。 父主题： 常见问题

io timout、EOF错误原因定位及解决 i/o timeout及EOF报错是两种常见的因为网络原因导致请求失败的场景，通常是由于网络波动等原因导致；常见的定位思路包括： 通过ping桶域名（bucketName.endpoint）判断本地到指定访问的桶域名之间的网络是否不通；如果不通优先排查本地网络问题。 如果问题出现概率较大，且域名可以ping通的情况下，可以通过修改endpoint为http协议后采用抓包软件进行网络抓包，抓包后可以具体分析实际网络链路中是否存在丢包等问题从而针对性解决。 解决思路： 在网络不通的情况下优先解决本地网络问题；如需配置代理可以参考为obsutil配置HTTP代理。 在偶现该问题的情况下，可以考虑重试命令以规避该问题；针对上传/下载/复制等场景，可以在执行cp时指定-u参数进行增量上传，可以避免重试批量任务中已经成功完成的部分任务。 在网络情况不理想的场景下，针对上传/下载/复制等场景，可以考虑适当减小defaultParallels（-p）和defaultJobs（-j）参数来降低整体的并发任务数量，减少问题出现的概率。 父主题： 常见问题

批量任务执行失败如何确认错误信息 用户执行批量上传/下载/复制等批量操作时，最终输出结果中会显示批量任务执行成功的个数及失败的任务个数；为确认失败任务的具体错误原因，可以通过查看对应任务的失败结果清单文件及obsutil的日志文件进行确认。 批量任务执行完成后会输出taskID信息，根据taskID信息即可在.obsutil_output目录下查询到对应失败任务清单文件，失败结果清单文件命名规则形如：cp_{failed}_report_时间_TaskId.txt，该文件中有各失败任务的详细错误信息；同时还可以参考util工具的日志信息查看工具执行过程中记录的错误信息，为定位问题建议指定日志级别为DEBUG级别，具体设置方式及日志路径设置方式可参考日志文件。 父主题： 常见问题

PGXC_GROUP PGXC_GROUP系统表节点组信息，在DWS 3.0中，每个逻辑集群节点组称为一个VW，而在存储KV层，每一个VW会和一个vgroup相对应。 表1 PGXC_GROUP字段 名称 类型 描述 group_name name 节点组名称。 in_redistribution "char" 是否需要重分布。 n表示NodeGroup没有再进行重分布。 y表示NodeGroup是重分布过程中的源节点组。 t表示NodeGroup是重分布过程中的目的节点组。 group_members oidvector_extend 节点组的DN节点OID列表。 group_buckets text 分布数据桶的集合。 is_installation boolean 是否是安装节点组。 group_acl aclitem[] 访问权限。 group_kind "char" 节点组类型。 i表示安装节点组，包含所有DN节点。 n表示普通非逻辑集群节点组。 v表示逻辑集群节点组。 e表示弹性集群节点组 r表示复制表节点组，只能用于创建复制表，可以包含一个或多个逻辑集群节点组。 group_ckpt_csn xid 节点组最近一次执行增量抽取的CSN。 vgroup_id xid 节点组对应vgroup的ID标识。 vgroup_bucket_count oid 节点组对应vgroup的桶数目。 group_ckpt_time timestamp with time zone 节点组最近一次执行增量抽取的物理时间。 apply_kv_duration integer 节点组最近一次执行增量抽取中增量扫描耗时(单位为秒)。 ckpt_duration integer 节点组最近一次执行增量抽取中checkpoint耗时（单位为秒）。 group_flags integer 节点组标志，当前仅第一个标志位有效，其他标志位当前版本未使用。 标志位1：为1表示节点组是只读逻辑集群，为0表示节点组是读写逻辑集群。 父主题： 系统表

示例 查询OBS IO Scheduler在每个节点读请求相关的统计信息。 从结果中看出，这是当前IO Scheduler在进行读取IO操作时的某个时刻统计信息的快照(snapshot)，此时带宽处于上升阶段，current_bps与best_bps相等。以dn_6003_6004为例，我们可以观察到该DN当前队列中存在排队的请求，total_token_num与available_token_num相等，说明查询视图的时刻IO Scheduler还未开始处理这些请求。 SELECT * FROM pgxc_obs_io_scheduler_stats WHERE io_type = 'r' ORDER BY node_name; node_name | io_type | current_bps | best_bps | waiting_request_num | mean_request_size | total_token_num | available_token_num | total_worker_num | idle_worker_num --------------+---------+-------------+----------+---------------------+-------------------+-----------------+---------------------+------------------+----------------- dn_6001_6002 | r | 26990 | 26990 | 0 | 215 | 18 | 16 | 12 | 10 dn_6003_6004 | r | 21475 | 21475 | 10 | 190 | 30 | 30 | 20 | 20 dn_6005_6006 | r | 12384 | 12384 | 36 | 133 | 30 | 27 | 20 | 17 等待一段时间后，再次发起查询。 此时队列中已经没有了排队的请求，且available_token_num等于total_token_num，说明IO Scheduler已经处理完所有请求，且没有新的请求需要被处理；但是我们观察到current_bps不为零，是因为我们统计bps的周期为3秒，此时看到的是3秒前的结果。 SELECT * FROM pgxc_obs_io_scheduler_stats WHERE io_type = 'r' ORDER BY node_name; node_name | io_type | current_bps | best_bps | waiting_request_num | mean_request_size | total_token_num | available_token_num | total_worker_num | idle_worker_num --------------+---------+-------------+----------+---------------------+-------------------+-----------------+---------------------+------------------+----------------- dn_6001_6002 | r | 13228 | 26990 | 0 | 609 | 18 | 18 | 12 | 12 dn_6003_6004 | r | 15717 | 21475 | 0 | 622 | 30 | 30 | 20 | 20 dn_6005_6006 | r | 18041 | 21767 | 0 | 609 | 30 | 30 | 20 | 20 短暂间隔后再次查询结果如下，current_bps会更新为0。 SELECT * FROM pgxc_obs_io_scheduler_stats WHERE io_type = 'r' ORDER BY node_name; node_name | io_type | current_bps | best_bps | waiting_request_num | mean_request_size | total_token_num | available_token_num | total_worker_num | idle_worker_num --------------+---------+-------------+----------+---------------------+-------------------+-----------------+---------------------+------------------+----------------- dn_6001_6002 | r | 0 | 26990 | 0 | 609 | 18 | 18 | 12 | 12 dn_6003_6004 | r | 0 | 21475 | 0 | 622 | 30 | 30 | 20 | 20 dn_6005_6006 | r | 0 | 21767 | 0 | 609 | 30 | 30 | 20 | 20

PG_REWRITE PG_REWRITE系统表存储为表和视图定义的重写规则。 表1 PG_REWRITE字段 名称 类型 描述 rulename name 规则名称 ev_class oid 使用该规则的表名 ev_attr smallint 该规则适用的字段（目前总是为0，表示整个表） ev_type "char" 规则适用的事件类型： 1 = SELECT 2 = UPDATE 3 = INSERT 4 = DELETE ev_enabled "char" 用于控制复制的触发 O =“origin”和“local”模式时触发 D =禁用触发 R =“replica”时触发 A ＝任何模式都会触发 is_instead boolean 如果是INSTEAD规则，则为真 ev_qual pg_node_tree 规则条件的表达式树（以nodeToString() 形式存在） ev_action pg_node_tree 规则动作的查询树（以nodeToString() 形式存在） 父主题： 系统表

应用场景 湖仓一体 无缝访问数据湖 对接Hive Metastore元数据管理，直接访问数据湖的数据表定义，无需用户创建外表，只需创建external schema即可。 支持主要数据格式：ORC, Parquet。 融合查询 混合查询数据湖和仓内的任意数据。 查询一步到位输出到仓内/数据湖，无需额外数据中转拷贝。 极致查询性能 使用数仓高质量的查询计划和高效的执行引擎。 使用数仓的负载管理手段，精准控制。 极致弹性 计算资源快速伸缩，存储空间按需使用，同时大幅度降低存储成本。适用于稳态业务和敏态业务。 提供两种弹性模式，既可以对当前集群进行扩缩容，也可以新增逻辑集群。 快速对当前集群进行扩缩容，无需数据重分布、拷贝。 新增逻辑集群可以提高并发和吞吐，也适用于把不同的业务绑定在不同的VW上，实现读写分离、负责隔离；适用于业务负载周期性变化的场景，比如,00:00-7:00跑批业务增加。 数据共享 一份数据承载多样负载，数据实时共享，支持不同业务数据快速共享。 任意逻辑集群均可承载读写负载。 多逻辑集群间共享数据，无需拷贝，数据在多逻辑集群间实时可见。

产品形态对比 表1 DWS 3.0与DWS 2.0差异 数仓类型 DWS 2.0 DWS 3.0 适用场景 融合分析业务，一体化OLAP分析场景。主要应用于金融、政企、电商、能源等领域。 融合分析，在离线一体化OLAP分析场景。针对互联网场景进行了深度优化。 产品优势 性价比高。 支持冷热数据分析，存储、计算弹性伸缩。 成本低，并发高。 支持存算分离，存储按需使用，计算快速伸缩，无限算力、无限容量等。 支持数据共享，支持湖仓一体。 功能特点 支持海量数据离线处理和交互查询，数据规模大、复杂数据挖掘具有很好的性能优势。 支持实时入库、实时分析、离线处理和交互查询，数据规模大、复杂数据挖掘具有很好的性能优势。 SQL语法 SQL语法兼容性高，语法通用，易于使用。 SQL语法兼容性高，语法通用，易于使用。 GUC参数 丰富的GUC参数，根据客户业务场景适配最适合客户的数仓环境。 丰富的GUC参数，根据客户业务场景适配最适合客户的数仓环境。

架构说明 图1 云原生3.0架构 Serverless云原生架构 存算管的三层分离，计算存储资源独立、灵活、快速伸缩。 高性价比满足用户变化多样的负载需求和严格的负载隔离要求。 极致弹性 多样的弹性方式逻辑集群（Virtual Warehouse）扩缩容。 多逻辑集群间数据实时共享，一份数据承载多样负载，无需拷贝。 通过逻辑集群实现吞吐/并发的线性提升，同时具备良好的读写分离、负载隔离能力。 湖仓一体 数据湖与数据仓库数据无缝混合查询。 数据湖分析体验数仓的极致性能和精准管控度。

简介 云原生数仓DWS 3.0采用计算存储分离架构，解决了计算存储必须等比例缩放的问题。赋能用户面向业务峰谷时，对计算能力进行快速且独立的扩缩要求，同时保证存储无限扩展、按需付费，做到快速、敏捷的响应业务变化，同时具有更高的性价比，进一步助力企业降本增效。 DWS 3.0具有以下优势： 湖仓一体：提供简单、易维护的湖仓一体体验，无缝对接DLI，支持元数据自动导入、外部表查询加速、内外表关联查询，支持数据湖格式读写，简化数据入湖入仓。 极致弹性：计算资源快速伸缩，存储空间按需使用，同时大幅度降低存储成本。历史数据无需再迁移到其他存储介质上，让数据分析更简单，一站式解决金融、互联网等行业快速增长的数据分析需求。 数据共享：一份数据承载多样负载，数据实时共享，多写多读的使用模式，在支持不同业务数据快速共享的同时，具备良好的计算资源隔离能力。

应用示例 查询集群的CN和DN信息： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 select * from pgxc_node; node_name | node_type | node_port | node_host | node_port1 | node_host1 | hostis_primary | nodeis_primary | nodeis_preferred | node_id | sctp_port | control_port | sctp_port1 | control_port1 | nodeis_central --------------+-----------+-----------+----------------+------------+----------------+----------------+----------------+----------------- -+-------------+-----------+--------------+------------+---------------+---------------- dn_6001_6002 | D | 40000 | 192.**.***.**1 | 45000 | 192.**.**.**2 | t | f | f | 1644780306 | 40002 | 40003 | 45002 | 45003 | f dn_6003_6004 | D | 40000 | 192.**.**.**2 | 45000 | 192.**.**.**3 | t | f | f | -966646068 | 40002 | 40003 | 45002 | 45003 | f dn_6005_6006 | D | 40000 | 192.**.**.**3 | 45000 | 192.**.***.**1 | t | f | f | 868850011 | 40002 | 40003 | 45002 | 45003 | f cn_5001 | C | 8000 | 192.**.***.**1 | 8000 | 192.**.***.**1 | t | f | f | 1120683504 | 8002 | 8003 | 0 | 0 | f cn_5002 | C | 8000 | 192.**.**.**2 | 8000 | 192.**.**.**2 | t | f | f | -1736975100 | 8002 | 8003 | 0 | 0 | f cn_5003 | C | 8000 | localhost | 8000 | localhost | t | f | f | -125853378 | 8002 | 8003 | 0 | 0 | t (6 rows)

enable_insert_ft_dop_performance 参数说明：该参数是在enable_insert_ft_dop开启时生效。在导出数据到OBS分区外表时是否开启性能模式，如果开启该参数，导出数据性能高，但是内存资源消耗会明显增多。如果用户能评估分区外表的分区数目极少且内存资源非常充足时，可以开启，否则建议关闭。 参数类型：user 取值范围：布尔型 默认值：off 是否用户可设：可设定

enable_cudesc_streaming 参数说明：开启跨逻辑集群访问走cudesc streaming路径(从表所在逻辑集群拉取cudesc、delta表数据等信息)。 参数类型：superuser 取值范围：枚举型。 off：关闭cudesc streaming。 on：开启cudesc streaming，包含读写。 only_read_on：只开启读的cudesc streaming。 默认值： on 是否用户可设：可设定

parquet_enable_integer_decimal 参数说明：为parquet外表添加guc控制参数parquet_enable_integer_decimal，用于控制写入数据时逻辑类型decimal/numeric类型的转换规则。在decimal/numeric类型定义中，如果指定了precision的范围值，参数语义如下： 设置为off时： 1 ≤ precision ＜ 39时，写入到定长数组FIXED_LEN_BYTE_ARRAY类型中，该格式与 Apache Hive 和 Apache Impala中的decimal一致。 precision ≥ 39时，写入变长数组BYTE_ARRAY类型中。 设置为on时： 1 ≤ precision ＜ 19时，写入到Int64类型中。 19 ≤ precision ＜ 39时，写入到定长数组FIXED_LEN_BYTE_ARRAY类型中。 precision ≥ 39时，写入变长数组BYTE_ARRAY类型中。 参数类型：user 取值范围：布尔型 默认值：on 是否用户可设：是

parquet_timestamp_skip_conversion 参数说明：该参数控制当外表读取parquet格式文件数据时，如读取到int96格式的时间戳类型时是否进行本地时区转换。 设置为off时： 在parquet文件中的读取到int96格式的时间戳类型数据时，对数据进行从UTC时区到本地时区转换的操作。 设置为on时： 在parquet文件中的读取到int96格式的时间戳类型数据时，跳过对数据从UTC时区到本地时区转换的操作。 参数类型：user 取值范围：布尔型 默认值：off 是否用户可设：可设定

注意事项 只要拥有当前数据库CREATE权限的用户，就可以创建外部SCHEMA。 创建命名对象时不可用EXTERNAL SCHEMA作为前缀修饰，即不支持在EXTERNAL SCHEMA下创建对象。目前只支持通过使用EXTERNAL SCHEMA对hive端创建的表进行SELECT、INSERT和INSERT OVERWRITE操作。 CREATE EXTERNAL SCHEMA不支持在新模式中创建对象的子命令。

参数说明 schema_name 外部模式名字。 取值范围：字符串，要符合标识符的命名规范。 模式名不能和当前数据库里其他的模式重名。 模式的名字不可以“pg_”开头。 SOURCE 外部元数据存储引擎的类型，当前source_type仅支持Hive。 DATABASE 指定外部SCHEMA所对应的hive中数据库。 external schema与hive中的数据库是多对一的对应关系。 SERVER 取值范围：已存在的FOREIGN SERVER。 通过external schema关联foreign server以达到访问外部数据的目的。 METAADDRESS 表示hivemetastore通讯接口。 CONFIGURATION 表示hivemetastore相关配置文件存放路径。 如果当前搜索路径上的模式中存在同名对象时，需要明确指定引用对象所在的模式。可以通过命令SHOW SEARCH_PATH来查看当前搜索路径上的模式。

语法格式 根据指定的名字创建EXTERNAL SCHEMA。 1 2 3 4 5 6 CREATE EXTERNAL SCHEMA schema_name WITH SOURCE source_type DATABASE 'db_name' SERVER srv_name METAADDRESS 'address' CONFIGURATION 'confpath';

示例 创建一个EXTERNAL SCHEMA ex1： 1 2 3 4 5 6 CREATE EXTERNAL SCHEMA ex1 WITH SOURCE hive DATABASE 'demo' SERVER hdfs_server METAADDRESS '***.***.***.***:***' CONFIGURATION '/MRS/config'