华为云用户手册

  • 运维任务公共配置 登录GaussDB(DWS)管理控制台。 在集群列表中单击指定集群名称。 进入“集群详情”页面,切换至“智能运维”页签。 在页面上方“运维任务公共配置”模块,填写“用户表VacuumFull运维任务最大并发数”配置值,单击右上角“保存”完成配置。 该配置应用于每个用户表VacuumFull运维任务中。 最大并发数配置范围为1~24,用户可根据剩余磁盘空间和IO负载,合理设置最大并发数,建议设置为5。
  • 负荷分析概述 GaussDB(DWS)的负荷分析工具为数据库提供性能数据收集和分析,用户可通过创建负荷信息快照记录指定时间段集群的负荷信息数据。其中两个负荷信息快照可形成该时间段内负荷诊断报告。负荷诊断报告(Workload Diagnosis Report,简称WDR)可以提供指定时间段内的性能数据,以HTML网页报告的形式呈现给用户,能够帮助用户发现异常、诊断问题、优化性能等,其内容丰富直观,是数据库调优的利器。 负荷分析功能仅8.1.1.300及以上集群版本支持。 负荷诊断报告存储仅支持OBS场景。 父主题: 负荷分析
  • 有集群总览页 有集群总览页面主要由以下几个部分构成,其中成长地图、产品动态、DWS特色功能和无集群总览页面一致: 资源 在“资源”一栏,您可以浏览当前可用资源数量,其中包括“可用集群和总集群(个)”、“可用节点和总节点(个)”、“总容量(GB)”。 图5 资源 告警 告警分为紧急告警、重要告警、次要告警和提示告警,详情请参见告警管理。 图6 告警 近期事件 事件是用户集群状态发生变化的记录。它可以是由用户操作触发的,也有可能是集群服务状态变化引起的。详情请参见事件通知。 图7 近期事件 集群主要指标 集群CPU使用率 集群内存使用率 集群磁盘使用率 图8 集群主要指标 成长地图,详情请参见•成长地图。 产品动态,详情请参见•产品动态 特色功能,详情请参见•DWS特色功能。
  • 无集群总览页 无集群总览页主要由以下几个部分组成: 流程指导 本模块提供创建集群、连接集群并从OBS导入样例数据的操作指导,指导您快速上手数据仓库服务。详情可单击对应步骤中的“了解更多”按钮查看。 图1 流程指导 特色功能 本模块提供了GaussDB(DWS)多种强大的特色功能概述,包括SQL兼容模式、集群快照、集群容灾、数据库监控DMS、资源管理、在线运维等。用户可快速掌握各功能原理并根据自身需求使用该功能。 图2 特色功能 成长地图 本模块由浅入深,带您玩转实时、简单、安全可信的企业级数据仓库服务GaussDB(DWS)。 图3 成长地图 产品动态 此模块默认展示数据仓库服务GaussDB(DWS)最新发布的三个功能,详情可单击“更多”按钮。 图4 产品动态
  • 前提条件 集群快照是GaussDB(DWS)集群在某一时间点的完整备份,记录了这一时刻指定集群的所有配置数据和业务数据。用户根据业务需要备份集群数据时,可以在“快照管理”页面创建集群的快照。 手动快照可以随时创建,在创建成功后会一直保存,直到在GaussDB(DWS)控制台将此快照删除。由于创建手动快照采用全量备份的方式,因此备份时间较长。 手动创建的集群粒度快照支持备份到OBS服务、NFS介质。 待创建集群粒度快照的集群状态必须为“可用”、“待重启”或“非均衡”中的任意一种,当集群版本低于8.1.3.101时,“只读”状态的集群也可创建集群粒度的快照。
  • 告警参数 参数名称 参数含义 告警源 产生告警的系统名称。例如,DWS。 集群名称 产生告警的集群名称。 定位信息 产生告警的集群ID、集群名称、实例ID、实例名称。例如,cluster_id: xxxx-xxxx-xxxx-xxxx,cluster_name: test_dws,instance_id: xxxx-xxxx-xxxx-xxxx,instance_name: test_dws-dws-cn-cn-1-1 详细信息 产生告警的详细信息,包括集群、实例、磁盘、阈值信息。例如:CloudService=DWS, resourceId=xxxx-xxxx-xxxx-xxxx,resourceIdName=test_dws, instance_id: xxxx-xxxx-xxxx-xxxx,instance_name: test_dws-dws-cn-cn-1-1,host_name: host-192-168-1-122,disk_name: /dev/vdb,first_alarm_time: 2022-01-30 10:30:00; 节点10分钟内的日志盘I/O使用率为90.54% ,超过阈值90% 产生日期 产生告警的时间。 状态 当前告警的处理状态。
  • 使用pg_query_audit函数查看数据库审计日志 使用SQL客户端工具成功连接集群,连接方式请参考连接集群。 使用函数pg_query_audit查询当前CN节点的审计日志: 1 pg_query_audit(timestamptz startime,timestamptz endtime,audit_log) 参数startime和endtime分别表示审计记录的开始时间和结束时间,audit_log表示所查看的审计日志信息所在的物理文件路径,当不指定audit_log时,默认查看连接当前实例的审计日志信息。 例如,查看指定时间段当前CN节点审计记录。 1 SELECT * FROM pg_query_audit('2021-02-23 21:49:00','2021-02-23 21:50:00'); 查询结果如下: 1 2 3 begintime | endtime | operation_type | audit_type | result | username | database | client_conninfo | object_name | command_text | detail_info | transaction_xid | query_id | node_name | session_id | local_port | remote_port ---------------------------+---------------------------+----------------+------------+--------+------------+----------+-----------------+-------------+-----------------+------------------------------------------------------------------+-----------------+----------+--------------+------------------------------+------------+------------- 2021-02-23 21:49:57.76+08 | 2021-02-23 21:49:57.82+08 | login_logout | user_login | ok | dbadmin | gaussdb | gsql@[local] | gaussdb | login db | login db(gaussdb) successfully, the current user is: dbadmin | 0 | 0 | coordinator1 | 140324035360512.667403397820909.coordinator1 | 27777 | 该条记录表明,用户dbadmin在2021-02-23 21:49:57.82+08登录数据库gaussdb。其中client_conninfo字段在log_hostname启动且IP连接时,字符@后显示反向DNS查找得到的主机名。 使用函数pgxc_query_audit可以查询所有CN节点的审计日志: 1 pgxc_query_audit(timestamptz startime,timestamptz endtime) 例如,查看指定时间段所有CN节点审计记录。 1 SELECT * FROM pgxc_query_audit('2021-02-23 22:05:00','2021-02-23 22:07:00') where audit_type = 'user_login' and username = 'user1'; 查询结果如下: 1 2 3 4 begintime | endtime | operation_type | audit_type | result | username | database | client_conninfo | object_name | command_text | detail_info | transaction_xid | query_id | node_name | session_id | local_port | remote_port ----------------------------+----------------------------+----------------+------------+--------+----------+----------+-----------------+-------------+--------------+------------------------------------------------------------+-----------------+----------+--------------+----------------------------------------------+------------+------------- 2021-02-23 22:06:22.219+08 | 2021-02-23 22:06:22.271+08 | login_lgout | user_login | ok | user1 | gaussdb | gsql@[local] | gaussdb | login db | login db(gaussdb) successfully, the current user is: user1 | 0 | 0 | coordinator2 | 140689577342720.667404382271356.coordinator | 27782 | 2021-02-23 22:05:51.697+08 | 2021-02-23 22:05:51.749+08 | login_lgout | user_login | ok | user1 | gaussdb | gsql@[local] | gaussdb | login db | login db(gaussdb) successfully, the current user is: user1 | 0 | 0 | coordinator1 | 140525048424192.667404351749143.coordinator1 | 27777 | 查询结果显示,用户user1在CN1和CN2的成功登录记录。 查询审计多个对象名的记录。 1 2 SET audit_object_name_format TO 'all'; SELECT object_name,result,operation_type,command_text FROM pgxc_query_audit('2022-08-26 8:00:00','2022-08-26 22:55:00') where command_text like '%student%'; 查询结果如下: 1 2 3 4 5 6 7 8 object_name | result | operation_type | command_text ------------------------------------------------------------------+--------+----------------+------------------------------------------------------------------------------------------------------------------ -------------------------------------------- student | ok | ddl | CREATE TABLE student(stuNo int, stuName TEXT); studentscore | ok | ddl | CREATE TABLE studentscore(stuNo int, stuscore int); ["public.student_view01","public.studentscore","public.student"] | ok | ddl | CREATE OR REPLACE VIEW student_view01 AS SELECT * FROM student t1 where t1.stuNo in (select stuNo from studentscore t2 where t1.stuNo = t2.stuNo); ["public.student_view01","public.student","public.studentscore"] | ok | dml | SELECT * FROM student_view01; 查询结果object_name显示多个对象名,包括:表名、视图名及视图所涉及的基表名。
  • 前提条件 审计功能总开关audit_enabled已开启。(audit_enabled默认值为ON,若关闭请参考修改数据库参数设置为OFF)。 已配置需要审计的审计项。各审计项及其开启办法,请参考设置数据库审计日志。 数据库正常运行,并且对数据库执行了一系列增、删、改、查操作,保证在查询时段内有审计结果产生。 数据库各个节点审计日志单独记录。 只有拥有AUDITADMIN属性的用户才可以查看审计记录。
  • 查看数据库审计日志方式 方式一:由于审计日志会占用一定磁盘空间,为了防止本地磁盘文件过大,GaussDB(DWS)支持审计日志转储,用户可以开启“开启审计日志转储”功能,将审计日志转储到OBS(用户需创建用于存储审计日志的OBS桶)中进行查看或下载,详细内容请参考查看审计日志转储记录。 方式二:通过依赖于云日志服务LTS的“集群日志管理”功能查看采集的审计数据库日志或进行日志下载,详细内容请参考查看集群日志。 方式三:数据库的审计日志默认存储于数据库中,连接集群后使用pg_query_audit函数进行查看。详细内容请参考使用pg_query_audit函数查看数据库审计日志。
  • 删除自动快照 自动快照不支持手动删除,仅GaussDB(DWS)系统能够删除自动快照。 GaussDB(DWS)会在如下情况下删除自动快照: 自动快照保留期结束 删除集群 为防止用户误执行删除集群操作,GaussDB(DWS)将提供以下策略(该功能仅在8.2.0及以上集群版本支持): 若最新一次的快照为自动快照,则系统会将自动快照保留一天时间。 若最新一次的快照为手动快照,则会删除相应集群已有的自动快照。 父主题: 自动快照
  • 开发规范 如果用户在APP的开发中,使用了连接池机制,那么需要遵循如下规范。否则,连接池里的连接就是有状态的,会对用户后续使用连接池进行操作的正确性带来影响。 如果在连接中设置了GUC参数,那么在将连接归还连接池之前,必须使用“SET SESSION AUTHORIZATION DEFAULT;RESET ALL;”将连接的状态清空。 如果使用了临时表,那么在将连接归还连接池之前,必须将临时表删除。 父主题: 使用JDBC和ODBC连接集群
  • 功能说明 用户需要查看集群的监控指标信息时,可以通过云监控(Cloud Eye)确认集群各项指标情况。通过监控集群运行时的各项指标,用户可以识别出数据库集群状态异常的时间段,然后在数据库日志中,分析可能存在问题的活动,从而优化数据库性能。本章节定义了数据仓库服务上报云监控服务的监控指标的命名空间、监控指标列表和维度定义。用户可以通过云监控服务提供的管理控制台或API接口来检索数据仓库服务产生的监控指标和告警信息。
  • (可选)准备ECS作为gsql客户端主机 购买弹性云服务器的操作步骤,请参见《弹性云服务器快速入门》中的购买并登录Linux弹性云服务器章节。 创建的弹性云服务器需要满足如下要求: 弹性云服务器需要与GaussDB(DWS)集群在相同的区域、可用分区。 如果使用GaussDB(DWS)提供的gsql命令行客户端连接GaussDB(DWS)集群,弹性云服务器的镜像必须满足如下要求: 镜像的操作系统必须是gsql客户端所支持的下列Linux操作系统: “Redhat x86_64”客户端工具支持在以下系统中使用: RHEL 6.4~7.6 CentOS 6.4~7.4 EulerOS 2.3 “SUSE x86_64”客户端工具支持在以下系统中使用: SLES 11.1~11.4 SLES 12.0~12.3 “Euler Kunpeng_64”客户端工具支持在以下系统中使用: EulerOS 2.8 “Stream Euler X86_64”客户端工具支持在以下系统中使用: EulerOS 2.2 “Stream Euler Kunpeng_64”客户端工具支持在以下系统中使用: EulerOS 2.8 如果客户端通过内网地址访问集群,请确保创建的弹性云服务器与GaussDB(DWS)集群在同一虚拟私有云里。 虚拟私有云相关操作请参见《虚拟私有云用户指南》中虚拟私有云和子网章节。 如果客户端通过公网地址访问集群,请确保创建的弹性云服务器和GaussDB(DWS)集群都要有弹性IP。 购买弹性云服务器时,参数“弹性公网IP”需选择“现在购买”或“使用已有”。 弹性云服务器对应的安全组规则需要确保能与GaussDB(DWS)集群提供服务的端口网络互通。 安全组相关操作请参见《虚拟私有云用户指南》中安全组章节。 请确认弹性云服务器的安全组中存在符合如下要求的规则,如果不存在,请在弹性云服务器的安全组中添加相应的规则: 方向:出方向。 协议:必须包含TCP。例如TCP、全部。 端口:需要包含GaussDB(DWS)集群提供服务的数据库端口,例如,设置为“1-65535”或者具体的GaussDB(DWS)数据库端口。 目的地址:设置的IP地址需要包含所要连接的GaussDB(DWS)集群的连接地址。其中0.0.0.0/0表示任意地址。 图1 出方向的规则 GaussDB(DWS)集群的安全组规则需要确保GaussDB(DWS)能接收来自客户端的网络访问。 请确认GaussDB(DWS)集群的安全组中存在符合如下要求的规则,如果不存在,请在GaussDB(DWS)集群的安全组中添加相应的规则。 方向:入方向。 协议:必须包含TCP。例如,TCP、全部。 端口:设置为GaussDB(DWS)集群提供服务的数据库端口。例如,“8000”。 源地址:设置的IP地址需要包含GaussDB(DWS)客户端主机的IP地址。例如,“192.168.0.10/32”。 图2 入方向的规则
  • 概述 用户使用客户端连接DWS集群时,如果用户仅连接一个CN节点地址,通过该CN节点内网IP或弹性公网IP连接时,只能连接到固定的CN节点上,存在CN单点问题。如果通过内网域名或公网域名连接,域名解析服务会对每个客户端随机选择一个内网/公网IP地址,其解析机制并不能保证负载均衡,同样也存在CN单点问题。因此引入了弹性负载均衡服务(Elastic Load Balance,下称ELB)解决集群访问的单点问题。 弹性负载均衡(ELB)是将访问流量根据转发策略分发到后端多台弹性云服务器的流量分发控制服务,可以通过流量分发扩展应用系统对外的服务能力,提高应用程序的容错能力。了解更多,请参见弹性负载均衡。 利用ELB健康检查机制可将集群的CN请求快速转发到正常工作的CN节点上,当有CN故障节点时,也能第一时间切换流量到健康节点上,最大化降低集群访问故障。当前支持同VPC绑定ELB和跨VPC绑定ELB两种类型操作。 该特性仅8.1.1.200及以上集群版本支持。 为保证集群负载均衡和高可用,避免CN单点故障问题,客户生产业务下,要求集群创建后进行ELB绑定。 集群跨VPC绑定ELB时支持绑定与集群VPC不一致的独享型负载均衡。 ELB不支持跨库访问。
  • 约束与限制 绑定ELB时,需创建和GaussDB(DWS)集群相同的区域、VPC以及企业项目的ELB进行绑定。 GaussDB(DWS)的ELB功能仅支持独享型ELB规格,不支持共享型ELB绑定操作。 部分Region因为独享型ELB规格没有上线,所以不支持负载均衡能力。详情可跳转至ELB控制台查看是否支持独享型ELB。 绑定ELB时,需创建TCP网络型且有内网IP的ELB进行绑定。 创建ELB时,ELB规格需要用户按本身业务访问流量评估,建议选取最大规格。GaussDB(DWS)侧仅是绑定关联ELB,并不改变ELB规格。 创建ELB时,仅需创建ELB,无需创建ELB服务的监听器与后端服务器组,GaussDB(DWS)会自动创建所需要的ELB监听器与后端服务器组。 创建ELB时,不能存在与数据库相同端口的监听器,否则会导致ELB绑定失败。 绑定ELB时,GaussDB(DWS)侧默认为ELB服务配置“ROUND_ROBIN”转发策略,并设置10秒的健康检查间隔,50秒超时时间以及3次重试次数。用户如果需要修改此ELB默认参数时,请充分评估影响。 跨VPC绑定ELB时,仅支持独享型负载均衡。 跨VPC绑定ELB时,需检查集群VPC与ELB所属VPC下的子网网段不能重复。 解绑ELB时,GaussDB(DWS)侧会清除ELB中集群相关信息,但并不会删除用户ELB,请注意ELB本身的计费影响,防止不必要的成本支出。 如需要公网IP或者域名访问ELB集群时,请通过ELB服务管理页面进行EIP绑定或者域名操作。 如果集群为IPV4集群,则仅支持绑定IPV4的ELB;如果集群为IPV6双栈集群,则仅支持绑定IPV6双栈的ELB。暂不支持交叉场景的ELB绑定。
  • 资源池 DMS可显示用户定义的资源池名称,实时/历史资源消耗以及资源池资源配额。 资源池:资源池名称。 监控:单击弹出侧拉栏展示CPU,内存,磁盘等资源池资源的消耗历史趋势。 CPU使用率(%):资源池的实时CPU计算资源使用率。 CPU配额(%):资源池的CPU资源使用率配额。 实时短查询并发:资源池的简单查询并发数使用量(判定为简单并发的查询不受资源池的管控)。 短查询并发:资源池的简单并发数配额。 实时查询并发:资源池的复杂查询并发数使用量(判定为复杂并发的查询受资源池的管控)。 查询并发:资源池的复杂并发数配额。 存储资源(MB):资源池的存储空间。 磁盘使用率(%):资源池的实时磁盘使用率。 内存资源(%):资源池的内存配置的百分比。 内存使用率(%):资源池实时内存使用率。 操作:资源池相关配置操作。
  • 熔断查询 用户可以通过熔断查询查看资源池上的熔断规则的触发情况。 查询ID:熔断语句的查询ID。 查询语句:熔断查询语句。 阻塞时间(ms):熔断语句的阻塞时间,单位ms。 执行时间(ms):熔断语句的执行时间,单位ms。 CPU时间(ms):熔断语句消耗的CPU时间,单位ms。 CPU倾斜率(%):熔断语句在各个DN上的CPU消耗倾斜率。 异常处理方式:熔断语句的异常处理方式。 处理状态:处理熔断语句的实时状态。
  • 修改资源池 在资源管理中,您可以对某个资源池的参数进行修改。 登录GaussDB(DWS)管理控制台。 在集群列表中单击需要访问“资源管理”页面的集群名称。 切换至“资源管理”页签。 在“资源池”列表中切换需要修改的资源池名称,出现如下页面,包括“短查询配置”、“资源配置”、“异常规则”、“关联用户”。 修改短查询配置。修改为相应取值,单击右侧“保存”。 参数项 描述 取值 短查询加速 短查询加速开关,默认打开。 打开 短查询并发 短查询作业为执行估算内存小于32MB的查询作业,默认值“-1”表示不管控。 10 修改资源配置。 单击右侧“编辑”,详情请参见表1修改相应参数。 表1 资源池参数 参数项 描述 是否必选 默认值 名称 资源池的名称。 是 - CPU资源(%) 共享配额:关联在当前资源池的用户在执行作业时可以使用的CPU时间比例,取值范围为1-99的整数。 专属限额:限定资源池中数据库用户在执行作业时可使用的最大CPU核数占总核数的百分比,取值范围为0-100的整数,0表示不限制。 说明: 所有资源池的总和不能超过99%。当配置CPU共享配额后,如果当前只有一个资源池时,该参数不生效。 共享配额非绝对限制,只有在发生CPU竞争时才生效。例如,资源池A和B被绑定在CPU1运行,当A和B均运行时参数生效,只有A运行则参数不生效。 所有资源池的CPU专属限额总和最大不能超过100%,系统默认的CPU专属限额(%)为0。 CPU专属限额仅8.1.3及以上集群版本支持。 是 - 内存资源(%) 资源池所占用的内存百分比。 注意: 内存和查询并发支持单独管控和联合管控,联合管控时必须同时满足并发和内存要求时作业才能下发。 是 0(不限制) 存储资源(MB) 可使用的永久表空间大小。 注意: 该值是资源池下所有DN的表空间总值,单DN节点可用空间=设置值 / DN节点数。 是 -1(不限制) 复杂语句并发 资源池中的最大查询并发数。 注意: 内存和查询并发支持单独管控和联合管控,联合管控时必须同时满足并发和内存要求时作业才能下发。 是 10 网络带宽权重 网络调度时权重值。取值范围为1~2147483647的整数,默认配置为-1。 注意: 网络带宽权重仅8.2.1及以上集群版本支持。 是 -1(不限制) CPU专属限额仅8.1.3及以上集群版本支持。 单击“确定”。 关联异常规则。 关联异常规则 解绑异常规则 关联、解绑异常规则仅8.2.0及以上集群版本支持,DWS 3.0版本不支持。8.2.0以下集群版本请参考7.c。 默认异常规则,当用户未关联资源池,或者用户所关联的资源池未配置异常规则时默认生效;当用户所关联的资源池关联所指定规则时,以所关联规则为准。 默认异常规则仅8.2.0及以上集群版本支持,升级到8.2.0及以上集群版本时默认异常规则不会生效,用户可自行创建所需规则。 8.2.1集群版本支持降级异常规则,所有异常规则都支持降级行为,降级后仅网络资源抢占降至低优先级:在正常查询无网络请求时,才会调度降级查询的网络请求。 同一个资源池最多关联16组异常规则。 同一个资源池可以关联多组规则,资源池关联的多组不同的异常规则以“或”的关系生效,满足其中一组的所有条件即可生效。例如,资源池关联两组规则,一组指定elapsedtime=2400, 另一组指定elapsedtime=1200,memsize=2000,那么执行中的作业,满足执行时间达到1200秒且内存使用达到2000MB时,或者执行时间达到2400秒时,都会触发规则终止作业。 修改异常规则 参见表2修改相应参数。 表2 异常规则参数 参数项 描述 取值范围(0表示不约束) 操作 阻塞时间 作业的阻塞时间,包括全局并发排队以及局部并发排队的总时间,单位秒。 例如,如果配置“阻塞时间”为300秒,那么当该资源池中的用户执行的某个作业在阻塞300秒后将被终止。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 执行所消耗时间 已经执行的作业从开始执行到当前所消耗的时间,单位为秒。 例如,如果配置“执行所消耗时间”为100秒,那么当该资源池中的用户执行的某个作业在执行超过100秒后将被终止。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 所有DN上CPU总时间 作业在所有DN上执行时所耗费的CPU总时间,单位为秒。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 检查倾斜率的时间间隔 检查作业执行的CPU倾斜率的间隔时间,单位为秒,需同“所有DN上CPU时间的倾斜率”一起设置。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 所有DN上CPU总时间倾斜率 作业在DN上执行时的CPU时间的倾斜率,依赖于“检查倾斜率的时间间隔”的设置。 1~100的整数。0表示不约束。 终止、降级或不约束 单DN算子下盘大小 作业在单个DN上最大下盘的数据量,单位MB。 说明: 该异常规则仅8.2.0及以上集群版本支持。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 DN平均消耗CPU占比 作业在所有DN上执行时的平均CPU使用率,检测周期不强依赖“检查倾斜率的时间间隔”,若配置将使用该检查间隔,否则系统默认30秒间隔。 说明: 该异常规则仅8.2.0及以上集群版本支持。 1~100的整数。0表示不约束 终止、降级或不约束 单个DN上最大带宽 作业在单个DN上最大可占用的网络带宽,单位MB。 说明: 该异常规则仅8.2.1及以上集群版本支持。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 异常规则允许您对资源池中用户执行的作业做异常控制,目前支持表2的相关配置。 如选择“终止”或“降级”,则需要设置相应时间或百分比。 如选择“不约束”,则无异常规则约束。 资源池修改异常规则仅8.2.0及以上集群版本支持。 关联用户。 一个数据库用户只有被添加到某个资源池中之后,该用户运行作业所使用的资源才能被管控。 一个数据库用户只能被添加至一个资源池中,从资源池中移除的用户可以再次添加至其他资源池。 数据库管理员用户不可关联。 当用户没有指定关联资源池时,会被默认关联到default_pool,资源使用受default_pool限制。default_pool在开启资源管理功能后由系统自动创建。 单击左侧“添加”。 从当前用户列表中,勾选需要添加的用户,一次可勾选多个。 单击“确定”。 如果需要删除用户,则单击待删除用户所在行右边的“解除关联”即可。 父主题: 资源池
  • 下载客户端 登录GaussDB(DWS)管理控制台,详情请参见登录GaussDB(DWS)管理控制台。 在左侧导航栏中,单击“连接客户端”。 在“gsql命令行客户端”的下拉列表中,选择对应版本的GaussDB(DWS)客户端。 请根据集群版本和安装客户端的操作系统,选择对应版本。 表1 gsql下载地址 操作系统类别 适用操作系统版本 下载地址 校验文件 Microsoft Windows Microsoft Windows x86_64: Windows 7及以上。 Windows Server 2008及以上。 dws_8.1.x_gsql_for_windows.zip dws_8.1.x_gsql_for_windows.zip.sha256 dws_8.2.x_gsql_for_windows.zip dws_8.2.x_gsql_for_windows.zip.sha256 Redhat x86_64 RHEL 6.4~7.6 dws_client_8.2.x_redhat_x64.zip dws_client_8.2.x_redhat_x64.zip.sha256 dws_client_8.1.x_redhat_x64.zip dws_client_8.1.x_redhat_x64.zip.sha256 dws_client_8.0.x_redhat_x64.zip dws_client_8.0.x_redhat_x64.zip.sha256 SUSE x86_64 SLES 11.1~11.4,SLES 12.0~12.3 dws_client_8.2.x_suse_x64.zip dws_client_8.2.x_suse_x64.zip.sha256 dws_client_8.1.x_suse_x64.zip dws_client_8.1.x_suse_x64.zip.sha256 dws_client_8.0.x_suse_x64.zip dws_client_8.0.x_suse_x64.zip.sha256 Euler Kunpeng_64 EulerOS 2.0 SP8 dws_client_8.1.x_euler_kunpeng_x64.zip dws_client_8.1.x_euler_kunpeng_x64.zip.sha256 Redhat Kunpeng_64 CentOS-7.6-aarch64和NeoKylin-7.6-aarch64 (适配鲲鹏920处理器) dws_client_8.1.x_redhat_kunpeng_x64.zip dws_client_8.1.x_redhat_kunpeng_x64.zip.sha256 客户端CPU架构要和集群一致,如果集群是X86规格,则对应需选择X86客户端。 Windows gsql包选择下拉列表中的“Microsoft Windows ”,其中包含32位和64位可执行二进制。 单击“下载”可以下载与8.1.x集群版本匹配的gsql。单击“历史版本”可根据集群版本下载相应版本的gsql。 推荐下载使用与集群版本匹配的gsql工具,即8.1.0及以上版本集群使用8.1.x版本gsql、8.2.0及以上版本集群使用8.2.x版本gsql。 表2列出了下载的Linux gsql工具包中的文件和文件夹。 表2 Linux gsql工具包目录及文件说明 文件或文件夹 说明 bin 该文件夹中包含了gsql在Linux中的可执行文件。其中包含了gsql客户端工具、GDS并行数据加载工具以及gs_dump、gs_dumpall和gs_restore工具。详情请参见《数据仓库服务工具指南》中的服务端工具章节。 gds 该文件夹中包括了GDS数据服务工具的相关文件,GDS工具用于并行数据加载,可将存储在普通文件系统中的数据文件导入到GaussDB(DWS)数据库中。 lib 该文件夹中包括执行gsql所需依赖的lib库。 sample 该文件夹中包含了以下目录或文件: setup.sh:在使用gsql导入样例数据前所需执行的配置AK/SK访问密钥的脚本文件。 tpcds_load_data_from_obs.sql:使用gsql客户端导入TPC-DS样例数据的脚本文件。 query_sql目录:查询TPC-DS样例数据的脚本文件。 gsql_env.sh 在运行gsql前,配置环境变量的脚本文件。 表3列出了下载的Windows gsql工具包中的文件和文件夹。 表3 Windows gsql工具包目录及文件说明 文件或文件夹 说明 x64 该文件夹中包含了64位Windows gsql执行二进制和动态库。 x86 该文件夹中包含了32位Windows gsql执行二进制和动态库。 在“专属集群”页面的集群列表中,单击指定集群的名称,再选择“集群详情”页签,可查看集群版本。
  • 磁盘扩容概述 随着客户业务的发展,磁盘空间往往最先出现资源瓶颈,在其他资源尚且充足的情况下,执行传统扩容操作不仅耗时久,还伴随着资源浪费问题。通过磁盘扩容可快速缓解存储资源瓶颈现象,操作过程中无需暂停业务,并且不会造成CPU、内存等资源浪费。用户可在没有其他业务情况下选择磁盘扩容操作,扩容成功后如果磁盘空间仍不足可以继续磁盘扩容,若扩容失败用户可尝试重新进行磁盘扩容操作。 磁盘扩容功能仅8.1.1.203及以上版本支持,并且创建集群规格需要为标准数仓SSD云盘、实时数仓或IoT数仓类型。 集群状态为“可用”、“待重启”、“只读”、“非均衡”、“节点故障”或者 “不可用”的情况下才能下发磁盘扩容。
  • 版本 8.3.0.202 新功能 增加tcpKeepAlive配置功能:当“tcpKeepAlive=true”时以下参数生效。 默认值: TCP_KEEPIDLE=30:连接空闲30秒后开始检测。 TCP_KEEPCOUNT=9:总共检测9次。 TCP_KEEPINTERVAL=30:每次检测间隔30s。 由于不同操作系统JDK存在差异,部分平台可能不支持该参数,如:windows、redhat、suse。 修复漏洞 CVE-2024-1597
  • 版本 8.2.0 新增特性:兼容Oracle Raw数据类型,使用方式如下: 插入或修改。 1 2 3 4 byte[] bytes = oracleResultSet.getBytes(2) prepareStatement.setBytes(bytes) //或者 prepareStatement.setObject(bytes) 查询。 1 2 resultSet.getBytes() resultSet.getObject() 修复bug getColumnDisplaySize()方法获取字段长度错误问题。 修复漏洞 CVE-2022-26520 CVE-2022-31197
  • 注册并实名认证华为云账户 如果您还没有华为云账户,则必须先注册账号并开通华为云。如果您已有实名认证的账户,则可以跳过此步骤,并使用您已有的账户。 打开公有云服务网址http:/,单击页面右上方的“注册”,进入注册页面。 按照页面要求填写用户信息完成注册,请参见注册华为账号并开通华为云。 注册成功后即可自动登录华为云。 单击右上角用户名,进入基本信息页面,单击“实名认证”,进入实名认证页面。 按照页面提示完成实名认证。 开通云服务需要先进行实名认证。
  • 确定集群端口 在创建GaussDB(DWS) 集群时需要指定一个端口供SQL客户端或应用程序通过该端口访问集群。 如果您的客户端机器位于防火墙之后,则您需要有一个可用的开放端口,这样才能从SQL客户端工具连接到集群并进行查询分析。 如果您不了解可用的开放端口,则请联系网络管理员,在您的防火墙中确定一个开放端口。GaussDB(DWS) 支持的端口范围为8000~30000(DWS集群创建时,界面上默认的端口为8000)。 在集群创建之后无法更改集群的端口号,请务必确保在集群创建过程中指定的端口为可用的开放端口。
  • 添加资源池 登录GaussDB(DWS)管理控制台。 在集群列表中单击需要访问“资源管理”页面的集群名称。 切换至“资源管理”页签。 单击资源池列旁的“添加资源池”按钮添加资源池。 最多可创建63个资源池。 参见表1填写资源池的名称和相关资源配置。 表1 资源池参数 参数项 描述 是否必选 默认值 名称 资源池的名称。 是 - CPU资源(%) 共享配额:关联在当前资源池的用户在执行作业时可以使用的CPU时间比例,取值范围为1-99的整数。 专属限额:限定资源池中数据库用户在执行作业时可使用的最大CPU核数占总核数的百分比,取值范围为0-100的整数,0表示不限制。 说明: 所有资源池的总和不能超过99%。当配置CPU共享配额后,如果当前只有一个资源池时,该参数不生效。 共享配额非绝对限制,只有在发生CPU竞争时才生效。例如,资源池A和B被绑定在CPU1运行,当A和B均运行时参数生效,只有A运行则参数不生效。 所有资源池的CPU专属限额总和最大不能超过100%,系统默认的CPU专属限额(%)为0。 CPU专属限额仅8.1.3及以上集群版本支持。 是 - 内存资源(%) 资源池所占用的内存百分比。 注意: 内存和查询并发支持单独管控和联合管控,联合管控时必须同时满足并发和内存要求时作业才能下发。 是 0(不限制) 存储资源(MB) 可使用的永久表空间大小。 注意: 该值是资源池下所有DN的表空间总值,单DN节点可用空间=设置值 / DN节点数。 是 -1(不限制) 复杂语句并发 资源池中的最大查询并发数。 注意: 内存和查询并发支持单独管控和联合管控,联合管控时必须同时满足并发和内存要求时作业才能下发。 是 10 网络带宽权重 网络调度时权重值。取值范围为1~2147483647的整数,默认配置为-1。 注意: 网络带宽权重仅8.2.1及以上集群版本支持。 是 -1(不限制) 核对信息后,单击“确定”,添加资源池完成。 父主题: 资源池
  • 背景信息 很多用户在使用JDBC连接集群时只连接集群的一个CN,这就导致单个CN压力较大并且别的CN资源浪费,并且这种方式还有单点故障导致连接不可用的风险。 用户可使用JDBC连接多个CN避免以上问题。主要有以下两种方式: 使用ELB连接集群:弹性负载均衡(ELB)是将访问流量根据转发策略分发到后端多台弹性云服务器的流量分发控制服务,可以通过流量分发扩展应用系统对外的服务能力,提高应用程序的容错能力。 使用multi-host方式连接集群:使用JDBC配置多个节点的方式,也能实现类似ELB的效果。
  • 慢实例检测 DMS可以在集群的CN节点上自动配置并拉起慢实例检测脚本,通过周期性采集脚本的缓存表,将检测到的慢实例数据上报。用户可在界面上查看24小时内检测到的慢实例数量,以及在时间维度上的分布状态等信息,更为快捷的定位到拖慢整个集群的慢节点并分析其根因。 慢实例检测页面分为两部分,上半部分是检测出慢实例数量的时间分布图,显示的是在不同的检测时间段检测出慢实例的数量。下半部分是慢实例详情,当用户选中时间分布图中的任意柱状时,就会在慢实例详情中展示该检测时间、节点名称、实例名称以及慢节点检测次数(24小时内)等详细情况。 当实例周期超过240秒时,将被检测为慢实例。
  • 客户端和服务器端SSL连接参数组合情况 客户端最终是否使用SSL加密连接方式、是否验证服务器证书,取决于客户端参数sslmode与服务器端(即GaussDB(DWS)集群侧)参数ssl、require_ssl。参数说明如下: ssl(服务器) ssl参数表示是否开启SSL功能。on表示开启,off表示关闭。 对于集群版本高于1.3.1(包括1.3.1)的集群,默认为on,不支持在GaussDB(DWS)管理控制台上设置。 对于集群版本低于1.3.1的集群,默认为on。ssl参数可通过GaussDB(DWS)管理控制台上集群的“安全设置”页面中的“SSL连接”进行设置。 require_ssl(服务器) require_ssl参数是设置服务器端是否强制要求SSL连接,该参数只有当ssl为on时才有效。on表示服务器端强制要求SSL连接。off表示服务器端对是否通过SSL连接不作强制要求。 对于集群版本高于1.3.1(包括1.3.1)的集群,默认为off。require_ssl参数可通过GaussDB(DWS)管理控制台上集群的“安全设置”页面中的“服务器端是否强制使用SSL连接”进行设置。 对于集群版本低于1.3.1的集群,默认为off,不支持在GaussDB(DWS)管理控制台上设置。 sslmode(客户端) 可在SQL客户端工具中进行设置。 在gsql命令行客户端中,为“PGSSLMODE”参数。 在Data Studio客户端中,为“SSL模式”参数。 客户端参数sslmode与服务器端参数ssl、require_ssl配置组合结果如下: 表3 客户端与服务器端SSL参数组合结果 ssl(服务器) sslmode(客户端) require_ssl(服务器) 结果 on disable on 由于服务器端要求使用 SSL,但客户端针对该连接禁用了 SSL,因此无法建立连接。 disable off 连接未加密。 allow on 连接经过加密。 allow off 连接未加密。 prefer on 连接经过加密。 prefer off 连接经过加密。 require on 连接经过加密。 require off 连接经过加密。 verify-ca on 连接经过加密,且验证了服务器证书。 verify-ca off 连接经过加密,且验证了服务器证书。 off disable on 连接未加密。 disable off 连接未加密。 allow on 连接未加密。 allow off 连接未加密。 prefer on 连接未加密。 prefer off 连接未加密。 require on 由于客户端要求使用 SSL,但服务器端禁用了 SSL,因此无法建立连接。 require off 由于客户端要求使用 SSL,但服务器端禁用了 SSL,因此无法建立连接。 verify-ca on 由于客户端要求使用 SSL,但服务器端禁用了 SSL,因此无法建立连接。 verify-ca off 由于客户端要求使用 SSL,但服务器端禁用了 SSL,因此无法建立连接。
  • 在gsql客户端配置SSL认证相关的数字证书参数 GaussDB(DWS)在集群部署完成后,默认已开启SSL认证模式。服务器端证书,私钥以及根证书已经默认配置完成。用户需要配置客户端的相关参数。 登录GaussDB(DWS)管理控制台,在左侧导航栏中,进入“连接客户端”页面。 在“下载驱动程序”区域,单击“下载SSL证书”进行下载。 图1 SSL证书下载 使用文件传输工具(例如WinSCP工具)将SSL证书上传到客户端主机。 例如,将下载的证书“dws_ssl_cert.zip”存放到“/home/dbadmin/dws_ssl/”目录下。 使用SSH远程连接工具(例如PuTTY)登录gsql客户端主机,然后执行以下命令进入SSL证书的存放目录,并解压SSL证书: cd /home/dbadmin/dws_ssl/ unzip dws_ssl_cert.zip 在gsql客户端主机上,执行export命令,配置SSL认证相关的数字证书参数。 SSL认证有两种认证方式:双向认证和单向认证。认证方式不同用户所需配置的客户端环境变量也不同,详细介绍请参见SSL认证方式及客户端参数介绍。 双向认证需配置如下参数: export PGSSLCERT="/home/dbadmin/dws_ssl/sslcert/client.crt" export PGSSLKEY="/home/dbadmin/dws_ssl/sslcert/client.key" export PGSSLMODE="verify-ca" export PGSSLROOTCERT="/home/dbadmin/dws_ssl/sslcert/cacert.pem" 单向认证需要配置如下参数: export PGSSLMODE="verify-ca" export PGSSLROOTCERT="/home/dbadmin/dws_ssl/sslcert/cacert.pem" 从安全性考虑,建议使用双向认证方式。 配置客户端环境变量,必须包含文件的绝对路径。 修改客户端密钥的权限。 客户端根证书、密钥、证书以及密钥密码加密文件需保证权限为600。如果权限不满足要求,则客户端无法以SSL方式连接到集群。 chmod 600 client.key chmod 600 client.crt chmod 600 client.key.cipher chmod 600 client.key.rand chmod 600 cacert.pem
  • SSL认证方式及客户端参数介绍 SSL认证有两种认证方式,如表1所示。从安全性考虑,建议使用双向认证方式。 表1 认证方式 认证方式 含义 配置客户端环境变量 维护建议 双向认证(推荐) 客户端验证服务器证书的有效性,同时服务器端也要验证客户端证书的有效性,只有认证成功,连接才能建立。 设置如下环境变量: PGSSLCERT PGSSLKEY PGSSLROOTCERT PGSSLMODE 该方式应用于安全性要求较高的场景。使用此方式时,建议设置客户端的PGSSLMODE变量为verify-ca。确保了网络数据的安全性。 单向认证 客户端只验证服务器证书的有效性,而服务器端不验证客户端证书的有效性。服务器加载证书信息并发送给客户端,客户端使用根证书来验证服务器端证书的有效性。 设置如下环境变量: PGSSLROOTCERT PGSSLMODE 为防止基于TCP链接的安全攻击,建议使用SSL证书认证功能。除配置客户端根证书外,建议客户端使用PGSSLMODE变量为verify-ca方式连接。 在客户端配置SSL认证相关的环境变量,详细信息请参见表2。 客户端环境变量的路径以“/home/dbadmin/dws_ssl/”为例,在实际操作中请使用实际路径进行替换。 表2 客户端参数 环境变量 描述 取值说明 PGSSLCERT 指定客户端证书文件,包含客户端的公钥。客户端证书用以表明客户端身份的合法性,公钥将发送给对端用来对数据进行加密。 必须包含文件的绝对路径,如: export PGSSLCERT='/home/dbadmin/dws_ssl/sslcert/client.crt' 默认值:空 PGSSLKEY 指定客户端私钥文件,用以数字签名和对公钥加密的数据进行解密。 必须包含文件的绝对路径,如: export PGSSLKEY='/home/dbadmin/dws_ssl/sslcert/client.key' 默认值:空 PGSSLMODE 设置是否和服务器进行SSL连接协商,以及指定SSL连接的优先级。 取值及含义: disable:只尝试非SSL连接。 allow:首先尝试非SSL连接,如果连接失败,再尝试SSL连接。 prefer:首先尝试SSL连接,如果连接失败,将尝试非SSL连接。 require:只尝试SSL连接。如果存在CA文件,则按设置成verify-ca的方式验证。 verify-ca:只尝试SSL连接,并且验证服务器是否具有由可信任的证书机构签发的证书。 verify-full:GaussDB(DWS)不支持此模式。 默认值:prefer 说明: 若集群外访问客户端时,部分节点出现报错:ssl SYSCALL error。则可执行export PGSSLMODE="allow" 或 export PGSSLMODE="prefer"。 PGSSLROOTCERT 指定为客户端颁发证书的根证书文件,根证书用于验证服务器证书的有效性。 必须包含文件的绝对路径,如: export PGSSLROOTCERT='/home/dbadmin/dws_ssl/sslcert/certca.pem' 默认值:空 PGSSLCRL 指定证书吊销列表文件,用于验证服务器证书是否在废弃证书列表中,如果在,则服务器证书将会被视为无效证书。 必须包含文件的绝对路径,如: export PGSSLCRL='/home/dbadmin/dws_ssl/sslcert/sslcrl-file.crl' 默认值:空
共100000条