华为云用户手册

  • 有集群总览页 有集群总览页面主要由以下几个部分构成,其中成长地图、产品动态、DWS特色功能和无集群总览页面一致: 资源 在“资源”一栏,您可以浏览当前可用资源数量,其中包括“可用集群和总集群(个)”、“可用节点和总节点(个)”、“总容量(GB)”。 图5 资源 告警 告警分为紧急告警、重要告警、次要告警和提示告警,详情请参见告警管理。 图6 告警 近期事件 事件是用户集群状态发生变化的记录。它可以是由用户操作触发的,也有可能是集群服务状态变化引起的。详情请参见事件通知。 图7 近期事件 集群主要指标 集群CPU使用率 集群内存使用率 集群磁盘使用率 图8 集群主要指标 成长地图,详情请参见•成长地图。 产品动态,详情请参见•产品动态 特色功能,详情请参见•DWS特色功能。
  • 无集群总览页 无集群总览页主要由以下几个部分组成: 流程指导 本模块提供创建集群、连接集群并从OBS导入样例数据的操作指导,指导您快速上手数据仓库服务。详情可单击对应步骤中的“了解更多”按钮查看。 图1 流程指导 特色功能 本模块提供了GaussDB(DWS)多种强大的特色功能概述,包括SQL兼容模式、集群快照、集群容灾、数据库监控DMS、资源管理、在线运维等。用户可快速掌握各功能原理并根据自身需求使用该功能。 图2 特色功能 成长地图 本模块由浅入深,带您玩转实时、简单、安全可信的企业级数据仓库服务GaussDB(DWS)。 图3 成长地图 产品动态 此模块默认展示数据仓库服务GaussDB(DWS)最新发布的三个功能,详情可单击“更多”按钮。 图4 产品动态
  • 前提条件 集群快照是GaussDB(DWS)集群在某一时间点的完整备份,记录了这一时刻指定集群的所有配置数据和业务数据。用户根据业务需要备份集群数据时,可以在“快照管理”页面创建集群的快照。 手动快照可以随时创建,在创建成功后会一直保存,直到在GaussDB(DWS)控制台将此快照删除。由于创建手动快照采用全量备份的方式,因此备份时间较长。 手动创建的集群粒度快照支持备份到OBS服务、NFS介质。 待创建集群粒度快照的集群状态必须为“可用”、“待重启”或“非均衡”中的任意一种,当集群版本低于8.1.3.101时,“只读”状态的集群也可创建集群粒度的快照。
  • 告警参数 参数名称 参数含义 告警源 产生告警的系统名称。例如,DWS。 集群名称 产生告警的集群名称。 定位信息 产生告警的集群ID、集群名称、实例ID、实例名称。例如,cluster_id: xxxx-xxxx-xxxx-xxxx,cluster_name: test_dws,instance_id: xxxx-xxxx-xxxx-xxxx,instance_name: test_dws-dws-cn-cn-1-1 详细信息 产生告警的详细信息,包括集群、实例、磁盘、阈值信息。例如:CloudService=DWS, resourceId=xxxx-xxxx-xxxx-xxxx,resourceIdName=test_dws, instance_id: xxxx-xxxx-xxxx-xxxx,instance_name: test_dws-dws-cn-cn-1-1,host_name: host-192-168-1-122,disk_name: /dev/vdb,first_alarm_time: 2022-01-30 10:30:00; 节点10分钟内的日志盘I/O使用率为90.54% ,超过阈值90% 产生日期 产生告警的时间。 状态 当前告警的处理状态。
  • 删除自动快照 自动快照不支持手动删除,仅GaussDB(DWS)系统能够删除自动快照。 GaussDB(DWS)会在如下情况下删除自动快照: 自动快照保留期结束 删除集群 为防止用户误执行删除集群操作,GaussDB(DWS)将提供以下策略(该功能仅在8.2.0及以上集群版本支持): 若最新一次的快照为自动快照,则系统会将自动快照保留一天时间。 若最新一次的快照为手动快照,则会删除相应集群已有的自动快照。 父主题: 自动快照
  • 开发规范 如果用户在APP的开发中,使用了连接池机制,那么需要遵循如下规范。否则,连接池里的连接就是有状态的,会对用户后续使用连接池进行操作的正确性带来影响。 如果在连接中设置了GUC参数,那么在将连接归还连接池之前,必须使用“SET SESSION AUTHORIZATION DEFAULT;RESET ALL;”将连接的状态清空。 如果使用了临时表,那么在将连接归还连接池之前,必须将临时表删除。 父主题: 使用JDBC和ODBC连接集群
  • 功能说明 用户需要查看集群的监控指标信息时,可以通过云监控(Cloud Eye)确认集群各项指标情况。通过监控集群运行时的各项指标,用户可以识别出数据库集群状态异常的时间段,然后在数据库日志中,分析可能存在问题的活动,从而优化数据库性能。本章节定义了数据仓库服务上报云监控服务的监控指标的命名空间、监控指标列表和维度定义。用户可以通过云监控服务提供的管理控制台或API接口来检索数据仓库服务产生的监控指标和告警信息。
  • 概述 用户使用客户端连接DWS集群时,如果用户仅连接一个CN节点地址,通过该CN节点内网IP或弹性公网IP连接时,只能连接到固定的CN节点上,存在CN单点问题。如果通过内网域名或公网域名连接,域名解析服务会对每个客户端随机选择一个内网/公网IP地址,其解析机制并不能保证负载均衡,同样也存在CN单点问题。因此引入了弹性负载均衡服务(Elastic Load Balance,下称ELB)解决集群访问的单点问题。 弹性负载均衡(ELB)是将访问流量根据转发策略分发到后端多台弹性云服务器的流量分发控制服务,可以通过流量分发扩展应用系统对外的服务能力,提高应用程序的容错能力。了解更多,请参见弹性负载均衡。 利用ELB健康检查机制可将集群的CN请求快速转发到正常工作的CN节点上,当有CN故障节点时,也能第一时间切换流量到健康节点上,最大化降低集群访问故障。当前支持同VPC绑定ELB和跨VPC绑定ELB两种类型操作。 该特性仅8.1.1.200及以上集群版本支持。 为保证集群负载均衡和高可用,避免CN单点故障问题,客户生产业务下,要求集群创建后进行ELB绑定。 集群跨VPC绑定ELB时支持绑定与集群VPC不一致的独享型负载均衡。 ELB不支持跨库访问。
  • 约束与限制 绑定ELB时,需创建和GaussDB(DWS)集群相同的区域、VPC以及企业项目的ELB进行绑定。 GaussDB(DWS)的ELB功能仅支持独享型ELB规格,不支持共享型ELB绑定操作。 部分Region因为独享型ELB规格没有上线,所以不支持负载均衡能力。详情可跳转至ELB控制台查看是否支持独享型ELB。 绑定ELB时,需创建TCP网络型且有内网IP的ELB进行绑定。 创建ELB时,ELB规格需要用户按本身业务访问流量评估,建议选取最大规格。GaussDB(DWS)侧仅是绑定关联ELB,并不改变ELB规格。 创建ELB时,仅需创建ELB,无需创建ELB服务的监听器与后端服务器组,GaussDB(DWS)会自动创建所需要的ELB监听器与后端服务器组。 创建ELB时,不能存在与数据库相同端口的监听器,否则会导致ELB绑定失败。 绑定ELB时,GaussDB(DWS)侧默认为ELB服务配置“ROUND_ROBIN”转发策略,并设置10秒的健康检查间隔,50秒超时时间以及3次重试次数。用户如果需要修改此ELB默认参数时,请充分评估影响。 跨VPC绑定ELB时,仅支持独享型负载均衡。 跨VPC绑定ELB时,需检查集群VPC与ELB所属VPC下的子网网段不能重复。 解绑ELB时,GaussDB(DWS)侧会清除ELB中集群相关信息,但并不会删除用户ELB,请注意ELB本身的计费影响,防止不必要的成本支出。 如需要公网IP或者域名访问ELB集群时,请通过ELB服务管理页面进行EIP绑定或者域名操作。 如果集群为IPV4集群,则仅支持绑定IPV4的ELB;如果集群为IPV6双栈集群,则仅支持绑定IPV6双栈的ELB。暂不支持交叉场景的ELB绑定。
  • 资源池 DMS可显示用户定义的资源池名称,实时/历史资源消耗以及资源池资源配额。 资源池:资源池名称。 监控:单击弹出侧拉栏展示CPU,内存,磁盘等资源池资源的消耗历史趋势。 CPU使用率(%):资源池的实时CPU计算资源使用率。 CPU配额(%):资源池的CPU资源使用率配额。 实时短查询并发:资源池的简单查询并发数使用量(判定为简单并发的查询不受资源池的管控)。 短查询并发:资源池的简单并发数配额。 实时查询并发:资源池的复杂查询并发数使用量(判定为复杂并发的查询受资源池的管控)。 查询并发:资源池的复杂并发数配额。 存储资源(MB):资源池的存储空间。 磁盘使用率(%):资源池的实时磁盘使用率。 内存资源(%):资源池的内存配置的百分比。 内存使用率(%):资源池实时内存使用率。 操作:资源池相关配置操作。
  • 熔断查询 用户可以通过熔断查询查看资源池上的熔断规则的触发情况。 查询ID:熔断语句的查询ID。 查询语句:熔断查询语句。 阻塞时间(ms):熔断语句的阻塞时间,单位ms。 执行时间(ms):熔断语句的执行时间,单位ms。 CPU时间(ms):熔断语句消耗的CPU时间,单位ms。 CPU倾斜率(%):熔断语句在各个DN上的CPU消耗倾斜率。 异常处理方式:熔断语句的异常处理方式。 处理状态:处理熔断语句的实时状态。
  • 修改资源池 在资源管理中,您可以对某个资源池的参数进行修改。 登录GaussDB(DWS)管理控制台。 在集群列表中单击需要访问“资源管理”页面的集群名称。 切换至“资源管理”页签。 在“资源池”列表中切换需要修改的资源池名称,出现如下页面,包括“短查询配置”、“资源配置”、“异常规则”、“关联用户”。 修改短查询配置。修改为相应取值,单击右侧“保存”。 参数项 描述 取值 短查询加速 短查询加速开关,默认打开。 打开 短查询并发 短查询作业为执行估算内存小于32MB的查询作业,默认值“-1”表示不管控。 10 修改资源配置。 单击右侧“编辑”,详情请参见表1修改相应参数。 表1 资源池参数 参数项 描述 是否必选 默认值 名称 资源池的名称。 是 - CPU资源(%) 共享配额:关联在当前资源池的用户在执行作业时可以使用的CPU时间比例,取值范围为1-99的整数。 专属限额:限定资源池中数据库用户在执行作业时可使用的最大CPU核数占总核数的百分比,取值范围为0-100的整数,0表示不限制。 说明: 所有资源池的总和不能超过99%。当配置CPU共享配额后,如果当前只有一个资源池时,该参数不生效。 共享配额非绝对限制,只有在发生CPU竞争时才生效。例如,资源池A和B被绑定在CPU1运行,当A和B均运行时参数生效,只有A运行则参数不生效。 所有资源池的CPU专属限额总和最大不能超过100%,系统默认的CPU专属限额(%)为0。 CPU专属限额仅8.1.3及以上集群版本支持。 是 - 内存资源(%) 资源池所占用的内存百分比。 注意: 内存和查询并发支持单独管控和联合管控,联合管控时必须同时满足并发和内存要求时作业才能下发。 是 0(不限制) 存储资源(MB) 可使用的永久表空间大小。 注意: 该值是资源池下所有DN的表空间总值,单DN节点可用空间=设置值 / DN节点数。 是 -1(不限制) 复杂语句并发 资源池中的最大查询并发数。 注意: 内存和查询并发支持单独管控和联合管控,联合管控时必须同时满足并发和内存要求时作业才能下发。 是 10 网络带宽权重 网络调度时权重值。取值范围为1~2147483647的整数,默认配置为-1。 注意: 网络带宽权重仅8.2.1及以上集群版本支持。 是 -1(不限制) CPU专属限额仅8.1.3及以上集群版本支持。 单击“确定”。 关联异常规则。 关联异常规则 解绑异常规则 关联、解绑异常规则仅8.2.0及以上集群版本支持,DWS 3.0版本不支持。8.2.0以下集群版本请参考7.c。 默认异常规则,当用户未关联资源池,或者用户所关联的资源池未配置异常规则时默认生效;当用户所关联的资源池关联所指定规则时,以所关联规则为准。 默认异常规则仅8.2.0及以上集群版本支持,升级到8.2.0及以上集群版本时默认异常规则不会生效,用户可自行创建所需规则。 8.2.1集群版本支持降级异常规则,所有异常规则都支持降级行为,降级后仅网络资源抢占降至低优先级:在正常查询无网络请求时,才会调度降级查询的网络请求。 同一个资源池最多关联16组异常规则。 同一个资源池可以关联多组规则,资源池关联的多组不同的异常规则以“或”的关系生效,满足其中一组的所有条件即可生效。例如,资源池关联两组规则,一组指定elapsedtime=2400, 另一组指定elapsedtime=1200,memsize=2000,那么执行中的作业,满足执行时间达到1200秒且内存使用达到2000MB时,或者执行时间达到2400秒时,都会触发规则终止作业。 修改异常规则 参见表2修改相应参数。 表2 异常规则参数 参数项 描述 取值范围(0表示不约束) 操作 阻塞时间 作业的阻塞时间,包括全局并发排队以及局部并发排队的总时间,单位秒。 例如,如果配置“阻塞时间”为300秒,那么当该资源池中的用户执行的某个作业在阻塞300秒后将被终止。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 执行所消耗时间 已经执行的作业从开始执行到当前所消耗的时间,单位为秒。 例如,如果配置“执行所消耗时间”为100秒,那么当该资源池中的用户执行的某个作业在执行超过100秒后将被终止。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 所有DN上CPU总时间 作业在所有DN上执行时所耗费的CPU总时间,单位为秒。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 检查倾斜率的时间间隔 检查作业执行的CPU倾斜率的间隔时间,单位为秒,需同“所有DN上CPU时间的倾斜率”一起设置。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 所有DN上CPU总时间倾斜率 作业在DN上执行时的CPU时间的倾斜率,依赖于“检查倾斜率的时间间隔”的设置。 1~100的整数。0表示不约束。 终止、降级或不约束 单DN算子下盘大小 作业在单个DN上最大下盘的数据量,单位MB。 说明: 该异常规则仅8.2.0及以上集群版本支持。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 DN平均消耗CPU占比 作业在所有DN上执行时的平均CPU使用率,检测周期不强依赖“检查倾斜率的时间间隔”,若配置将使用该检查间隔,否则系统默认30秒间隔。 说明: 该异常规则仅8.2.0及以上集群版本支持。 1~100的整数。0表示不约束 终止、降级或不约束 单个DN上最大带宽 作业在单个DN上最大可占用的网络带宽,单位MB。 说明: 该异常规则仅8.2.1及以上集群版本支持。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 异常规则允许您对资源池中用户执行的作业做异常控制,目前支持表2的相关配置。 如选择“终止”或“降级”,则需要设置相应时间或百分比。 如选择“不约束”,则无异常规则约束。 资源池修改异常规则仅8.2.0及以上集群版本支持。 关联用户。 一个数据库用户只有被添加到某个资源池中之后,该用户运行作业所使用的资源才能被管控。 一个数据库用户只能被添加至一个资源池中,从资源池中移除的用户可以再次添加至其他资源池。 数据库管理员用户不可关联。 当用户没有指定关联资源池时,会被默认关联到default_pool,资源使用受default_pool限制。default_pool在开启资源管理功能后由系统自动创建。 单击左侧“添加”。 从当前用户列表中,勾选需要添加的用户,一次可勾选多个。 单击“确定”。 如果需要删除用户,则单击待删除用户所在行右边的“解除关联”即可。 父主题: 资源池
  • 下载客户端 登录GaussDB(DWS)管理控制台,详情请参见登录GaussDB(DWS)管理控制台。 在左侧导航栏中,单击“连接客户端”。 在“gsql命令行客户端”的下拉列表中,选择对应版本的GaussDB(DWS)客户端。 请根据集群版本和安装客户端的操作系统,选择对应版本。 表1 gsql下载地址 操作系统类别 适用操作系统版本 下载地址 校验文件 Microsoft Windows Microsoft Windows x86_64: Windows 7及以上。 Windows Server 2008及以上。 dws_8.1.x_gsql_for_windows.zip dws_8.1.x_gsql_for_windows.zip.sha256 dws_8.2.x_gsql_for_windows.zip dws_8.2.x_gsql_for_windows.zip.sha256 Redhat x86_64 RHEL 6.4~7.6 dws_client_8.2.x_redhat_x64.zip dws_client_8.2.x_redhat_x64.zip.sha256 dws_client_8.1.x_redhat_x64.zip dws_client_8.1.x_redhat_x64.zip.sha256 dws_client_8.0.x_redhat_x64.zip dws_client_8.0.x_redhat_x64.zip.sha256 SUSE x86_64 SLES 11.1~11.4,SLES 12.0~12.3 dws_client_8.2.x_suse_x64.zip dws_client_8.2.x_suse_x64.zip.sha256 dws_client_8.1.x_suse_x64.zip dws_client_8.1.x_suse_x64.zip.sha256 dws_client_8.0.x_suse_x64.zip dws_client_8.0.x_suse_x64.zip.sha256 Euler Kunpeng_64 EulerOS 2.0 SP8 dws_client_8.1.x_euler_kunpeng_x64.zip dws_client_8.1.x_euler_kunpeng_x64.zip.sha256 Redhat Kunpeng_64 CentOS-7.6-aarch64和NeoKylin-7.6-aarch64 (适配鲲鹏920处理器) dws_client_8.1.x_redhat_kunpeng_x64.zip dws_client_8.1.x_redhat_kunpeng_x64.zip.sha256 客户端CPU架构要和集群一致,如果集群是X86规格,则对应需选择X86客户端。 Windows gsql包选择下拉列表中的“Microsoft Windows ”,其中包含32位和64位可执行二进制。 单击“下载”可以下载与8.1.x集群版本匹配的gsql。单击“历史版本”可根据集群版本下载相应版本的gsql。 推荐下载使用与集群版本匹配的gsql工具,即8.1.0及以上版本集群使用8.1.x版本gsql、8.2.0及以上版本集群使用8.2.x版本gsql。 表2列出了下载的Linux gsql工具包中的文件和文件夹。 表2 Linux gsql工具包目录及文件说明 文件或文件夹 说明 bin 该文件夹中包含了gsql在Linux中的可执行文件。其中包含了gsql客户端工具、GDS并行数据加载工具以及gs_dump、gs_dumpall和gs_restore工具。详情请参见《数据仓库服务工具指南》中的服务端工具章节。 gds 该文件夹中包括了GDS数据服务工具的相关文件,GDS工具用于并行数据加载,可将存储在普通文件系统中的数据文件导入到GaussDB(DWS)数据库中。 lib 该文件夹中包括执行gsql所需依赖的lib库。 sample 该文件夹中包含了以下目录或文件: setup.sh:在使用gsql导入样例数据前所需执行的配置AK/SK访问密钥的脚本文件。 tpcds_load_data_from_obs.sql:使用gsql客户端导入TPC-DS样例数据的脚本文件。 query_sql目录:查询TPC-DS样例数据的脚本文件。 gsql_env.sh 在运行gsql前,配置环境变量的脚本文件。 表3列出了下载的Windows gsql工具包中的文件和文件夹。 表3 Windows gsql工具包目录及文件说明 文件或文件夹 说明 x64 该文件夹中包含了64位Windows gsql执行二进制和动态库。 x86 该文件夹中包含了32位Windows gsql执行二进制和动态库。 在“专属集群”页面的集群列表中,单击指定集群的名称,再选择“集群详情”页签,可查看集群版本。
  • 磁盘扩容概述 随着客户业务的发展,磁盘空间往往最先出现资源瓶颈,在其他资源尚且充足的情况下,执行传统扩容操作不仅耗时久,还伴随着资源浪费问题。通过磁盘扩容可快速缓解存储资源瓶颈现象,操作过程中无需暂停业务,并且不会造成CPU、内存等资源浪费。用户可在没有其他业务情况下选择磁盘扩容操作,扩容成功后如果磁盘空间仍不足可以继续磁盘扩容,若扩容失败用户可尝试重新进行磁盘扩容操作。 磁盘扩容功能仅8.1.1.203及以上版本支持,并且创建集群规格需要为标准数仓SSD云盘、实时数仓或IoT数仓类型。 集群状态为“可用”、“待重启”、“只读”、“非均衡”、“节点故障”或者 “不可用”的情况下才能下发磁盘扩容。
  • 注册并实名认证华为云账户 如果您还没有华为云账户,则必须先注册账号并开通华为云。如果您已有实名认证的账户,则可以跳过此步骤,并使用您已有的账户。 打开公有云服务网址http:/,单击页面右上方的“注册”,进入注册页面。 按照页面要求填写用户信息完成注册,请参见注册华为账号并开通华为云。 注册成功后即可自动登录华为云。 单击右上角用户名,进入基本信息页面,单击“实名认证”,进入实名认证页面。 按照页面提示完成实名认证。 开通云服务需要先进行实名认证。
  • 确定集群端口 在创建GaussDB(DWS) 集群时需要指定一个端口供SQL客户端或应用程序通过该端口访问集群。 如果您的客户端机器位于防火墙之后,则您需要有一个可用的开放端口,这样才能从SQL客户端工具连接到集群并进行查询分析。 如果您不了解可用的开放端口,则请联系网络管理员,在您的防火墙中确定一个开放端口。GaussDB(DWS) 支持的端口范围为8000~30000(DWS集群创建时,界面上默认的端口为8000)。 在集群创建之后无法更改集群的端口号,请务必确保在集群创建过程中指定的端口为可用的开放端口。
  • 添加资源池 登录GaussDB(DWS)管理控制台。 在集群列表中单击需要访问“资源管理”页面的集群名称。 切换至“资源管理”页签。 单击资源池列旁的“添加资源池”按钮添加资源池。 最多可创建63个资源池。 参见表1填写资源池的名称和相关资源配置。 表1 资源池参数 参数项 描述 是否必选 默认值 名称 资源池的名称。 是 - CPU资源(%) 共享配额:关联在当前资源池的用户在执行作业时可以使用的CPU时间比例,取值范围为1-99的整数。 专属限额:限定资源池中数据库用户在执行作业时可使用的最大CPU核数占总核数的百分比,取值范围为0-100的整数,0表示不限制。 说明: 所有资源池的总和不能超过99%。当配置CPU共享配额后,如果当前只有一个资源池时,该参数不生效。 共享配额非绝对限制,只有在发生CPU竞争时才生效。例如,资源池A和B被绑定在CPU1运行,当A和B均运行时参数生效,只有A运行则参数不生效。 所有资源池的CPU专属限额总和最大不能超过100%,系统默认的CPU专属限额(%)为0。 CPU专属限额仅8.1.3及以上集群版本支持。 是 - 内存资源(%) 资源池所占用的内存百分比。 注意: 内存和查询并发支持单独管控和联合管控,联合管控时必须同时满足并发和内存要求时作业才能下发。 是 0(不限制) 存储资源(MB) 可使用的永久表空间大小。 注意: 该值是资源池下所有DN的表空间总值,单DN节点可用空间=设置值 / DN节点数。 是 -1(不限制) 复杂语句并发 资源池中的最大查询并发数。 注意: 内存和查询并发支持单独管控和联合管控,联合管控时必须同时满足并发和内存要求时作业才能下发。 是 10 网络带宽权重 网络调度时权重值。取值范围为1~2147483647的整数,默认配置为-1。 注意: 网络带宽权重仅8.2.1及以上集群版本支持。 是 -1(不限制) 核对信息后,单击“确定”,添加资源池完成。 父主题: 资源池
  • 慢实例检测 DMS可以在集群的CN节点上自动配置并拉起慢实例检测脚本,通过周期性采集脚本的缓存表,将检测到的慢实例数据上报。用户可在界面上查看24小时内检测到的慢实例数量,以及在时间维度上的分布状态等信息,更为快捷的定位到拖慢整个集群的慢节点并分析其根因。 慢实例检测页面分为两部分,上半部分是检测出慢实例数量的时间分布图,显示的是在不同的检测时间段检测出慢实例的数量。下半部分是慢实例详情,当用户选中时间分布图中的任意柱状时,就会在慢实例详情中展示该检测时间、节点名称、实例名称以及慢节点检测次数(24小时内)等详细情况。 当实例周期超过240秒时,将被检测为慢实例。
  • 客户端和服务器端SSL连接参数组合情况 客户端最终是否使用SSL加密连接方式、是否验证服务器证书,取决于客户端参数sslmode与服务器端(即GaussDB(DWS)集群侧)参数ssl、require_ssl。参数说明如下: ssl(服务器) ssl参数表示是否开启SSL功能。on表示开启,off表示关闭。 对于集群版本高于1.3.1(包括1.3.1)的集群,默认为on,不支持在GaussDB(DWS)管理控制台上设置。 对于集群版本低于1.3.1的集群,默认为on。ssl参数可通过GaussDB(DWS)管理控制台上集群的“安全设置”页面中的“SSL连接”进行设置。 require_ssl(服务器) require_ssl参数是设置服务器端是否强制要求SSL连接,该参数只有当ssl为on时才有效。on表示服务器端强制要求SSL连接。off表示服务器端对是否通过SSL连接不作强制要求。 对于集群版本高于1.3.1(包括1.3.1)的集群,默认为off。require_ssl参数可通过GaussDB(DWS)管理控制台上集群的“安全设置”页面中的“服务器端是否强制使用SSL连接”进行设置。 对于集群版本低于1.3.1的集群,默认为off,不支持在GaussDB(DWS)管理控制台上设置。 sslmode(客户端) 可在SQL客户端工具中进行设置。 在gsql命令行客户端中,为“PGSSLMODE”参数。 在Data Studio客户端中,为“SSL模式”参数。 客户端参数sslmode与服务器端参数ssl、require_ssl配置组合结果如下: 表3 客户端与服务器端SSL参数组合结果 ssl(服务器) sslmode(客户端) require_ssl(服务器) 结果 on disable on 由于服务器端要求使用 SSL,但客户端针对该连接禁用了 SSL,因此无法建立连接。 disable off 连接未加密。 allow on 连接经过加密。 allow off 连接未加密。 prefer on 连接经过加密。 prefer off 连接经过加密。 require on 连接经过加密。 require off 连接经过加密。 verify-ca on 连接经过加密,且验证了服务器证书。 verify-ca off 连接经过加密,且验证了服务器证书。 off disable on 连接未加密。 disable off 连接未加密。 allow on 连接未加密。 allow off 连接未加密。 prefer on 连接未加密。 prefer off 连接未加密。 require on 由于客户端要求使用 SSL,但服务器端禁用了 SSL,因此无法建立连接。 require off 由于客户端要求使用 SSL,但服务器端禁用了 SSL,因此无法建立连接。 verify-ca on 由于客户端要求使用 SSL,但服务器端禁用了 SSL,因此无法建立连接。 verify-ca off 由于客户端要求使用 SSL,但服务器端禁用了 SSL,因此无法建立连接。
  • 在gsql客户端配置SSL认证相关的数字证书参数 GaussDB(DWS)在集群部署完成后,默认已开启SSL认证模式。服务器端证书,私钥以及根证书已经默认配置完成。用户需要配置客户端的相关参数。 登录GaussDB(DWS)管理控制台,在左侧导航栏中,进入“连接客户端”页面。 在“下载驱动程序”区域,单击“下载SSL证书”进行下载。 图1 SSL证书下载 使用文件传输工具(例如WinSCP工具)将SSL证书上传到客户端主机。 例如,将下载的证书“dws_ssl_cert.zip”存放到“/home/dbadmin/dws_ssl/”目录下。 使用SSH远程连接工具(例如PuTTY)登录gsql客户端主机,然后执行以下命令进入SSL证书的存放目录,并解压SSL证书: cd /home/dbadmin/dws_ssl/ unzip dws_ssl_cert.zip 在gsql客户端主机上,执行export命令,配置SSL认证相关的数字证书参数。 SSL认证有两种认证方式:双向认证和单向认证。认证方式不同用户所需配置的客户端环境变量也不同,详细介绍请参见SSL认证方式及客户端参数介绍。 双向认证需配置如下参数: export PGSSLCERT="/home/dbadmin/dws_ssl/sslcert/client.crt" export PGSSLKEY="/home/dbadmin/dws_ssl/sslcert/client.key" export PGSSLMODE="verify-ca" export PGSSLROOTCERT="/home/dbadmin/dws_ssl/sslcert/cacert.pem" 单向认证需要配置如下参数: export PGSSLMODE="verify-ca" export PGSSLROOTCERT="/home/dbadmin/dws_ssl/sslcert/cacert.pem" 从安全性考虑,建议使用双向认证方式。 配置客户端环境变量,必须包含文件的绝对路径。 修改客户端密钥的权限。 客户端根证书、密钥、证书以及密钥密码加密文件需保证权限为600。如果权限不满足要求,则客户端无法以SSL方式连接到集群。 chmod 600 client.key chmod 600 client.crt chmod 600 client.key.cipher chmod 600 client.key.rand chmod 600 cacert.pem
  • SSL认证方式及客户端参数介绍 SSL认证有两种认证方式,如表1所示。从安全性考虑,建议使用双向认证方式。 表1 认证方式 认证方式 含义 配置客户端环境变量 维护建议 双向认证(推荐) 客户端验证服务器证书的有效性,同时服务器端也要验证客户端证书的有效性,只有认证成功,连接才能建立。 设置如下环境变量: PGSSLCERT PGSSLKEY PGSSLROOTCERT PGSSLMODE 该方式应用于安全性要求较高的场景。使用此方式时,建议设置客户端的PGSSLMODE变量为verify-ca。确保了网络数据的安全性。 单向认证 客户端只验证服务器证书的有效性,而服务器端不验证客户端证书的有效性。服务器加载证书信息并发送给客户端,客户端使用根证书来验证服务器端证书的有效性。 设置如下环境变量: PGSSLROOTCERT PGSSLMODE 为防止基于TCP链接的安全攻击,建议使用SSL证书认证功能。除配置客户端根证书外,建议客户端使用PGSSLMODE变量为verify-ca方式连接。 在客户端配置SSL认证相关的环境变量,详细信息请参见表2。 客户端环境变量的路径以“/home/dbadmin/dws_ssl/”为例,在实际操作中请使用实际路径进行替换。 表2 客户端参数 环境变量 描述 取值说明 PGSSLCERT 指定客户端证书文件,包含客户端的公钥。客户端证书用以表明客户端身份的合法性,公钥将发送给对端用来对数据进行加密。 必须包含文件的绝对路径,如: export PGSSLCERT='/home/dbadmin/dws_ssl/sslcert/client.crt' 默认值:空 PGSSLKEY 指定客户端私钥文件,用以数字签名和对公钥加密的数据进行解密。 必须包含文件的绝对路径,如: export PGSSLKEY='/home/dbadmin/dws_ssl/sslcert/client.key' 默认值:空 PGSSLMODE 设置是否和服务器进行SSL连接协商,以及指定SSL连接的优先级。 取值及含义: disable:只尝试非SSL连接。 allow:首先尝试非SSL连接,如果连接失败,再尝试SSL连接。 prefer:首先尝试SSL连接,如果连接失败,将尝试非SSL连接。 require:只尝试SSL连接。如果存在CA文件,则按设置成verify-ca的方式验证。 verify-ca:只尝试SSL连接,并且验证服务器是否具有由可信任的证书机构签发的证书。 verify-full:GaussDB(DWS)不支持此模式。 默认值:prefer 说明: 若集群外访问客户端时,部分节点出现报错:ssl SYSCALL error。则可执行export PGSSLMODE="allow" 或 export PGSSLMODE="prefer"。 PGSSLROOTCERT 指定为客户端颁发证书的根证书文件,根证书用于验证服务器证书的有效性。 必须包含文件的绝对路径,如: export PGSSLROOTCERT='/home/dbadmin/dws_ssl/sslcert/certca.pem' 默认值:空 PGSSLCRL 指定证书吊销列表文件,用于验证服务器证书是否在废弃证书列表中,如果在,则服务器证书将会被视为无效证书。 必须包含文件的绝对路径,如: export PGSSLCRL='/home/dbadmin/dws_ssl/sslcert/sslcrl-file.crl' 默认值:空
  • 资源管理功能 GaussDB(DWS)的资源管理根据系统资源管控类型可分为: 计算资源管理:主要由资源池功能实现,对计算资源进行隔离和限制,防止异常SQL查询导致集群级异常,包括:并发管理、内存管理、CPU管理以及异常规则。详情请参见17.2-资源池。 存储空间管理:从用户和schema两方面实现对存储空间的管理,防止磁盘满和数据库只读,详细请参见空间管理。 资源管理计划:按计划进行资源管理自动配置,应对复杂多变的负载场景,实现更为灵活的资源管理,详细请参见17.3.3-导入导出资源管理计划。
  • 简单查询和复杂查询 GaussDB(DWS)提供了精细化的资源管理功能,在查询进行负载管理前,根据查询预期执行时间和资源消耗,将查询划分为执行时间长、资源消耗多的复杂查询和执行时间短、资源消耗少的简单查询。简单查询和复杂查询的划分和资源消耗相关,因此根据估算内存对查询进行划分: 简单查询:估算内存小于32MB。 复杂查询:估算内存大于等于32MB。 混合负载场景下,复杂查询可能会长时间占用大量资源,虽然简单查询执行时间短、消耗资源少,但是因为资源耗尽,简单查询不得不在资源池中等待复杂查询执行完成。为提升执行效率、提高系统吞吐量,GaussDB(DWS)的“短查询加速”功能,实现对简单查询的单独管理。 开启短查询加速后,简单查询与复杂查询分开管理,简单查询无需与复杂查询竞争资源。 关闭短查询加速后,简单查询与复杂查询执行相同的资源管理操作。 虽然单个简单作业资源消耗少,但是大量简单作业并发运行还是会占用大量资源,因此短查询加速开启情况下,需要对简单查询进行并发管理;资源管理可能会影响查询性能,影响系统吞吐量,因此简单查询不进行资源管理,异常规则也不生效。 基于估算内存的查询划分一方面依赖估算内存的准确性,另一方面查询执行时间和CPU消耗可能与内存消耗不成正比,因此对于性能不敏感、业务明确的资源池可以通过关闭短查询加速实现对简单作业的资源管理和异常处理。
  • 查看容灾信息 登录GaussDB(DWS)管理控制台。 在左侧导航栏中,单击“容灾管理”。 在容灾列表中找到所需要的容灾,然后单击容灾名称,进入容灾“基本信息”页面。 在容灾“基本信息”页面,可以查看如下相关信息: 集群信息:用户可查看容灾ID、容灾名称、容灾创建时间、容灾启动时间以及容灾状态。 生产集群信息:用户可查看生产集群ID、集群名称、可用分区、已用存储容量、集群容灾状态、最近容灾成功时间等相关信息。 灾备集群信息:用户可查看灾备集群ID、集群名称、可用分区、已用存储容量、集群容灾状态、最近容灾成功时间等相关信息。 容灾配置:用户可查看并修改容灾同步周期。 父主题: 集群容灾
  • 告警参数 参数名称 参数含义 告警源 产生告警的系统名称。例如,DWS。 集群名称 产生告警的集群名称。 定位信息 产生告警的集群ID、集群名称、实例ID、实例名称。例如,cluster_id: xxxx-xxxx-xxxx-xxxx,cluster_name: test_dws,instance_id: xxxx-xxxx-xxxx-xxxx,instance_name: test_dws-dws-cn-cn-1-1 详细信息 产生告警的详细信息,包括集群、实例、磁盘、阈值信息。例如:CloudService=DWS, resourceId=xxxx-xxxx-xxxx-xxxx,resourceIdName=test_dws, instance_id: xxxx-xxxx-xxxx-xxxx,instance_name: test_dws-dws-cn-cn-1-1,host_name: host-192-168-1-122,disk_name: /dev/vdb,first_alarm_time: 2022-01-30 10:30:00; 节点10分钟内的数据盘I/O使用率为90.54%,超过阈值90% 产生日期 产生告警的时间。 状态 当前告警的处理状态。
  • 快照参数详情 表1 快照参数说明 参数名称 参数类型 参数描述 默认值 parallel-process 备份参数 指定Roach备份时每个节点的并发进程。 说明: 该参数支持8.2.0之前版本集群配置。 为本节点主DN个数 compression-type 备份参数 压缩算法类型: zlib LZ4 说明: 该参数支持8.2.0之前版本集群配置。 LZ4 compression-level 备份参数 压缩级别,取值范围为0~9: 0代表快速或无压缩。 9代表慢速或最大压缩。 说明: 该参数支持8.2.0之前版本集群配置。 6 buffer-size 备份参数 指定Roach上传介质的buffer大小,取值范围为256~16384,单位是MB。 256 buffer-block-size 备份参数 指定Roach读取数据文件的数据块大小,取值范围为5242880~268435456,单位是Byte。 67108864 cpu-cores 备份参数 Roach启动多线程并发时,可以使用的CPU核数。 为节点CPU逻辑核数总和的1/2 master-timeout 备份参数 指定Roach master节点和agent节点的通信超时时间,取值范围为600~3600,单位是s。 3600 max-backup-io-speed 备份参数 指定Roach备份时的IO流控,取值范围为0~2048,单位是MB/s。必须大于buffer-block-size,0表示不限制。 0 backup-mode 备份参数 全量备份的模式: 0 :一阶段的备份 1 :两阶段的备份 0 cbm-parse-mode 备份参数 增量备份的模式: 0 :一次扫描cbm(内存占用大,性能快) 1 :多次扫描cbm(内存占用稳定,性能差) 0 parallel-process 恢复参数 指定Roach备份时每个节点的并发进程,默认当前节点主DN数 + 1 1 cpu-cores 恢复参数 Roach启动多线程并发时,可以使用的CPU核数。 默认是1/2 cpu核数 logging-level 恢复参数 日志级别: FATAL(致命):导致系统停止工作的、无法恢复的故障。该级别为最严重级别。 ERROR(错误):重大错误。 WARNING(警告):异常情况。系统在该情况下可能会继续处理任务。 INFO(提示):日志记录过程中的提示性日志。 DEBUG(调试):用于调试的详细信息。 DEBUG2(调试2):最详细的日志信息,通常会过滤不显示。该级别严重程度最轻。 INFO
  • 概述 集群日志服务用于采集集群日志并报送云日志服务(Log Tank Service,以下简称LTS),用户可以在LTS云日志服务查看采集的集群日志或进行日志转储。 当前支持的日志类型为:CN节点日志、DN节点日志、操作系统messages日志、审计日志、cms日志、gtm日志、roach客户端日志、roach服务端日志、升级日志和扩容日志。 集群日志管理仅8.1.1.300及以上版本支持。 cms日志、gtm日志、roach客户端日志、roach服务端日志、扩容日志、升级日志仅8.3.0及以上版本支持。
  • 概览 数据库智能运维(DMS)是一个为GaussDB(DWS)数据库提供多维度监控服务的系统,为用户数据库的快速、稳定运行提供保驾护航的能力。该功能对业务数据库所使用磁盘、网络、OS指标数据,集群运行关键性能指标数据进行收集、监控、分析。通过综合收集到的多种类型指标,对数据库主机、实例及业务SQL进行诊断,及时暴露数据库中关键故障及性能问题,指导用户进行优化解决。 8.1.1.200及以上版本支持数据库监控功能。 实时数仓(单机部署)暂不支持DMS功能。 DMS与Cloud Eye监控的数据源不同,采集数据库的大小为该数据库使用的全部磁盘空间,会包含膨胀表的数据。
  • 细粒度策略授权 登录IAM服务管理控制台,创建自定义策略。 具体操作,请参见《统一身份认证服务用户指南》中的创建自定义策略。 说明如下: 您必须使用IAM管理员用户,即属于admin用户组的用户,因为只有IAM管理员用户具备创建用户组及用户、修改用户组权限等操作权限。 由于GaussDB(DWS) 服务属于项目级服务,“作用范围”必须选择“项目级服务”,如果需要该策略对多个项目生效,需要对多个项目分别授权。 在IAM中,预置了以下两种GaussDB(DWS) 策略模板。在创建自定义策略时,您可以选择以下模板,然后基于模板修改策略授权语句。 DWS Admin:拥有对数据仓库服务的所有执行权限。 DWS Viewer:拥有对数据仓库服务的只读权限。 在策略授权语句中,您可以在Action列表中,添加如授权项列表所述的GaussDB(DWS) 资源操作或REST API对应的“授权项”,从而使策略获得相应的操作权限。 例如,在策略语句的Action列表中,添加"dws:cluster:create",那么该策略就拥有了创建/恢复集群的权限。 如果需要使用其他服务,您同时还需授予其他服务的相关操作权限,具体内容请查阅相关服务的帮助文档。 例如,创建GaussDB(DWS) 集群时,需要配置集群所属的虚拟私有云,为了能获取VPC列表,您需在策略语句中添加授权项"vpc:*:get*"。 创建用户组。 具体操作,请参见《统一身份认证服务用户指南》中的创建用户组。 将用户加入用户组,并将新创建的自定义策略授权给用户组,使用户组中的用户具有策略定义的权限。 具体操作,请参见《统一身份认证服务用户指南》中的查看或修改用户组。
  • 检查规则 当用户被授予多个策略,或者一个策略中包含多个授权语句,这些策略中既有Allow又有Deny的授权语句时,遵循Deny优先的原则。在用户访问资源时,权限检查逻辑如下。 图3 系统鉴权逻辑图 每条策略做评估时, Action之间是或(or)的关系。 用户访问系统,发起操作请求。 系统评估用户被授予的访问策略,鉴权开始。 在用户被授予的访问策略中,系统将优先寻找显式拒绝指令。如找到一个适用的显式拒绝,系统将返回Deny决定。 如果没有找到显式拒绝指令,系统将寻找适用于请求的任何Allow指令。如果找到一个显式允许指令,系统将返回Allow决定。 如果找不到显式允许,最终决定为Deny,鉴权结束。
共100000条