华为云用户手册

  • 请求示例 数据源更新。 PUT /v1/{project_id}/connections/{connection_id} 1.修改公网连接类型数据源 { "name": "dws02", "server_list": "xx.xx.x.xx:xxxx", "database_name": "gaussdb", "user_name": "xxxxx", "password": "xxxxxxx", "config": { "ssl": true }, "source": "public", "type": "DWS" } 2.修改DWS云数据源 { "name": "dws04_instance", "description": "测试新增", "source": "dws", "type": "DWS", "database_name": "xxxxx", "user_name": "xxxx", "password": "xxxx", "region_id": "xxxx", "cluster": { "id": "xxxxxxxxxxxx" }, "config": { "ssl": false } } 3.修改RDS的MySQL云数据源 { "name": "mysql_instance", "description": "测试新增", "source": "rds", "type": "MySQL", "database_name": "xxxxx", "user_name": "xxxxx", "password": "xxxxx", "region_id": "xxxx", "cluster": { "id": "xxxxxxxxxxxx" }, "config": { "ssl": false } } 4.修改GaussDBForMySQL云数据源 { "name": "gaussdb_mysql_instance", "description": "测试新增", "source": "gaussdb", "type": "MySQL", "database_name": "xxxxx", "user_name": "xxxxx", "password": "xxxxx", "region_id": "xxxx", "cluster": { "id": "xxxxxxxx" }, "config": { "ssl": false } } 5.修改OpenGauss云数据源 { "name": "gaussdb_instance", "description": "测试新增", "source": "gaussdb", "type": "OpenGauss", "database_name": "xxxxx", "user_name": "xxxxx", "password": "xxxxx", "region_id": "xxxx", "cluster": { "id": "xxxxxxxx" }, "config": { "ssl": false } } 6.修改PostgreSQL云数据源 { "name": "postgre_instance", "description": "测试新增", "source": "rds", "type": "PostgreSQL", "database_name": "xxxxx", "user_name": "xxxxx", "password": "xxxxx", "region_id": "xxxxx", "cluster": { "id": "xxxxxxxx" }, "config": { "ssl": false } }
  • URI DELETE /v1/{project_id}/datasets/{dataset_id}/permissions/{permission_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 获取方法请参考获取项目ID。 dataset_id 是 String 数据集ID。 permission_id 是 String permission_id。
  • 请求示例 POST https://{endpoint}/v1/{project_id}/datasets/{dataset_id}/permissions { " dataset_permissions " : [ { "id" : "xxxxfdff-xxxx-43cb-8f52-e15e35axxxxx", "name" : "COLUMN", "dataset_id" : "1e27d682-xxxx-4589-ad8e-673f02d395f4", "is_open" : true, "permission_type" : "COLUMN", "rule_type" : "MASK", "rule_scope" : "ALL", "project_id" : "xxxx6703a500xxxx2fb3c00f9fxxxxxx", "workspace_Id" : "xxxx6703a50xxxxx2fb3c00f9fxxxxxx", "rule_user" : { "users" : [ ], "user_groups" : [ ] }, "rule_content" : { "last" : 1, "first" : 1, "mask_type" : "RETAIN_FIRST_N_LAST_M", "column_ids" : [ "xxxxx9d6-6dae-xxxx-bd51-36fc0exxxxxx.amount" ], "special_words" : [ "xxx" ] }, "display_fields" : { "user_map" : { }, "group_map" : { }, "field_map" : { "xxxxx9d6-6dae-4126-xxxx-36fc0exxxxxx.amount" : "amount" } } }, { "id" : "xxxxxa33-dace-xxxx-8ddf-c6dfa48xxxxx", "name" : "USER_TAG", "dataset_id" : "xxxx4d13-c2a3-xxxx-b657-829addaxxxxx", "is_open" : true, "permission_type" : "ROW", "rule_type" : "BY_TAG", "rule_scope" : "ALL", "rule_user" : { "users" : [ ], "user_groups" : [ ] }, "rule_content" : { "condition_node" : null, "logic_operator" : "AND", "sub_conditions" : [ { "condition_node" : { "value" : { "values" : [ "xxxx3355-4ffa-xxxx-9b5d-0bd85668xxxx" ], "value_type" : "TAG_USER_GROUP", "value_names" : [ "userGroup2" ] }, "column_id" : "xxxx6722-b74c-xxxx-9630-43ca65xxxxxx.buyer_name", "is_measure" : false, "column_name" : "buyer_name", "relation_operator" : "" }, "logic_operator" : null }, { "condition_node" : { "value" : { "values" : [ "xxxxx355-4ffa-4340-9b5d-0bd856xxxxx" ], "value_type" : "TAG_USER_GROUP", "value_names" : [ "userGroup2" ] }, "column_id" : "xxxxx722-b74c-4752-xxxx-43ca65dxxxxx.buyer_name", "is_measure" : false, "column_name" : "buyer_name", "relation_operator" : "" }, "logic_operator" : null } ] }, "display_fields" : null }, { "id" : "xxxxxb04-ef3d-4ebc-a9ee-c651f5xxxxxx", "name" : "测试", "dataset_id" : "xxxxxd13-c2a3-426f-xxxx-xxxxxdaba20e", "is_open" : true, "permission_type" : "ROW", "rule_type" : "BY_CONDITION", "rule_scope" : "SPECIFIED", "rule_user" : { "users" : [ "xxxxx57ed1b9453xxxxx43de304xxxxx", "xxxxx987b3dcxxxxb68b8dff1e7xxxxx", "xxxxxac55eeb4950aabc86513080f9ba" ], "user_groups" : [ ] }, "rule_content" : { "condition_node" : null, "logic_operator" : "AND", "sub_conditions" : [ { "condition_node" : { "value" : { "values" : [ "123" ], "value_type" : "CONDITION" }, "column_id" : "xxxx6722-b74c-xxxx-9630-43ca65dxxxxx.buyer_name", "is_measure" : false, "column_name" : "buyer_name", "relation_operator" : "CONTAIN" }, "logic_operator" : null }, { "condition_node" : null, "logic_operator" : "OR", "sub_conditions" : [ { "condition_node" : { "value" : { "values" : [ "qwe" ], "value_type" : "CONDITION" }, "column_id" : "xxxxx722-b74c-xxxx-9630-43ca65dxxxxx.buyer_name", "is_measure" : false, "column_name" : "buyer_name", "relation_operator" : "CONTAIN" }, "logic_operator" : null } ] } ] }, "display_fields" : { "user_map" : { "xxxxx987b3dc4xxxx68b8dff1exxxxxx" : "auth_test", "xxxxxac55eeb4xxxxabc865130xxxxxx" : "chenxiantao", "xxxxx57ed1b94xxxx6c943de30xxxxxx" : "abac_test" }, "group_map" : { }, "field_map" : null } } ] }
  • 请求示例 数据源新增。 POST /v1/{project_id}/connections 1.新增公网连接类型数据源 { "name": "dws02", "server_list": "xx.xx.x.xx:xxxx", "database_name": "gaussdb", "user_name": "xxxxx", "password": "xxxxxxx", "config": { "ssl": true }, "source": "public", "type": "DWS" } 2.新增DWS云数据源 { "name": "dws04_instance", "description": "测试新增", "source": "dws", "type": "DWS", "database_name": "xxxxx", "user_name": "xxxx", "password": "xxxx", "region_id": "xxxx", "cluster": { "id": "xxxxxxxxxxxx" }, "config": { "ssl": false } } 3.新增RDS的MySQL云数据源 { "name": "mysql_instance", "description": "测试新增", "source": "rds", "type": "MySQL", "database_name": "xxxxx", "user_name": "xxxxx", "password": "xxxxx", "region_id": "xxxx", "cluster": { "id": "xxxxxxxxxxxx" }, "config": { "ssl": false } } 4.新增GaussDBForMySQL云数据源 { "name": "gaussdb_mysql_instance", "description": "测试新增", "source": "gaussdb", "type": "MySQL", "database_name": "xxxxx", "user_name": "xxxxx", "password": "xxxxx", "region_id": "xxxx", "cluster": { "id": "xxxxxxxx" }, "config": { "ssl": false } } 5.新增OpenGauss云数据源 { "name": "gaussdb_instance", "description": "测试新增", "source": "gaussdb", "type": "OpenGauss", "database_name": "xxxxx", "user_name": "xxxxx", "password": "xxxxx", "region_id": "xxxx", "cluster": { "id": "xxxxxxxx" }, "config": { "ssl": false } } 6.新增PostgreSQL云数据源 { "name": "postgre_instance", "description": "测试新增", "source": "rds", "type": "PostgreSQL", "database_name": "xxxxx", "user_name": "xxxxx", "password": "xxxxx", "region_id": "xxxx", "cluster": { "id": "xxxxxxxx" }, "config": { "ssl": false } }
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Workspace-Id 是 String 工作空间ID,即控制台的项目ID。 最小长度:0 最大长度:128 X-Auth-Token 是 String 用户Token。通过调用IAM服务 获取IAM用户Token接口获取,接口返回的响应消息头中“X-Subject-Token”就是需要获取的用户Token。 最小长度:0 最大长度:8192 表3 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 数据源名称。 最小长度:1 最大长度:255 description 否 String 数据源描述信息。 最小长度:0 最大长度:128 type 是 String 数据源类型:MySQL、PostgreSQL、DWS、OpenGauss、DLI、ClickHouse、API、Doris。 枚举值: MySQL PostgreSQL DWS OpenGauss DLI ClickHouse API Doris source 是 String 数据源来源:rds、dws、mrs、gaussdb、public、restapi、dli。 最小长度:0 最大长度:64 server_list 否 String 集群模式(多实例)必填,如DWS,ClickHouse。 最小长度:0 最大长度:512 database_name 是 String 数据库名。 最小长度:1 最大长度:512 host 否 String 域名,非集群数据源必填,如mysql。 最小长度:0 最大长度:512 port 否 Integer 端口。 最小值:0 最大值:2147483647 user_name 否 String 用户名。 最小长度:0 最大长度:64 password 否 String 密码。 最小长度:0 最大长度:500 region_id 否 String 当前region的ID。 最小长度:0 最大长度:36 cluster 否 ClusterInfoDTO object 云实例接入方式时必填。 config 是 DcConfigDTO object 配置参数。 表4 ClusterInfoDTO 参数 是否必选 参数类型 描述 id 否 String 关联云实例ID。 最小长度:0 最大长度:100 表5 DcConfigDTO 参数 是否必选 参数类型 描述 ssl 否 Boolean ssl参数配置。 region_id 否 String DLI归属regionId;当前不支持跨region,值只能是当前regionId。 最小长度:1 最大长度:20 catalog_name 否 String 数据目录名称,默认值:dli;DLI自有catalog值为dli。 缺省值:dli 最小长度:0 最大长度:64 catalog_type 否 String 数据目录类型,默认值:dil,枚举值: dli:DLI自有catalog; lakeformation:lakeformation的数据目录。 缺省值:dli 最小长度:0 最大长度:10 ds_project_id 否 String DLI队列归属rpojectId。 最小长度:0 最大长度:100 queue_name 否 String SQL队列。 最小长度:1 最大长度:200 auth_type 否 String 验证方式;AKSK 最小长度:0 最大长度:10 枚举值: AKSK ds_ak 否 String 用户ak(验证方式为AKSK时必填)。 最小长度:0 最大长度:500 ds_sk 否 String 用户sk(验证方式为AKSK时必填)。 最小长度:0 最大长度:500 time_out 否 Integer API数据源时,请求超时时间。 最小值:0 最大值:2147483647 protocol 否 String 协议:REST。 最小长度:0 最大长度:50 token_key 否 String token key。 最小长度:0 最大长度:10000 token_value 否 String token value。 最小长度:0 最大长度:2000 request_url 否 String API数据源时,请求url。 最小长度:0 最大长度:1000 request_method 否 String 请求方式:GET、POST。 最小长度:0 最大长度:100 枚举值: GET POST request_params 否 Array of RequestParamDto objects 请求参数列表。 数组长度:0 - 1000 resp_param 否 Array of ResponseParamDto objects 返回参数。 数组长度:0 - 1000 表6 RequestParamDto 参数 是否必选 参数类型 描述 location 是 String 位置。 最小长度:0 最大长度:100 value 是 Array of strings 参数值。 最小长度:0 最大长度:1000 数组长度:0 - 100 tag_id 否 String 标签ID,当param_source为user时必填。 最小长度:0 最大长度:128 param_name 是 String 参数名称。 最小长度:0 最大长度:500 alias_name 否 String 参数别名。 最小长度:0 最大长度:128 field_type 是 String 参数类型:String、Long、Decimal、List[/topic/body/section/table/tgroup/tbody/row/entry/p/br {""}) (br]、List[/topic/body/section/table/tgroup/tbody/row/entry/p/br {""}) (br]、List[/topic/body/section/table/tgroup/tbody/row/entry/p/br {""}) (br]、DateTime、Bool、PageIndex、PageNum。 最小长度:0 最大长度:50 param_source 是 String 参数来源:custom、user、userGroup。 最小长度:0 最大长度:50 type 是 Boolean 是否加密。 表7 ResponseParamDto 参数 是否必选 参数类型 描述 alias_name 是 String 参数别名。 最小长度:0 最大长度:512 field_type 是 String 参数类型:String、Long、Decimal、DateTime、Bool。 最小长度:0 最大长度:100 param_name 是 String 参数名称。 最小长度:0 最大长度:32
  • 修订记录 发布日期 修订记录 2024-05-16 第六次发布。 新增 矩形树图 漏斗图 更新 世界地图 查询控件 制作交互 2024-04-07 第五次发布。 新增 桑基图 产业分布图 里程碑 更新 管理项目 用户管理 2024-02-28 第四次发布。 新增 甘特图 指标 新建维度 更新 接入GaussDB(DWS)数据源 智能分析助手 资源迁移 2024-01-08 第三次发布。 新增 接入Hive数据源 用户管理 自定义地图 更新 表格 2023-12-08 第二次发布。 新增 接入DLI数据源 数据门户 交叉表格 更新 接入GaussDB(DWS)数据源 查询控件 表格图 2023-11-03 更新 如何查看审计日志内容。 2023-10-18 新增 富文本。 词云图。 热力图。 2023-10-16 新增 协同办公。 2023-09-28 新增 接入GaussDB数据源。 接入MySQL数据源。 接入PostgreSQL数据源。 接入Doris数据源。 2023-08-29 第一次正式发布。
  • 约束与限制 数据源与DataArts Insight的项目所属的企业项目必须相同。 数据源与DataArts Insight的项目所属的区域必须相同,即仅支持链接当前区域的数据源。 添加数据源时,DataArts Insight对数据源的网络类型有以下要求: 如果数据源为云下的数据库,则需要通过公网或者专线打通网络,确保数据源所在的主机可以访问公网,并且防火墙规则已开放连接端口。 如果数据湖为云上服务(如DWS、ClickHouse等),则网络互通需满足如下条件: DataArts Insight与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。 DataArts Insight与云上服务同区域情况下: 同虚拟私有云、同子网、同安全组的不同实例默认网络互通。 同虚拟私有云,但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则参考如何配置路由规则章节,配置安全组规则参考安全组配置章节。 不同虚拟私有云的数据源接入时,DataArts Insight自动为您创建VPCEP连通VPC网络。
  • DataArts Insight支持的数据源类型 表1 DataArts Insight支持的数据源类型 数据源 数据源类型 与数据库的连通方式 具体操作 GaussDB(DWS) 大数据平台 公网/VPC 接入GaussDB(DWS)数据源 GaussDB 大数据平台 公网/VPC 接入GaussDB数据源 MySQL 关系型数据库 公网/VPC 接入MySQL数据源 PostgreSQL 大数据平台 公网/VPC 接入PostgreSQL数据源 Doris 大数据平台 公网/VPC 接入Doris数据源 ClickHouse 大数据平台 公网/VPC 接入ClickHouse数据源 API数据源 API数据 API访问 接入API数据源 DLI 大数据平台 - 接入DLI数据源 Hive 大数据平台 公网/VPC 接入Hive数据源
  • 计费项 目前智能数据洞察(DataArts Insight)的计费项由通用用户数数组成。 表1 计费项 计费项 产品版本 计费项说明 适用的计费模式 计费公式 通用用户数 企业版 计费因子:通用用户个数。 包年/包月 通用用户个数*单价*购买时长。 大屏 企业版 计费因子:大屏发布个数。 包年/包月 大屏数量*单价*购买时长。 嵌入分析 企业版 计费因子:嵌入分析开通个数。 包年/包月 嵌入分析*单价*购买时长。
  • 计费模式 目前智能数据洞察(DataArts Insight)提供包年/包月的计费模式。 包年/包月:一种预付费模式,即先付费再使用,按照订单的购买周期进行结算。购买周期越长,享受的折扣越大。 阶梯计费:用户购买不同的通用用户数计费方式。 表1 企业版计费说明 计费项 周期 说明 企业版 包年/包月 包月周期计算公式:用户数*月单价 * 月数 包年周期计算公式:用户数*年单价 * 年数 表2 大屏计费说明 计费项 周期 说明 数据大屏 包年/包月 企业版默认赠送5个。 包月周期计算公式:大屏数量 * 月单价 * 月数 包年周期计算公式:大屏数量 * 年单价 * 年数 表3 嵌入式报表计费说明 计费项 周期 说明 嵌入式报表 包年/包月 企业版默认赠送5个。 包月周期计算公式:嵌入式报表数量 * 月单价 * 月数 包年周期计算公式:嵌入式报表数量 * 年单价 * 年数 包年周期费用是月单价 * 10。
  • 响应消息 响应参数说明请参见下表: 参数 是否必选 类型 取值范围 说明 resultCode M String 6 调用结果码。 具体请参见调用结果码说明。 resultMsg O String 255 调用结果描述。 响应消息示例: { "resultCode":"000000", "resultMsg":"success." } HTTP Body签名: Body-Sign: sign_type="HMAC-SHA256", signature= "xxxxxxxxxxxxx" ,详情参考《HTTP Body签名》。
  • RDS for MySQL产品生命周期 RDS for MySQL在MySQL社区版本生命周期的基础上,延长了支持时间。在延长期内,RDS for MySQL会持续发布新的版本,新版本仅限于对严重影响实例安全和稳定的问题进行修复。由于MySQL社区对安全类问题进行了保密处理,华为云RDS for MySQL并不能承诺修复所有严重的安全和稳定性问题。 RDS for MySQL基于MySQL开源社区提供数据库云服务,本文将为您介绍RDS for MySQL的版本策略,您可以根据此信息进行规划,在创建实例、数据迁移等操作时选择更合适的目标版本。 华为云延长支持停止时间,是为用户迁移业务提供更充裕的时间。数据迁移的具体操作,请参见RDS for MySQL迁移到RDS for MySQL。 华为云对RDS for MySQL内核的支持停止时间参见表1。 表1中的部分时间为预计时间,将会在生命周期结束或RDS for MySQL停止支持前进行修正,请以实际时间为准。 华为云RDS for MySQL产品生命周期结束后,将不再售卖,并且对存量实例不提供维护服务(例如漏洞补丁修改等),不支持规格扩容。 请您提前制定版本升级或者数据迁移等操作的计划。 表1 华为云RDS for MySQL生命周期 MySQL版本号 社区发布时间 社区生命周期结束时间 华为云发布时间 华为云EOM(停止销售)时间 华为云EOS(停止服务)时间 5.6 2013年2月5日 2021年2月1日 2017年3月 2024年06月30日 2024年12月30日 5.7 2015年10月21日 2023年10月25日 2018年3月 2024年12月30日 2025年6月30日 8.0 2018年9月14日 2026年4月 2019年2月 2030年08月30日 - 以上RDS for MySQL生命周期发布时间是2024-01-01。 父主题: RDS for MySQL版本发布说明
  • 责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。华为云租户的安全责任在于对使用的 IaaS、PaaS 和 SaaS 类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API 网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题: 安全
  • 修订记录 发布日期 修改说明 2024-05-16 第三次正式发布,包含以下内容: 新增内存使用率高怎么处理。 新增清理表的数据碎片。 新增错误日志页面显示handle_sync_msg_from_slave my_net_read error:-1。 2024-01-23 第二次正式发布,包含以下内容: 读写分离地址修改为代理地址,具体请参见对各个IP地址的解释说明。 2023-04-10 第一次正式发布。
  • 原因一:内存相关参数设置不合理 GaussDB(for MySQL)中存在许多与内存相关的参数,表1-2列举了部分参数。当这些参数设置不合理时,可能会导致内存利用率过高。 表1 内存相关的参数 序号 参数名称 参数描述 1 innodb_buffer_pool_size InnoDB buffer pool大小。Global级别,容量不会缩减。 2 table_open_cache 表缓存的最大打开表数量。Global级别,当open_tables等于table_open_cache且opened_tables在不断增大时,可以适当调大table_open_cache。 3 sort_buffer_size 排序buffer大小。Session级别,调大值可以提高排序操作的性能,过大可能会导致内存不足。 针对上述原因,您可以采取以下处理措施: 内存相关参数值尽量使用默认值。 根据实际情况,合理配置相关参数。
  • 原因二:存在大量消耗内存的查询语句 一些涉及到排序或者分组的语句会使用到临时表,当并发量过大、查询中间结果过多时,会导致临时表占用过多内存,出现实例OOM风险。 针对上述原因,您可采取以下处理措施: 可以使用EXPLAIN命令检查Extra列是否显示Using Temporary,确定语句是否会用到临时表,对于使用临时表的SQL语句进一步分析查询计划和重写查询语句,尽量减少临时表的使用。表2列举了部分需要使用临时表的SQL语句。 表2 需要使用临时表的场景 序号 场景 1 UNION查询。 2 用到TEMPTABLE算法或者是UNION查询中的视图。 3 ORDER BY和GROUP BY的子句不一样时。 4 表连接中,ORDER BY的列不是驱动表中的。 5 DISTINCT查询并且加上ORDER BY时。 6 SQL中用到SQL_SMALL_RESULT修饰符的查询。 7 FROM中的子查询(派生表)。 8 子查询或者SEMI-JOIN时创建的表。 9 评估多表UPDATE语句。 10 评估GROUP_CONCAT()或COUNT(DISTINCT)表达式计算。 创建合适的索引,减小查询结果的数量,来控制临时表使用的内存。 使用LIMIT子句限制查询结果的数量,避免一次性返回大量数据。 对于需要大量使用内存的SQL语句,减小并发度,避免内存突增导致实例OOM。 结合业务情况扩大实例规格。
  • 内存使用率高的排查思路 以下排查思路根据原因的出现概率进行排序,建议您从高频率原因往低频率原因排查,从而帮助您快速找到问题的原因。 如果解决完某个可能原因仍未解决问题,请继续排查其他可能原因。 图1 内存使用率高的排查思路 序号 可能原因 解决方案 1 内存相关参数设置不合理。 请参见原因一:内存相关参数设置不合理。 2 存在大量消耗内存的查询语句。 请参见原因二:存在大量消耗内存的查询语句。 3 开启了消耗内存的特性。 请参见原因三:开启了消耗内存的特性。
  • 原因三:开启了消耗内存的特性 部分特性开启会占用一定的内存空间。例如对小规格实例(如:2U4GB),开启performance_schema会带来一定的内存开销,可能会导致内存占用比例明显增大。 针对上述原因,您可以采取以下处理措施: 排查是否开启了消耗内存的特性,如performance_schema、plan cache、ptrc等。根据实际情况,考虑是否需要关闭相应特性。 结合业务情况扩大实例规格。
  • 修订记录 发布日期 修改说明 2024-05-16 第二十次正式发布。 新增GaussDB(for MySQL)实例在空负载下CPU占用说明。 2024-05-09 第十九次正式发布。 新增慢日志监控中显示存在慢SQL,但日志管理中慢日志页面没有对应慢SQL信息。 2024-01-23 第十八次正式发布。 读写分离地址修改为代理地址。 2023-12-18 第十七次正式发布。 新增GaussDB(for MySQL)支持打开general_log吗?。 2023-11-08 第十六次正式发布。 GaussDB(for MySQL)服务如何开启并查看Binlog文件?,修改开启Binlog的方法。 2023-10-12 第十五次正式发布,新增以下内容: 新增GaussDB(for MySQL)的临时盘使用说明。 2023-08-31 第十四次正式发布,新增以下内容: 新增GaussDB(for MySQL)实例连接失败怎么办。 2023-07-24 第十三次正式发布,新增以下内容: 新增使用INSTANT方式快速添加列。 2023-05-16 第十二次正式发布,新增以下内容: 新增如何查看GaussDB(for MySQL)数据库的死锁日志。 2023-03-30 第十一次正式发布,新增以下内容: 新增联合索引设置不当导致慢SQL的解决办法。 新增联合索引设置不当导致慢SQL的解决办法。 新增持锁长事务导致后续业务报等锁超时的解决办法。 2023-02-22 第十次正式发布,新增以下内容: 新增如何修改Binlog保留时长。 优化GaussDB(for MySQL)服务如何开启并查看Binlog文件?。 2022-11-22 第九次正式发布,新增以下内容: 优化GaussDB(for MySQL)如何设置表名大小写敏感。 2022-11-03 第八次正式发布,新增以下内容: 优化如何通过JDBC连接MySQL数据库。 2022-08-30 第七次正式发布,新增以下内容: 新增资源冻结/解冻/释放/删除/退订。 2022-07-30 第六次正式发布,新增以下内容: 新增如何修改GaussDB(for MySQL)数据库字符集。 新增是否支持使用SQL命令修改全局参数。 新增GaussDB(for MySQL)如何设置表名大小写敏感。 新增使用utf8mb4字符集存储emoji表情到GaussDB(for MySQL)实例。 新增GaussDB(for MySQL)是否支持版本升级。 新增如何查看GaussDB(for MySQL)备份空间使用情况。 新增GaussDB(for MySQL)的备份是如何收费的。 2022-06-30 第五次正式发布,新增以下内容: 新增如何安装MySQL客户端。 2022-02-18 第四次正式发布,新增以下内容: 新增GaussDB(for MySQL)提供root账号或super权限吗 调整常见问题分类 2021-04-30 第三次正式发布,新增以下内容: 新增ECS和GaussDB(for MySQL)部署在同一区域的不同的VPC内,网络不通怎么办。 2020-12-30 第二次正式发布,新增以下内容: GaussDB(for MySQL)新增如何通过JDBC连接MySQL数据库。 GaussDB(for MySQL)新增主备机分别执行MATCH AGAINST语句后结果不一致的原因。 2019-09-03 第一次正式发布。
  • GaussDB(for MySQL)实例在空负载下CPU占用说明 GaussDB(for MySQL)实例上包括操作系统进程、mysqld进程、监控进程、增量备份进程等。mysqld进程包含多个线程比如主备通信线程、连接线程、刷新线程等。监控进程负责实时监控实例的状态,增量备份进程负责进行增量数据备份。因此在实例空载情况下,仍然有多个进程和线程在后台持续运行,CPU的占用率不会为0,通常空载时CPU占用率为10%~15%。 父主题: 数据库性能
  • 监控指标 表1 DDM支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) ddm_cpu_util CPU使用率 该指标用于统计当前DDM节点的CPU利用率。 0~100% DDM节点 1分钟 ddm_mem_util 内存使用率 该指标用于统计当前DDM节点的内存使用率。 0~100% DDM节点 1分钟 ddm_bytes_in 网络输入吞吐量 该指标用于统计当前DDM节点平均每秒的输入流量。 ≥ 0 bytes/s DDM节点 1分钟 ddm_bytes_out 网络输出吞吐量 该指标用于统计当前DDM节点平均每秒的输出流量。 ≥ 0 bytes/s DDM节点 1分钟 ddm_qps QPS 该指标用于统计当前DDM节点的每秒请求数。 ≥ 0 counts DDM节点 1分钟 ddm_read_count 读次数 该指标用于统计当前DDM节点在每个采集周期内新增的读次数。 ≥ 0 counts/s DDM节点 1分钟 ddm_write_count 写次数 该指标用于统计当前DDM节点在每个采集周期内新增的写次数。 ≥ 0 counts/s DDM节点 1分钟 ddm_slow_log 慢SQL数 该指标用于统计数据面服务Core的慢SQL条数。 ≥ 0 counts DDM节点 1分钟 ddm_rt_avg 平均响应时延 该指标用于统计数据面服务Core的SQL平均响应时延。 ≥ 0 ms DDM节点 1分钟 ddm_connections 连接数 该指标用于统计数据面服务Core的连接数。 ≥ 0 counts DDM节点 1分钟 ddm_backend_connection_ratio 后端连接池水位 该指标用于统计当前DDM节点后端活跃连接数与后端最大连接数的比例。 0~100% DDM节点 1分钟 active_connections 活跃连接数 该指标用于统计每个DDM节点后台正在执行的连接数目。 ≥ 0 DDM节点 1分钟 ddm_connection_util 连接数使用率 该指标用于统计每个DDM节点已用的连接数占总连接数的百分比。 0~100% DDM节点 1分钟 ddm_node_status_alarm_code DDM节点连通性检测 该指标用于检测每个DDM节点是否在集群中不可用。其中,0表示可用,1表示不可用。 0或1 DDM节点 1分钟 ddm_global_sequence_threshold_exceeded_count 超过使用率阈值的全局二级序列个数 此指标统计使用率超过75%的全局序列个数。使用率 = 当前值 / 最大值,默认使用率阈值为75%。全局序列的最大值取决于全局序列类型(例如:BIGINT类型,最大值:2^63-1)。 ≥ 0 counts DDM实例 10分钟
  • SQL高级功能 暂不支持Prepare\EXECUTE语法。 暂不支持用户自定义数据类型、自定义函数。 暂不支持视图、存储过程、触发器、游标。 暂不支持BEGIN…END、LOOP…END LOOP、REPEAT…UNTIL…END REPEAT、WHILE…DO…END WHILE等复合语句。 暂不支类似IF,WHILE等流程控制类语句。 暂不支持的预处理类型: PREPARE EXECUTE 不支持在建表语句中,对索引增加COMMENT形式的注释。 父主题: SQL语法
  • 约束限制 华为云上自建MySQL所在ECS、新购DDM和RDS for MySQL实例建议配置相同VPC和安全组。 为了保持数据完整性,需要先停止业务后再进行数据迁移。 DDM不支持以自动新建库或者新建拆分表、广播表的方式导入数据。因此导入数据前需要先创建好相同名称的逻辑库,相同拆分表、广播表结构的逻辑表,然后再进行数据导入。各类逻辑表创建方式请参见表2。 新增RDS for MySQL实例与源RDS实例的MySQL版本需要保持一致。
  • 操作步骤 登录分布式数据库中间件控制台。 在实例管理列表页面,单击进入目标实例。 单击左侧菜单栏的“会话管理”页签,进入“CN会话(逻辑)”页面。 在“CN会话(逻辑)”页面,可以查看到应用与DDM之间的会话信息列表。 图1 CN会话列表 在右上角通过输入关键字查询对应的会话信息。 在会话列表中,勾选一条或多条会话,单击“kill会话”并“确定”,完成结束会话操作。 单击“DN会话(物理)”页签,可以查看到DDM与数据节点(RDS for MySQL)之间的会话信息列表。 图2 DN会话列表 在右上角选择一个或多个数据节点,查看DDM与数据节点之间的会话信息。如果您选择多个数据节点,当前分页数量及总条数仅针对单个数据节点查询生效。 在右上角通过输入SQL语句查询对应的会话信息。 在会话列表中,勾选一条或多条会话,单击“kill会话”并“确定”,完成结束会话操作。 单击“历史急救日志”页签,您可以获取执行过的Kill操作信息。 图3 查看历史急救日志 您还可以进行如下操作: 通过设置开始时间和结束时间来查询所需时间段内执行过的Kill操作信息。 在列表右上角的下拉框中选择目标DDM实例或数据节点(RDS for MySQL实例),可筛选出对应的CN会话或DN会话信息。
  • 应用场景 DDM支持以下三种不同的分片变更方式,以满足不同的应用场景。 方式一:分片数不变,增加数据节点数量 该变更方式不改变当前分片数,只增加数据节点数量。将原数据节点的部分分片平移到新增数据节点上,分片数据进行平移,数据相对位置不需要重新分布,所以变更速度最快,推荐您优先使用此方式进行分片变更。 该方式适用于水平拆分业务后业务规模快速增长的场景,可在业务初期减少成本。也适用于RDS for MySQL实例无法满足存储空间,读写性能的场景。 图1 分片数不变,增加RDS for MySQL实例数量 方式二:增加分片数,不增加数据节点数量 该变更方式增加分片数,不增加数据节点数量。此种情况分片总数、分表总数、分表规则都会发生变化,数据将重新分布到不同的分片中,原来分片上的表将被清理,广播表分片数量增加。 该方式适用于单个物理表数据量过大,查询性能受到限制,但是整体RDS for MySQL实例可用空间充足的场景。 图2 增加分片数,不增加RDS for MySQL实例数 方式三:增加分片数,也增加数据节点数量 该变更方式既增加分片数,也增加数据节点数量。此种情况分片总数、分表总数、分表规则都会发生变化,数据将重新分布到不同的分片中,原来分片上的表将被清理,广播表分片数量增加。 该方式适用于RDS for MySQL实例无法满足存储空间,读写性能,且单个物理表数据量过大,查询性能受到限制的场景。 图3 既增加分片数,也增加RDS for MySQL实例数
  • 操作步骤 登录分布式数据库中间件控制台。 在实例管理列表中单击“实例名称”,默认进入“基本信息页”。 在“节点信息”模块,查看节点相关信息。 单击“创建组”。 在创建组页面,设置组信息。 图1 创建组 表1 参数说明 参数名称 说明 组名 必须以字母开头,可以包含字母、数字、中划线,不能包含其他的特殊字符。 组角色 组分为读写组和只读组,是DDM实例下承担了读写或者只读角色的节点的分组,用于计算资源隔离,每个组都配置对应的连接地址。 虚拟私有云 虚拟私有云默认和实例所在的虚拟私有云相同,且不能修改。 但是您可以设置组所在的子网。 节点规格 节点不支持跨不同的组,也不支持更换组,同一个组内所有节点的规格需要保持一致。 可用区 选择可用区。 节点个数 一个DDM实例下支持创建多个只读组,实例的总节点数不超过32个,建议每组至少2个节点。您可以单击“添加”按钮来新增节点个数。 单击“下一步”。 确认组信息无误后,单击“提交”。 组创建完成,节点信息变成组信息,在组信息模块对组进行管理。 图2 组信息 创建组之后,节点的管理、规格变更、节点扩/缩容、访问控制等操作会调整到组列表处进行管理。 创建组之后,已有的节点会被分成一个默认的读写组,主要用于主业务的读写。 创建只读组后,通过只读组的读流量会默认访问DN的只读实例,由于只读实例的数据是从DN主实例异步复制而来,可能存在可见性延迟,如果延迟超过阈值会出现访问报错。 包周期类型的DDM实例,创建组后暂不支持删除。 按需类型的DDM实例如需删除组,单击“删除”即可,删除组对应连接失效,可能会影响您的业务,请谨慎操作。读写组至少保留一个。
  • 修订记录 发布日期 修订记录 2024-04-30 第六十三次正式发布。 会话管理,“DN会话(物理)”页签支持查看多个数据节点的会话信息。 实例监控指标,DDM实例支持实例维度监控。 2024-03-31 第六十二次正式发布。 购买实例的参数说明更新如下: DDM实例名称支持下划线(_)。 2024-02-29 第六十一次正式发布。 慢查询,控制台支持导出慢日志文件。 查看逻辑库列表和逻辑表信息,控制台支持查看DDM实例逻辑库的磁盘大小。 2024-01-30 第六十次正式发布。 预检查,分片变更预检查项新增物理分表个数限制检查。 版本升级,“实例管理”页面新增“版本升级”按钮。 2023-12-30 第五十九次正式发布。 功能总览,更新功能总览列表。 创建账号,创建DDM账号支持密码有效期设置。 2023-11-30 第五十八次正式发布。 内核版本说明,新增内核版本说明。 2023-10-08 第五十七次正式发布。 会话管理,支持查看和结束会话。 2023-07-30 第五十六次正式发布。 查看逻辑库列表和逻辑表信息,新增查看逻辑库表结构。 分片变更操作指导,支持独占式分片变更方式。 2023-06-09 第五十五次正式发布。 新增事件监控。 2023-05-17 第五十四次正式发布。 MOD_HASH算法,MOD_HASH_CI算法和HASH算法增加注意事项。 2023-04-03 第五十三次正式发布。 新增实例状态。 2023-03-31 第五十二次正式发布。 新增版本升级。 新增版本回滚。 2023-02-16 第五十一次正式发布。 分片变更新增任务详情功能。 DN管理新增手动开启读写分离功能。 2023-02-01 第五十次正式发布。 数据库端口修改为DDM服务端口。 创建逻辑库增加DDM账号需创建成功的限制条件。 2023-01-17 第四十九次正式发布。 新增Online DDL。 2022-11-22 第四十八次正式发布。 新增数据库账号权限说明。 2022-11-01 第四十七次正式发布。 创建逻辑库、分片变更、备份恢复等章节添加说明内容和限制条件。 2022-09-29 第四十六次正式发布。 优化恢复到新实例和Metadata恢复章节。 2022-09-20 第四十五次正式发布。 创建逻辑库和分片变更操作指导章节增加关联数据节点状态需为只读状态的条件。 2022-08-18 第四十四次正式发布。 优化数据迁移章节。 优化支持审计的关键操作列表章节。 2022-08-16 第四十三次正式发布。 优化SQL语法章节。 2022-08-09 第四十二次正式发布。 增加备份原理章节。 优化全局序列概述章节。 2022-07-26 第四十一次正式发布。 优化读写分离与只读业务隔离章节的说明。 2022-07-05 第四十次正式发布。 分片变更章节新增特性概述,应用场景,变更评估和预检查等内容。 2022-06-16 第三十九次正式发布。 配置SQL黑名单章节新增正则匹配的说明。 2022-04-15 第三十八次正式发布。 数据迁移章节新增MySQL客户端版本为8.0时导出数据表结构mysqldump示例。 2022-04-02 第三十七次正式发布。 新增通过Hint指定分片直接执行SQL章节。 2022-03-29 第三十六次正式发布。 读写分离章节增加概述内容。 优化拆分算法概述与拆分算法使用说明。 监控指标章节增加连接数使用率。 2022-03-09 第三十五次正式发布。 监控指标页面格式调整。 2022-03-02 第三十四次正式发布。 新增一致性备份功能优化调整说明。 2022-02-28 第三十三次正式发布。 新增元数据恢复章节。 2022-02-23 第三十二次正式发布。 创建表章节增加拆分表的限制。 2022-01-27 第三十一次正式发布。 优化表迁移策略章节。 优化监控管理章节。 2022-01-21 第三十次正式发布。 新增DN管理章节。 优化分片变更章节。 2021-12-22 第二十九次正式发布。 增加关联更新说明。 新增慢查询章节。 2021-12-13 第二十八次正式发布。 增加函数使用限制。 增加关联更新说明。 2021-12-03 第二十七次正式发布。 增加一致性备份说明内容。 优化表数据重载内容。 2021-11-19 第二十六次正式发布。 新增节点重启。 修改实例监控指标。 2021-11-16 第二十五次正式发布。 修改SQL语法,增加插入和更新时的语法限制。 2021-11-10 第二十四次正式发布。 修改查看实例监控指标,增加指标英文名称。 2021-10-29 第二十三次正式发布。 新增 修改实例和组内网地址。 新增 绑定和解绑弹性公网IP 。 修改 DDL概述,父章节内容移动到子章节。 修改 不支持的DML语法列举,父章节内容移动到子章节。 修改 补充说明,父章节内容移动到子章节。 修改 全局序列概述,父章节内容移动到子章节。 2021-08-03 第二十二次正式发布。 修改创建逻辑库,增加限制说明。 修改分片变更,增加分片变更说明。 修改什么是只读业务隔离,增加创建组相关说明。 修改全局序列,增加“刷新实例所有表自增序列”命令。 2021-07-22 第二十一次正式发布。 根据界面,替换资料截图。 2021-07-16 第二十次正式发布。 新增MOD_HASH_CI算法。 修改创建逻辑库的账号规则。 细化读写分离功能的说明。 2021-07-12 第十九次正式发布。 删除DDM版本为2.3.X导出表结构和导出表数据的相关内容。 2021-06-25 第十八次正式发布。 新增修改表test全局序列的cache内容。 补充读写分离功能关于读请求的说明。 2021-06-07 第十七次正式发布。 新增访问控制章节,优化访问控制功能。 修改计算节点扩容章节,增加扩容可指定可用区的描述。 2021-05-25 第十六次正式发布。 修改12.1-监控指标,指标的描述避免使用华为内部用词,避免描述不到位、有歧义的情况。 2021-05-13 第十五次正式发布。 修改场景四:从DDM实例导出数据。 修改读写分离操作指导,关联数据库可以单击实例名称直接跳转到RDS/GaussDB(for MySQL)实例页面,替换截图。 2021-05-11 第十四次正式发布。 增加只读业务隔离。 修改变更规格、计算节点扩容、计算节点缩容入口。 2021-04-30 第十三次正式发布。 修改HINT-DB/TABLE章节,命令格式。 增加只读业务隔离章节。 2021-04-20 第十二次正式发布。 补充其他不支持语句。 2021-04-09 第十一次正式发布。 新增审计章节。 2021-03-08 第十次正式发布。 修改分片表为拆分表。 修改监控指标描述:“数据面服务Core”改成“DDM服务” 参数模板管理加入复制和应用场景 。 实例管理加入设置参数模板场景。 新增功能总览章节。 2021-01-15 第九次正式发布。 重构目录。 增加分库分表语法。 完善DDL语法。 2020-12-29 第八次正式发布。 增加全局序列。 2020-11-30 第七次正式发布 修改全局表为广播表。 新增任务中心章节。 2020-11-02 第六次正式发布 修缮了SQL兼容性部分语句的前提条件等内容。 2020-10-20 第五次正式发布 新增一致性备份、节点扩容、节点缩容、数据恢复等内容。 2020-09-10 第四次正式发布 刷新参数配置管理、增加节点缩容、数据迁移等内容。 2020-08-07 第三次正式发布 增补SQL兼容性内容、权限管理等内容。 2020-06-30 第二次正式发布。 新增平滑扩容、SQL兼容性等内容。 2020-05-30 DDM 2.0第一次正式发布。
  • 约束限制 目标DDM实例、RDS for MySQL实例所在ECS必须保证网络互通。 为了保持数据完整性,需要先停止业务后再进行数据迁移。 DDM不支持以自动新建库或者新建拆分表、广播表的方式导入数据。因此导入数据前需要先创建好相同名称的逻辑库,相同拆分表、广播表结构的逻辑表,然后再进行数据导入。各类逻辑表创建方式请参见表2。 目标DDM使用的RDS for MySQL实例与自建MySQL的MySQL版本需要保持一致。
  • 约束限制 目标DDM实例、RDS for MySQL实例所在ECS必须保证网络互通。 为了保持数据完整性,需要先停止业务后再进行数据迁移。 DDM不支持以自动新建库或者新建拆分表、广播表的方式导入数据。因此导入数据前需要先创建好相同名称的逻辑库,相同拆分表、广播表结构的逻辑表,然后再进行数据导入。各类逻辑表创建方式请参见表2。 目标DDM使用的RDS for MySQL与其他云的MySQL版本需要保持一致。
  • 示例流程 图1 授权DDM权限流程 创建用户组并授权 在IAM控制台创建用户组,并授予分布式数据库中间件权限“DDM ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择分布式数据库中间件服务,进入DDM主界面,单击右上角“购买数据库中间件实例”,尝试购买数据库中间件实例,如果无法购买数据库中间件实例(假设当前权限仅包含DDM ReadOnlyAccess),表示“DDM ReadOnlyAccess”已生效。 在“服务列表”中选择除分布式数据库中间件服务外(假设当前策略仅包含DDM ReadOnlyAccess)的任一服务,如果提示权限不足,表示“DDM ReadOnlyAccess”已生效。
共100000条