华为云用户手册

  • 存储仓简介 存储仓,简称仓,是KVS中存储和检索任意规模数据的单位。用户可以根据自己的业务系统划分,创建不同的仓。 KVS自顶向下按照仓、表、KV的结构存储数据,仓中包含至少1个或多个表,表中包含至少1个或多个KV。例如,用一张表记录某个部门所有员工的信息,每一个仓就代表一个部门。 图1 存储仓简介 KVS云服务支持创建存储仓,查询存储仓及详细信息。 表1 KVS云服务支持的存储仓相关功能 功能 描述 创建存储仓 在KVS管理控制台创建存储仓,同时创建一个表并指定索引。 查询存储仓列表 在KVS管理控制台查看存储仓列表。 查询存储仓详细信息 查看存储仓的详情。 父主题: 存储仓管理
  • 操作步骤 登录KVS管理控制台。 在KVS管理控制台左侧导航栏选择“仓”,进入存储仓列表。 单击仓名进入要插入KV的仓,单击表名进入要插入KV的表。 选择“KV信息”页签。 单击左上角的“插入KV”。 图1 “插入KV”界面 填写必选属性的属性值,即KV分区键和排序键的值。 【可选】如果您除了分区键和排序键外,还需要新增其他属性,可以单击属性表单下方的“添加KV”,自定义属性和属性值。 所有属性和属性值填写完成后,单击右下角的“确定”,完成KV插入。 查看KV列表,检查新插入的KV是否在列表中,KV存在则插入成功,KV不存在则插入失败。
  • 表简介 表是用来存储键值数据(Key-Value,简称KV)的集合,归属于某个仓。 用户可以在一个仓中创建至少1个或多个表,用来储存键值数据。例如,用一张表记录某个部门所有员工的信息,每一个表就代表一张记录所有员工信息的表。 图1 表简介 KVS云服务支持创建表,查询所有表及详细信息。 表1 KVS云服务支持的表相关功能 功能 描述 创建表 在指定存储仓创建表,同时指定索引。 查询所有表 在指定存储仓查询所有表。 查询表详细信息 在指定存储仓查看某个表的详情 父主题: 表管理
  • 操作步骤 登录KVS管理控制台。 在KVS管理控制台左侧导航栏选择“仓”,进入存储仓列表。 在仓列表中找到需要创建索引的表所在的仓,在仓对应的操作列,单击“创建表”,或者单击仓名称进入仓的详情页面,在“表信息”下单击“创建表”。 根据界面提示,配置“表详细信息”参数。 图1 “表详细信息”界面 表1 “表详细信息”参数说明 参数名称 子参数名称 描述 表详细信息 表名称 必选参数。 表的名称。表的名称长度范围为3-52个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成,且表的名称在存储仓内唯一。 分区键 必选参数。 分区键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 排序键 可选参数。 排序键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 根据界面提示,配置“二级索引”。支持创建本地二级索引或全局二级索引。 单击“创建本地二级索引”,配置参数信息如表2所示。确认配置信息后单击“确定”。 图2 “创建本地二级索引”界面 表2 “创建本地二级索引”参数说明 参数名称 子参数名称 描述 创建本地二级索引 名称 必选参数。 本地二级索引的名称。名称的长度范围为1-255个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”、“.”组成。名称不支持设置为“XPriIndex”。 排序键 必选参数。 排序键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 摘要 可选参数。 本地二级索引的概述。支持创建多个摘要。摘要的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。首字母不支持设置为“_”。 单击“创建全局二级索引”,配置参数信息如表3所示。确认配置信息后单击“确定”。 图3 “创建全局二级索引”界面 表3 “创建全局二级索引”参数说明 参数名称 子参数名称 描述 创建全局二级索引 名称 必选参数。 本地全局索引的名称。名称的长度范围为1-255个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”、“.”组成。名称不支持设置为“XPriIndex”。 分区键 必选参数。 分区键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 排序键 可选参数。 排序键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 摘要 可选参数。 全局二级索引的概述。支持创建多个摘要。摘要的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。首字母不支持设置为“_”。 信息设置完成后,单击“确定”。
  • 操作步骤 登录KVS管理控制台。 在KVS管理控制台左侧导航栏选择“仓”,进入存储仓列表。 在仓列表中找到需要删除索引的表所在的仓,在仓对应的操作列,单击“创建表”,或者单击仓名称进入仓的详情页面,在“表信息”下单击“创建表”。 根据界面提示,配置“表详细信息”参数。 图1 “表详细信息”界面 表1 “表详细信息”参数说明 参数名称 子参数名称 描述 表详细信息 表名称 必选参数。 表的名称。表的名称长度范围为3-52个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成,且表的名称在存储仓内唯一。 分区键 必选参数。 分区键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 排序键 可选参数。 排序键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 根据界面提示,配置“二级索引”。支持创建本地二级索引或全局二级索引。 单击“创建本地二级索引”,配置参数信息如表2所示。确认配置信息后单击“确定”。 图2 “创建本地二级索引”界面 表2 “创建本地二级索引”参数说明 参数名称 子参数名称 描述 创建本地二级索引 名称 必选参数。 本地二级索引的名称。名称的长度范围为1-255个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”、“.”组成。名称不支持设置为“XPriIndex”。 排序键 必选参数。 排序键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 摘要 可选参数。 本地二级索引的概述。支持创建多个摘要。摘要的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。首字母不支持设置为“_”。 单击“创建全局二级索引”,配置参数信息如表3所示。确认配置信息后单击“确定”。 图3 “创建全局二级索引”界面 表3 “创建全局二级索引”参数说明 参数名称 子参数名称 描述 创建全局二级索引 名称 必选参数。 本地全局索引的名称。名称的长度范围为1-255个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”、“.”组成。名称不支持设置为“XPriIndex”。 分区键 必选参数。 分区键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 排序键 可选参数。 排序键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 摘要 可选参数。 全局二级索引的概述。支持创建多个摘要。摘要的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。首字母不支持设置为“_”。 在“二级索引”区域,单击二级索引操作列的“删除”,即可删除已创建的本地二级索引或全局二级索引。 图4 删除索引
  • 约束与限制 存储仓的名称长度范围为16-52个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”组成,“-”不能出现在名字头部或尾部。仓名称全域唯一,不同租户的仓名不能相同。存储仓的命名规范为{用户自定义前缀}-{当前控制台所在区域的区域名}-{账号ID} ,例如:exampleprefix-cn-north-4-exampledomainid。 为存储仓命名时字母大小写不敏感。例如,KVS已存在存储仓exampleprefix-cn-north-4-exampledomainid,如果您再创建存储仓Exampleprefix-cn-north-4-exampledomainid,系统会认定为同一种仓名,导致创建存储仓失败。 单个账号支持创建的存储仓数量不超过25个。
  • 操作步骤 进入KVS管理控制台。 在KVS管理控制台左侧导航栏选择“仓”。 在页面右上角单击“创建仓”。 根据界面提示,配置“仓详细信息”参数,如表1所示。 图1 “仓详细信息”界面 表1 “仓详细信息”参数说明 参数名称 子参数名称 描述 仓详细信息 仓名称 必选参数。 存储仓的名称。存储仓的名称长度范围为16-52个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”组成,“-”不能出现在名字头部或尾部。仓名称全域唯一,不同租户的仓名不能相同。 存储仓的命名规范为{用户自定义前缀}-{当前控制台所在区域的区域名}-{账号ID} 。 须知: 区域名和账号ID为仓名称的固定部分,用户只需填写自定义前缀部分。 根据界面提示,配置“表详细信息”参数,如表2所示。 图2 “表详细信息”界面 表2 “表详细信息”参数说明 参数名称 子参数名称 描述 表详细信息 表名称 必选参数。 表的名称。表的名称长度范围为3-52个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成,且表名称在存储仓内唯一。 分区键 必选参数。 分区键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 排序键 可选参数。 排序键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 根据界面提示,配置“二级索引”。支持创建本地二级索引和全局二级索引。 单击“创建本地二级索引”,配置参数信息如表3所示。确认配置信息后单击“确定”。 图3 “创建本地二级索引”界面 表3 “创建本地二级索引”参数说明 参数名称 子参数名称 描述 创建本地二级索引 名称 必选参数。 本地二级索引的名称。名称的长度范围为1-255个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”、“.”组成。名称不支持设置为“XPriIndex”。 排序键 必选参数。 排序键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。首字母不支持设置为“_”。 摘要 可选参数。 本地二级索引的概述。支持创建多个摘要。摘要的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 单击“创建全局二级索引”,配置参数信息如表4所示。确认配置信息后单击“确定”。 图4 “创建全局二级索引”界面 表4 “创建全局二级索引”参数说明 参数名称 子参数名称 描述 创建全局二级索引 名称 必选参数。 全局二级索引的名称。名称的长度范围为1-255个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”、“.”组成。名称不支持设置为“XPriIndex”。 分区键 必选参数。 分区键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 排序键 可选参数。 排序键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 摘要 可选参数。 全局二级索引的概述。支持创建多个摘要。摘要的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。首字母不支持设置为“_”。 信息设置完成后,单击“确定”。
  • 操作步骤 登录KVS管理控制台。 在KVS管理控制台左侧导航栏选择“仓”,进入存储仓列表。 在仓列表中找到需要创建表的仓,在仓对应的操作列,单击“创建表”,或者单击仓名称进入仓的详情页面,在“表信息”下单击“创建表”。 根据界面提示,配置“表详细信息”参数。 图1 “表详细信息”界面 表1 “表详细信息”参数说明 参数名称 子参数名称 描述 表详细信息 表名称 必选参数。 表的名称。表的名称长度范围为3-52个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成,且表的名称在存储仓内唯一。 分区键 必选参数。 分区键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 排序键 可选参数。 排序键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 根据界面提示,配置“二级索引”。支持创建本地二级索引或全局二级索引。 单击“创建本地二级索引”,配置参数信息如表2所示。确认配置信息后单击“确定”。 图2 “创建本地二级索引”界面 表2 “创建本地二级索引”参数说明 参数名称 子参数名称 描述 创建本地二级索引 名称 必选参数。 本地二级索引的名称。名称的长度范围为1-255个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”、“.”组成。名称不支持设置为“XPriIndex”。 排序键 必选参数。 排序键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 摘要 可选参数。 本地二级索引的概述。支持创建多个摘要。摘要的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。首字母不支持设置为“_”。 单击“创建全局二级索引”,配置参数信息如表3所示。确认配置信息后单击“确定”。 图3 “创建全局二级索引”界面 表3 “创建全局二级索引”参数说明 参数名称 子参数名称 描述 创建全局二级索引 名称 必选参数。 本地全局索引的名称。名称的长度范围为1-255个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”、“.”组成。名称不支持设置为“XPriIndex”。 分区键 必选参数。 分区键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 排序键 可选参数。 排序键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 摘要 可选参数。 全局二级索引的概述。支持创建多个摘要。摘要的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。首字母不支持设置为“_”。 信息设置完成后,单击“确定”。
  • 操作步骤 登录KVS管理控制台。 在KVS管理控制台左侧导航栏选择“仓”,进入存储仓列表。 单击仓名进入要插入KV的仓,单击表名进入要插入KV的表。 选择“KV信息”页签。 单击左上角的“插入KV”。 图1 “插入KV”界面 填写必选属性的属性值,即KV分区键和排序键的值。 【可选】如果您除了分区键和排序键外,还需要新增其他属性,可以单击属性表单下方的“添加KV”,自定义属性和属性值。 所有属性和属性值填写完成后,单击右下角的“确定”,完成KV插入。 查看KV列表,检查新插入的KV是否在列表中,KV存在则插入成功,KV不存在则插入失败。
  • 约束与限制 存储仓的名称长度范围为16-52个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”组成,“-”不能出现在名字头部或尾部。仓名称全域唯一,不同租户的仓名不能相同。存储仓的命名规范为{用户自定义前缀}-{当前控制台所在区域的区域名}-{账号ID} ,例如:exampleprefix-cn-north-4-exampledomainid。 为存储仓命名时字母大小写不敏感。例如,KVS已存在存储仓exampleprefix-cn-north-4-exampledomainid,如果您再创建存储仓Exampleprefix-cn-north-4-exampledomainid,系统会认定为同一种仓名,导致创建存储仓失败。 单个账号支持创建的存储仓数量不超过25个。
  • 操作步骤 进入KVS管理控制台。 在KVS管理控制台左侧导航栏选择“仓”。 在页面右上角单击“创建仓”。 根据界面提示,配置“仓详细信息”参数,如表1所示。 图1 “仓详细信息”界面 表1 “仓详细信息”参数说明 参数名称 子参数名称 描述 仓详细信息 仓名称 必选参数。 存储仓的名称。存储仓的名称长度范围为16-52个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”组成,“-”不能出现在名字头部或尾部。仓名称全域唯一,不同租户的仓名不能相同。 存储仓的命名规范为{用户自定义前缀}-{当前控制台所在区域的区域名}-{账号ID} 。 须知: 区域名和账号ID为仓名称的固定部分,用户只需填写自定义前缀部分。 根据界面提示,配置“表详细信息”参数,如表2所示。 图2 “表详细信息”界面 表2 “表详细信息”参数说明 参数名称 子参数名称 描述 表详细信息 表名称 必选参数。 表的名称。表的名称长度范围为3-52个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成,且表名称在存储仓内唯一。 分区键 必选参数。 分区键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 排序键 可选参数。 排序键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 根据界面提示,配置“二级索引”。支持创建本地二级索引和全局二级索引。 单击“创建本地二级索引”,配置参数信息如表3所示。确认配置信息后单击“确定”。 图3 “创建本地二级索引”界面 表3 “创建本地二级索引”参数说明 参数名称 子参数名称 描述 创建本地二级索引 名称 必选参数。 本地二级索引的名称。名称的长度范围为1-255个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”、“.”组成。名称不支持设置为“XPriIndex”。 排序键 必选参数。 排序键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。首字母不支持设置为“_”。 摘要 可选参数。 本地二级索引的概述。支持创建多个摘要。摘要的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 单击“创建全局二级索引”,配置参数信息如表4所示。确认配置信息后单击“确定”。 图4 “创建全局二级索引”界面 表4 “创建全局二级索引”参数说明 参数名称 子参数名称 描述 创建全局二级索引 名称 必选参数。 全局二级索引的名称。名称的长度范围为1-255个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”、“.”组成。名称不支持设置为“XPriIndex”。 分区键 必选参数。 分区键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 排序键 可选参数。 排序键的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。 首字母不支持设置为“_”。 摘要 可选参数。 全局二级索引的概述。支持创建多个摘要。摘要的长度范围为1-63个字符,由数字0-9、字符a-z、A-Z,及特殊符“-”、“_”组成。首字母不支持设置为“_”。 信息设置完成后,单击“确定”。
  • 如何选择区域? 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。 在除中国大陆以外的亚太地区有业务的用户,可以选择“中国-香港”、“亚太-曼谷”或“亚太-新加坡”区域。 在非洲地区有业务的用户,可以选择“非洲-约翰内斯堡”区域。 在拉丁美洲地区有业务的用户,可以选择“拉美-圣地亚哥”区域。 “拉美-圣地亚哥”区域位于智利。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。
  • 责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。华为云租户的安全责任在于对使用的 IaaS、PaaS 和 SaaS 类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API 网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题: 安全
  • IAM身份认证 用户访问KVS的方式有多种,包括KVS控制台、API、SDK,无论访问方式封装成何种形式,其本质都是通过KVS提供的REST风格的API接口进行请求。 KVS的接口支持认证请求。经过认证的请求总是需要包含一个签名值,该签名值以请求者的访问密钥(AK/SK)作为加密因子,结合请求体携带的特定信息计算而成。通过访问密钥(AK/SK)认证方式进行认证鉴权,即使用Access Key ID(AK)/Secret Access Key(SK)加密的方法来验证某个请求发送者身份。关于访问密钥的详细介绍及获取方式,请参见访问密钥(AK/SK)。
  • 产品优势 Serverless云存储 无需购买计算资源且无需预置资源,完全托管,简单易用,为您节省运维成本,拥有云账号即可实现键值的存取。 存储结构灵活 支持BSON格式数据类型,原生数据格式无需字符串转换,数据处理更高效,且支持多数据类型字段自由组合。 数据读写效率高 支持本地二级索引和全局二级索引,提升检索效率; 支持前缀遍历,提升遍历效率。 数据高可用 提供区域内多可用区的同步读写,任一可用区故障均不影响业务; 提供多可用区的高可用集群,数据存储在多个可用区,任一可用区故障均不影响业务,数据可用性达99.99%,数据持久度达99.9999999999%。 数据安全可靠 KVS的传输链路支持HTTPS加密传输,TLS加密套件优先使用高安全加密算法; 支持KMS数据加密功能,消除在保护敏感数据时涉及的操作负担和复杂性。 弹性扩展无上限 用户表的数据规模可以无限扩展,访问流量可以自动扩展,且自动满足业务高峰低谷访问的弹性需求。 权限控制方式多 提供公网访问能力,对云内云外每个请求进行签名认证; 系统还会对用户进行运营权限检查。
  • 产品功能 表1列出了KVS提供的主要功能特性。 表1 KVS功能概览 功能名称 功能描述 存储仓管理 存储仓是用来存储表数据的单元。用户可以根据自己的业务系统划分,创建不同的仓。支持创建、查询存储仓。 表管理 表是用来存储键值数据的集合,归属于某个仓。用户可以在一个仓中创建一个或多个表,用来储存键值数据。支持创建、查询表。 KV管理 KV是表的最小存储粒度,提供键到值的映射。KV数据存储在表中。支持插入、更新、删除、查询KV数据。 索引管理 索引是用来辅助查询表中的KV数据,能够加速键值检索,准确访问键值数据。KVS提供本地二级索引和全局二级索引。支持创建、查询、删除索引。
  • 计费场景 某游戏公司需要存储名下一款游戏的用户信息、排行榜、装备、游戏状态等数据,于是该游戏公司在2024/04/30 8:00:00在华北-北京四区域创建了一个存储仓exampleprefix-cn-north-4-exampledomainid,并在这个存储仓下创建了一张exampletable KVS表。在创建表后,8:00:00~9:00:00 exampletable数据总量为20GB,上传请求产生2百万WRU;9:00:00~10:00:00无任何请求操作。10:00:00~11:00:00 exampletable数据总量为15GB,更新请求产生了1百万RRU。11:00:00~12:00:00,查询请求产生1百万RRU,数据总量不变。那么,该游戏公司在8:00:00~12:00:00之间需要支付多少费用?
  • 计费构成分析 基于此案例,可详细计算出该用户的消费情况。 创建存储仓、创建表等操作不产生费用。 以下示例中出现的费用价格仅供参考。 表1 费用构成及计费过程 时间 用户操作 涉及计费项 单价 计费量 费用 8:00:00~9:00:00 创建存储仓 / / / 0元 创建表 / / / 0元 存储数据 标准型容量 0.00291666元/GB 20GB 0.00291666元/GB×20GB=0.0583332元 上传请求 标准型写入请求 10.60元/百万WRU 2百万WRU 2百万WRU×10.60元/百万WRU=21.20元 9:00:00~10:00:00 无 标准型容量 0.00291666元/GB 20GB 0.00291666元/GB×20GB=0.0583332元 10:00:00~11:00:00 存储数据 标准型容量 0.00291666元/GB 15GB 0.00291666元/GB×15GB=0.0437499元 更新请求 标准型写入请求 10.60元/百万WRU 1百万WRU 1百万WRU×10.60元/百万WRU=10.60元 11:00:00~12:00:00 存储数据 标准型容量 0.00291666元/GB 15GB 0.00291666元/GB×15GB=0.0437499元 查询请求 标准型读取请求 2.10元/百万RRU 1百万WRU 1百万RRU×2.10元/百万RRU=2.10元 合计 / / / / 34.1041662元 综上所述,该游戏公司在8:00:00~12:00:00之间需要支付34.1041662元费用。
  • 计费示例 以下示例中出现的费用价格仅供参考。 假设某用户有一张exampletable KVS表,2024年4月30日8:00:00~9:00:00,查询请求产生1百万RRU;2024年4月30日9:00:00~10:00:00,上传请求产生2百万WRU。那么,该用户在8:00:00~10:00:00之间需要支付多少请求费用?请求费用构成及计费过程如下表所示: 表2 请求费用构成及计费过程 时间 用户操作 涉及计费项 单价 计费量 费用 8:00:00~9:00:00 查询请求 标准型读取请求 2.10元/百万RRU 1百万WRU 1百万RRU×2.10元/百万RRU=2.10元 9:00:00~10:00:00 上传请求 标准型写入请求 10.60元/百万WRU 2百万WRU 2百万WRU×10.60元/百万WRU=21.20元 合计 / / / / 23.30元 综上所述,该用户在8:00:00~10:00:00之间需要支付23.30元请求费用。
  • 计费说明 表1 请求费用说明 资费项 计费项 含义 适用的计费模式 请求费用 标准型写入请求 将数据写入表的请求计量,包括put-kv(上传单个kv)、update-kv(更新单个kv)、delete-kv(删除单个kv)、batch-write-kv(批量写请求) 等。 按需计费 标准型读取请求 从表读取数据的请求计量,包括get-kv(查询单个kv)、scan-kv(扫描所有kv)、scan-skey-kv(扫描分区键内kv)等。
  • 计费示例 以下示例中出现的费用价格仅供参考。 假设某用户有一张exampletable KVS表,2024年4月30日8:00:00~9:00:00 exampletable数据总量为10GB;2024年4月30日9:00:00~10:00:00,exampletable数据总量为10.1GB。那么,该用户在8:00:00~10:00:00之间需要支付多少存储费用?存储费用构成及计费过程如下表所示: 表2 存储费用构成及计费过程 时间 用户操作 涉及计费项 单价 计费量 费用 8:00:00~9:00:00 存储数据 标准型容量 0.00291666元/GB 10GB 0.00291666元/GB×10GB=0.0291666元 9:00:00~10:00:00 存储数据 标准型容量 0.00291666元/GB 10.1GB 0.00291666元/GB×10.1GB=0.029458266元 合计 / / / / 0.058624866元 综上所述,该用户在8:00:00~10:00:00之间需要支付0.058624866元存储费用。
  • 核对资源用量是否与实际相符 在费用中心界面,标准型写入请求的使用量单位“百万WRU”展示为“百万次”,标准型读取请求的使用量单位“百万RRU”展示为“百万次”。 假设某用户有一张exampletable KVS表,2024年4月30日8:00:00~9:00:00 exampletable数据总量为10GB,无请求操作;2024年4月30日9:00:00~10:00:00,上传一个KV产生了10WRU。 KVS流水账单 KVS表按小时计费,每一个小时整点结算一次费用,您可以在流水账单中核对每一个计费周期的信息是否和实际相符,具体如表1所示。 表1 KVS流水账单 产品类型 键值存储服务 KVS 产品 键值存储服务 计费模式 按需 消费时间 2024/04/30 8:00:00~2024/04/30 10:00:00时段计费系统将生成3笔流水账单,对应下方的计费周期,分别如下: 2024/04/30 8:00:00~2024/04/30 9:00:00 2024/04/30 9:00:00~2024/04/30 10:00:00 官网价 存储费用的计算公式为(按每小时结算):费用=实际资源存储容量(GB)×官网单价(元) 本例中,在第一个计费周期内表的实际资源存储容量为10GB,以标准型容量单价为0.00291666元/GB为例,那么官网价=0.00291666元/GB×10GB=0.0291666元。同理,您可以计算剩余计费周期内资源的官网价。 优惠金额 用户使用云服务享受折扣优惠如商务折扣、伙伴授予折扣以及促销优惠等减免的金额。基于官网价的优惠金额。 抹零金额 华为云产品定价精度为小数点后8位(单位:元),因此在计费过程中会产生小数点后8位的资源使用费用。而在实际扣费时,仅扣除到小数点后2位,小数点后第3位到第8位部分金额会被舍弃,这种舍弃部分的金额称作抹零金额。 以第一个计费周期为例,抹零金额为:0.0091666元 应付金额 应付金额=官网价-优惠金额-抹零金额 以第一个计费周期为例,假设优惠金额为0,那么应付金额=0.0291666-0.0091666元=0.02元 KVS明细账单 明细账单可以通过多维度展示客户账单的详细信息。一般通过设置统计维度为“按使用量”,统计周期为“按账期”来统计资源在某个月份的总开销,建议您核对表2所示的信息是否和实际相符。 表2 KVS明细账单 产品类型 键值存储服务 KVS 产品 键值存储服务 计费模式 按需 资源名称/ID 存储仓和表的ID 例如:exampleprefix-cn-north-4-exampledomainid,exampletable 规格 KVS表的容量 本例为10GB(以第一个计费周期为例) 使用量类型 标准型容量(以第一个计费周期为例) 单价 按需计费KVS表属于简单定价。 以0.00291666为例 单价单位 元/GB(以第一个计费周期为例) 使用量 按产品单价单位显示使用量,表的标准型容量单价单位为元/GB,因此使用量以GB为单位。本例中,2024/04/30 10:09:06 ~ 2024/04/30 11:00:00时段总计使用量为10GB。 使用量单位 GB(以第一个计费周期为例) 官网价 存储费用的计算公式为(按每小时结算):费用=实际资源存储容量(GB)×官网单价(元) 本例中,在第一个计费周期内,使用量为10GB,以标准型容量单价为0.00291666元/GB为例,那么官网价=10×0.00291666=0.0291666元。同理,您可以计算剩余计费周期内资源的官网价。 优惠金额 用户使用云服务享受折扣优惠如商务折扣、伙伴授予折扣以及促销优惠等减免的金额。基于官网价的优惠金额。 应付金额 用户使用云服务享受折扣优惠后需要支付的费用金额。
  • 约束与限制 使用工业软件SaaS服务中心时,您需注意以下限制: 表1 工业软件SaaS服务中心使用限制 功能模块 约束与限制 工业软件SaaS服务中心企业管理业务面 华为账号最多可以创建5个组织,每个组织下默认最多可以添加和邀请共200个成员。 部门最大层级不超过5级,一个组织最多可以有999个部门。 协同平台 协同空间初始容量为50GB,每次最大可扩容50GB。 协同空间人员总容量默认为500人。 协同空间数量限制不超过50个。 协同空间封面大小限制在2MB内,支持jpg、jpeg、png、bmp格式。 协同空间上传的文件大小限制不超过10GB。 ISCDesk客户端 支持Windows系统,Windows 10及以上版本。 最低硬件配置:CPU i5 四核 2.4GHZ,内存8G。 推荐硬件配置:CPU Intel i7 四核 3.0GHZ及以上,内存8GB及以上。 屏幕分辨率支持1680*1050、1920*1080和2560*1440。 父主题: 工业软件SaaS服务中心简介
  • 步骤二:数据迁移 配置CDM数据源连接。 配置源端MRS Kafka的数据源连接。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在作业管理界面,选择“连接管理”,单击“新建连接”,连接器类型选择“MRS Kafka”,单击“下一步”。 图2 创建MRS Kafka数据源 配置源端MRS Kafka的数据源连接,具体参数配置如下。 表1 MRS Kafka数据源配置 参数 值 名称 自定义MRS Kafka数据源名称。例如当前配置为“source_kafka”。 Manager IP 单击输入框旁边的“选择”按钮,选择当前MRS Kafka集群即可自动关联出来Manager IP。 用户名 在2中创建的MRS Kafka用户名。 密码 对应MRS Kafka用户名的密码。 认证类型 如果当前MRS集群为普通集群则选择为SIMPLE,如果是MRS集群启用了Kerberos安全认证则选择为KERBEROS。 本示例选择为:KERBEROS。 更多参数的详细说明可以参考CDM上配置Kafka连接。 图3 CDM配置MRS Kafka数据源连接 单击“保存”完成MRS Kafka数据源配置。 配置目的端DLI的数据源连接。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在作业管理界面,选择“连接管理”,单击“新建连接”,连接器类型选择“数据湖探索(DLI)”,单击“下一步”。 图4 创建DLI数据源连接 配置目的端DLI数据源连接连接参数。具体参数配置可以参考在CDM上配置DLI连接。 图5 配置DLI数据源连接参数 配置完成后,单击“保存”完成DLI数据源配置。 创建CDM迁移作业。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在“作业管理”界面,选择“表/文件迁移”,单击“新建作业”。 在新建作业界面,配置当前作业配置信息,具体参数参考如下: 图6 新建CDM作业作业配置 作业名称:自定义数据迁移的作业名称。例如,当前定义为:test。 源端作业配置,具体参考如下: 表2 源端作业配置 参数名 参数值 源连接名称 选择1.a中已创建的数据源名称。 Topics 选择MRS Kafka待迁移的Topic名称,支持单个或多个Topic。当前示例为:kafkatopic。 数据格式 根据实际情况选择当前消息格式。本示例选择为:CDC(DRS_JSON),以DRS_JSON格式解析源数据。 偏移量参数 从Kafka拉取数据时的初始偏移量。本示例当前选择为:最新。 最新:最大偏移量,即拉取最新的数据。 最早:最小偏移量,即拉取最早的数据。 已提交:拉取已提交的数据。 时间范围:拉取时间范围内的数据。 是否持久运行 用户自定义是否永久运行。当前示例选择为:否。 拉取数据超时时间 持续拉取数据多长时间超时,单位分钟。当前示例配置为:15。 等待时间 可选参数,超出等待时间还是无法读取到数据,则不再读取数据,单位秒。当前示例不配置该参数。 消费组ID 用户指定消费组ID。当前使用MRS Kafka默认的消息组ID:“example-group1”。 其他参数的详细配置说明可以参考:CDM配置Kafka源端参数。 目的端作业配置,具体参考如下: 表3 目的端作业配置 参数名 参数值 目的连接名称 选择1.b已创建的DLI数据源连接。 资源队列 选择已创建的DLI SQL类型的队列。 数据库名称 选择DLI下已创建的数据库。当前示例为在DLI上创建数据库和表中创建的数据库名,即为“testdb”。 表名 选择DLI下已创建的表名。当前示例为在DLI上创建数据库和表中创建的表名,即为“testdlitable”。 导入前清空数据 选择导入前是否清空目的表的数据。当前示例选择为“否”。 如果设置为是,任务启动前会清除目标表中数据。 详细的参数配置可以参考:CDM配置DLI目的端参数。 单击“下一步”,进入到字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。 图7 字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 图8 迁移作业进度和结果查询
  • 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。 已创建包含Kafka组件的MRS安全集群。具体创建MRS集群的操作可以参考创建MRS集群。 本示例创建的MRS集群版本为:MRS 3.1.0。 本示例创建的MRS集群开启了Kerberos认证。 已创建CDM迁移集群。创建CDM集群的操作可以参考创建CDM集群。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 数据源为云上的MRS、DWS时,网络互通需满足如下条件: i. CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ii. CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 iii. 此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。 本示例CDM集群的虚拟私有云、子网以及安全组和创建的MRS集群保持一致。
  • 操作步骤 在永洪SaaS生产环境主页,单击左侧导航栏中的“创建数据集”,请参见图1。 图1 创建数据集 在“数据集类型”页面中,选择创建“SQL数据集”,请参见图2。 图2 创建SQL数据集 在“创建数据集”页面中,左侧“数据源”栏选择已添加的DLI数据源,请参见图3。 图3 选择数据源 左侧“表”栏中点击右键,刷新表,将列出所有数据库及数据库下面的数据表(这是添加数据源时,“表结构模式”没有配置时的情况),请参见图4。 图4 刷新数据表 在左侧“SQL语句”栏中执行表查询命令”select * from table_name“,点击“刷新元数据”,再单击右侧“预览数据”栏下左侧的“预览元数据”,可查询出该表的元数据(包括字段,字段类型等),请参见图5。 图5 查询数据表 单击右侧“预览数据”栏下右侧的“数据细节”,可查询出该表的数据,请参见图6。 图6 查询数据表数据 在“创建数据集”页面工具栏中单击“保存”,完成创建数据集。
  • 步骤二:数据迁移 配置CDM数据源连接。 创建源端DWS数据库的连接。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在作业管理界面,选择“连接管理”,单击“新建连接”,连接器类型选择“数据仓库服务(DWS)”,单击“下一步”。 配置连接DWS的数据源连接参数,具体参数配置如下。 表1 DWS数据源配置 参数 值 名称 自定义DWS数据源名称。例如当前配置为:source_dws。 数据库服务器 单击输入框旁边的“选择”按钮,选择当前已创建的DWS集群名称。 端口 DWS数据库的端口,默认为:8000。 数据库名称 当前需要迁移的DWS数据库名称。当前示例为DWS集群上创建数据库和表中创建的数据库“testdwsdb”。 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 本示例使用创建DWS数据库实例的默认管理员用户“dbadmin”。 密码 对应的DWS数据库用户的密码。 图2 CDM配置DWS数据源 其他更多参数保持默认即可,如果需要了解更多参数说明,可以参考配置关系数据库连接。单击“保存”完成DWS数据源连接配置。 创建目的端DLI数据源的连接。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在作业管理界面,选择“连接管理”,单击“新建连接”,连接器类型选择“数据湖探索(DLI)”,单击“下一步”。 图3 创建DLI数据源连接 配置目的端DLI数据源连接。具体参数配置可以参考在CDM上配置DLI连接。 图4 创建DLI数据源连接 配置完成后,单击“保存”完成DLI数据源配置。 创建CDM迁移作业。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在“作业管理”界面,选择“表/文件迁移”,单击“新建作业”。 在新建作业界面,配置当前作业配置信息,具体参数参考如下: 图5 CDM数据迁移作业配置 作业名称:自定义数据迁移的作业名称。例如,当前定义为:test。 源端作业配置,具体参考如下: 表2 源端作业配置 参数名 参数值 源连接名称 选择1.a中已创建的数据源名称。 使用SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 本示例当前选择为“否”。 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 本示例因为DWS集群上创建数据库和表中没有创建SCHEMA,则本参数为默认的“public”。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 说明: 该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *SCHEMA表示导出所有以“SCHEMA”结尾的数据库。 *SCHEMA*表示数据库名称中只要有“SCHEMA”字符串,就全部导出。 表名 待迁移的DWS数据表名。当前为DWS集群上创建数据库和表中的“table1”表。 更多详细参数配置请参考配置关系数据库源端参数。 目的端作业参数配置,具体参考如下: 表3 目的端作业配置 参数名 参数值 目的连接名称 选择已创建的DLI数据源连接。 资源队列 选择已创建的DLI SQL类型的队列。 数据库名称 选择DLI下已创建的数据库。当前示例为在DLI上创建数据库和表创建的数据库名,即为“testdb”。 表名 选择DLI下已创建的表名。当前示例为在DLI上创建数据库和表创建的表名,即为“tabletest”。 导入前清空数据 选择导入前是否清空目的表的数据。当前示例选择为“否”。 如果设置为是,任务启动前会清除目标表中数据。 详细的参数配置可以参考:CDM配置DLI目的端参数。 单击“下一步”,进入到字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。 图6 字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 图7 迁移作业进度和结果查询
  • 步骤一:数据准备 DWS集群上创建数据库和表。 参考使用gsql命令行客户端连接DWS集群连接已创建的DWS集群。 执行以下命令连接DWS集群的默认数据库“gaussdb”: gsql -d gaussdb -h DWS集群连接地址 -U dbadmin -p 8000 -W password -r gaussdb:DWS集群默认数据库。 DWS集群连接地址:请参见获取集群连接地址进行获取。如果通过公网地址连接,请指定为集群“公网访问地址”或“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 dbadmin:创建集群时设置的默认管理员用户名。 -W:默认管理员用户的密码。 在命令行窗口输入以下命令创建数据库“testdwsdb”。 CREATE DATABASE testdwsdb; 执行以下命令,退出gaussdb数据库,连接新创建的数据库“testdwsdb”。 \q gsql -d testdwsdb -h DWS集群连接地址 -U dbadmin -p 8000 -W password -r 执行以下命令创建表并插入数据。 创建表: CREATE TABLE table1(id int, a char(6), b varchar(6),c varchar(6)) ; 插入表数据: INSERT INTO table1 VALUES(1,'123','456','789'); INSERT INTO table1 VALUES(2,'abc','efg','hif'); 查询表数据确认数据插入成功。 select * from table1; 图1 查询表数据 在DLI上创建数据库和表。 登录DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库,例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。 create database testdb; 在“SQL编辑器”中,数据库选择“testdb”,执行以下建表语句创建数据库下的表。详细的DLI建表语法可以参考创建DLI表。 create table tabletest(id INT, name1 string, name2 string, name3 string);
  • 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。 已创建数据仓库服务DWS集群。具体创建DWS集群的操作可以参考创建DWS集群。 已创建CDM迁移集群。创建CDM集群的操作可以参考创建CDM集群。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 数据源为云上的DWS、MRS等服务时,网络互通需满足如下条件: i. CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ii. CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 iii. 此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。 本示例CDM集群的虚拟私有云、子网以及安全组和DWS集群保持一致。
  • 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。 已创建云数据库RDS的MySQL的数据库实例。具体创建RDS集群的操作可以参考创建RDS MySQL数据库实例。 本示例RDS数据库引擎:MySQL 本示例RDS MySQL数据库版本:5.7。 已创建CDM迁移集群。创建CDM集群的操作可以参考创建CDM集群。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 数据源为云上服务RDS、MRS时,网络互通需满足如下条件: i. CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ii. CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 iii. 此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。 本示例CDM集群的虚拟私有云、子网以及安全组和RDS MySQL实例保持一致。
共100000条