华为云用户手册

  • 发布数据集 标注完成后,其标注信息还未存储在OBS中,无法直接应用于模型训练。需要执行数据集发布操作,将当前数据集数据存档。 在数据标注页面,完成标注后,单击左上角“返回数据标注预览”。界面将提示您保存标注数据,单击“确定”保存即可。 在数据详情页面,单击左上角“返回数据集概览”,进入概览页。 在概览页,单击右上角“发布”。 在弹出的对话框中,默认预置了版本名称,从V001开始逐一递增。您也可以根据业务所需,设置“版本名称”。单击“确定”完成发布操作。 图4 发布数据集
  • 准备工作 在使用 ModelArts进行开发前,需先完成如下准备工作。如果已完成,跳过此步骤。 注册华为帐号并开通华为云。 完成实名认证。 登录ModelArts管理控制台,左上角选择使用区域(例如,华北-北京四),使用委托完成访问授权。 在左上角服务列表中,选择对象存储服务,进入OBS管理控制台。创建1个OBS桶用于存储数据。 创建桶时,“区域”选择需与上一步骤相同,“数据冗余存储策略”选择“单AZ存储”,其他参数使用默认值。
  • 下载样例数据集 本教程的样例数据集存储在AI Gallery中,共9个短视频。如果您熟悉AI Gallery操作,可直接前往AI Gallery搜索并下载“traffic”数据集。如果不熟悉操作,请参见如下详细步骤。 单击traffic进入数据集下载页面。 单击“下载”。 选择云服务区域:本案例中选择“华北-北京四”,按照您的实际使用区域选择,同时请确保您的OBS区域与您选择的云服务区域为同一区域。 在“下载详情”页面,填写参数。 下载方式:ModelArts数据集 目标区域:华北-北京四,目标区域须与准备工作中选择的云服务区域保持一致。 数据类型:视频 数据集输出位置:选择您的OBS路径下的空目录,用来存放输出的数据标注的相关信息,如版本发布生成的Manifest文件等。且此目录不能与输入位置一致,也不能为输入位置的子目录。 数据集输入位置:选择您的OBS路径。用来存放源数据集信息。 名称:创建数据集名称,为方便后续创建物体检测项目选择对应的数据集,建议您的数据集名称具有可识别性。 描述:描述数据集详细信息。 图1 下载详情 单击“确定”,开始下载数据集至目标位置。 系统页面将自动跳转至“我的数据”页面,在“我的下载”页签下,可查看对应数据集的下载进度。数据集下载需要几分钟到十几分钟时间,请耐心等待。
  • 准备工作 在使用 ModelArts进行开发前,需先完成如下准备工作。如果已完成,跳过此步骤。 注册华为帐号并开通华为云。 完成实名认证。 登录ModelArts管理控制台,左上角选择使用区域(例如,华北-北京四),使用委托完成访问授权。 在左上角服务列表中,选择对象存储服务,进入OBS管理控制台。创建1个OBS桶用于存储数据。 创建桶时,“区域”选择需与上一步骤相同,“数据冗余存储策略”选择“单AZ存储”,其他参数使用默认值。
  • 后续操作 针对发布后的数据集,您可以订阅AI Gallery中的预置算法,也可自己开发算法,在ModelArts管理控制台中创建训练作业,得到模型。 本教程不详细介绍如何创建训练作业,建议您参考其他教程学习。下述教程一般以图像分类的数据作为示例,如需开发图像分割的模型,将数据和算法均替换为图像分割类型即可。 使用预置算法训练模型:使用订阅算法构建模型实现花卉识别 使用自定义算法训练模型:使用自定义算法构建模型(手写数字识别)。
  • 下载样例数据集 本教程的样例数据集存储在AI Gallery中。如果您熟悉AI Gallery操作,可直接前往AI Gallery搜索并下载“dataset-segmentation-88”数据集。如果不熟悉操作,请参见如下详细步骤。 进入ModelArts管理控制台,在左侧菜单栏中选择“AI Gallery”。 进入AI Gallery后,单击选择“资产集市”,在数据页签下单击选择“数据集”,然后在搜索框中,输入“dataset-segmentation-88”,进行搜索。 在搜索结果中,将呈现此样例数据集。单击数据集图片进入详情页面。 单击“下载”。 选择云服务区域:本案例中选择“华北-北京四”,按照您的实际使用区域选择,同时请确保您的OBS区域与您选择的云服务区域为同一区域。 在“下载详情”页面,填写参数。 下载方式:ModelArts数据集 目标区域:华北-北京四,目标区域须与步骤5中选择的云服务区域保持一致。 数据类型:图片 数据集输出位置:用来存放输出的数据标注的相关信息,如版本发布生成的Manifest文件等。单击图标选择OBS桶下的空目录,且此目录不能与输入位置一致,也不能为输入位置的子目录。 数据集输入位置:用来存放源数据集信息,例如本案例中从Gallery下载的数据集。单击图标选择您的OBS桶下的任意一处目录,但不能与输出位置为同一目录。 名称:创建数据集名称,为方便后续创建物体检测项目选择对应的数据集,建议您的数据集名称具有可识别性。 描述:描述数据集详细信息。 图1 下载详情 单击“确定”,开始下载数据集至目标位置。 系统页面将自动跳转至“我的数据”页面,在“我的下载”页签下,可查看对应数据集的下载进度。数据集下载需要几分钟到十几分钟时间,请耐心等待。
  • 特征分析 标注完成后,可以基于图片或目标框对图片的各项特征,如模糊度、亮度进行分析,帮助用户更好的分析数据集的数据质量和标注质量,判断数据集是否满足自己的算法和模型要求。 创建特征分析任务。 在执行特征分析前,需先发布一个数据集版本。在智能标注并确认完数据后,返回数据集列表页,然后单击操作列的“发布”,发布一个新版本。 版本发布完成后,进入数据集概览页。选择“数据特征”页签,单击“启动特征分析”,在弹窗中选择刚才发布的数据集版本,并单击“确定”,启动特征分析任务。 图16 启动特征分析 查看任务进度。 任务执行过程中,可以单击“任务历史”,查看任务进度。当任务状态变为“成功”时,表示任务执行完成。 图17 查看任务进度 查看特征分析结果。 特征分析任务执行完成后,可以在“数据特征”页签下,选择“数据集版本”、“类型”和“数据特征指标”,页面将自动呈现您选择对应版本及其指标数据,您可以根据呈现的图表了解数据分布情况,帮助您更好的理解您的数据。 “版本选择”:根据实际情况选择已执行过特征任务的版本,可以选多个进行对比,也可以只选择一个。 “类型”:根据需要分析的类型选择。支持“all”、“train”、“eval”和“inference”。分别表示所有、训练、评估和推理类型。 “数据特征指标”:选择您需要展示的指标。详细指标解释,可参见特征分析指标列表。 图18 查看特征分析结果 在特征分析结果中,例如图片亮度指标,数据分布中,分布不均匀,缺少某一种亮度的图片,而此指标对模型训练非常关键。此时可选择增加对应亮度的图片,让数据更均衡,为后续模型构建做准备。
  • 数据处理 在AI开发过程中,采集的数据可能存在大量重复数据,重复数据对模型精度提升并没有太大作用,反而需要花费很多时间对其进行标注。此时,可使用数据选择进行数据预处理,对采集到的数据去重,根据相似度删除一些重复度比较高的数据,从而减少数据的标注量 。如果业务数据不存在重复数据或相似度高的数据,可跳过此步骤。 面向图像分类和物体检测类型,ModelArts提供了数据清洗、数据增强等更多数据预处理的算法,请根据实际业务诉求进行选择详情请参见数据处理简介。
  • 准备工作 在使用 ModelArts进行开发前,需先完成如下准备工作,如果已完成,跳过此步骤。 注册华为帐号并开通华为云。 完成实名认证。 登录ModelArts管理控制台,左上角选择使用区域(例如,华北-北京四),使用委托完成访问授权。 在左上角服务列表中,选择对象存储服务 OBS,进入OBS管理控制台。创建1个OBS桶用于存储数据。 创建桶时,“区域”选择“华北-北京四”,“数据冗余存储策略”选择“单AZ存储”,其他参数使用默认值。
  • 从AI Gallery下载数据集 本示例使用AI市场已有的数据集进行操作,供学习具体功能操作使用,如下操作介绍如何从AI Gallery下载数据集,此操作将在ModelArts自动创建一个数据集。 针对用户的真实业务数据,建议按如下操作方式完成数据集的创建。首先,创建1个OBS桶及文件夹,然后使用OBS Browser+工具,将业务数据上传至对应的文件夹。然后前往ModelArts管理控制台,创建对应类型的数据集,选择数据所在OBS目录作为此数据集的输入目录。 AI Gallery提供的animal数据集介绍 用于物体检测,包含830张未标注样本。 数据集一共包含4种类别:熊猫、马、鹿、猴子。
  • 流播放画像 选择需要查看的域名、流名和时间,即可查看流播放画像信息,如图10所示。 各参数说明如表3所示。 支持查看最近31天的历史数据。 查询的时间跨度最长为1天。 当天直播数据建议在次日8:00后查询。 图10 流播放画像信息 表3 参数说明 参数名 描述 统计日期 统计所选日期00:00-23:59时间段内的播放画像信息。格式:YYYYMMDD,如20201104。 累计流量 播放视频消耗的总流量,单位为byte。 累计播放时长 视频的累计播放时长,单位为秒。 累计请求次数 视频的播放请求总数。 累计观看人数 观看视频的总人数。 峰值观看人数 观看视频的人数峰值。 峰值带宽 播放视频消耗的带宽峰值,单位为bps。 累计直播(推流)时长 直播的累计推流时长,单位为秒。
  • 历史推流列表 选择需要查看的推流域名、时间、应用名称和流名称。单击,即可查看到对应推流域名的历史推流信息,如图8所示。 各参数说明如表1所示。 不支持查询正在推流的域名的历史推流详情。 支持查看最近7天的历史数据。 查询的时间跨度最长为1天。 图8 历史推流信息 表1 参数说明 参数名 描述 流名 直播流名称,即推流地址中自定义的StreamName。 域名 推流域名。 应用名称 即推流地址中默认或自定义的AppName。 开播时间 直播流开始推流到结束推流的时间段, 格式:YYYY-MM-DD hh:mm:ss - YYYY-MM-DD hh:mm:ss,如2020-11-06 14:39:42 - 2020-11-06 14:39:44。 类型 直播流的推送类型,包含主播推流和第三方CDN回源两种类型。 主播ip 推流端的IP地址。 音频编码 音频编码格式。 视频编码 视频编码格式。
  • 推拉流记录 选择需要查看的时间、域名、应用名称和流名称。单击,即可查看到对应域名的推拉流断开记录,如图9所示。 各参数说明如表2所示。 由于数据量过大,最大查询周期为3天,最大查询跨度为3小时。 图9 推拉流断开记录 表2 参数说明 参数名 描述 状态 流的状态。 推流中/拉流中 推流断开/拉流断开 断开原因 流断开的原因。 类型 流的类型。 播流 推流 域名 推拉流域名。 应用名称 即推拉流地址中默认或自定义的AppName。 流名 即推拉流地址中自定义的StreamName。 开始时间 流开始推送/播放的时间点, 格式:YYYY/MM/DD HH:mm:ss.SSS [GMT]Z,如2023-05-16 14:39:42.629 GMT+08:00。 结束时间 流结束推送/播放的时间点, 格式:YYYY/MM/DD HH:mm:ss.SSS [GMT]Z,如2023-05-16 14:39:42.629 GMT+08:00。 客户端IP 推拉流端的IP地址。
  • 推流路数 选择需要查看的推流域名和时间,即可查看趋势图。 支持查询最近365天的历史数据。 查询的时间跨度最长为31天。 支持选择多个域名同时查询,单次查询的域名总数不能超过10个。 最小统计粒度为5分钟,如2020-11-06 8:00:00~2020-11-06 8:04:59时间段内的数据会统计展示在2020-11-06 8:00:00这个统计点上,其中,展示的数据为用户所选粒度时间段内的最大值。 趋势图中呈现的是所选域名推流到直播源站的总路数趋势,如图7所示。 图7 推流路数趋势
  • 状态码 选择需要查看的时间、域名、省份、运营商和状态码,即可查看到趋势图,如图5所示。 支持查看最近7天的历史数据。 查询的时间跨度最长为1天。 支持选择多个域名同时查询,单次查询的域名总数不能超过10个。 最小统计粒度为1分钟,如2020-11-06 8:00:00~2020-11-06 8:00:59时间段内的数据会统计展示在2020-11-06 8:01:00这个统计点上。 趋势图中呈现的是所选域名在查询时间段内请求响应返回的状态码。 图5 状态码统计信息
  • 观众数 选择需要查看的时间、播放域名、应用名称、流名称、封装协议、省份、运营商和时间粒度,即可查看趋势图。 仅支持查询FLV和RTMP流的在线人数。 支持查询最近365天的历史数据。 查询的时间跨度最长为31天。 仅支持选择单个域名进行查询。 统计的是独立IP数,最小统计粒度为1分钟,如2020-11-06 8:00:00~2020-11-06 8:00:59时间段内的数据会统计展示在2020-11-06 8:01:00这个统计点上。 趋势图中呈现的是所选域名的在线独立访客数趋势,如图6所示。 图6 在线独立访客数趋势
  • 上行带宽/流量 选择需要查看的时间、推流域名、区域、省份、运营商、应用名称、流名称、时间粒度及封装协议。单击页面右侧的“带宽”或“流量”,可以切换查看带宽、流量趋势图。 单击右侧的图标,可以导出具体数据。 支持查询最近365天的历史数据。 查询的时间跨度最长为31天。 支持选择多个域名同时查询,单次查询的域名总数不能超过10个。 最小统计粒度为5分钟,如2020-11-06 8:00:00~2020-11-06 8:04:59时间段内的数据会统计展示在2020-11-06 8:00:00这个统计点上,其中,展示的数据为用户所选粒度时间段内的最大值。 导出数据暂不支持按运营商分类。 带宽用量趋势呈现的是所选域名的总上行带宽趋势,如图3所示。 图3 上行带宽趋势 流量用量趋势呈现的是所选域名的总流量趋势。您可以在流量趋势区域的下方,查看所选域名在查询时间段内的流量消耗,如图4所示。 图4 上行流量统计详情 流量表和流量趋势图中呈现的总流量,是将每5分钟粒度统计的流量进行合计(Byte),再换算成MB后,精确到小数点后两位。因此,可能与按5分钟粒度查询导出的流量表中“流量(MB)”列的合计值存在稍微的误差,这是由于计算时四舍五入导致。
  • 下行带宽/流量 选择需要查看的时间、播放域名、区域、应用名称、流名称、时间粒度及封装协议。单击页面右侧的“带宽”或“流量”,可以切换查看带宽、流量趋势图。 单击右侧的图标,可以导出具体数据。 支持查询最近365天的历史数据。 查询的时间跨度最长为31天。 支持选择多个域名同时查询,单次查询的域名总数不能超过10个。 最小统计粒度为5分钟,如2020-11-06 8:00:00~2020-11-06 8:04:59时间段内的数据,会统计展示在2020-11-06 8:00:00这个统计点上,其中,展示的数据为用户所选粒度时间段内的最大值。 直播流名称需要根据播放端实际拉取的流进行填写,例如,播放端拉取的是转码流,则“流名称”中需要填写的是转码流名称。 导出数据暂不支持按运营商分类。 带宽用量趋势呈现的是所选域名的总带宽趋势。您可以在带宽趋势区域的下方,查看所选域名在查询时间段内的下行带宽峰值,如图1所示。 图1 下行带宽统计详情 流量用量趋势呈现的是所选域名的总流量趋势。您可以在流量趋势区域的下方,查看所选域名在查询时间段内的流量消耗,如图2所示。 图2 下行流量统计详情 流量表和流量趋势图中呈现的总流量,是将每5分钟粒度统计的流量进行合计(Byte),然后换算成MB,精确到小数点后两位。因此,可能与按5分钟粒度查询导出的流量表中“流量(MB)”列的合计值存在稍微的误差,这是由于计算时四舍五入导致。
  • 包年/包月续费 前提条件 集群的计费模式是“包年/包月”。 操作步骤 登录GaussDB(DWS) 管理控制台。 单击“集群管理”。默认显示用户所有的集群列表。 在集群列表中,在指定集群所在行的“操作”列,选择“续费”。 跳转至CBC续费页面,确定无误后,支付订单。 表1 续费参数说明 参数 参数说明 续费时长 选择续费时长。 统一到期日 用户可根据自身需求选择是否勾选“统一到期日设置为每月1号”,默认为每月最后一天到期。 说明: 将资源到期时间延长至统一到期日,可能产生额外的续费天数。 返回集群管理页面单击,刷新集群列表。
  • 查看集群监控和节点监控信息 登录GaussDB(DWS) 管理控制台,进入“集群管理”页面。 查看集群信息:在集群列表中,在指定集群所在行,单击“查看监控指标”,打开云监控管理控制台。默认显示的是集群监控信息。 用户可以根据需要,选择指定的监控指标名称以及时间范围,从而显示监控指标的性能曲线。 查看节点信息:单击可回到云监控管理控制台,默认显示“数据仓库节点”页签,可以从集群节点维度查看每个节点的指标。 用户可以根据需要,选择指定的监控指标名称以及时间范围,从而显示监控指标的性能曲线。 云监控也支持多个节点间的监控指标对比,具体操作请参见多节点间的监控指标对比。
  • 解绑ELB 登录GaussDB(DWS) 管理控制台。 单击“集群管理”。默认显示用户所有的集群列表。 在集群列表中,单击指定集群名称进入“集群详情”页面。 单击“解绑弹性负载均衡”,进行ELB解绑操作。 解绑命令下发成功后,返回集群管理页面,集群列表显示“弹性负载均衡服务解绑中”任务信息,解绑需要一定时间,请耐心等待。 进入负载均衡服务控制台,单击解绑的ELB名称,切换到“后端服务器”页签,检查集群CN节点是否已被删除。
  • 客户端和服务器端SSL连接参数组合情况 客户端最终是否使用SSL加密连接方式、是否验证服务器证书,取决于客户端参数sslmode与服务器端(即GaussDB(DWS) 集群侧)参数ssl、require_ssl。参数说明如下: ssl(服务器) ssl参数表示是否开启SSL功能。on表示开启,off表示关闭。 对于集群版本高于1.3.1(包括1.3.1)的集群,默认为on,不支持在GaussDB(DWS) 管理控制台上设置。 对于集群版本低于1.3.1的集群,默认为on。ssl参数可通过GaussDB(DWS) 管理控制台上集群的“安全设置”页面中的“SSL连接”进行设置。 require_ssl(服务器) require_ssl参数是设置服务器端是否强制要求SSL连接,该参数只有当ssl为on时才有效。on表示服务器端强制要求SSL连接。off表示服务器端对是否通过SSL连接不作强制要求。 对于集群版本高于1.3.1(包括1.3.1)的集群,默认为off。require_ssl参数可通过GaussDB(DWS) 管理控制台上集群的“安全设置”页面中的“服务器端是否强制使用SSL连接”进行设置。 对于集群版本低于1.3.1的集群,默认为off,不支持在GaussDB(DWS) 管理控制台上设置。 sslmode(客户端) 可在SQL客户端工具中进行设置。 在gsql命令行客户端中,为“PGSSLMODE”参数。 在Data Studio客户端中,为“SSL模式”参数。 客户端参数sslmode与服务器端参数ssl、require_ssl配置组合结果如下: 表3 客户端与服务器端SSL参数组合结果 ssl(服务器) sslmode(客户端) require_ssl(服务器) 结果 on disable on 由于服务器端要求使用 SSL,但客户端针对该连接禁用了 SSL,因此无法建立连接。 disable off 连接未加密。 allow on 连接经过加密。 allow off 连接未加密。 prefer on 连接经过加密。 prefer off 连接经过加密。 require on 连接经过加密。 require off 连接经过加密。 verify-ca on 连接经过加密,且验证了服务器证书。 verify-ca off 连接经过加密,且验证了服务器证书。 off disable on 连接未加密。 disable off 连接未加密。 allow on 连接未加密。 allow off 连接未加密。 prefer on 连接未加密。 prefer off 连接未加密。 require on 由于客户端要求使用 SSL,但服务器端禁用了 SSL,因此无法建立连接。 require off 由于客户端要求使用 SSL,但服务器端禁用了 SSL,因此无法建立连接。 verify-ca on 由于客户端要求使用 SSL,但服务器端禁用了 SSL,因此无法建立连接。 verify-ca off 由于客户端要求使用 SSL,但服务器端禁用了 SSL,因此无法建立连接。
  • 对系统的影响 重启期间集群将无法提供服务。因此,在重启前,请确定集群中没有正在运行的任务,并且所有数据都已经保存。 如果集群正在处理业务数据,如导入数据、查询数据、创建快照或恢复快照时,一旦重启集群,有可能会导致文件损坏或重启失败。因此,建议停止所有集群任务后,再重启集群。 您可以参考Cloud Eye监控集群查看集群的“会话数”和“活跃SQL数”指标,查看是否有活跃事务。 重启集群所需时间与集群的规模和业务有关,正常情况下大约需要3分钟左右,不超过20分钟。 如果重启失败,将有可能会导致集群不可用,建议联系技术支持人员进行处理或稍后重试。
  • 编辑逻辑集群 登录GaussDB(DWS) 管理控制台,在左侧导航栏中,单击“集群管理”。 在集群列表中,单击指定集群名称,进入“集群详情”页面。 在左侧导航栏切换至“逻辑集群管理”页签,在需要编辑的逻辑集群所在行的“操作类型”列单击“编辑”按钮。 在弹出窗口中根据需求选择向逻辑集群中添加节点(从右侧将选中的环移动到左侧),或从逻辑集群中减少节点(从左侧将选中环移动到右侧),并单击“确定”。 在添加节点时,根据弹出框中提示选择在线/离线扩容。 向逻辑集群中添加节点或删除节点都以“环”为单位。 逻辑集群中至少要保留一个“环”。 从逻辑集群中删除的“环”将落入到弹性集群中。 逻辑集群在8.1.3及以上集群版本支持在线扩容。 父主题: 逻辑集群管理
  • 操作步骤 登录GaussDB(DWS) 管理控制台。 单击“集群管理”。 在集群列表中,单击指定集群的名称,然后在左侧导航栏单击“安全设置”。 默认显示“配置状态”为“已同步”,表示页面显示的是数据库当前最新结果。 在“审计配置”区域中,设置审计日志保留策略。 “空间优先”:表示当单个节点的审计日志超过1G后,将自动淘汰审计日志。 版本号为1.0.0和1.1.0的集群不支持设置审计日志保留策略。 如果数据库规划存储空间有限,建议设置为“空间优先”策略,避免因审计日志占用磁盘空间高导致节点故障或性能低。 根据需要设置以下操作的审计开关。 8.1.1.100及以上的版本支持更细粒度的审计项。 图1 审计项 各审计项的详细信息如表1所示。 表1 审计项 审计项 说明 越权访问操作 表示是否记录用户的越权访问操作,默认关闭。 DQL操作 可选SELECT操作进行审计。 说明: 支持8.1.1.100及以上版本。 DML操作 表示是否对数据表的INSERT、UPDATE和DELETE操作进行记录,默认关闭。 说明: 集群支持在8.1.1.100及以上版本做各审计项的细粒度拆分,并增加COPY,MERGE选项。 DDL操作 表示是否对指定数据库对象的CREATE、DROP和ALTER操作进行记录。除“DATABASE”、“SCHEMA”和“USER”默认启用记录,其他默认关闭。 说明: 集群支持在8.1.1.100及以上版本新增“TABLE”、“DATA SOURCE”和“NODE GROUP”操作,默认启用。 其他操作 表示对其他的操作进行记录,其中TRANSACTION,CURSOR操作,默认勾选,VACUUM,ANALYZE,USER FUNCTION,SPECIAL FUNCTION,PREPARE STATEMENT默认关闭。 说明: 支持8.1.1.100及以上版本。 建议TRANSACTION审计项保持勾选,否则事务内语句将不会审计。 建议CURSOR审计项保持勾选,否则CURSOR内SELECT语句将不会被审计。需注意Data Studio客户端会自动给SELECT语句封装CURSOR。 GaussDB(DWS) 除了支持表1的审计功能,默认还开启了如表2所示的关键审计项。 表2 关键审计项 参数名 说明 关键审计项 记录用户登录成功、登录失败和注销的信息。 记录数据库启动、停止、恢复和切换审计信息。 记录用户锁定和解锁功能信息。 记录用户权限授予和权限回收信息。 记录SET操作的审计功能。 设置是否开启审计日志转储功能。 关于审计日志转储功能的更多信息,请参见开启审计日志转储。 单击“应用”。 单击,“配置状态”显示为“应用中”,表示系统正在保存配置。 等待一段时间后再次刷新“配置状态”,当显示为“已同步”,表示已保存配置并生效。
  • 加密密钥轮转 加密密钥轮转是指更新保存在GaussDB(DWS) 服务的密文。在GaussDB(DWS) 中,您可以轮转已加密集群的加密密钥CEK。 密钥轮转流程如下: GaussDB(DWS) 集群启动密钥轮转。 GaussDB(DWS) 根据集群的主密钥来解密保存在GaussDB(DWS) 服务中的CEK密文,获取CEK明文。 用获取到的CEK明文解密保存在GaussDB(DWS) 服务中的DEK密文,获取DEK明文。 GaussDB(DWS) 重新生成新的CEK明文。 GaussDB(DWS) 用新的CEK明文加密DEK并将DEK密文保存在GaussDB(DWS) 服务中。 用主密钥加密新的CEK明文并将CEK密文保存在GaussDB(DWS) 服务中。 您可以根据业务需求和数据类型计划轮转加密密钥的时间。为了提高数据的安全性,建议用户定期执行轮转密钥以避免密钥被破解的风险。一旦您发现密钥可能已泄露,请及时轮转密钥。 GaussDB(DWS) 轮转集群的CEK时,集群相关的快照不需要轮转CEK,因为CEK不会在集群快照中进行保存,CEK明文是保存在GaussDB(DWS) 集群内存中的,密文是保存在GaussDB(DWS) 服务中的。 由于密钥轮转不更新DEK,所以对于数据的加解密不会有影响。
  • 配置外部身份源 背景信息 该功能需要先配置外部身份源,配置成功后可自动或手动同步身份源里的用户,成功后即可使用外部账号登录。 操作步骤 登录GaussDB(DWS) 管理控制台,在左侧导航栏中,单击“集群管理”。 在集群列表中,单击指定集群的名称,进入“集群详情”页面。 在左侧导航栏中,单击“用户管理”,进入用户管理页面。在用户管理页面切换至“外部身份源”页签,单击“身份源配置”按钮。 如果选择“LDAP”身份源类型,请参考表1。 表1 LDAP身份源配置说明 参数名称 参数值 说明 主机地址 ip地址 LDAP服务的IP地址。 端口 例:389或636 LDAP服务的端口,一般默认是389,SSL端口是636。 管理员账号 管理员账号 拥有权限查询用户列表的用户名称。 管理员密码 管理员密码 管理员账号对应的密码。 查询节点 例:OU=Domain Controllers,DC=test,DC=com LDAP目录以树状的层次结构来存储数据。每个目录记录都有标识名(Distinguished Name,简称DN),用来读取单个记录。其几个关键词含义如下: base dn:LDAP目录树的最顶部,也就是树的根,是上面的dc=test,dc=com部分,一般使用公司的域名,也可以写做o=test.com,前者更灵活一些。 dc::Domain Component,域名部分。 ou:Organization Unit,组织单位,用于将数据区分开。 cn:Common Name,一般使用用户名。 uid:用户id,与cn的作用类似。 sn:Surname, 姓。 rdn:Relative dn,dn中与目录树的结构无关的部分,通常存在cn或者uid这个属性里。 表示只同步该节点下的用户,可以是某个部门节点或者根节点。 查询条件 默认:(&(objectClass=user)) 查询指定用户的过滤条件。默认查询节点下的所有用户。 用户名属性 例:sAMAccountName 该参数是表示LDAP服务中表示用户唯一名称的字段名,在Active Directory中为sAMAccountName,在openldap中为uid,请根据自身服务选择。 SSL连接 开启/关闭 开启后将使用ssl方式连接LDAP服务。 说明: 如果开启SSL,在配置完成后请重启集群加载证书配置,重启完成后方可进行LDAP认证。 证书 ssl连接使用的证书文件 该证书由LDAP服务生成,开启ssl连接需要上传该证书。 自动同步 开启/关闭 开启后DWS将每天同步一次外部身份源中的用户。 如果选择“OneAccess”身份源类型,请参考表2。 表2 OneAccess身份配置说明 参数名称 参数值 说明 域名 oneaccess域名地址 OneAccess中的用户访问域名。 应用ID 应用ID OneAccess中注册应用后分配的AppId。 应用标识 应用标识 OneAccess中注册应用后分配的ClientId,详情请参见使用前必读。 应用密钥 应用密钥 OneAccess中注册应用后分配的ClientSecret。 自动同步 开启/关闭 开启后DWS将每天同步一次外部身份源中的用户。 配置完成确认无误后单击“手动同步”进行用户同步。同步记录会在列表中展示。单击操作列“查看详情”可以看到同步成功和失败的用户,以及查看具体失败原因。 若用户已存在或者用户名不规范导致入库失败,可以在身份源服务中修改用户名再次同步。 如果同步删除用户失败,则需要确认用户是否存在依赖对象未删除。 创建OneAccess身份源后,需要在注册的应用中,开启API权限中“帐户管理接口的读权限”并且在认证集成中开启任意集成模式。
  • 操作步骤 登录GaussDB(DWS) 管理控制台,在左侧导航栏中,单击“集群管理”。 在集群列表中,单击指定集群名称,进入“集群详情”页面。 DWS 3.0集群创建后即为逻辑集群模式,在左侧导航栏切换至“逻辑集群”页面,根据需要,单击“添加增删计划”并设置合理的调度计划。 调度计划分为两种: 周期性计划:在选中的时间段里(每星期/每月)触发一次,若无其它运维操作冲突则会进行逻辑集群的创建与删除。 一次性计划:在指定的时间只执行一次,执行完毕后任务结束。 确认无误后,单击“确定”。在定时增删计划模块的表单中,用户可以看到具体的计划详情及下次执行时间。 预估时间可能因为运维操作冲突或其它原因跳过执行,并且如果创建任务因为耗时较久默认会提前20分钟左右触发执行,以确保在设定的时间可以使用资源,请以实际执行情况为准。
  • 注意事项 DLI表必须已经存在。 DLI表在创建时需要指定Schema信息。 如果在建表时指定“key.column”,则在Redis中会以指定字段的值作为Redis Key名称的一部分。例如: 1 2 3 4 5 6 7 8 create table test_redis(name string, age int) using redis options( 'host' = '192.168.4.199', 'port' = '6379', 'passwdauth' = '******', 'table' = 'test_with_key_column', 'key.column' = 'name' ); insert into test_redis values("James", 35), ("Michael", 22); 在redis中将会有2个名为test_with_key_column:James和test_with_key_column:Michael的表: 如果在建表时没有指定“key.column”,则在Redis中的key name将会使用uuid。例如: 1 2 3 4 5 6 7 create table test_redis(name string, age int) using redis options( 'host' = '192.168.7.238', 'port' = '6379', 'passwdauth' = '******', 'table' = 'test_without_key_column' ); insert into test_redis values("James", 35), ("Michael", 22); 在redis中将会有2个以“test_without_key_column:uuid”命名的表:
  • 语法格式 将SELECT查询结果插入到表中: 1 2 3 4 5 6 7 INSERT INTO DLI_TABLE SELECT field1,field2... [FROM DLI_TEST] [WHERE where_condition] [LIMIT num] [GROUP BY field] [ORDER BY field] ...; 将某条数据插入到表中: 1 2 INSERT INTO DLI_TABLE VALUES values_row [, values_row ...];
共100000条