华为云用户手册

  • 修订记录 发布日期 修改说明 2022-12-06 第十四次正式发布。 RDS for MySQL常见问题增加Instance connect timeout的解决方案。 2022-08-22 第十三次正式发布。 新增资源冻结/释放/删除/退订。 2022-08-02 第十二次正式发布。 细化数据管理服务支持哪些数据源的回答内容。 2021-11-08 第十一次正式发布。 修改数据管理服务是如何计费的。 2021-04-23 第十次正式发布 增加云DBA智能运维使用类常见问题:查看binlog功能,需要配置哪些权限。 2021-04-19 第九次正式发布 修改连接管理。 2020-12-30 第八次正式发布。 新增使用类FAQ。 2020-09-27 第七次正式发布。 新增产品咨询类和使用类企业流程审批FAQ。 2020-08-18 第六次正式发布。 新增产品咨询类FAQ。 2019-11-01 第五次正式发布。 DAS高级版按包周期形式收费。 2019-10-21 第四次正式发布。 新增处理导出数据库结果集因格式不一致导致乱码问题的指导内容。 2018-12-21 第三次正式发布。 新增ECS自建库连接失败原因分析及处理内容。 2018-11-22 第二次正式发布。 数据管理服务开启商用模式。 2018-06-25 第一次正式发布。
  • GaussDB(for MySQL)实例连接失败怎么办 报错信息:Access denied for user 'user_name'@'100.xxx.xx.xx' (using password: YES)。 报错原因:GaussDB(for MySQL)数据库用户名或密码不对。 解决方法:请确认数据库用户名和密码是否正确,如果您不确认密码是否正确,可以在GaussDB控制台重置实例密码。 修改密码可能会影响业务,请谨慎操作。 如果确认账户名和密码正确,可以通过客户端或命令行工具登录数据库,执行select * from mysql.user where user = 'user_name'命令查看用户信息,如果存在100.%网段的用户,则DAS只能通过100.%网段的数据库用户去连接数据库。user_name @%与user_name @100.%是两个用户,其密码和权限都是独立的,请确认输入的密码是否是user_name @100.%用户的密码。 报错原因:DAS服务器的IP地址不在您输入用户的白名单中。 解决方法:使用客户端或命令行工具登录到数据库,创建DAS可以访问的数据库用户。 create user 'user_name'@'100.%' identified by 'password'; grant all privileges on *.* to 'user_name'@'100.%'; DAS服务器IP地址所在网段为100.%,请根据实际使用需要添加白名单。 请根据实际使用需要给user_name@100.%用户赋予权限。 报错信息: Trying to connect with ssl, but ssl not enabled in the server 报错原因: 使用SSL用户登录,服务端没有开启SSL功能。 解决方法:请执行如下语句查询用户是否是SSL用户,如果是,则在GaussDB(for MySQL)实例详情页面,将SSL开关打开。其中,ssl_type字段有值即表示此用户是SSL用户。 select user, host, ssl_type from mysql.user where user = 'user_name'; 报错信息: Client does not support authentication protocol requested by server. plugin type was = 'sha256_password' 报错原因: DAS暂不支持密码的加密方式为sha256_password的数据库用户连接登录。 解决方法:请执行如下语句将密码的加密方式改为mysql_native_password。 alter user 'user_name'@'%' identified with mysql_native_password by 'password'; 报错信息: Communications link failure The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server 报错原因: DAS服务器与实例网络不通。 解决方法:请联系技术支持协助处理。 父主题: 连接管理
  • 如何查看并放通ECS实例安全组规则 需要添加实例端口号(示例为3306)到100.125.0.0/16和100.79.0.0/16的规则,DAS才能访问ECS自建库。 在ECS实例详情页面,单击“安全组”页签,查看安全组规则。 图1 安全组规则 单击页面左侧的“配置规则”,进入安全组信息页面。 单击“入方向规则”页签,单击“添加规则”,设置安全组规则请参见配置安全组规则。 图2 添加入方向规则 推荐配置:“协议端口”选择“基本协议/自定义TCP”,端口与ECS自建库保持一致,源IP地址设置为100.125.0.0/16和100.79.0.0/16。 在 “出方向规则”页签,单击“添加规则”,设置安全组规则请参见配置安全组规则。 图3 添加出方向规则 推荐配置:“协议端口”选择“TCP”,端口与ECS自建库保持一致,源IP地址设置为100.125.0.0/16和100.79.0.0/16。 父主题: 连接管理
  • 解决方案 登录统一身份认证服务控制台。 选择当前用户所属的用户组,单击用户组名称,进入用户组信息页面。 图2 用户组 单击“授权”。 图3 授权 搜索“关系型数据库RDS”,勾选权限“RDS FullAccess”后,单击“下一步”。 图4 添加权限 选择授权范围方案后,单击“确定”。 图5 授权范围 返回授权记录页面,确认当前用户组拥有的权限。 确保当前用户组拥有DAS FullAccess、DAS Administrator、RDS FullAccess和Tenant Guest权限即可。 图6 查看权限
  • DDS实例连接失败怎么办 报错信息: Command failed with error 18 (AuthenticationFailed): 'Authentication failed.' on server xxx.xxx.xx.xx:xxxx. The full response is { 'ok' : 0.0, 'errmsg' : "Authentication failed.", "code" : 18, "codeName" : "AuthenticationFailed" } 报错原因:云服务平台文档数据库用户名或密码不对。 解决方法:请确认用户名和密码是否正确。如果不确认密码是否正确,可以到云服务平台文档数据库控制台重置密码。 修改密码可能会影响业务,请谨慎操作。 报错原因:输入的用户没有数据库的权限。 解决方法:请确认此用户是否有此数据库的权限。如果不确认,可以先使用rwuser用户,连接admin数据库,登录DAS后,在“账号管理”里确认权限是否设置正确。 父主题: 连接管理
  • ECS自建库(MySQL)连接失败怎么办 报错信息:“Access denied for user 'user_name'@'100.xxx.xx.xx' (using password: YES)”。 报错原因:ECS自建库用户名或密码不对。 解决方法:请确认数据库用户名和密码是否正确。如果确认账户名和密码正确,可以通过客户端或命令行工具登录数据库,执行select * from mysql.user where user = 'user_name'命令查看用户信息,如果存在100.%网段的用户,则DAS只能通过100.%网段的数据库用户去连接数据库。user_name @%与user_name @100.%是两个用户,其密码和权限都是独立的,请确认输入的密码是否是user_name @100.%用户的密码。 报错原因:DAS服务器的IP地址不在您输入用户的白名单中。 解决方法:使用客户端或命令行工具登录到数据库,创建DAS可以访问的数据库用户。 create user 'user_name'@'100.%' identified by 'password'; grant all privileges on *.* to 'user_name'@'100.%'; DAS服务器IP地址所在网段为100.%,请根据实际使用需要添加白名单。 请根据实际使用需要给user_name@100.%用户赋予权限。 报错原因: 使用SSL用户登录,服务端没有开启SSL功能。 解决方法:请执行如下语句查询用户是否是SSL用户,如果是,则在RDS实例详情页面,将SSL开关打开。其中,ssl_type字段有值即表示此用户是SSL用户。 select user, host, ssl_type from mysql.user where user = 'user_name'; 报错信息: Host 'xxx.xxx.xx.xx' is not allowed to connect to this MySQL server。 报错原因: 您输入的数据库用户不允许远程登录MySQL(如root用户,mysql.user表中只设置了root@localhost用户,指定用户只能本地登录)。 解决方法:使用客户端工具或命令行登录MySQL,创建可以远程登录的用户。 create user 'user_name'@'100.%' identified by 'password'; grant all privileges on *.* to 'user_name'@'100.%'; DAS服务器IP地址所在网段为100.%,请根据实际使用需要添加白名单。 请根据实际使用需要给user_name@100.%用户赋予权限。 报错信息: Communications link failure The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server。 报错原因: ECS设置的安全组规则不支持此端口被访问 解决方法:请参考查看并放通ECS实例安全组规则。 报错原因: ECS虚拟机设置的防火墙策略不允许此端口被访问。 解决方法:请参考查看并放通防火墙。 报错原因:远程访问MySQL数据库,服务端侧进行的DNS解析动作,耗时太长导致连接实例超时。 解决方法:请按照以下操作进行修复。 在/etc/my.cnf路径下查找MySQL数据库的配置文件,在“[mysqld]”下,输入如下内容,并保存退出。 skip-name-resolve MySQL数据库的配置文件,默认位置为“/etc/my.cnf”,若您将配置文件指定位置存放时,需对应调整。 重启数据库服务"systemctl restart mysqld",尝试再次连接。 报错信息: Communications link failure The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server 报错原因:DAS服务器与实例网络不通。 解决方法:请检查实例的防火墙配置是否正常、是否开放对应端口,如防火墙配置异常或未开放对应端口请修复后再次尝试连接实例。修复后还无法解决,请提交工单联系客服人员协助处理 报错信息:Instance connect timeout, please login again. 报错原因:DAS服务器连接超时。 解决方案:请按照以下方法进行检查并尝试修复。 请远程登录ECS虚拟机,执行“iptables -S | grep input”命令检查实例的防火墙配置是否正常。如果自建库端口号没在开放的白名单中,您可以新增一条iptables规则或通过“systemctl stop iptables”命令关闭防火墙,保证端口能被访问后再次尝试连接实例。 请远程登录ECS虚拟机,执行“ps -ef | grep mysql”命令检查数据库进程是否正常,mysqld_safe进程与mysqld进程均存在则为正常。如进程不存在请执行“systemctl start mysqld”命令重启数据库后再次尝试连接实例。 如上述方法均无法解决,请提交工单联系客服人员协助处理。 父主题: 连接管理
  • 权限不足导致数据库实例连接失败怎么办 报错信息:您的权限不足。策略不允许执行 das:connections:xxx 。 报错原因:您的账号没有添加DAS FullAccess权限。 解决方法:请参考创建用户并授权使用DAS,添加DAS FullAccess权限。 报错信息:您没有执行此操作的权限,请联系您的管理员为您开通权限。 报错原因:您的账号没有添加DAS FullAccess权限。 解决方法:请参考创建用户并授权使用DAS,添加DAS FullAccess权限。 报错信息:您当前登录的账号仅具有只读权限,不能执行此操作。为确保您顺利使用DAS,请添加DAS Administrator权限。 报错原因:您的账号没有添加DAS FullAccess权限。 解决方法:请参考创建用户并授权使用DAS,添加DAS FullAccess权限。 父主题: 连接管理
  • 数据管理服务使用限制 为了提高实例的稳定性和安全性,数据管理服务在使用上有一些固定限制,具体详见表1 使用限制。 表1 使用限制 类型 约束和限制 数据库来源 目前支持云数据库RDS、文档数据库服务、云数据库GaussDB等。 数据库引擎 目前支持MySQL、Microsoft SQL Server、PostgreSQL、云数据库GaussDB、GaussDB(DWS)(数据仓库服务)等。 区域和网络 同一个区域,仅支持VPC网络。
  • 计费策略 表2 计费策略说明 一级功能模块 二级功能模块 免费 收费 性能 历史性能 √(保存7天数据) √(保存30天数据) 性能趋势对比查看 √(保存7天数据) √(保存30天数据) 自定义图表 √(保存7天数据) √(保存30天数据) SQL 慢SQL √(保存1小时数据) √(最大保存30天数据,数据空间按量计费) 全量SQL洞察 √(保存1小时数据) √(最大保存30天数据,数据空间按量计费) SQL限流 √ ×
  • 修订记录 发布日期 修改说明 2023-07-25 第二十一次正式发布。 权限管理,新增“修改DBA智能运维付费模式”和“DBA智能运维实时、紧急kill会话”的授权信息。 2022-09-09 第二十次正式发布。 优化计费说明。 2021-11-19 第十九次正式发布。 优化计费说明。 2021-07-09 第十八次正式发布。 增加DBA智能运维服务计费说明。 2020-09-27 第十七次正式发布。 刷新权限管理,优化常用概念和计费说明。 2020-08-18 第十六次正式发布。 刷新权限管理,优化计费说明。 2020-05-15 第十五次正式发布。 DAS提供细粒度权限,添加相关内容介绍。 2020-04-26 第十四次正式发布。 DAS为您提供可视化的GeminiDB Cassandra 3.11实例管理界面,方便进行GeminiDB Cassandra 3.11数据库数据管理。 2020-04-24 第十三次正式发布。 DAS支持对GaussDB(for MySQL)版本的实例进行DBA智能运维运维管控。 2020-04-21 第十二次正式发布。 DAS对于MySQL和GaussDB(for MySQL)数据库引擎,主备库均支持导出数据库和导出SQL结果集。 2020-04-10 第十一次正式发布。 DAS为您提供可视化的DDM实例管理界面,方便进行DDM数据库数据管理。 2020-03-20 第十次正式发布。 丰富DBA智能运维运维功能,够快速定位出数据库运行中的每一个问题、提前发现潜在风险点。 提高新增支持全量SQL洞察、内存参数设置诊断等特性。 2020-03-18 第九次正式发布。 优化控制台DBA智能运维慢SQL、实时会话&性能等特性。 2019-09-10 第八次正式发布。 对RDS数据库实例新增支持GaussDB引擎数据管理。 2019-8-15 第七次正式发布。 数据库支持PostgreSQL数据库管理;对于MySQL类型数据库新增支持数据结构对比与同步、数据追踪与回滚和任务调度等功能。 2019-4-02 第六次正式发布。 数据库支持文档数据库管理。 2018-12-21 第五次正式发布。 数据库支持ECS自建库实例管理。 2018-11-13 第四次正式发布。 数据库支持Microsoft SQL Server类型数据库事件管理、函数管理、存储过程管理。 2018-09-14 第三次正式发布。 MySQL类型数据库新增触发器管理功能。 2018-08-07 第二次正式发布。 数据管理服务新增支持Microsoft SQL Server引擎。 2018-06-25 第一次正式发布。
  • 与文档数据库服务(DDS)的关系 数据管理服务支持文档数据库(DDS)实例的管理。 通过数据管理服务连接目标数据库时,需要使用到目标数据库的用户名和密码。 数据库实例与数据管理服务须在同一个区域下。 表3 文档数据库服务 模块 功能 DDS 命令操作 命令查询。 √ 命令执行记录。 √ 库管理 数据库的管理。 √ 集合管理 数据库中对集合的管理。 √ 视图管理 数据库中对视图的管理 √ 用户管理 创建与管理用户信息。 √ 角色管理 创建与管理角色信息。 √
  • 与弹性云服务器(ECS)的关系 数据管理服务支持弹性云服务器(ECS)自建库实例的数据管理。 通过数据管理服务连接目标数据库时,需要使用到自建库实例的用户名、密码及端口信息。 弹性云服务器与数据管理服务须在同一个区域下。 暂仅支持MySQL5.5、5.6、5.7、8.0版本的实例,不支持HA集群。 表2 ECS自建库数据源 模块 MySQL Microsoft SQL Server PostgreSQL 库管理 √ √ √ SQL窗口 √ √ √ SQL执行记录 √ √ √ 导入 √ √ √ 导出 √ √ √ 任务调度 √ × × 实时性能 √ × × 实时会话 √ √ × SQL诊断 √ × × 诊断报告 √ × × InnoDB锁等待 √ - × 用户管理 √ √ ×
  • DDS和GeminiDB Mongo有什么区别 文档数据库服务(DDS)完全兼容社区版MongoDB协议,提供安全、高可用、高可靠、弹性伸缩和易用的数据库服务,同时提供一键部署、弹性扩容、容灾、备份、恢复、监控和告警等功能,主要面向数据规模较小,性能要求一般的业务场景。更多DDS信息请参见产品简介。 GeminiDB Mongo,也称增强版MongoDB,是基于华为自主研发的计算存储分离架构的分布式NoSQL数据库服务。100%兼容MongoDB接口,并提供高性能、高可靠的优势和企业级服务。更多GeminiDB Mongo信息请参见产品简介。 父主题: 产品咨询
  • 版本支持情况 CSS目前支持发布7.6.2和7.10.2版本的Elasticsearch集群和7.10.0版本的Logstash集群。 集群创建 CSS支持创建7.6.2和7.10.2版本的Elasticsearch集群和7.10.0版本的Logstash集群。 之前较早的版本5.5.1、6.2.3、6.5.4、7.1.1、7.9.3版本集群已下线,无法在控制台创建该版本的集群。 集群升级 版本升级功能支持同版本升级和跨版本升级。 同版本升级是升级集群的内核补丁,用于修复问题或优化性能。 跨版本升级是升级集群的版本,用于功能加强或版本收编。原始集群版本不同,支持升级的目标版本也不同,具体请见版本升级限制。
  • 各版本生命周期 表1 CSS Elasticsearch集群版本生命周期 Elasticsearch集群版本 状态 社区发布日期 华为云商用时间 计划EOM(停止销售)时间 计划EOS(停止服务)时间 7.6.2 已发布 2020年4月 2020年6月 2029年6月 2029年12月 7.10.2 已发布 2021年1月 2022年6月 2029年6月 2029年12月 表2 CSS Logstash集群版本生命周期 Logstash集群版本 状态 社区发布日期 华为云商用时间 计划EOM(停止销售)时间 计划EOS(停止服务)时间 7.10.0 已发布 2020年11月 2023年6月 2029年6月 2029年12月
  • 操作步骤 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据服务”模块,进入数据服务页面。 图1 选择数据服务 在左侧导航选择服务版本(例如:专享版),进入总览页。 单击左侧导航栏中的“审核中心”,进入相应页面后,选择“审核人管理”页签,然后单击“新建”按钮。 图2 新建审核人界面 选择审核人(此处的账户列表来自于工作空间成员),输入正确的手机号码和电子邮箱,单击“确认”完成审核人的添加。 根据需要,可以添加多个审核人。
  • 查看MRS Ranger集群的服务详情 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图4 选择数据安全 单击数据安全控制台左侧导航树中的“资源权限配置”,进入资源权限配置页面。选择待查看的MRS集群,查看被纳管的MRS集群。 图5 查看被纳管的MRS集群 在服务列表中,单击待查看服务的名称,查看服务组件的基本信息和资源配置信息。 图6 服务详情
  • 创建连接 购买MRS安全模式集群,购买时需要勾选Ranger服务及需要控制权限的组件,参考创建集群。 注意:购买时需要开启“Kerberos认证”。 创建MRS用户来管理权限,参考创建数据连接。 在rangerAdmin管理页面使用Ranger默认管理用户rangeradmin登录(第一次登录需要修改密码),参考登录Ranger管理页面,登录密码参考用户账号一览表《MapReduce服务(MRS)用户指南》“用户账户一览表”章节中系统内部用户rangeradmin用户。 在菜单点击settings按钮进入设置页面,几分钟后搜索刚刚建好的kerberos认证用户(需要几分钟时间同步到rangeradmin系统)。 点击该用户进入权限设置页面,将role权限下拉框选为admin,点击“确定”。 图1 创建MRS用户 购买云数据迁移集群,参考创建CDM集群。 注意:集群VPC必须与MRS集群节点处于同一个VPC内。 配置安全组,开放必要端口,请参考如何配置安全组。此步骤是为了确保云数据迁移集群能够与该MRS集群通信。 配置MRS集群的安全组策略: 方法一: 开放部分端口提供给云数据迁移集群的内网ip。必须开通的端口如下: KrbServer的tcp端口21730 和udp端口(21732,21731); Zookeeper的端口(2181); MRS Manager的端口(9022); RangerAdmin的端口(21405); 图2 添加入方向规则 方法二: 将云数据迁移集群的安全组全部放开给MRS集群安全组。 图3 添加入方向规则界面 在管理中心创建“数据连接类型”为“MapReduce服务(MRS Ranger)”并且MRS集群版本为3.0.0及以上的MRS Ranger数据连接。如何创建请参考管理数据连接。
  • 水印注入 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图1 选择数据安全 单击左侧导航树中的“文件水印”,默认进入水印注入页面。 图2 进入水印注入页面 在水印注入页面输入基本信息,参数配置请参考表1。 表1 水印注入参数配置 参数名 参数描述 *数据类型 选择文件类型。 结构化数据(csv、xml和json)。支持注入暗水印,水印内容不可见,需要进行水印提取。 非结构化数据(docx、pptx、xlsx和pdf)。支持注入明水印,可在本地打开水印文件查看效果。 结构化数据 *水印内容 系统会将水印标识嵌入到数据表中,标识长度不超过16个字符即可。 *数据选择 结构化数据仅支持csv、xml和json格式文件。 *选择注入字段 选择需要注入水印的字段。 非结构化数据 *水印内容 系统会将水印标识嵌入到数据表中,标识长度不超过16个字符即可。 透明度 选择明文水印标识的透明度。 旋转角度 选择明文水印标识的旋转角度。 字体大小 选择明文水印标识的字体大小。 *数据选择 非结构化数据仅支持docx、pptx、xlsx和pdf格式文件。 单击“注入水印”,完成文件水印注入,浏览器自动下载注入后的文件。 单击“重置”可重置配置参数至默认状态。
  • 水印提取 当前仅支持对已通过水印注入注入暗水印的结构化数据文件(csv、xml和json)进行水印提取。 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图3 选择数据安全 单击左侧导航树中的“文件水印”,然后选择“水印提取”,进入水印提取页面。 图4 进入水印提取页面 在水印提取页面输入基本信息,参数配置请参考表2。 表2 水印提取参数配置 参数名 参数描述 *数据类型 选择文件类型,当前仅支持结构化数据(csv、xml和json)。 结构化数据文件类型支持注入暗水印,水印内容不可见,需要进行水印提取。 *水印内容 无需填写,执行提取水印后会显示提取到的水印信息。 *数据选择 选择已通过水印注入注入暗水印的结构化数据文件(csv、xml和json)。 单击“提取水印”,完成文件水印提取,水印内容参数展示提取后的水印内容。 单击“重置”可重置配置参数至默认状态。
  • 管理员操作 管理员作为项目负责人或开发责任人,需要为企业模式的环境配置、人员角色等进行统一管控,相关操作如下表所示。 表1 管理员操作 操作 说明 准备工作 包含数据湖准备以及数据准备与同步。 数据湖准备: 由于企业模式下需要区分开发环境和生产环境,因此您需要分别准备对应生产环境和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务(即两个集群),且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致。 例如,当您的数据湖服务为MRS集群时,需要准备两套MRS集群,且版本、规格、组件、区域、VPC、子网等保持一致。如果某个MRS集群修改了某些配置,也需要同步到另一套MRS集群上。 对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分。 特别的,对于DWS、MRS Hive和MRS Spark数据源,如果使用一套相同的集群,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离。 数据准备与同步: 数据湖服务创建完成后,您需要按照项目规划(例如数据开发需要操作的库表等),分别在开发和生产环境的数据湖服务中,新建数据库、数据库模式(仅DWS需要)、数据表等。 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),使用两套集群资源,两套环境中的数据库、数据库模式(仅DWS需要)和数据表必须保持同名。 对于Serverless服务(例如DLI),两套队列和数据库建议通过名称和后缀(开发环境添加后缀“_dev”,生产环境无后缀)进行关联与区分,数据表必须保持同名。 对于DWS、MRS Hive和MRS Spark数据源,使用一套集群资源,通过两个数据库(开发环境添加后缀“_dev”,生产环境无后缀)进行开发生产环境隔离,两套环境中的数据库模式(仅DWS需要)和数据表必须保持同名。 数据库、数据库模式(仅DWS需要)、数据表等新建完成后,如果涉及原始数据表等,您还需要将两套数据湖服务之间的数据进行同步: 数据湖中已有数据:通过CDM或DRS等数据迁移服务,在数据湖间批量同步数据。 数据源待迁移数据:通过对等的CDM或DRS等数据迁移服务作业进行同步,保证生产环境和开发环境的数据湖服务数据一致。 创建企业模式数据连接 对于所有的数据湖引擎,都需要创建数据连接。 对于集群化的数据源,如果使用不同的集群,支持同时创建DataArts Studio与开发环境数据湖、DataArts Studio与生产环境数据湖之间的数据连接。 具体请参见新建数据连接。 配置企业模式环境隔离 配置开发、生产环境的DLI队列和DB映射配置的环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群资源,则需要在同一个数据湖服务下配置两套数据库,进行开发与生产环境隔离,具体请参见DB配置。 对于数据源为DLI时,可以通过企业模式环境隔离配置两套DLI队列和DB数据库进行生产与开发环境的隔离。具体请参见配置企业模式环境隔离。 创建IAM用户并授予DataArts Studio权限 为协同使用DataArts Studio的项目成员创建具备“DAYU User”权限的IAM账号。 具体请参见创建IAM用户并授予DataArts Studio权限。 添加工作空间成员和角色 为项目成员的IAM账号匹配对应的工作空间角色。工作空间成员共有管理员、开发者、部署者、运维者、自定义角色和访客六种角色可被分配。 具体请参见添加工作空间成员和角色。 父主题: 企业模式
  • 参考 为什么在创建数据连接的界面上MRS Hive集群不显示? 出现该问题的可能原因有: 创建MRS集群时未选择Hive/HBase组件。 创建MRS数据连接时所选择的CDM集群和MRS集群网络不互通。 CDM集群作为网络代理,与MRS集群需网络互通才可以成功创建基于MRS的数据连接。 为什么Hive数据连接突然无法获取数据库或表的信息? 可能是由于CDM集群被关闭或者并发冲突导致,您可以通过切换agent代理来临时规避此问题。
  • 创建数据连接 在DataArts Studio控制台首页,选择对应工作空间的“管理中心”模块,进入管理中心页面。 图1 选择管理中心 在管理中心页面,单击“数据连接”,进入数据连接页面。 图2 创建数据连接 单击“创建数据连接”,在弹出的页面中,选择“数据连接类型”为“MapReduce服务(MRS Hive)”,并参见表1配置相关参数。 图3 MRS Hive连接配置参数 表1 MRS Hive数据连接 参数 是否必选 说明 数据连接类型 是 MRS Hive连接固定选择为MapReduce服务(MRS Hive)。 数据连接名称 是 数据连接的名称,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头。且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 默认全选。全选适用组件后,在支持该数据源的组件内都可以使用本连接。各组件支持的数据源请参考DataArts Studio支持的数据源。 基础与网络连通配置 连接方式 是 选择所需的连接方式,推荐使用“通过代理连接”。 通过代理连接:通过Agent(即CDM集群)进行代理,以MRS集群的用户名和密码访问MRS集群。代理连接方式支持MRS所有版本的集群。 MRS API连接:以MRS API的方式访问MRS集群。MRS API连接仅支持2.X及更高版本的MRS集群。 选择MRS API连接时,有以下约束: MRS API连接仅支持在数据开发组件使用,其他组件例如数据架构、数据质量、数据目录等无法使用此连接。 在数据开发组件不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。特别的,仅当连接MRS 3.2.1以及之后版本的MRS集群时,支持通过可视化方式查看数据库、数据表和字段,但仍不支持可视化方式管理。 在数据开发组件的SQL编辑器运行SQL时,只能以日志形式显示执行结果。 说明: 为保证数据架构、数据质量、数据目录、数据服务等组件能够使用此MRS连接,此处连接方式推荐配置为“通过代理连接”。 手动 是 通过代理连接时,是必选项。 选择连接模式。如无访问其他项目或企业项目下MRS集群的需求,使用集群名模式即可。 使用集群名模式时,通过选择已有集群名称进行连接配置。仅可选择本项目内且企业项目相同的MRS集群进行连接。 使用连接串模式时,通过手动输入Manager IP,并打通本连接Agent(即CDM集群)和MRS集群之间的网络,则可以访问其他项目或企业项目的MRS集群。 Manager IP 是 使用连接串模式时,是必选项。 此参数填写为MRS Manager的浮动IP地址。仅支持连接MRS云服务,自建Hadoop集群必须先纳管到MRS云服务才能连接。 注意,通过输入框后的“选择”按钮仅能获取本项目内且企业项目相同的MRS集群,如果需要访问其他项目或企业项目的MRS集群,则需要获取MRS Manager的浮动IP地址并手动输入,并确保已打通本连接Agent(即CDM集群)和MRS租户面集群之间的网络。Manager的浮动IP地址可通过登录MRS集群主Master节点获取,执行ifconfig命令,回显中eth0:wsom的IP就是MRS Manager的浮动IP。登录MRS集群Master节点请参见登录集群节点章节,如果登录的是非主Master节点无法查询,请切换到另一个Master节点查询。 手动填写IP时请根据场景和顺序填写,多个IP之间使用","分隔。例如: 127.0.0.1或127.0.0.1,127.0.0.2,127.0.0.3。 填写单个IP,IP应为MRS集群管理面的浮动IP。 填写3个IP时,应填写MRS集群业务面的主节点IP、备节点IP和MRS集群管理面的浮动IP。 MRS集群名 是 通过MRS API连接或使用集群名模式时,是必选项。 选择所属的MRS集群。仅支持连接MRS云服务,自建Hadoop集群必须在纳管到MRS云服务后才可以选择。系统会显示所有项目ID和企业项目相同的MRS集群。 如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。 KMS密钥 否 通过代理连接时,是必选项。 通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。 绑定Agent 是 通过代理连接时,是必选项。 MRS为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建MRS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先通过数据集成增量包进行创建。 CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和MRS集群处于相同的区域、可用区、VPC和子网,安全组规则需允许两者网络互通。 说明: CDM集群作为管理中心数据连接Agent时,单集群无法连接多个MRS安全集群。建议您按照业务情况规划多个Agent与MRS安全集群一一映射。 CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据源认证及其他功能配置 认证类型 是 使用连接串模式时,是必选项。 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 用户名 是 MRS集群的用户名,通过代理连接时是必选项。如果使用新建的MRS用户进行连接,您需要先登录Manager页面,并更新初始密码。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以参考创建MRS安全集群的kerberos认证用户创建一个新的密码永不过期MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。 说明: MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。 MRS 3.1.0版本之前的集群,所创建的用户需要具备Manager_administrator或System_administrator权限,才能在管理中心创建连接。 仅具备Manager_tenant或Manager_auditor权限,无法创建连接。 建议用户名的密码策略设置为永不过期,避免由于密码过期导致连接失败,引起业务受损。 密码 是 MRS集群的访问密码,通过代理连接的时候,是必选项。 开启ldap 否 当“连接方式”参数选择为“通过代理连接”时,显示该配置项。 当MRS Hive对接外部LDAP开启了LDAP认证时,连接Hive时需要使用LDAP账号与密码进行认证,此时必须开启此参数,否则会连接失败。 ldap用户名 是 当“开启ldap”参数选择为“是”时,此参数是必选项。 填写为MRS Hive开启LDAP认证时配置的用户名。 ldap密码 是 当“开启ldap”参数选择为“是”时,此参数是必选项。 填写为MRS Hive开启LDAP认证时配置的密码。 单击“测试”,测试数据连接的连通性。如果无法连通,数据连接将无法创建。 测试通过后,单击“确定”,创建数据连接。
  • 前提条件 在创建数据连接前,请确保您已创建所要连接的数据湖(如DataArts Studio所支持的数据库、云服务等)。 在创建DWS类型的数据连接前,您需要先在DWS服务中创建集群,并且具有KMS密钥的查看权限。 在创建MRS HBase、MRS Hive等MRS类型的数据连接前,需确保您已购买MRS集群,并且在创建数据链接时已购买选择所需要的组件。 在创建数据连接前,请确保待连接的数据湖与DataArts Studio实例之间网络互通。 如果数据湖为云下的数据库,则需要通过公网或者专线打通网络,确保数据源所在的主机可以访问公网,并且防火墙规则已开放连接端口。 如果数据湖为云上服务(如DWS、MRS等),则网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同,如果不同,您需要修改工作空间的企业项目。 如果使用企业模式,您还需要注意以下事项: 由于企业模式下需要区分开发环境和生产环境,因此您需要分别准备对应生产环境和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),如果使用两套集群,DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致。创建数据连接的详细操作请参见新建数据连接。 对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分,详细操作请参见配置企业模式环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,详细操作请参见DB配置。 例如,当您的数据湖服务为MRS集群时,需要准备两套MRS集群,且版本、规格、组件、区域、VPC、子网等保持一致。如果某个MRS集群修改了某些配置,也需要同步到另一套MRS集群上。
  • 配置DWS数据连接 表1 DWS数据连接 参数 是否必选 说明 数据连接类型 是 DWS连接固定选择为数据仓库服务(DWS)。 数据连接名称 是 数据连接的名称,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头。且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 默认全选。全选适用组件后,在支持该数据源的组件内都可以使用本连接。各组件支持的数据源请参考DataArts Studio支持的数据源。 基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。开关打开,即只能通过SSL方式连接。开关关闭,即两种方式均可。默认关闭。 手动 是 选择连接模式。 使用集群名模式时,通过选择已有集群名称进行连接配置。 使用连接串模式时,手动填写对应集群的IP或域名、端口进行连接配置,且需打通本连接Agent(即CDM集群)和DWS集群之间的网络。 DWS集群名 是 “手动”选择为“集群名模式”时需要配置本参数。 选择DWS集群,系统会显示所有项目ID和企业项目相同的DWS集群。 IP或域名 是 “手动”选择为“连接串模式”时需要配置本参数。 表示通过内部网络访问集群数据库的访问地址,可填写为IP或域名。内网访问IP或域名地址在创建集群时自动生成,您可以通过管理控制台获取访问地址: 根据注册的账号登录DWS云服务管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称,进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。 端口 是 “手动”选择为“连接串模式”时需要配置本参数。 表示创建DWS集群时指定的数据库端口号。请确保您已在安全组规则中开放此端口,以便DataArts Studio实例可以通过该端口连接DWS集群数据库。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。 绑定Agent 是 DWS为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建DWS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先通过数据集成增量包进行创建。 CDM集群作为网络代理,必须和DWS集群网络互通才可以成功创建DWS连接,为确保两者网络互通,CDM集群必须和DWS集群处于相同的区域、可用区、VPC和子网,安全组规则需允许两者网络互通。 说明: CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据源认证及其他功能配置 用户名 是 数据库的用户名,创建DWS集群时指定的用户名。 密码 是 数据库的访问密码,创建DWS集群时指定的密码。 父主题: 管理数据连接
  • 创建数据连接 在DataArts Studio控制台首页,选择对应工作空间的“管理中心”模块,进入管理中心页面。 图1 选择管理中心 在管理中心页面,单击“数据连接”,进入数据连接页面。 图2 创建数据连接 单击“创建数据连接”,在弹出的页面中,选择“数据连接类型”为“数据仓库服务(DWS)”,并参见表1配置相关参数。 图3 DWS连接配置参数 表1 DWS数据连接 参数 是否必选 说明 数据连接类型 是 DWS连接固定选择为数据仓库服务(DWS)。 数据连接名称 是 数据连接的名称,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头。且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 默认全选。全选适用组件后,在支持该数据源的组件内都可以使用本连接。各组件支持的数据源请参考DataArts Studio支持的数据源。 基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。开关打开,即只能通过SSL方式连接。开关关闭,即两种方式均可。默认关闭。 手动 是 选择连接模式。 使用集群名模式时,通过选择已有集群名称进行连接配置。 使用连接串模式时,手动填写对应集群的IP或域名、端口进行连接配置,且需打通本连接Agent(即CDM集群)和DWS集群之间的网络。 DWS集群名 是 “手动”选择为“集群名模式”时需要配置本参数。 选择DWS集群,系统会显示所有项目ID和企业项目相同的DWS集群。 IP或域名 是 “手动”选择为“连接串模式”时需要配置本参数。 表示通过内部网络访问集群数据库的访问地址,可填写为IP或域名。内网访问IP或域名地址在创建集群时自动生成,您可以通过管理控制台获取访问地址: 根据注册的账号登录DWS云服务管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称,进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。 端口 是 “手动”选择为“连接串模式”时需要配置本参数。 表示创建DWS集群时指定的数据库端口号。请确保您已在安全组规则中开放此端口,以便DataArts Studio实例可以通过该端口连接DWS集群数据库。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。 绑定Agent 是 DWS为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建DWS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先通过数据集成增量包进行创建。 CDM集群作为网络代理,必须和DWS集群网络互通才可以成功创建DWS连接,为确保两者网络互通,CDM集群必须和DWS集群处于相同的区域、可用区、VPC和子网,安全组规则需允许两者网络互通。 说明: CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据源认证及其他功能配置 用户名 是 数据库的用户名,创建DWS集群时指定的用户名。 密码 是 数据库的访问密码,创建DWS集群时指定的密码。 单击“测试”,测试数据连接的连通性。如果无法连通,数据连接将无法创建。 测试通过后,单击“确定”,创建数据连接。
  • 前提条件 在创建数据连接前,请确保您已创建所要连接的数据湖(如DataArts Studio所支持的数据库、云服务等)。 在创建DWS类型的数据连接前,您需要先在DWS服务中创建集群,并且具有KMS密钥的查看权限。 在创建MRS HBase、MRS Hive等MRS类型的数据连接前,需确保您已购买MRS集群,并且在创建数据链接时已购买选择所需要的组件。 在创建数据连接前,请确保待连接的数据湖与DataArts Studio实例之间网络互通。 如果数据湖为云下的数据库,则需要通过公网或者专线打通网络,确保数据源所在的主机可以访问公网,并且防火墙规则已开放连接端口。 如果数据湖为云上服务(如DWS、MRS等),则网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同,如果不同,您需要修改工作空间的企业项目。 如果使用企业模式,您还需要注意以下事项: 由于企业模式下需要区分开发环境和生产环境,因此您需要分别准备对应生产环境和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),如果使用两套集群,DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致。创建数据连接的详细操作请参见新建数据连接。 对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分,详细操作请参见配置企业模式环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,详细操作请参见DB配置。 例如,当您的数据湖服务为MRS集群时,需要准备两套MRS集群,且版本、规格、组件、区域、VPC、子网等保持一致。如果某个MRS集群修改了某些配置,也需要同步到另一套MRS集群上。
  • 保护方式 隐私保护管理提供以下敏感数据保护方式: 静态脱敏 数据静态脱敏,可以防止隐私数据在未经脱敏的情况下从企业流出。满足企业既要保护隐私数据,同时又保持监管合规,满足企业合规性。敏感数据通过静态脱敏,提供内置高效、丰富的脱敏算法,对原始数据中敏感数据进行掩码、截断、hash等,并将脱敏后的数据写入到目标端数据表。而目标表数据可以用来对外提供数据服务,为数据安全使用提供基础保障。 动态脱敏 在数据安全组件创建动态脱敏策略后,系统会将动态脱敏策略同步到MRS Ranger组件,由Ranger组件对数据列按照指定规则进行动态脱敏。当策略中指定的用户和用户组在访问敏感数据时,系统会直接返回由Ranger组件动态脱敏后的数据,保护敏感数据不被泄露。 数据水印 数据安全支持将水印标记嵌入到原始数据,保证数据的可用性。加入水印后的数据具有透明性、可用性、隐蔽性,不易被外部发现破解。数据泄漏后能够溯源水印标识,从而对安全事件精准定位追责。通过数据水印嵌入后的敏感数据一旦发生数据泄露,数据溯源可以通过导入泄露文件运行溯源任务提取水印标识,精准定位泄露单位及责任人。 文件水印 文件水印支持如下两种场景,能够将水印注入数据文件中,实现对安全事件精准定位追责。 对结构化数据文件(csv、xml和json)注入暗水印,水印内容不可见,需要进行水印提取。 对非结构化数据文件(docx、pptx、xlsx和pdf)注入明水印,可在本地打开文件,查看水印内容。 动态水印 在数据安全组件开启数据开发动态水印功能并创建动态水印策略后,当策略中指定的用户组或角色在数据开发组件中转储或下载敏感数据时,数据开发组件会为敏感数据注入暗水印(水印内容为获取敏感数据用户的“IAM用户ID”前16位,IAM用户ID查看请参见(可选)获取认证信息中的“获取项目ID和账号ID”章节),保护敏感数据不被泄露。
  • 管理审核人 数据服务平台提供管理审核人的功能,您可在审核中心新建和删除审核人,下面以新建审核人为例介绍如何操作。 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据服务”模块,进入数据服务页面。 图1 选择数据服务 在左侧导航选择服务版本(例如:专享版),进入总览页。 单击左侧导航栏中的“审核中心”,进入相应页面后,选择“审核人管理”页签,然后单击“新建”按钮。 图2 新建审核人界面 选择审核人(此处的账户列表来自于工作空间成员),输入正确的手机号码和电子邮箱,单击“确认”完成审核人的添加。 根据需要,可以添加多个审核人。
  • 创建数据连接 在DataArts Studio控制台首页,选择对应工作空间的“管理中心”模块,进入管理中心页面。 图1 选择管理中心 在管理中心页面,单击“数据连接”,进入数据连接页面。 图2 创建数据连接 单击“创建数据连接”,在弹出的页面中,选择“数据连接类型”为“RDS”,并参见表1配置相关参数。 不建议使用MySQL(待下线)连接器,推荐使用RDS连接MySQL数据源。 RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS,则不支持RDS数据连接。 图3 RDS连接配置参数 表1 RDS数据连接 参数 是否必选 说明 数据连接类型 是 RDS连接固定选择为RDS。 数据连接名称 是 数据连接的名称,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头。且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 默认全选。全选适用组件后,在支持该数据源的组件内都可以使用本连接。各组件支持的数据源请参考DataArts Studio支持的数据源。 基础与网络连通配置 IP或域名 是 关系型数据库数据源的访问地址,可填写为IP或域名。 如果为RDS或GaussDB等云上数据源,可以通过管理控制台获取访问地址: 根据注册的账号登录对应云服务的管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称,进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。 说明: 仅GaussDB数据源支持多域名的方式,多个域名之间用“,”分隔。 如果为MySQL、PostgreSQL或达梦数据库 DM等线下数据源,可以通过数据库管理员获取相应的访问地址。 端口 是 关系型数据库数据源的访问端口。 如果为RDS或GaussDB等云上数据源,可以通过管理控制台获取访问地址: 根据注册的账号登录对应云服务的管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称,进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。 说明: 仅GaussDB数据源支持多域名的方式,多个域名之间用“,”分隔。 如果为MySQL、PostgreSQL或达梦数据库 DM等线下数据源,可以通过数据库管理员获取相应的访问地址。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。 绑定Agent 是 RDS类型数据源为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建RDS类型的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先通过数据集成增量包进行创建。 CDM集群作为网络代理,必须和RDS网络互通才可以成功创建RDS连接,为确保两者网络互通,CDM集群必须和RDS处于相同的区域、可用区、VPC和子网,安全组规则需允许两者网络互通。 说明: CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据源驱动配置 驱动程序名称 是 驱动程序名称: com.mysql.jdbc.Driver:连接RDS for MySQL或MySQL数据源时,选择此驱动程序名称。 org.postgresql.Driver:连接RDS for PostgreSQL或PostgreSQL数据源时,选择此驱动程序名称。 dm.jdbc.driver.DmDriver:连接达梦数据库 DM数据源时,选择此驱动程序名称。 com.huawei.opengauss.jdbc.Driver:连接GaussDB数据源时,选择此驱动程序名称。 驱动文件路径 是 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 MySQL驱动:获取地址https://downloads.mysql.com/archives/c-j/,建议5.1.48版本。 PostgreSQL驱动:获取地址https://mvnrepository.com/artifact/org.postgresql/postgresql,建议42.3.4版本。 达梦数据库驱动: DM JDBC驱动jar包请从DM安装目录/dmdbms/drivers/jdbc中获取DmJdbcDriver18.jar。 GaussDB驱动:请在GaussDB官方文档《GaussDB 用户指南》中搜索“JDBC包、驱动类和环境类”,然后选择实例对应版本的资料,参考文档获取驱动包。 说明: 如果需要更新驱动文件,则需要先在数据集成页面重启CDM集群,然后通过编辑数据连接的方式重新选择新版本驱动,更新驱动才能生效。 数据源认证及其他功能配置 用户名 是 数据库的用户名,创建集群的时候,输入的用户名。 密码 是 数据库的访问密码,创建集群的时候,输入的密码。 单击“测试”,测试数据连接的连通性。如果无法连通,数据连接将无法创建。 测试通过后,单击“确定”,创建数据连接。
共100000条