华为云用户手册

  • 响应消息 正常响应要素说明 表2 要素说明 名称 参数类型 说明 users Array of objects 列表中每个元素表示一个数据库账号。 详情请参见表3。 total_count Integer 数据库用户总数。 表3 users元素结构说明 名称 参数类型 说明 name String 账号名。 readonly Boolean 是否为只读权限: true表示只读。 false表示可读写。 正常响应样例 { "users": [ { "name": "rds", "readonly": false }, { "name": "rds001", "readonly": false } ], "total_count": 2 } 异常响应 请参见异常请求结果。
  • 请求示例 修改参数模板的参数值 PUT https://{endpoint}/v3/0483b6b16e954cb88930a360d2c4e663/configurations/463b4b58-d0e8-4e2b-9560-5dea4552fde9 { "name": "configuration_test", "description": "configuration_test", "values": { "div_precision_increment": "6", "connect_timeout": "20" } }
  • 接口约束 支持的数据库引擎:MySQL、PostgreSQL、Microsoft SQL Server。 修改参数模板名称“name”不能与默认参数模板或已有参数模板的名称重复,默认参数模板不允许修改。 修改的参数必须在指定数据库版本的默认参数范围内,具体可配置范围请参见《云数据库 RDS用户指南》中“修改实例参数”的内容。 敏感参数,例如:“lower_case_table_names”,修改存在风险,详情请参见《云数据库RDS用户指南》中“RDS for MySQL参数调优建议”的内容。 要修改的参数信息,不可全部为空。
  • 响应消息 正常响应要素说明 表3 要素说明 名称 参数类型 说明 configuration Object 参数模板信息。详情请参见表4。 表4 configuration字段数据结构说明 名称 参数类型 说明 id String 参数模板ID。 name String 参数模板名称。 ignored_params List 请求参数“values”中被忽略掉,没有生效的参数名称列表。 当参数不存在时,参数修改不会下发,并通过此参数返回所有被忽略的参数名称。 正常响应样例 { "configuration": { "id": "463b4b58-d0e8-4e2b-9560-5dea4552fde9", "name": "configuration_test", "ignored_params": {} } } 异常响应 请参见异常请求结果。
  • 请求消息 参数说明 表2 参数说明 名称 是否必选 参数类型 说明 name 是 String 数据库账号名称。 password 是 String 数据库账号密码。 取值范围: 非空,至少包含以下字符中的三种:大写字母、小写字母、数字和特殊符号~!@#%^*-_=+?,组成,长度8~32个字符,不能包含数据库账号名称或名称的逆序。 建议您输入高强度密码,以提高安全性,防止出现密码被暴力破解等安全风险。
  • 响应消息 正常响应要素说明 表2 要素说明 名称 参数类型 说明 users Array of objects 列表中每个元素表示一个数据库账号。 详情请参见表3。 表3 users元素结构说明 名称 参数类型 说明 name String 账号名。 databases Array of objects 列表中每个元素表示一个与该账号关联的数据库。 详情请参见表4。 表4 databases元素结构说明 名称 参数类型 说明 name String 数据库名。 readonly Boolean 是否为只读权限: “true”表示只读。 “false”表示可读写。 正常响应样例 { "users": [ { "name": "rds", "comment": "user comment", "databases": [ { "name": "rds-test", "readonly": false } ] }, { "name": "rds001", "comment": "user comment", "databases": null } ] } 异常响应 请参见异常请求结果。
  • URI URI格式 GET /v3/{project_id}/instances/{instance_id}/extensions?database_name={database_name}&offset={offset}&limit={limit} 参数说明 表1 参数说明 名称 是否必选 说明 project_id 是 租户在某一region下的project ID。 获取方法请参见获取项目ID。 instance_id 是 实例ID。 database_name 是 数据库名称。 offset 否 索引位置,偏移量。从第一条数据偏移offset条数据后开始查询,默认为0(偏移0条数据,表示从第一条数据开始查询),必须为数字,不能为负数。 limit 否 查询记录数。默认为100,不能为负数,最小值为1,最大值为100。
  • 响应消息 正常响应要素说明 表2 要素说明 名称 参数类型 说明 extensions Array of objects 插件列表信息。 详情请参见表3。 total_count Integer 总插件数。 表3 extensions元素结构说明 名称 参数类型 说明 name String 插件名称。 database_name String 数据库名称。 version String 插件版本。 shared_preload_libraries String 依赖预加载库。 created Boolean 插件是否已创建。 description String 插件描述。 正常响应样例 { "extensions" : [ { "name" : "pg_cron", "database_name" : "db1", "version" : "1.0", "shared_preload_libraries" : "pg_cron", "created" : false, "description" : "pg_cron access method - signature file based index" }, { "name" : "dblink", "database_name" : "db1", "version" : "1.2", "shared_preload_libraries" : "", "created" : false, "description" : "connect to other PostgreSQL databases from within a database" } ], "total_count" : 2 } 异常响应 请参见异常请求结果。
  • 如何防止任意源连接数据库 数据库开放EIP后,如果公网上的恶意人员获取到您的EIP DNS和数据库端口,那么便可尝试破解您的数据库并进行进一步破坏。因此,强烈建议您保护好EIP DNS、数据库端口、数据库账号和密码等信息,并通过云数据库RDS实例的安全组限定源IP,保障只允许可信源连接数据库。 为避免恶意人员轻易破解您的数据库密码,请按照云数据库RDS实例的密码策略设置足够复杂度密码,并定期修改。 对于支持防暴力破解的RDS for SQL Server数据库来说,恶意人员一旦获取到您的EIP DNS、数据库端口、数据库账号信息,而尝试暴力破解,那么可能导致您的正常业务连接被删除。此情况下,您可通过限制连接源并修改数据库账号和密码来避免进一步攻击破坏。 RDS for MySQL、RDS for PostgreSQL不支持防暴力破解。 RDS for SQL Server默认开启防暴力破解,不提供关闭防暴力破解的功能。 父主题: 网络安全
  • root账号为什么没有super权限 云数据库RDS没有给root账号提供super权限。因为一旦用户拥有了super权限,就可以执行很多管理性的命令,比如reset master,set global…,kill线程,reset slave等,很有可能导致主备关系异常而出现故障。 对于要求super权限的场景,RDS可以提供服务化能力,也可以通过其他方法绕过super权限的限制。 举例1:通过登录数据库执行如下命令来修改参数,会报权限不足,您只能通过RDS界面修改参数。 set global 参数名=参数值; 如果您的脚本中包含set global命令导致super缺失,请删除set global命令,通过RDS界面修改参数。 举例2:执行如下命令出现报错,也是因为没有super权限导致,只需要去除definer='root'关键字即可。 create definer='root'@'%’ trigger(procedure)… 如果您缺失super权限,可以使用mysqldump导入数据,请参考使用mysqldump迁移MySQL数据导入和导出数据。 举例3:如果在创建RDS for PostgreSQL插件时缺少super权限,请参考管理插件进行创建。 父主题: 数据库权限
  • RDS for MariaDB内置账户介绍 您在创建RDS for MariaDB数据库实例时,系统会自动为实例创建如下系统账户(用户不可使用),用于给数据库实例提供完善的后台运维管理服务。 mariadb.sys:用于创建视图。 rdsAdmin:管理账户,用于查询和修改实例信息、故障排查、迁移、恢复等操作。 rdsRepl:复制账户,用于备实例或只读实例在主实例上同步数据。 rdsMetric:指标监控账户,用于watchdog采集数据库状态数据。 rdsbackup:备份账户,用于后台的备份。 dsc_readonly:用于数据脱敏。 父主题: 数据库权限
  • RDS for MySQL内置账户介绍 您在创建RDS for MySQL数据库实例时,系统会自动为实例创建如下系统账户(用户不可使用),用于给数据库实例提供完善的后台运维管理服务。 mysql.session:用于插件内部使用访问服务器 。 mysql.sys:用于sys schema中对象的定义。 rdsAdmin:管理账户,拥有最高权限,用于查询和修改实例信息、故障排查、迁移、恢复等操作。 rdsRepl:复制账户,用于备实例或只读实例在主实例上同步数据。 rdsMetric:指标监控账户,用于watchdog采集数据库状态数据。 rdsbackup:备份账户,用于后台的备份。 dsc_readonly:用于数据脱敏。 父主题: 数据库权限
  • RDS for SQL Server 2017 企业版主备实例的登录名权限如何同步到只读实例 主实例创建的登录名(Login Name)会每分钟自动同步到只读实例,需要等待1分钟,同步完成后只读实例上才可以使用创建的登录名(Login Name)或修改密码权限。 在只读实例上可以添加、删除、修改登录名(Login Name)权限,因为主实例创建的登录名(Login Name)会每分钟自动同步到只读实例,所以只读实例上多余登录名(Login Name)以及多余的权限将不会完全删除,可以在只读实例上移除多余的登录名(Login Name)权限。 只读实例上的账号如果在主实例上存在,主实例的密码会同步到只读实例,在只读实例上修改这类登录名(Login Name)的密码将不会生效。 父主题: 数据库权限
  • 场景排查 弹性云服务器能否ping通华为云关系型数据库实例。 如果ping不通,可以查看弹性云服务器和华为云关系型数据库实例是否处于同一个虚拟私有云内,是否使用同一个安全组。 内网连接方式下,弹性云服务器与云数据库RDS实例必须处于同一虚拟私有云内,且只能通过弹性云服务器连接。公网连接方式下,该弹性云服务器可以与目标实例不在同一个虚拟私有云内。 检查连接IP和端口号是否正确。 注意IP和端口号之间使用“逗号”隔开。 检查华为云关系型数据库服务的运行状态是否异常。 查看用户名密码是否正确,尝试重置密码。 尝试重启华为云关系型数据库实例,检查是否改善。
  • RDS跨地域内网能访问吗 跨地域内网默认不能访问,不同区域的云服务之间内网互不相通。您可以通过公网访问,或者通过云连接/VPN打通网络实现内网访问。 弹性公网IP:不能通过内网IP地址访问RDS实例时,可以使用公网访问。 对于RDS for MySQL实例,请参见使用MySQL命令行公网连接实例。 对于RDS for PostgreSQL实例,请参见通过psql命令行公网连接实例。 对于RDS for SQL Server实例,请参见通过公网连接SQL Server实例。 云连接:对于不同区域的VPC,不区分是否同一账号,都可以互连,跨区域连接实现全球云上网络。具体请参见跨区域VPC互连。 虚拟专用网络VPN:基于Internet使用加密隧道将不同区域的VPC连接起来。具备成本低、配置简单、即开即用等优点。但它的网络质量依赖Internet。具体请参见通过VPN连接VPC。 父主题: 数据库连接
  • 购买实例后如何创建账号和数据库 云数据库RDS实例创建成功后,系统默认同步创建root用户,您可以根据业务需求通过RDS或者DAS创建账号。 RDS for MySQL实例创建账号的约束限制和方法请参见创建帐号。 RDS for MariaDB实例创建账号的约束限制和方法请参见创建帐号。 RDS for PostgreSQL实例创建账号的约束限制和方法请参见创建帐号。 RDS for SQL Server实例创建账号的约束限制和方法请参见创建帐号。 云数据库RDS实例创建成功后,您可以根据业务需求通过RDS或者DAS创建数据库。 RDS for MySQL实例创建数据库的约束限制和方法请参见创建数据库。 RDS for MariaDB实例创建数据库的约束限制和方法请参见创建数据库。 RDS for PostgreSQL实例创建数据库的约束限制和方法请参见创建数据库。 RDS for SQL Server实例创建数据库的约束限制和方法请参见创建数据库。 父主题: 数据库权限
  • 操作步骤 本章使用Windows server 2012 r2搭建域服务器。 创建加域实例的时候,用户的域控服务器不能配置域级别的组策略对象(GPO,Group Policy Object),或者域级别GPO要禁用掉,否则用户创建加域实例将会失败。 如果需要应用域级别的GPO,需要另外购买ECS搭建新的域控服务器,并且该域控服务器不能设置应用域级别的GPO,然后创建加入该域的实例,将用户侧域控服务器和新的域控服务器建立信任关系即可使用RDS for SQL Server加域实例。 安装AD域控制器。 打开服务管理器,单击“添加角色和功能”。 单击“下一步”,直到“选择服务器角色”页面,勾选“Active Directory域服务”选项,并在弹框中单击“确认添加”。 单击“下一步”,直到“安装”页面,单击“安装”,启动角色安装流程。 成功安装之后,如下图所示会有一个黄色三角提示标,单击“将此服务器提升为域服务器”,进入Active Directory域服务配置向导。 在“部署配置”页面,选择“添加新林”,并设置域名(如:newrds. com)。 单击“下一步”,配置域服务器参数,输入DSRM的密码(非域用户)。 单击“下一步”,直到“安装”页面,单击“安装”,开始安装AD域服务器,安装完成后会自动重启。 修改网络接口中的DNS配置。将主DNS服务器设置为自己的IP地址。(如:192.168.0.133) 创建并添加域账号。 打开“Active Directory用户和计算机”,右键单击“新建”,选择“用户”。输入用户名称,单击“下一步”。 输入“名称”、“姓氏”和“用户登录名”。(如:luna@newrds.com) 填写域账号密码和确认密码。取消所有勾选框的检查(第一次登录时不要更改密码)。 添加成功后如下图所示。可以将域账号添加到用户组中进行权限控制。 对于需要登录RDS实例的域账号,请将用户添加至AD Admin组中。 将RDS云实例加入域中。 仅需要在正常实例创建页面,单击“现在配置”。单击“立即购买”后,实例会去进行加域操作,创建成功后即可使用。 表1 AD域参数配置 参数 说明 目录地址 支持Active Directory域服务的弹性云服务器所在IP地址。 示例:192.168.x.x。 说明: 请确认该IP地址可以成功连接云数据库RDS实例。如遇到网络问题请联系客服人员。 域名 一个完全限定域名,示例:DBStest.com,域名有如下限制: 该域名必须和用户设置的华为云弹性云服务器的域名保持一致。 域名长度不超过48个字符。 域名只能包含:字母、数字、中划线和英文句点。 域名必须包含扩展名,且扩展名长度大于等于2个字符,不能包含数字,例如.com。 域账号名称 建议设置为域管理员账号。 域账号密码 您所设置的域账号密码。 请妥善管理您的密码,因为系统将无法获取您的密码信息。
  • 解决方法 使用root用户登录数据库,并执行如下授权语句,即可迁移成功。 grant USAGE on schema public to root; grant SELECT,REFERENCES,TRIGGER on all tables in schema public to root; grant EXECUTE on ALL FUNCTIONS IN SCHEMA public to root; 迁移完成后再回收权限。 revoke USAGE schema public from root; revoke SELECT,REFERENCES,TRIGGER on all tables in schema public from root; revoke EXECUTE on ALL FUNCTIONS IN SCHEMA public from root; root用户执行授权命令需要内核版本为支持root提权的版本,支持root提权版本情况见root用户权限说明。
  • 操作步骤 将需要访问实例的IP地址或者IP段加入华为云关系型数据库的公网白名单。 使用MySQL客户端连接RDS for MySQL实例。 mysql -h host_name -P port -u username -p 出现如下提示时,输入数据库账号对应的密码: Enter password: 使用root用户连接数据库实例,示例如下: mysql -h 192.168.0.1 -P 3306 -u root -p Enter password: 查询进程信息。 show processlist 查询结果如图1所示,进程中Info字段为show processlist的行对应的Host,就是您的出口IP地址。 图1 IP查询结果 如果已经开启SQL审计日志,可通过审计日志查看历史的连接来源。 如果以前没有开启,则无法查看历史记录,SQL审计日志从开启后才会记录。
  • RDS实例内能运行多少个数据库 云数据库RDS服务没有强制限制在一个RDS实例内能运行多少个数据库,这取决于数据库引擎自身设置。 如果CPU、内存和磁盘大小均满足的情况下,实例允许数据库数量没有限制。数据库中表的数量会影响备份速度。表数量超过50万,备份将会失败。 RDS for MySQL创建的数据库、表数量没有限制。这取决于MySQL自身,详情请查看MySQL官方文档。 RDS for MariaDB创建的数据库、表数量没有限制。但是受限于磁盘大小、文件系统特性等因素,综合考虑实例的性能和稳定性,建议数据库中表的总数不超过2000张。 RDS for PostgreSQL可创建无限个数据库、无限个数据库账号。 RDS for SQL Server可创建100个数据库、无限个数据库账号。 父主题: 产品咨询
  • 删除实例后为什么不能立即删除关联的安全组 创建实例的时候,必须选择安全组,如果不创建安全组或没有可选的安全组,云数据库RDS服务默认为您分配安全组资源。 当删除实例后,默认会将实例加入回收站管理,回收站默认保留7天。可通过设置回收站策略修改回收站保留天数。 删除后的实例不会立即从安全组中移除,需要等回收站中保留的实例删除后,才会将关联信息从安全组中移除。删除安全组之前,必须确保安全组中没有关联任何实例,查询安全组中关联的实例,请参见如何查看安全组关联了哪些实例。 父主题: 网络安全
  • 方案架构 中软国际数据治理专业服务解决方案,承载帮助企业实现数字化转型能,具备“方法论+数据平台+数据应用+行业场景”所需的全套能力体系,从咨询规划设计、交付实施落地、定制开发,到后期的数据运维运营,为客户量身定制一站式数据治理服务解决方案;帮助企业从多角度、多层次、多粒度挖掘数据价值,实现数据驱动运营,完成数字化转型。 数据治理专业服务解决方案,以数据治理为基础,数据智能为动力,驱动企业加速发展,主要由5个核心服务组成: 数据治理咨询服务:帮助客户了解什么是数据治理,数据治理如何实施,是否需要做数据治理,同行企业如何做数据治理,能为企业带来哪些价值。 数据治理实施服务:帮助企业将结构化数据、非结构化数据,通过数据集成服务采集到数仓、数据湖里,通过数据治理平台完成数治理,最后将数据以API形式开放。 定制开发服务:帮助企业定制开发报表、大屏、应用。 数据运维服务:帮助企业数据运维。包括日常的数据作业监控管理、云上资源环境监控、数据日常维护、日常告警处理等。 数据运营服务:帮助企业数据资产运营。包括数据发布审批、新数据的接入、新数据API接口开放需求处理,数据需求管理等。 图1 业务架构图 方案采用云服务的方式部署交付,整体部署架构如下: 图2 部署架构图 架构描述: 本架构基于某客户数据治理项目实践输出,作为最佳实践案例,不代表数据治理的完整集成架构。客户作为零售服务企业,零售数据来源多个POS平台以及APP和小程序,平台应用由不同的软件厂商提供,导致数据标准不统一,和银行方、渠道方对账错误频发,且无法追溯。本方案架构旨在梳理并打通客户数据的汇聚、数据存储、数据治理、数据分类、数据推送等通路,构建数据质量管理体系,实现专题数据自动对账、自动入账、数据可视化。其中数据集成,主要通过数据复制服务DRS、云数据迁移CDM,将数据采集,根据数据类型分类,其中事务数据存入云数据库RDS中,分析型数据存入数仓DWS中。在数据治理中心DataArts Studio中进行数据治理作业,最后通过应用与数据集成平台ROMAConnect开放接口,提供数据给第三方综合结算系统。
  • 方案优势 依托华为云大数据产品,结合中软国际数据治理专业服务能力,为企业数字化转型奠定数据基础。该方案具备以下几个优势: 一站式数据治理专业服务解决方案 为客户提供咨询服务、交付实施、定制开发、数据运维运营一站式数据治理服务。 安全可靠云大数据产品 云上大数据产品,可以降低企业的运营成本,提升企业的运维效率,提高数据的安全性,减少企业的空间占用。 深耕多年行业经验案例 在政府、航空、能源行业,深耕多年,有着丰富的行业经验 和 N个标杆级成功案例,包括智慧城市、机场、电网等。
  • 应用场景 中软国际数据治理专业服务解决方案,旨在基于华为云计算底座,通过DataArts Studio等大数据相关产品,为企业提供数据治理服务。 在数字政府行业,帮助政府建设数据专区,通过数据开发利用,实现数据分析决策。丰富的数据应用场景,让数据在应用中发挥作用,提升政府行政执法效率;激活政府数据资产,让数据在决策中呈现价值,帮助政府了解营商数据,更好的招商引资。 在数字航空行业,帮助企业构建数据治理标准体系,构建统一的数仓,推动航班运行控制智能决策。通过一站式的大数据平台和数据治理服务为客户搭建数据底座,并以数据服务、指标、算法、报表、可视化等多种方式,对业务系统进行数据赋能。 在数字能源行业,帮助企业打通数据壁垒,建设统一的数据标准质量,将各类数据指标通过大屏展示。通过数据使能构建,各类报表大屏定制化开发,帮助企业领导决策。
  • 数据治理实施 本实施方案基于某客户数据治理项目实践输出,作为最佳实践案例,不代表数据治理实施完整方案。 数据治理方案设计 数据指标分析与设计 数据整合流程设计 数据治理实施服务流程 服务阶段 里程碑说明 启动阶段 1、组织项目开工会,组建项目团队; 2、与相关干系人沟通,明确项目目标与验收标准,基线化文档; 3、制定项目组织架构与运作机制; 4、制定SOW与项目计划。 方案阶段 1、获取数据治理需求,识别遗漏和不完整需求,定义需求类型; 2、通过数据指标、数据调研、数据分析、功能匹配等方法进行需求分析; 3、对需求已明确的数据指标要求展开方案设计。目的是综合运用各种数据治理方法和手段,依据设计原则及质量安全设计确定数治理架构、技术架构、数据流架构、云上部署架构等; 4、在方案选择建议的基础上,采用选定的设计方法和技术,基于需求规格进行概要设计,其中必须包含数仓分层设计、数据模型设计、数据采集设计、数据标准设计等,输出设计方案,必要时进行同行评审,经确认完成后基线并文档化。 准备阶段 1、按照方案设计,协助客户购买相关云上大数据产品。 2、协助可以配置大数据产品网络、安全等。 实施阶段 1、在项目方案的基础上,实施工程师针对需求,采用选定的设计方法和技术及相关技术、安全等规范,进行详细设计; 2、实施工程师按照数据开发规范、安全规范进行数据治理及配套文档; 3、按定义的工作任务,对治理作业实施单元测试,并完成缺陷记录和修复,达到质量要求后结束; 4、组织QC组,对治理作业及配套文档进行评审; 5、根据项目计划制定项目测试计划,包括测试方案、时间计划、测试轮次等等,输出项目测试计划; 6、依据需求规格、项目方案,必要时参考数据治理方案设计,设计集成验证场景与用例。 验证阶段 1、组织用户及相关参与人员对平台、数据进行验证,确认平台、数据是否符合业务要求; 2、登记并验证缺陷修复情况; 3、输出验证测试报告。 试运行阶段 1、组织制定试运行计划,并于业务相关方沟通确认; 2、组织试运行; 3、编制试运行报告。 关闭阶段 1、试运行结束后创建项目满意度调查问卷,项目经理收集调查名单后组织完成满意度调查; 2、项目经理负责按照项目总结报告模板要求完成项目总结报告编制; 3、项目经理召集项目关闭会议,将项目数据、文档等归档,并释放资源,如果涉及资源采购,则此活动完成人员退场;对于涉及区域的项目,区域IT代表.负责项目经验共享,收集项目文档及总结报告并在区域内共享; 4、根据项目相关活动及交付情况,进行完成情况审视; 5、发布项目关闭信息。
  • 定制开发服务 定制开发服务分类 大屏、报表定制设计开发:根据客户报表需求,设计报表,并定制开发。 移动端、PC端应用设计开发:按照第三方对账系统要求,开放接口,并提供数据对接测试。 定制开发服务流程 服务阶段 里程碑说明 启动阶段 1、组织项目开工会,组建项目团队; 2、与相关干系人沟通,明确项目目标与验收标准,基线化文档; 3、制定项目组织架构与运作机制; 4、制定SOW与项目计划。 方案阶段 1、获取业务需求,识别遗漏和不完整需求,定义需求类型; 2、通过原型、业务调研、差异分析、功能匹配等方法进行需求分析; 3、对需求已明确的新开发系统展开架构设计。目的是综合运用各种设计方法和手段,依据设计原则及质量安全设计确定产品应用架构、技术架构、数据架构、集成架构、物理部署架构,合理分配被开发系统的内外部需求到各子系统或模块; 4、在方案选择建议的基础上,采用选定的设计方法和技术,基于需求规格进行概要设计,其中必须包含数据模型设计,输出项目方案,必要时进行同行评审,经确认完成后基线并文档化。 实施阶段 1、在项目方案的基础上,实施工程师针对需求,采用选定的设计方法和技术及相关技术、安全等规范,进行详细设计; 2、实施工程师按照开发规范、安全规范编写代码及配套文档; 3、按定义的工作任务,对开发单元、软件包配置和构建实施单元测试,并完成缺陷记录和修复,达到质量要求后结束; 4、组织QC组,对代码及配套文档、实施指南、用户手册、运维手册进行同行评审; 5、根据项目计划制定项目测试计划,包括测试方案、时间计划、测试轮次等等,输出项目测试计划; 6、依据需求规格、项目方案,必要时参考产品架构设计,设计集成验证场景与用例。 验证阶段 1、组织用户及相关参与人员对应用进行验证,确认应用是否符合业务要求; 2、登记并验证缺陷修复情况; 3、输出验证测试报告。 部署阶段 1、协助客户购买云上计算、存储、网络等资源 2、在云上部署应用 试运行阶段 1、组织制定试运行计划,并于业务相关方沟通确认; 2、组织试运行; 3、编制试运行报告。 关闭阶段 1、试运行结束后创建项目满意度调查问卷,项目经理收集调查名单后组织完成满意度调查; 2、项目经理负责按照项目总结报告模板要求完成项目总结报告编制; 3、项目经理召集项目关闭会议,将项目数据、文档等归档,并释放资源,如果涉及资源采购,则此活动完成人员退场;对于涉及区域的项目,区域IT代表.负责项目经验共享,收集项目文档及总结报告并在区域内共享; 4、根据项目相关活动及交付情况,进行完成情况审视; 5、发布项目关闭信息。
  • 数据治理诊断 企业现状调研 了解客户的核心业务流程、需求、挑战和目标。分析客户的核心业务流程和组织结构,理解客户的业务模式。识别业务中的关键挑战和机会,为业务优化提供方向。明确业务目标和战略方向,为业务增长提供支持。采用访谈交流、现场观察、市场分析和竞争对手研究等多种方法进行业务调研。 执行步骤如下: 调查问卷。要求企业按调查问卷要求填写信息。 高层访谈。对企业高层CEO、CIO、CTO面对面访谈,了解高层对数据的诉求。 业务部门访谈。对企业各个业务部门主管面对面访谈,了解业务部门对数据诉求。 调研数据汇总。将问卷信息、访谈信息汇总,提炼、总结,编写诊断报告。 调研总结会议。展示调研内容、过程、结果。 数据现状调研 数据调研,目的在于了解客户当前数据的质量、一致性、可信度和可用性。 了解客户整体数据资产及其关系:通过调研,可以深入探究客户不同业务系统间的数据资产,并揭示数据之间的相关性和相互影响。 识别并改进数据质量问题:调研过程能够识别客户的数据质量问题,包括数据准确性、完整性、时效性等,并针对这些问题提出具体的改进措施。 评估数据治理成熟度:通过对组织的数据治理能力进行深入评估,确保公司的数据管理能力符合不断复杂化和快速变化的市场需求,以及相关的法律法规要求。 明确数据治理的目标与策略:通过数据调研,帮助确定客户的数据治理目标和策略,涵盖数据采集、处理、存储、分析等各个方面的具体需求和目标。 调研的方式涵盖访谈交流、数据探查、实地考察、集体研讨等多种方法。 执行步骤如下: 业务系统识别:根据数据指标,识别需要调研哪些业务系统。 业务部门访谈:根据数据指标,调研业务系统数据情况,包括数据位置、数据库、数据质量情况等。 制定数据标准:根据调研情况,结合公司业务,制定数据质量标准。 数据库表整理 通过对客户业务系统数据库表整理,了解客户的数据资产,知道有哪些数据库、表、字段。分析数据库表的结构、属性、关系等,可以了解数据的完整性、一致性。初步评估数据的质量,识别缺失和错误的数据。确定最佳的数据库整合和数据迁移方案,以实现数据的同源共享。
  • 资源和成本规划 以某行业客户为例,客户的需求为构建全公司统一的数据平台,在数据平台中对数据进行治理,并支撑上层的数据应用。 根据客户现有数据量,以及考虑到增量的数据集成方式、数据入湖入仓的膨胀系数、以及客户对平台性能的要求,设计了以下的资源与成本清单。实际收费应以账单为准: 资源与成本清单 表1 云服务清单 云资源 规格 数量 数据治理中心(DataArts Studio) 企业版,cdm.medium,4核 8 GB,作业并发数8,作业节点调度次数5,000次/天,技术资产数量5,000,数据模型数量100 1 云数据迁移(CDM: Cloud Data Migration) cdm.xlarge,16核 32GB,并发作业数32 1 数据复制服务(DRS: Data Replication Service) / 1 数据湖探索(DLI: Data Lake Insight) 通用队列,512CUs 1 数据仓库服务(DWS: Data Warehouse Service) X86 | dwsx3.32U128G.32DPU | 32 vCPUs | 128 GB 1 应用与数据集成平台 ROMAConnect X86 2RCU可支持API转发 2000 TPS,或可支持托管API数量 200 个 1 表2 专业服务清单 类别 报价项 量纲 数据治理咨询服务 数据治理诊断 30人天 数据治理实施服务 数据集成 20人天 数据架构 15人天 数据开发 30人天 数据质量 15人天 数据资产 10人天 数据服务 10人天 数据安全 5人天 定制开发服务 报表设计开发(定制) 50人天 PC端应用设计开发 15人天 合计: 200人天
  • 订阅顺序消息 只需要在订阅普通消息的代码基础上增加orderly=True,参考如下示例代码(以下加粗内容需要替换为实例自有信息,请根据实际情况替换)。 import time from rocketmq.client import PushConsumer, ConsumeStatus def callback(msg): print(msg.id, msg.body, msg.get_property('property')) return ConsumeStatus.CONSUME_SUCCESS def start_consume_message(): consumer = PushConsumer('consumer_group', orderly=True) consumer.set_name_server_address('192.168.0.1:8100') consumer.subscribe('TopicTest', callback) print('start consume message') consumer.start() while True: time.sleep(3600) if __name__ == '__main__': start_consume_message() 示例代码中的参数说明如下,请参考收集连接信息获取参数值。 consumer_group:表示消费组名称。 192.168.0.1:8100:表示实例连接地址和端口。 TopicTest:表示Topic名称。
  • 发送顺序消息 参考如下示例代码(以下加粗内容需要替换为实例自有信息,请根据实际情况替换)。 from rocketmq.client import Producer, Message topic = 'TopicTest' gid = 'test' name_srv = '192.168.0.1:8100' def create_message(): msg = Message(topic) msg.set_keys('XXX') msg.set_tags('XXX') msg.set_property('property', 'test') msg.set_body('message body') return msg def send_orderly_with_sharding_key(): producer = Producer(gid, True) producer.set_name_server_address(name_srv) producer.start() msg = create_message() ret = producer.send_orderly_with_sharding_key(msg, 'orderId') print('send message status: ' + str(ret.status) + ' msgId: ' + ret.msg_id) producer.shutdown() if __name__ == '__main__': send_orderly_with_sharding_key()
共100000条