华为云用户手册

操作场景 为了确保ClickHouse日常用户的业务数据安全，或者集群用户需要对ClickHouse进行重大操作（如升级或迁移等），需要对ClickHouse数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 集群用户可以通过FusionInsight Manager创建备份ClickHouse任务。支持创建任务自动或手动备份数据。 该功能仅MRS 3.1.0及之后版本支持。

前提条件 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份任务的类型、周期、备份对象、备份目录和备份任务需要使用的Yarn队列等策略规格。 检查备集群HDFS是否有充足的空间，备份文件保存的目录建议使用用户自定义的目录。

前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。目前IoTDB仅支持备份到HDFS中。 若IoTDB为普通模式，则不支持备份业务数据到安全模式HDFS。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查备集群HDFS是否有充足的空间，备份文件保存的目录建议使用用户自定义的目录。

操作场景 为了确保IoTDB元数据安全，防止因IoTDB的文件损坏等导致IoTDB服务不可用时，需要对IoTDB元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建恢复IoTDB任务。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的IoTDB数据。 建议一个恢复任务只恢复一个组件的元数据，避免因停止某个服务或实例影响其他组件的数据恢复。同时恢复多个组件数据，可能导致数据恢复失败。

操作场景 在用户意外修改、删除或需要找回数据时，集群用户对ClickHouse进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对ClickHouse进行恢复数据操作。 集群用户可以通过FusionInsight Manager创建恢复ClickHouse任务并恢复数据。只支持创建任务手动恢复数据。 ClickHouse备份恢复功能不支持识别用户的ClickHouse表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时，需要根据业务场景管理统一的恢复点，防止影响业务正常运行。 该功能仅MRS 3.1.0及之后版本支持。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的ClickHouse数据。 ClickHouse元数据恢复和业务数据恢复不能同时进行操作，否则会导致业务数据恢复失败。建议元数据恢复完成后再进行业务数据恢复。

前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主备集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主备集群部署为普通模式，则不需要配置互信。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 规划好恢复数据保存表的数据库，数据表在HDFS的保存位置，以及访问恢复数据的用户清单。 检查ClickHouse备份文件保存路径。 停止ClickHouse的上层应用。 主备集群中，从远端HDFS恢复至本地时，需要确保ClickHouse的HADOOP_RPC_PROTECTION配置项与HDFS的hadoop.rpc.protection配置项保持一致。

操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对IoTDB进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对IoTDB进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复IoTDB任务。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的IoTDB数据。

操作场景 新安装的安全模式集群默认即安装了Ranger服务并启用了Ranger鉴权，用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权，集群管理员可在服务页面手动停用Ranger鉴权，停用Ranger鉴权后，访问组件资源时系统将继续基于FusionInsight Manager的角色模型进行权限控制。 从历史版本升级的集群，用户访问组件资源时默认不使用Ranger鉴权，集群管理员可在安装了Ranger服务后手动启用Ranger鉴权。 安全模式集群中，支持使用Ranger鉴权的组件包括：HDFS、Yarn、Kafka、Hive、HBase、Storm、Spark2x、Impala、CDL。 非安全模式集群中，Ranger可以支持基于OS用户进行组件资源的权限控制，支持启用Ranger鉴权的组件包括：HBase、HDFS、Hive、Spark2x、Yarn。 启用Ranger鉴权后，该组件所有鉴权将由Ranger统一管理，原鉴权插件设置的权限将会失效（HDFS与Yarn的组件ACL规则仍将生效），请谨慎操作，建议提前在Ranger上做好权限部署。 停用Ranger鉴权后，该组件所有鉴权将由组件自身权限插件管理，Ranger上设置的权限将会失效，请谨慎操作，建议提前在Manager上做好权限部署。

前提条件 检查Flink元数据备份文件保存路径。 恢复Flink元数据需要先停止Flink服务。 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。

操作场景 在用户意外修改、删除或需要找回数据时，系统管理员需要对Flink进行重大操作（如升级或迁移等）后，系统数据出现异常或未达到预期结果，导致Flink组件全部故障无法使用，或者迁移数据到新集群的场景中，需要对Flink元数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Flink任务。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复Flink元数据，建议手动备份最新Flink元数据后，再执行恢复Flink元数据操作。否则会丢失从备份时刻到恢复时刻之间的Flink元数据。 Flink元数据恢复和业务数据恢复不能同时进行操作，否则会导致业务数据恢复失败。建议元数据恢复完成后再进行业务数据恢复。

前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果要备份到HDFS，需要安装HDFS，Yarn服务。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。

概述 FusionInsight Manager提供对集群内的用户数据及系统数据的备份恢复能力，备份功能按组件提供。系统支持备份Manager的数据、组件元数据及业务数据。 备份功能支持将数据备份至本地磁盘（LocalDir）、本端HDFS（LocalHDFS）、远端HDFS（RemoteHDFS）、NAS（NFS/CIFS）、SFTP服务器（SFTP）、OBS，具体操作请参考备份数据。 对于支持多服务的组件，支持同服务多个实例的备份恢复功能且备份恢复操作与自身服务实例一致。 MRS 3.1.0及之后版本才支持备份数据到OBS。 备份恢复任务的使用场景如下： 用于日常备份，确保系统及组件的数据安全。 当系统故障导致无法工作时，使用已备份的数据完成恢复操作。 当主集群完全故障，需要创建一个与主集群完全相同的镜像集群，可以使用已备份的数据完成恢复操作。 表1 根据业务需要备份Manager配置数据 备份类型 备份内容 备份目录类型 OMS 默认备份集群管理系统中的数据库数据（不包含告警数据）以及配置数据。 LocalDir LocalHDFS RemoteHDFS NFS CIFS SFTP OBS 表2 根据业务需要备份组件元数据或其他数据 备份类型 备份内容 备份目录类型 DBService 备份DBService管理的组件（Loader、Hive、Spark、Oozie、Hue、CDL）的元数据。对于安装了多服务的集群，包含多个Hive和Spark服务实例的元数据。 LocalDir LocalHDFS RemoteHDFS NFS CIFS SFTP OBS Flink （适用于MRS 3.2.0及以后版本） Flink的元数据。 LocalDir LocalHDFS RemoteHDFS Kafka Kafka的元数据。 LocalDir LocalHDFS RemoteHDFS NFS CIFS OBS NameNode 备份HDFS元数据。添加多个NameService后，支持不同NameService的备份恢复功能且备份恢复操作与默认实例“hacluster”一致。 LocalDir RemoteHDFS NFS CIFS SFTP OBS Yarn 备份Yarn服务资源池相关信息。 HBase HBase系统表的tableinfo文件和数据文件。 IoTDB IoTDB的元数据。 LocalDir NFS RemoteHDFS CIFS SFTP ClickHouse ClickHouse的元数据。 LocalDir RemoteHDFS 表3 根据业务需要备份特定组件业务数据 备份类型 备份内容 备份目录类型 HBase 备份表级别的用户数据。对于安装了多服务的集群，支持多个HBase服务实例的备份恢复功能且备份恢复操作与HBase服务实例一致。 RemoteHDFS NFS CIFS SFTP HDFS 备份用户业务对应的目录或文件。 说明： 加密目录不支持备份恢复。 Hive 备份表级别的用户数据。对于安装了多服务的集群，支持多个Hive服务实例的备份恢复功能且备份恢复操作与Hive服务实例一致。 IoTDB 备份IoTDB业务数据。 RemoteHDFS ClickHouse 备份表级别的用户数据。 RemoteHDFS 需要特别说明的是，部分组件不提供单独的数据备份与恢复功能： Kafka支持副本特性，在创建主题时可指定多个副本来备份数据。 CDL的数据存储在DBService与Kafka服务中，系统管理员可以通过创建备份DBService和Kafka的任务来备份数据。 Mapreduce和Yarn的数据存放在HDFS上，故其依赖HDFS提供备份与恢复即可。 ZooKeeper中存储的业务数据，其备份恢复能力由各上层组件按需独立实现。

原理 任务 在进行备份恢复之前，需要先创建备份恢复任务，并指定任务的参数，例如任务名称、备份数据源和备份文件保存的目录类型等等。通过执行备份恢复任务，用户可完成数据的备份恢复需求。在使用Manager执行恢复HDFS、HBase、Hive和NameNode数据时，无法访问集群。 每个备份任务可同时备份不同的数据源，每个数据源将生成独立的备份文件，每次备份的所有备份文件组成一个备份文件集，可用于恢复任务。备份任务支持将备份文件保存在Linux本地磁盘、本集群HDFS与备集群HDFS中。 备份任务提供全量备份或增量备份的策略，云数据备份任务不支持增量备份策略。如果备份的路径类型是NFS或CIFS，不建议使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时，每次增量备份都会刷新最近一次全量备份的备份数据，所以不会产生新的恢复点。 任务运行规则： 某个任务已经处于执行状态，则当前任务无法重复执行，其他任务也无法启动。 周期任务自动执行时，距离该任务上次执行的时间间隔需要在120秒以上，否则任务推迟到下个周期启动。手动启动任务无时间间隔限制。 周期任务自动执行时，当前时间不得晚于任务开始时间120秒以上，否则任务推迟到下个周期启动。 周期任务锁定时无法自动执行，需要手动解锁。 OMS、DBService、Kafka和NameNode备份任务开始执行前，若主管理节点“LocalBackup”分区可用空间小于20GB，则无法开始执行。 管理员在规划备份恢复任务时，请严格根据业务逻辑、数据存储结构、数据库或表关联关系，选择需要备份或者恢复的数据。系统默认创建间隔为1小时的周期备份任务“default-oms”、“default-集群ID”，支持全量备份OMS及集群的DBService、NameNode等元数据到本地磁盘。 快照 系统通过快照技术，快速备份数据。快照包含HBase快照、HDFS快照。 HBase快照 HBase快照是HBase表在特定时间的一个备份，该备份文件不复制业务数据，不影响RegionServer。HBase快照主要复制表的元数据，包含table descriptor，region info和HFile的引用信息。通过这些元数据信息可以恢复快照时间点之前的数据。 HDFS快照 HDFS快照是HDFS文件系统在特定时间点的只读备份副本，主要用于数据备份、用户误操作保护和灾难恢复的场景。 任意HDFS目录均可以配置启用快照功能并创建对应的快照文件，为目录创建快照前系统会自动启用此目录的快照功能。创建快照不会对正常的HDFS操作有任何影响。每个HDFS目录最多可创建65536个快照。 如果一个HDFS目录已创建快照，那么在快照完全删除以前，此目录无法删除或修改名称。该目录的上级目录或子目录也无法再创建快照。 DistCp DistCp（distributed copy）是一个用于在本集群HDFS中或不同集群HDFS间进行大量数据复制的工具。在HBase、HDFS或Hive元数据的备份恢复任务中，如果选择将数据备份在备集群HDFS中，系统将调用DistCp完成操作。主备集群请选择安装相同版本的MRS软件版本并安装集群系统。 DistCp使用Mapreduce来影响数据的分布、异常处理及恢复和报告，此工具会把指定列表中包含的多个源文件和目录输入不同的Map任务，每个Map任务将复制列表中指定文件对应分区的数据。 使用DistCp在两个集群的HDFS间进行数据复制，集群双方需要分别配置互信（同一个FusionInsight Manager管理下的集群不需要配置互信）和启用集群间拷贝功能。集群数据备份到另一个集群的HDFS时，需要安装Yarn组件，否则备份失败。 本地快速恢复 使用DistCp将本集群HBase、HDFS和Hive数据备份在备集群HDFS中以后，本集群HDFS保留了备份数据的快照。用户可以通过创建本地快速恢复任务，直接从本集群HDFS的快照文件中恢复数据。 NAS NAS（Network Attached Storage）是一种特殊的专用数据存储服务器，包括存储器件和内嵌系统软件，可提供跨平台文件共享功能。利用NFS（支持NFSv3、NFSv4）和CIFS（支持SMBv2、SMBv3）协议，用户可以连通MRS的业务平面与NAS服务器，将数据备份至NAS或从NAS恢复数据。 数据备份至NAS前，系统会自动将NAS共享地址挂载为备份任务执行节点的本地分区。在备份结束后，系统会卸载备份任务执行节点的NAS共享分区。 为防止备份恢复失败，数据备份及恢复期间，请勿访问NAS服务器挂载至本地的共享地址，如：“/srv/BigData/LocalBackup/nas”。 业务数据备份至NAS时，会使用DistCp。

全量更新备Master节点的原始客户端 参见1~3登录备Master节点，执行如下命令切换到omm用户。 sudo su - omm 在备master节点上执行如下命令，从主master节点拷贝下载的客户端包。 scp omm@master1节点IP地址:/tmp/MRS-client/MRS_Services_Client.tar /tmp/MRS-client/ 该命令以master1节点为主master节点为例。 目的路径以备master节点的/tmp/MRS-client/目录为例，请根据实际路径修改。 参见4~13，更新备Master节点的客户端。

全量更新主Master节点的原始客户端 场景描述 用户创建集群时，默认在集群所有节点的“/opt/client”目录安装保存了原始客户端。以下操作以“/opt/Bigdata/client”为例进行说明。 MRS普通集群，在console页面提交作业时，会使用master节点上预置安装的客户端进行作业提交。 用户也可使用master节点上预置安装的客户端来连接服务端、查看任务结果或管理数据等 对集群安装补丁后，用户需要重新更新master节点上的客户端，才能保证继续使用内置客户端功能。 操作步骤 登录MRS Manager页面，具体请参见访问MRS Manager（MRS 2.x及之前版本），然后选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“完整客户端”，“下载路径”选择“服务器端”，单击“确定”开始生成客户端配置文件，文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 查询并登录主Master节点。 在弹性云服务器，切换到root用户，并将安装包复制到目录“/opt”。 sudo su - root cp /tmp/MRS-client/MRS_Services_Client.tar /opt 在“/opt”目录执行以下命令，解压压缩包获取校验文件与客户端配置包。 tar -xvf MRS_Services_Client.tar 执行以下命令，校验文件包。 sha256sum -c MRS_Services_ClientConfig.tar.sha256 界面显示如下： MRS_Services_ClientConfig.tar: OK 执行以下命令，解压“MRS_Services_ClientConfig.tar”。 tar -xvf MRS_Services_ClientConfig.tar 执行以下命令，移走原来老的客户端到/opt/Bigdata/client_bak目录下 mv /opt/Bigdata/client /opt/Bigdata/client_bak 执行以下命令，安装客户端到新的目录，客户端路径必须为“/opt/Bigdata/client”。 sh /opt/MRS_Services_ClientConfig/install.sh /opt/Bigdata/client 查看安装输出信息，如有以下结果表示客户端安装成功： Components client installation is complete. 执行以下命令，修改/opt/Bigdata/client目录的所属用户和用户组。 chown omm:wheel /opt/Bigdata/client -R 执行以下命令配置环境变量： source /opt/Bigdata/client/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinitMRS集群用户 例如, kinit admin 执行组件的客户端命令。 例如，执行以下命令查看HDFS目录： hdfs dfs -ls /

伙伴测试工程师设计用例 伙伴测试工程师进入待办处理测试用例设计事项，点击用例管理模块，进行测试用例的创建与导入，测试用例创建完成后提交给华为测试工程师审核。 操作步骤 创建用例 方式一：点击“导入”，可以采用导入用例模板方式创建测试用例（主要用于功能测试用例） 下载功能测试用例模板，每个测试需求都需要下载一个用例模板，每条测试用例的测试需求及用例描述需要与模板自动 生成的内容保持一致 在测试用例模板中完成测试用功能用例的编写，完成后点击选择文件上传导入功能测试用例 方式二：安全、可靠性、性能、功能（服务控制类）测试用例已于伙伴架构师新建测试需求中导入的需求关联导入，需要进行调整： 性能测试用例：需要据实修改用例名称和描述（性能测试用例导入模板场景个数为最少标准，如需添加场景请参考原 有模板添加） 可靠性测试用例：目前导入的用例模板为全部用例，需要把不涉及的用例删除掉，如执行的用例不在用例模板中，也可手工新建可靠性用例 完成测试用例创建后，提交给华为测试工程师评审 导入测试用例要求 功能测试用例 要确保证功能清单上的二级子功能用例覆盖率要达到100%。 用例名称：统一使用 “一级功能-二级功能-XXXX”格式命名功能测试用例名称。 性能测师用例：包含三个需求（基本核心场景（3-5个，5-10分钟）、混合场景（2-4个，0.5-2小时），疲劳压测场景（1个，持续4-6小时）），至少6条用例（至少3个基本核心场景和2个并发场景、一个疲劳压测场景）。 安全测试用例：包含手工执行安全用例（38条）和工具扫描用例（3条）。工具扫描：VSS-web扫描测试、VSS-主机扫描、VSS-二进制扫描。 可靠性测试用例：对联营商品商品集成架构进行分析，创建可靠性测试需求，测试商品各故障点的服务高可用。 功能测试用例：3条，针对系统完成服务控制用例测试。（注：除非是一次性买断的产品，否则都要满足服务控制类3条用例）。

伙伴架构师完成架构设计 华为云架构师完成架构设计（包括集成架构和配置清单），并指定方案审核人。 操作步骤，参考集成架构设计 伙伴架构师用户登录Haydn平台，点击“工作待办”，处理待办进行方案设计 。 图10 方案架构设计入口 图11 方案架构设计页面 点击‘创建一个集成架构’新建集成架构方案 输入架构名称，例如：云展会集成架构设计 选择架构模板 部署环境：华为公有云 联营认证架构模板正常情况选择无模板，要求伙伴独立画完架构图，架构图的云服务要与报价清单的云服务一致； 加速场架构模版提供了同场景下的参考架构，您可以引用至当前的方案下载进行二次编辑从而更高效的完成架构设计； 如果伙伴之前已经在Haydn平台画完架构图，可以选择从已有架构框架复制。 完成架构设计后，点击“保存”。 图12 保存集成架构 在集成架构下新建部署架构，按照实际情况选择服务的规格配置。 图13 新建部署架构设计，架构类型选手工部署（图形模式） 图14 新建部署架构成功 图15 生成云服务规格配置图，可以在配置图中点击云服务，选择云服务的规格 图16 云服务选好之后，保存就可以同步到部署架构的配置清单中 通过图形化的云服务规格配置图选择云服务规格，可以确保部署架构设计的云服务清单的类型、数量以及规格要与伙伴在华为云上部署环境用到的云服务一致。 提交审核。提交给华为侧测试工程师。 图17 提交审核 提交后由华为侧测试工程师对方案进行审核，如审核通过，则方案设计完成。 图18 方案设计完成

华为测试工程师对注册方案进行审核 华为云测试工程师进入工作待办，对伙伴提交上来的方案和架构进行审核。 操作步骤 华为测试工程师登录Haydn平台，点击工作待办，找到对应的方案，点击处理； 图19 工作待办界面 进入页面后，如需其他相关人员评审，请选择转审；伙伴提交的材料不符合要求，可以驳回给伙伴重新修改。 图20 方案审核界面 评审主要是看伙伴的材料是否按照要求提交完成，以及集成架构图画得是否规范、部署资源清单是否正确等。

伙伴测试工程师新建测试需求 方案审核通过后，伙伴测试工程师进入工作空间，点击“需求管理”进入验证中心测试需求管理页面点击“新建”，新建测试需求。联营商品认证需要创建功能测试、性能测试、安全测试、可靠性测试，详情参考联营商品认证测试内容与要求。 图21 进入需求管理 操作步骤： 填写创建需求相关信息； 选择创建测试需求需要关联的工作空间中解决方案名称，例如：云展会-联营认证方案 选择认证测试-联营：联营商品认证测试要求选择认证测试-联营，填写每个环节负责人，需要对接的华为测试工程师进行注册方案、测试需求、用例设计和生成报告的审核 验证策略：选多底座独立验证-HC（公有云）验证配置。 关联方案设计阶段设计的集成架构。 关联方案设计阶段设计的部署架构。 设置伙伴开通测试资源的账号，让伙伴启动云服务资源开通及应用部署 图22 需求信息-01 图23 需求信息-02 新建需求的内容与设置起止时间 填写测试需求名称，例如：云展会方案-联营商品认证测试；设置测试起止时间，建议设置较长时间，后续测试计划需基于该时间段进行设计； 图24 导入测试需求 从模板加载：导入需求模板，选择【联营商品认证】性能、安全、服务管控、可靠性测试、集成 功能测试：功能测试需求按照联营商品商品实际功能模块进行，向导式生成 性能测试：分为基本核心场景测试、混合场景测试和疲劳压测3条需求，对应3条需求均可从需求导入模板导入 安全测试 :36条手工安全测试用例+3条自动化扫描用例，从需求导入模板导入 可靠性测试:对联营商品商品集成架构进行分析，创建可靠性测试需求，测试商品各故障点的服务高可用，从需求导入模板导入、向导式生成 功能测试:三条服务控制类用例单独属于一条功能需求，从需求导入模板导入 集成测试：通过解决方案集成架构图分析，如果应用与华为云服务直接集成，向导式生成 图25 从模板加载 图26 需求模板加载成功 向导式需求与用例生成：需要上传功能清单、 图27 图28 下载功能清单模板，按要求填写完成后导入 图29 选择架构图画了的云服务，默认全选，不有使用的删除 图30 参考说明填写集成路径描述 图31 向导式导入成功，功能和集成类型测试需求描述会自动更新 制定测试计划和需求新建完之后提交给华为测试工程师进行评审 图32 测试计划制定和需求提交评审 1、从模板加载：当前联营安全、性能、可靠性需求与相关用例关联；选择从模板导入-选择【联运商品认证】性能、安全、服务管控、可靠性测试用例海顿。 2、向导式需求与用例生成：主要是针对于功能、可靠性、集成用例的快速导入 3、制定测试计划：测试计划可自动生成，需要把每个阶段的计划时间和负责人选清楚，后提交对接的华为侧测试工程师审核

验证流程 Haydn平台方案验证有标准流程、快捷流程和自定义流程，伙伴应用与IMC集成自验证（Haydn平台）选择自定义流程；具体分工如下： 华为侧负责：创建验证空间，审核测试报告； 伙伴侧负责：注册、设计、审核解决方案，创建测试需求，设计测试用例，开通测试资源，执行测试用例、审核测试报告； 图1 伙伴应用与IMC集成自验证（Haydn平台）方案自定义流程图 流程介绍 解决方案空间创建：华为侧项目经理登录Haydn，创建解决方案验证空间； 邀请伙伴加入验证空间：华为侧项目经理登录Haydn，邀请伙伴侧架构师、项目经理和测试工程师加入验证空间；伙伴侧收到邀请后，同意加入验证空间； 伙伴侧架构师注册方案：伙伴侧架构师登录Haydn，在“设计中心”注册方案； 伙伴侧架构师设计集成架构：伙伴侧架构师登录Haydn，在“设计中心”设计集成架构并指定方案审核人； 伙伴侧项目经理审核验证方案：伙伴侧项目经理登录Haydn，在“设计中心”设计集成架构并指定方案审核人； 伙伴侧架构师新建解决方案测试需求：伙伴侧架构师登录Haydn，在“验证中心”新建测试需求； 伙伴侧测试工程师设计测试用例：伙伴侧测试工程师登录Haydn，在“验证中心”设计测试用例并指定测试用例评审人； 伙伴侧测试工程师开通测试资源：伙伴侧测试工程师登录Haydn，在“验证中心”开通测试资源并指定测试用例执行人； 伙伴侧测试工程师执行测试用例：伙伴侧测试工程师登录Haydn，在“验证中心”，执行测试用例并处理测试问题； 伙伴侧测试工程师提交测试报告：伙伴侧测试工程师登录Haydn，在“验证中心”，提交测试报告； 伙伴侧和华为侧项目经理评审测试报告：伙伴侧和华为侧项目经理登录Haydn，在“验证中心”审核测试报告。 伙伴应用与IMC集成验证（Haydn）某些节点（如：集成架构、验证需求和测试用例）已预置成模板，所以验证流程（Haydn），跳过测试方案审核、测试需求评审、测试计划制定和测试用例评审阶段。 父主题： IMC伙伴方案构建及验证

验收问题管理 在项目进行过程中，可对项目中的问题进行管理，包括用例问题、实施问题、部署问题、进度风险等，可用于测试工程师在执行用例过程中的问题记录、项目经理对项目进度风险的记录等场景。 在左侧导航栏选择“交付中心-问题管理”，在问题管理界面点击【新建】按钮。 图7 问题新建入口 补充问题详细信息，包括问题描述、关联的需求和用例、相关责任人等。 完成问题新建后，对应的问题责任人将会接收到问题待办通知，可对问题进行处理。 图8 问题处理

验收报告审核 测试工程师完成测试用例执行后，可在用例管理界面点击【报告预览】，查看用例执行情况。 图9 报告生成入口 在报告预览页面，可查看该项目验收用例的测试结果、问题闭环情况和用例清单等内容，可在“项目总结”输入框输入总结信息并点击【生成验收文档】按钮，Haydn将会自动生成相关验收文档，用户可下载文档到本地查看。 项目报告：.docx文件，包含项目的基本信息、架构信息、实施情况、用例执行情况等所有项目相关信息； 解决方案：.ppt文件，展示项目方案设计的相关信息； 测试用例：.xlsx文件，项目验收用例清单。 图10 生成验收文档 点击右下角的【提交】按钮，将报告提交给技术负责人进行审核。 图11 提交报告审核 技术负责人接收到项目验收报告审核待办通知，可对该待办进行处理，审核项目验收是否完成，报告是否验收通过并指定项目上线责任人（指定为项目经理）。 图12 报告审核入口 图13 提交审核结果 查看报告审核状态。 图14 报告审核状态

项目总结 项目结束之后，项目经理可对整个项目进行总结回顾，支持上传关于对项目总结的相关文档。本模块对项目整个过程中的交付效率（交付时长，需求完成情况，资产信息进行统计）进行自动统计。 图5 项目总结入口 图6 项目总结-1 图7 项目总结-2 以上最佳实践配套了示例工作空间，如需体验，可发邮件至yangrenhui2@h-partners.com申请加入该空间，申请主题：交付空间最佳实践体验；申请账号：请提供体验使用的账号名&用户名。

验收用例设计 测试工程师在交付空间左侧导航栏选择“交付中心-用例管理”，选择相应的项目需求后点击【新建】按钮。若项目中需要设计的验收用例较多，可通过导入的方式批量导入。 图1 用例新建/导入入口 在用例新建页面，输入用例名称，选择用例的部署环境（部署环境和项目的部署环境一致）、优先级、用例类型，补充用例描述、步骤等信息，完成用例新建。 点击【确定】按钮，完成用例新建。 重复上述步骤，完成所有用例的设计。支持通过导入的方式批量导入用例。

ETL映射 根据业务场景需要，可将数据从源端数据中进行移动和转换到指定的目标数据表中。如，本实践中需要将SDI层的门店表映射至DWI层的门店表。 图27 新建ETL映射 表2 ETL映射参数说明 参数 本实践填写参考 说明 映射名称 门店表映射 自定义 数据库数据类型 MRS_SPARK 支持DWS、MRS_HIVE、MRS_SPARK，与物理模型数据类型一致 映射方式 INSERT INSERT：插入数据 MERGE：加载数据时，插入目标表中不存在的数据，更新目标表中存在的数据 源模型 SDI层的Smart_Store_physical 需要进行ETL映射的源端物理模型，需要在物理模型设计中先完成设计 目标模型 DWI层的Smart_Store_physical_dwi 需要进行ETL映射的目标端物理模型，需要在物理模型设计中先完成设计 目标表 t_user_store_info 选择目标模型中配置的表 是否删除数据 否 选择是否删除目标模型中的表数据 源表 t_user_store_info 选择源模型中配置的表 图28 ETL映射设计-1 图29 ETL映射设计-2 图30 ETL映射设计-预览 本小节展示的ETL映射是将SDI层的门店表映射至DWI层的门店表，实际应用中可以根据需要进行整合处理再映射。

逻辑模型设计 逻辑模型是对描述同一特征的属性集合，指导IT系统开发与系统数据集成。本实践需要对目标系统进行建模。 新建逻辑模型。 图12 新建逻辑模型 进入创建好的逻辑模型，选择业务对象新建逻辑实体。 图13 新建逻辑实体 配置该逻辑实体的基本信息和属性。 图14 逻辑实体基本配置 图15 逻辑实体属性配置 按照步骤2~3，完成所有逻辑实体配置，可切换至图形化界面查看。 图16 逻辑实体配置-图形化 若实际应用中需要配置的属性较多，可下载逻辑模型导入模板，在模板中批量填写后导入。 图17 导入逻辑模型

主题设计 信息架构IA是现实事务在IT世界的建模体现，主要是识别业务对象、抽象业务对象、形成业务对象列表，其中的主题设计可明确业务与下的数据分层架构，梳理出资产目录。本实践的主题设计如下： 表1 主题设计参考 L1层主题域分组 L2层主题域 L3业务对象 门店管理 门店信息 门店基本信息 订单管理 订单信息 订单基本信息 商品管理 - - 采购管理 - - 仓储管理 - - 创建一个信息架构。 图7 创建信息架构 新建主题域分组。 图8 新建主题域分组 新建主题域。注意要选择对应的主题域分组，在主题域分组下新建主题域。 图9 新建主题域 新建业务对象。 图10 新建业务对象 按照上述步骤完成其他主题域分组、主题域以及业务对象的新建。若实际应用中需要设计的主题较多，可通过导入的方式批量导入。 图11 主题设计

物理模型设计 物理模型是对真实数据库的描述，即根据逻辑模型对应到具体的数据模型的机器实现。 新建SDI层物理模型。 本实践需要将源端MySQL数据同步至云上MRS（SDI层），本步骤对该目标端进行建模。（目标端为MRS Hudi，在新建物理模型时数据库类型选择“MRS SPARK”即可。） 图18 新建物理模型 进入创建好的物理模型中，新建表。 新建：选择所属业务对象，手工创建物理模型实体表并配置表字段； 从逻辑实体新建表：从逻辑模型中选择逻辑实体进行导入，将自动创建对应的物理模型表； 从数据调研导入：若已对源系统做了数据调研且要建模的业务对象与调研数据结构一致，则可从数据调研中选择相应的数据进行导入。例如，通过数据探源，本实践已获取到源端要进行迁移入湖的数据结构，且目标端MRS Hudi（SDI层）与要同步的源端数据结构一致，因此本实践通过“从数据调研导入”的方式新建表。 图19 新建物理模型表 图20 数据关联-门店基本信息 图21 确认导入 按照相同方式完成其他表的导入，如下为订单信息表的导入。 图22 数据关联-订单基本信息表 成后的物理模型业务对象列表如下。 图23 物理模型表 按照上述步骤，创建DWI层的物理模型和表对象，支持从SDI层导入表。 图24 新建DWI层的物理模型 图25 从SDI层导入表 图26 DWI层物理模型表 SDI为贴源层数据，与源端系统数据结构一致；DWI为数据整合层，存储经过数据整合、清洗后的数据。本实践为目标端系统MRS Hudi进行DWI层建模的目的是在ETL映射中需要使用，即，将SDI层的某个表映射至DWI层。

数据探源 在项目交付设计设计和实施之前，需要梳理当前项目中的原始数据有哪些，即数据探源。本实践的数据源如下： 表3 数据源信息 归属系统 数据类型 DB&表 说明 源端-门店系统 MySQL store_mgmt.t_user_store_info 源端门店基本信息表，需要通过数据探源的方式获取表结构。 源端-订单系统 MySQL order_mgmt.t_trade_order 源端订单基本信息表，需要通过数据探源的方式获取表结构。 目标端-数据中台 MRS-Hudi t_trade_order t_user_store_info 目标端系统，不需要做数据探源，但是由于后续做数据迁移入湖时需要用到，因此可以在本章节统一创建数据连接。 实施责任人（本实践设置为“HaydnTrial_TE”）在交付空间内左侧导航栏选择“交付中心-需求管理”，在相应的项目需求下点击【需求分析】按钮，进入需求分析页面后，点击“数据调研管理”TAB页。 创建公司组织架构信息。 在开始对探源对象进行监控前，需要创建应用系统列表，用于展示公司的组织架构信息。后续的数据连接以及监控等需要按照组织架构进行划分。 图14 创建组织架构信息 如上图所示，创建了三个应用系统，分别表示源端的门店和订单系统、以及目标端的数据中台管理系统。 创建连接 按照公司组织架构，根据对应的连接系统和数据库连接类型管理用户的数据连接，以便完成数据调研的数据连接以及后续的数据实施。 图15 创建数据连接 在本实践中，需要将客户源端的MySQL数据迁移至云上MRS，如下图所示为本实践配置的数据连接，分别是源端的两个MySQL连接和目标端的一个MRS Hudi连接。 图16 数据连接清单 添加监控对象，配置想要采集的数据连接的库表信息，以及所需采集的空值字段的表名和表字段名。 为了做源端数据探源，需要对源端系统进行监控，因此对已配置的三个数据连接中的两个源端连接（订单系统、门店系统）进行监控。若需要对字段的空置率进行检测，则可配置要检测的字段名。 配置调度规则 Haydn支持使用探源工具对源系统进行数据探源，支持配置数据探源规则，包含DB、表信息等采集周期和具体时间，若未配置，则按默认规则进行数据采集。 DB采集：配置数据库采集时间，如：数据库类型，数据库表数，数据总量，采集时间。 表信息采集：配置表的采集时间。 字段采集：配置字段采集时间。 上报采集：配置库、表、字段采集信息的上报时间。 删除字段：各项目根据自己公司的实际情况，配置表在软删除是删除字段的名称。 图17 配置调度规则 下载配置文件application.properties并补充待探源系统的数据库登录信息。 配置完成后，下载配置文件。配置文件文件中包含了前面配置的规则、数据源信息等，用户可以修改配置文件中的信息。由于Haydn不记录数据库密码，因此下载配置文件后可自行在文件中补充数据库登录密码。 图18 下载配置文件 下载探源工具示例代码，结合下载的配置文件按照探源工具指导对源系统进行数据探源。 下载探源工具示例代码 图19 下载探源工具示例代码 将下载的压缩包解压缩。jar包已提供为分段压缩包，把子压缩包放在一个文件夹中解压即可得到完整jar包。同时支持通过修改代码，重新编译打包。 将jar包放入远端服务器中，即环境准备中用来做探源的服务器中。如，本最佳实践需要对两个MySQL数据库进行数据探源，则，可将本探源工具放入某台linux服务器中，只需保证该服务器网络上访问到这两个MySQL数据库即可。 将6中下载的配置文件application.properties放入该远端服务器中。注意，需要和jar包在同一个目录下。 图20 探源工具 运行启动脚本：run_agent.sh 启动后，将会按照6中配置文件application.properties的规则进行数据探源，获取指定数据库的数据结构。更多说明，请参考探源工具示例代码中的指导。 探源工具通过查询指定数据库的系统表获取相关信息，对数据库压力较小，但为了保证不影响业务，建议将探源工具的定时任务设置在凌晨等压力较小的时间段进行。 查看监控对象数据探源结果。数据探源结果可在线上报或离线导入：若运行探源工具的服务器可访问公网，则默认会在线上报；否则需要离线导入。 在线上报 按照6中配置文件application.properties的采集和上报规则，探源结果可在线上报到Haydn平台（要求运行探源工具的服务器可访问公网）。在图22中点击刷新 按钮即可。 离线导入 若探源的系统仅能在客户侧内网运行，则可通过离线导入的方式将探源结果（7运行后会在相同目录下生成数据压缩包）导入到Haydn平台。 图21 探源工具运行结果 图22 查看探源结果 探源结果这里展示对相应组织结构下的表信息，包括表行数、每行平均长度、表数据量、时间戳字段（表中是否含有date和timestamp类型）、删除标识（表中是否含有删除字段）、空值率检测（该表是否进行了空置率检测）。如下图所示，点击左侧列表中的“数据部”，则会展示该部门下所采集的所有数据结构。 图23 数据探源结果 生成入湖清单 对于探源到的数据，可将需要的数据配置生成入湖清单，后续基于入湖清单可直接生成CDM迁移入湖作业。如，本实践中需要将探源到的订单系统和门店系统进行数据迁移，通过CDM迁移至云上MRS Hudi，则可选择这两个系统下的表生成入湖清单，目标端选择MRS Hudi。 图24 新增入湖清单 图25 配置入湖清单 图26 入湖清单

交付需求创建 需求管理责任人（本最佳实践在创建项目时设置了该责任人为架构师“HaydnTrial_SA”）基于业务调研现状，对项目需求进行分析，分析本次项目需要交付的内容，以便后续进行相应的实施交付。基于SOW，本实践需要给客户交付数据治理实施和看板建设，参考下表： 表2 交付需求参考 交付类型 交付需求 交付需求描述 数据平台 构建智慧门店数据中台 数据集成（云服务清单） 数据建模和数据开发（业务指标设计） 数据底座设计与实施(智慧门店项目现状调研和需求分析、初版DTRB材料) 数据治理 构建智慧门店数据资产 通过梳理门店信息、订单信息等资产，建立统一数据标准，完成业务指标的开发，提升门店资产质量。 交付件 智慧门店项目交付件 实施规范，数据标准，Mapping表 验收报告 在左侧导航栏选择“交付中心-需求管理”，点击对应需求右侧的【需求分析】按钮，进入需求分析页面。 图11 需求分析入口 添加需求项 需求类型包括数据平台、数据治理、数据应用和交付件，支持自定义需求类型；需要填写交付需求名称及相关描述，支持批量导入交付需求，支持上传附件。 分析完成后提交需求给技术负责人（本实践中设置为“HaydnTrial_TD”）进行审核。