华为云用户手册

  • 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置跨Manager集群互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 在FusionInsight Manager停止所有待恢复数据的NameNode角色实例,其他的HDFS角色实例必须保持正常运行,恢复数据后重启NameNode。NameNode角色实例重启前无法访问。 检查NameNode备份文件保存路径是否保存在主管理节点“数据存放路径/LocalBackup/”。
  • 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置跨Manager集群互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 检查HBase备份文件保存路径。 停止HBase的上层应用。
  • 操作场景 在用户意外修改、删除或需要找回数据时,系统管理员对HBase进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对HBase业务数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务并恢复数据。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。
  • 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置跨Manager集群互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 检查HDFS备份文件保存路径。 停止HDFS的上层应用。
  • 操作场景 在用户意外修改、删除或需要找回数据时,系统管理员对HDFS进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对HDFS进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HDFS任务。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HDFS数据。 对于Yarn任务运行时使用的目录(例如“/tmp/logs”、“/tmp/archived”、“/tmp/hadoop-yarn/staging”),不能进行HDFS恢复操作,否则进行恢复的Distcp任务会由于文件丢失而导致恢复失败。
  • 操作场景 在用户意外修改、删除或需要找回数据时,系统管理员对Hive进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对Hive进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Hive任务并恢复数据。只支持创建任务手动恢复数据。 Hive备份恢复功能不支持识别用户的Hive表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时,需要根据业务场景管理统一的恢复点,防止影响业务正常运行。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的Hive数据。
  • 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置跨Manager集群互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 规划好恢复数据保存表的数据库,数据表在HDFS的保存位置,以及访问恢复数据的用户清单。 检查Hive备份文件保存路径。 停止Hive的上层应用。
  • 权限机制 FusionInsight采用LDAP存储用户和用户组的数据;角色的定义信息保存在关系数据库中,角色和权限的对应关系则保存在组件侧。 FusionInsight使用Kerberos进行统一认证。 用户权限校验流程大致如下: 客户端(用户终端或FusionInsight组件服务)调用FusionInsight认证接口。 FusionInsight使用登录用户名和密码,到Kerberos进行认证。 如果认证成功,客户端会发起访问服务端(FusionInsight组件服务)的请求。 服务端会根据登录的用户,找到其属于的用户组和角色。 服务端获得用户组拥有的所有权限和角色拥有的所有权限的并集。 服务端判断客户端是否有权限访问其请求的资源。 示例场景(RBAC): HDFS中有三个文件fileA、fileB、fileC。 定义角色roleA对fileA有读和写权限,角色roleB对fileB有读权限。 定义groupA属于roleA;groupB属于roleB。 定义userA属于groupA和roleB,userB属于GroupB。 当userA登录成功并访问HDFS时: HDFS获得useA属于的所有角色(roleB)。 HDFS同时还会获得userA属于的所有用户组所属于的角色(roleA)。 此时,userA拥有roleA和roleB对应权限的并集。 因此对于fileA,则userA有读写权限;对fileB,有读权限;对于fileC,无任何权限。 同理userB登录后: userB只拥有roleB对应的权限。 对于fileA,则userB无权限;对fileB,有读权限;对于fileC,无任何权限。 父主题: 安全概述
  • 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置跨Manager集群互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 先停止Kafka服务,待恢复完成后,再启动Kafka服务。
  • 操作场景 在用户意外修改、删除或需要找回数据时,系统管理员对ZooKeeper进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,导致Kafka组件全部故障无法使用,或者迁移数据到新集群的场景中,需要对Kafka元数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Kafka任务。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复Kafka元数据,建议手动备份最新Kafka元数据后,再执行恢复操作。否则会丢失从备份时刻到恢复时刻之间的Kafka元数据信息。
  • 基于角色的权限控制 FusionInsight通过采用RBAC(role-based access control,基于角色的权限控制)方式对大数据系统进行权限管理,将系统中各组件零散的权限管理功能集中呈现和管理,对普通用户屏蔽掉了内部的权限管理细节,对管理员简化了权限管理的操作方法,提升权限管理的易用性和用户体验。 FusionInsight权限模型由“用户-用户组-角色-权限”四类对象构成。 图1 权限模型 权限 由组件侧定义,允许访问组件某个资源的能力。不同组件针对自己的资源,有不同的权限。 例如: HDFS针对文件资源权限,有读、写、执行等权限。 HBase针对表资源权限,有创建、读、写等权限。 角色 组件权限的一个集合,一个角色可以包含多个组件的多个权限,不同的角色也可以拥有同一个组件的同一个资源的权限。 用户组 用户的集合,当用户组关联某个或者多个角色后,该用户组内的用户就将拥有这些角色所定义的组件权限。 不同用户组可以关联同一个角色,一个用户组也可以不关联任何角色,该用户组原则上将不具有任何组件资源的权限。 部分组件针对特定的默认用户组,系统默认赋予了部分权限。 用户 系统的访问者,每个用户的权限由该用户关联的用户组和角色所对应的权限构成,用户需要加入用户组或者关联角色来获得对应的权限。
  • 基于策略的权限控制 Ranger组件通过PBAC(policy-based access control,基于策略的权限控制)方式进行权限管理,可对HDFS、Hive、HBase等组件进行更加细粒度的数据访问控制。 组件同时只支持一种权限控制机制,当组件启用Ranger权限控制策略后,通过FusionInsight Manager创建的角色中关于该组件的权限将失效(HDFS与Yarn的组件ACL规则仍将生效),用户需通过Ranger管理界面添加策略进行资源的赋权。 Ranger的权限模型由多条权限策略组成,权限策略主要由以下几方面组成: 资源 组件所提供的可由用户访问的对象,例如HDFS的文件或文件夹、Yarn中的队列、Hive中的数据库/表/列等。 用户 系统的访问者,每个用户的权限由该用户关联的策略来获得。LDAP中的用户、用户组、角色信息会周期性的同步至Ranger。 权限 策略中针对资源可配置各种访问条件,例如文件的读写,具体可以配置允许条件、拒绝条件以及例外条件等。
  • FusionInsight Manager安全功能 通过FusionInsight Manager的以下模块,可以方便的完成用户权限数据的查看和设置。 用户管理:提供用户的增、删、改、查基本功能,提供用户绑定用户组和角色的功能。 具体请参见用户管理。 用户组管理:提供用户组的增、删、改、查基本功能,提供用户组绑定角色的功能。 具体请参见用户组管理。 角色管理:提供角色的增、删、改、查基本功能,提供角色绑定某个或者多个组件的资源访问权限的功能。 具体请参见角色管理。 租户管理:提供租户的增、删、改、查基本功能以及租户与组件资源的绑定关系。FusionInsight为了便于管理,为每个租户都会默认产生一个角色。如果定义租户拥有某些资源的权限,则租户对应的角色就拥有这些资源的权限。 具体请参见租户资源。 父主题: 安全概述
  • 普通模式 普通模式的集群不同组件使用各自原生开源的鉴权行为,详细鉴权机制如表1所示。 在安装了Ranger服务的普通模式集群中,Ranger可以支持基于OS用户进行组件资源的权限控制,支持启用Ranger鉴权的组件包括:HBase、HDFS、Hive、Spark2x、Yarn。 表1 普通模式组件鉴权一览表 服务 是否鉴权 是否支持开关鉴权 IoTDB 鉴权 不支持修改 ClickHouse 鉴权 不支持修改 Flume 无鉴权 不支持修改 HBase 无鉴权 支持修改 HDFS 鉴权 支持修改 HetuEngine 无鉴权 不支持修改 Hive 无鉴权 不支持修改 Hue 无鉴权 不支持修改 Kafka 无鉴权 不支持修改 Loader 无鉴权 不支持修改 Mapreduce 无鉴权 不支持修改 Oozie 鉴权 不支持修改 Spark2x 无鉴权 不支持修改 Storm 无鉴权 不支持修改 Yarn 无鉴权 支持修改 ZooKeeper 鉴权 支持修改 CDL 无鉴权 不支持修改
  • 安全模式 大数据平台用户完成身份认证后,系统还需要根据实际权限管理配置,选择是否对用户进行鉴权,确保系统用户拥有资源的有限或全部权限。如果系统用户权限不足,需要由系统管理员为用户授予各个组件对应的权限后,才能访问资源。安全模式或者普通模式集群均提供鉴权能力,组件的具体权限项在两种模式中相同。 新安装的安全模式集群默认即安装了Ranger服务并启用了Ranger鉴权,用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权,管理员可在服务页面手动停用Ranger鉴权,停用Ranger鉴权后,访问组件资源的时系统将继续基于FusionInsight Manager的角色模型进行权限控制。 安全模式集群中,支持使用Ranger鉴权的组件包括:HDFS、Yarn、Kafka、Hive、HBase、Storm、Spark2x、Impala、HetuEngine、CDL。 从历史版本升级的集群,用户访问组件资源时默认不使用Ranger鉴权,管理员可在安装了Ranger服务后手动启用Ranger鉴权。 安全版本的集群所有组件默认统一对及访问进行鉴权,不支持关闭鉴权功能。
  • 普通模式 普通模式的集群不同组件使用原生开源的认证机制,不支持kinit认证命令。FusionInsight Manager(含DBService、KrbServer和LdapServer)使用的认证方式为用户名密码方式。组件使用的认证机制如表1所示。 表1 组件认证方式一览表 服务 认证方式 IoTDB simple认证 CDL 无认证 ClickHouse simple认证 Flume 无认证 HBase WebUI:无认证 客户端:simple认证 HDFS WebUI:无认证 客户端:simple认证 HetuEngine WebUI:无认证 客户端:无认证 Hive simple认证 Hue 用户名密码认证 Kafka 无认证 Loader WebUI:用户名密码认证 客户端:无认证 Mapreduce WebUI:无认证 客户端:无认证 Oozie WebUI:用户名密码认证 客户端:simple认证 Spark2x WebUI:无认证 客户端:simple认证 Storm 无认证 Yarn WebUI:无认证 客户端:simple认证 ZooKeeper simple认证 认证方式解释如下: “simple认证”:在客户端连接服务端的过程中,默认以客户端执行用户(例如操作系统用户“root”或“omm”)自动进行认证,管理员或业务用户不显式感知认证,不需要kinit完成认证过程。 “用户名密码认证”:使用集群中“人机”用户的用户名与密码进行认证。 “无认证”:默认任意的用户都可以访问服务端。
  • 安全模式 安全模式的集群统一使用Kerberos认证协议进行安全认证。Kerberos协议支持客户端与服务端进行相互认证,提高了安全性,可有效消除使用网络发送用户凭据进行模拟认证的安全风险。集群中由KrbServer服务提供Kerberos认证支持。 Kerberos用户对象 Kerberos协议中,每个用户对象即一个principal。一个完整的用户对象包含两个部分信息:用户名和域名。在运维管理或应用开发的场景中,需要在客户端认证用户身份后才能连接到集群服务端。系统操作运维与业务场景中主要使用的用户分为“人机”用户和“机机”用户。二者主要区别在于“机机”用户密码由系统随机生成。 Kerberos认证 Kerberos认证支持两种方式:密码认证及keytab认证。认证有效时间默认为24小时。 密码认证:通过输入用户正确的密码完成身份认证。主要在运维管理场景中使用“人机”用户进行认证,命令为kinit 用户名。 keytab认证:keytab文件包含了用户principal和用户凭据的加密信息。使用keytab文件认证时,系统自动使用加密的凭据信息进行认证无需输入用户密码。主要在组件应用开发场景中使用“机机”用户进行认证。keytab文件也支持在kinit命令中使用。
  • 加固JDK 如果客户端程序使用了AES256加密算法,则需要对JDK进行安全加固,具体操作如下: 获取与JDK版本对应的JCE(Java Cryptography Extension)文件。JCE文件解压后包含“local_policy.jar”和“US_export_policy.jar”。拷贝此jar包到如下路径并替换文件: Linux:“JDK安装目录/jre/lib/security” Windows:“JDK安装目录\jre\lib\security” 请访问Open JDK开源社区获取JCE文件。 如果客户端程序需要支持SM4加密算法,则需要更新jar包: 在“客户端安装目录/JDK/jdk/jre/lib/ext/”目录下获取“SMS4JA.jar”,并拷贝到如下目录: Linux:“JDK安装目录/jre/lib/ext/” Windows:“JDK安装目录\jre\lib\ext\”
  • 加固Tomcat 在FusionInsight Manager软件安装及使用过程中,针对Tomcat基于开源做了如下功能增强: 升级Tomcat版本为官方稳定版本。 设置应用程序之下的目录权限为500,对部分目录支持写权限。 系统软件安装完成后自动清除Tomcat安装包。 应用程序目录下针对工程禁用自动部署功能,只部署了web、cas和client三个工程。 禁用部分未使用的http方法,防止被他人利用攻击。 更改Tomcat服务器默认shutdown端口号和命令,避免被黑客捕获利用关闭服务器,降低对服务器和应用的威胁。 出于安全考虑,更改“maxHttpHeaderSize”的取值,给服务器管理员更大的可控性,以控制客户端不正常的请求行为。 安装Tomcat后,修改Tomcat版本描述文件。 为了避免暴露Tomcat自身的信息,更改Connector的Server属性值,使攻击者不易获知服务器的相关信息。 控制Tomcat自身配置文件、可执行文件、日志目录、临时目录等文件和目录的权限。 关闭会话facade回收重用功能,避免请求泄漏风险。 CookieProcessor使用LegacyCookieProcessor,避免cookie中的敏感数据泄漏。
  • 加固LDAP 在安装完集群后,针对LDAP做了如下功能增强: LDAP配置文件中管理员密码使用SHA加密,当升级openldap版本为2.4.39或更高时,主备LDAP节点服务自动采用SASL External机制进行数据同步,避免密码信息被非法获取。 集群中的LDAP服务默认支持SSLv3协议,可安全使用。当升级openldap版本为2.4.39或更高时,LDAP将自动使用TLS1.0以上的协议通讯,避免未知的安全风险。
  • 操作步骤 以omm用户通过主管理节点IP登录主管理节点。 选择证书和密钥文件的生成方式: 若由证书中心生成,请在主备管理节点“${OMS_RUN_PATH}/workspace0/ha/local/cert”目录保存申请的证书文件与密钥文件。 若获取的证书文件格式不是“.crt”,密钥文件格式不是“.pem”,执行以下命令修改: mv 证书名称.证书格式 root-ca.crt mv 密钥名称.密钥格式 root-ca.pem 例如,将证书文件命名为“root-ca.crt”,密钥文件命名为“root-ca.pem”: mv server.cer root-ca.crt mv server_key.key root-ca.pem 若由集群用户生成,执行以下命令在主管理节点“${OMS_RUN_PATH}/workspace0/ha/local/cert”目录生成“root-ca.crt”和“root-ca.pem”: sh ${OMS_RUN_PATH}/workspace/ha/module/hacom/script/gen-cert.sh --root-ca --country=CN --state=state --city=city --company=company --organize=organize --common-name=commonname --email=集群用户邮箱 生成的证书文件有效期为10年,在系统证书文件即将过期时,系统将产生告警“ALM-12055 证书文件即将过期”。 例如,执行以下命令: sh ${OMS_RUN_PATH}/workspace/ha/module/hacom/script/gen-cert.sh --root-ca --country=CN --state=guangdong --city=shenzhen --company=huawei --organize=IT --common-name=HADOOP.COM --email=abc@xxx.com 根据提示信息输入password,并按回车键确认。 Enter pass phrase for /opt/huawei/Bigdata/om-server/OMS/workspace/ha/local/cert/root-ca.pem: 提示以下信息表示命令执行成功: Generate root-ca pair success. 在主管理节点以omm用户执行以下命令,复制“root-ca.crt”和“root-ca.pem”到“${BIGDATA_HOME}/om-server/om/security/certHA”目录。 cp -arp ${OMS_RUN_PATH}/workspace0/ha/local/cert/root-ca.* ${BIGDATA_HOME}/om-server/om/security/certHA 使用omm用户将主管理节点生成的“root-ca.crt”和“root-ca.pem”复制到备管理节点“${BIGDATA_HOME}/om-server/om/security/certHA”目录。 scp ${OMS_RUN_PATH}/workspace0/ha/local/cert/root-ca.* omm@备管理节点IP:${BIGDATA_HOME}/om-server/om/security/certHA 执行以下命令,生成HA用户证书并自动替换。 sh ${BIGDATA_HOME}/om-server/om/sbin/replacehaSSLCert.sh 根据提示信息输入password,并按回车键确认。 Please input ha ssl cert password: 界面提示以下信息表示HA用户证书替换成功: [INFO] Succeed to replace ha ssl cert. 如果用户需要更新HA密码加密套件,可以带-u参数。 执行以下命令,重启OMS。 sh ${BIGDATA_HOME}/om-server/om/sbin/restart-oms.sh 界面提示以下信息: start HA successfully. 以omm用户通过备管理节点IP登录备管理节点,重复5~6。 执行sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh,查看管理节点的“HAAllResOK”是否为“Normal”,并可以重新登录FusionInsight Manager表示操作成功。
  • 操作场景 HA证书用于主备进程与高可用进程的通信过程中加密数据,实现安全通信。该任务指导集群用户通过FusionInsight Manager完成主备管理节点的HA证书替换工作,以确保产品安全使用。适用于以下场景: 首次安装好集群以后,需要更换企业证书。 企业证书有效时间已过期或安全性加强,需要更换为新的证书。 不适用于未安装主备管理节点的场景。 证书文件和密钥文件可向企业证书中心申请或由集群用户生成。
  • 操作场景 为了确保CDL日常数据安全,或者系统管理员需要对CDL进行重大操作(如升级或迁移等)时,需要对CDL数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 CDL的数据存储在DBService与Kafka服务中,系统管理员可以通过FusionInsight Manager创建备份DBService和Kafka任务并备份数据。支持创建任务自动或手动备份数据。
  • 操作步骤 以omm用户登录到主管理节点。 执行以下命令,防止超时退出。 TMOUT=0 执行完本章节操作后,请及时恢复超时退出时间,执行命令TMOUT=超时退出时间。例如:TMOUT=600,表示用户无操作600秒后超时退出。 执行以下命令,切换目录。 cd ${CONTROLLER_HOME}/sbin 执行以下命令启用通信加密: ./enableRPCEncrypt.sh -t 执行sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh,查看主管理节点Controller的“ResHAStatus”是否为“Normal”,并可以重新登录FusionInsight Manager表示更改成功。 如果需要关闭加密模式,执行以下命令: ./enableRPCEncrypt.sh -f 执行sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh,查看主管理节点Controller的“ResHAStatus”是否为“Normal”,并可以重新登录FusionInsight Manager表示更改成功。
  • 前提条件 如果数据要备份至远端HDFS中,需要准备一个用于备份数据的备集群,认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置跨Manager集群互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要,规划备份的类型、周期和策略等规格,并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中,需要提前部署好NAS服务端。 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。
  • 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置跨Manager集群互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 检查DBService主备实例状态是否正常。如果不正常,不能执行恢复操作。 先停止Kafka服务,待恢复完成后,再启动Kafka服务。
  • 操作场景 为了确保ClickHouse集群中的元数据安全,或者集群用户需要对ClickHouse进行重大操作(如升级或迁移等)时,需要对ClickHouse集群的元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 集群用户可以通过FusionInsight Manager创建备份ClickHouse任务并备份元数据。支持创建任务自动或手动备份数据。 该功能仅MRS 3.1.0及之后版本支持。
  • 前提条件 如果数据要备份至远端HDFS中,需要准备一个用于备份数据的备集群,认证模式需要与主集群相同。其他备份方式不需要准备备集群。 根据业务需要,规划备份的类型、周期和策略等规格,并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果主备集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置跨Manager集群互信。如果主备集群部署为普通模式,则不需要配置互信。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 主备集群中,远端备份至HDFS,需要确保ClickHouse的HADOOP_RPC_PROTECTION配置项与HDFS的hadoop.rpc.protection配置项保持一致。
  • 操作场景 在用户意外修改、删除或需要找回数据时,系统管理员对CDL进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对CDL进行恢复数据操作。 CDL的元数据存储在DBService与Kafka服务中,系统管理员可以通过FusionInsight Manager创建恢复DBService与Kafka任务恢复CDL数据。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的DBService与Kafka数据。 MRS集群中默认使用DBService保存Hive、Hue、Loader、Spark、Oozie、CDL的元数据。恢复DBService的数据将恢复全部相关组件的元数据。
  • 操作场景 为了确保ClickHouse日常用户的业务数据安全,或者集群用户需要对ClickHouse进行重大操作(如升级或迁移等),需要对ClickHouse数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 集群用户可以通过FusionInsight Manager创建备份ClickHouse任务。支持创建任务自动或手动备份数据。 该功能仅MRS 3.1.0及之后版本支持。
共100000条