华为云用户手册

ECS重置密码插件升级（可选） 华为云ECS服务提供了一键式重置密码功能，弹性云服务器的密码丢失或过期时，可使用该功能进行一键式重置密码。重置密码插件为ECS内部运行的客户端进程，不对外提供任何网络服务，重置密码插件CloudResetPwdUpdateAgent使用了Apache Log4j2组件，经华为云安全实验室分析验证，ECS重置密码插件无可利用条件，无安全风险。 如果用户任需要升级该插件中的Log4j2版本，可通过下面的步骤升级插件： 将“MRS_Log4j_Patch.tar.gz”上传至主OMS节点的“/home/omm”目录下。具体可参考如何上传本地文件到集群内节点？。 使用root用户登录主OMS节点，修改补丁工具相应权限，切到omm用户下，并解压补丁工具至当前目录。 chown omm:wheel -R /home/omm/MRS_Log4j_Patch.tar.gz su - omm cd /home/omm tar -zxf MRS_Log4j_Patch.tar.gz 在“/home/omm/MRS_Log4j_Patch/bin/ips.ini”文件中配置需要打补丁的节点IP（当前集群所有节点IP）。 每行配置一个IP，中间不能有空行。 根据节点登录方式执行以下步骤： 密码登录 执行以下命令： nohup sh install.sh upgrade_resetpwdagent passwd:登录密码 & 例如密码为xyz123，则命令为： nohup sh install.sh upgrade_resetpwdagent passwd:xyz123 & 通过tail -f nohup.out查看执行情况，打印“upgrade_resetpwdagent patch success.”表示执行完成。 密钥登录 将root用户对应的私钥文件上传到“/home/omm/MRS_Log4j_Patch/bin”目录下，保证文件的属组为root:root，执行命令： chown root:root /home/omm/MRS_Log4j_Patch/bin/密钥文件 chmod 644 /home/omm/MRS_Log4j_Patch/bin/密钥文件 执行以下命令 su - omm cd /home/omm/MRS_Log4j_Patch/bin nohup sh install.sh upgrade_resetpwdagent privatekey:私钥文件路径 & 例如私钥文件路径为‘/home/omm/MRS_Log4j_Patch/bin/abc.pem’，则执行命令为： nohup sh install.sh upgrade_resetpwdagent privatekey:/home/omm/MRS_Log4j_Patch/bin/abc.pem & 通过tail -f nohup.out查看执行情况，打印“upgrade_resetpwdagent patch success.”表示执行完成。

受影响组件列表 MRS集群版本 受影响组件 MRS 3.1.1 Hive、Oozie、Flink、Ranger、Tez MRS 3.1.0 Hive、Flink、Spark、Tez、Impala、Ranger、Presto、Oozie MRS 3.0.5 Hive、Flink、Spark、Tez、Impala、Ranger、Presto、Oozie、Storm、Loader MRS 3.0.2 Hive、Flink、Spark、Tez、Ranger、Oozie、Storm、Loader MRS 2.1.1 Hive、Tez、Storm、Loader、Impala、Presto MRS 2.1.0 Loader、Hive、Storm、Presto、Impala、Tez、Spark、HBase MRS 1.9.3 Loader、Hive、Tez、Spark、Flink MRS 1.9.2 Loader、Hive、Tez、Spark、Flink、Impala MRS 1.9.0 Loader、Hive、Spark、Flink MRS 1.8.10 Loader、Storm MRS 1.7.1 Loader、Storm

补丁卸载方法 使用root用户登录主OMS节点，执行如下命令，卸载脚本： su - omm cd /home/omm/MRS_Log4j_Patch/bin nohup sh install.sh rollback & 通过tail -f nohup.out可查看执行情况，打印“rollback patch success.”表示执行完成。 登录Manager页面，具体请参考访问集群Manager。重启受影响的组件，受影响组件请参考受影响组件列表。建议业务低峰期时执行重启操作。 如果安装补丁时执行了现有集群节点安装补丁的6，且希望回退部件包中的修改，可在2执行完之后执行如下操作： 使用root用户登录主OMS节点，执行如下命令： su - omm cd /home/omm/MRS_Log4j_Patch/bin nohup sh install.sh rollback_package & 通过tail -f nohup.out查看执行情况（打印“rollback_package patch success.”表示执行完成）。

前提条件 从OBS路径中下载的补丁工具“MRS_Log4j_Patch.tar.gz”，下载路径：https://mrs-container1-patch-cn-south-1.obs.cn-south-1.myhuaweicloud.com/MRS_Common_Script/MRS_Log4j_Patch.tar.gz。 确认集群主OMS节点： OMS节点一般为Master1和Master2节点，主OMS节点判断方法，执行以下命令，返回结果为active的节点为主OMS节点，返回结果为standby的节点为备OMS节点： 3.x之前版本： sh /opt/Bigdata/*/workspace0/ha/module/hacom/script/get_harole.sh 3.x及之后版本： sh /opt/Bigdata/om-server*/OMS/workspace0/ha/module/hacom/script/get_harole.sh

现有集群节点安装补丁 将“MRS_Log4j_Patch.tar.gz”上传至主OMS节点的“/home/omm”目录下。具体可参考如何上传本地文件到集群内节点？。 使用root用户登录主OMS节点，修改补丁工具相应权限，切到omm用户下，并解压补丁工具至当前目录。 chown omm:wheel -R /home/omm/MRS_Log4j_Patch.tar.gz su - omm cd /home/omm tar -zxf MRS_Log4j_Patch.tar.gz 在“/home/omm/MRS_Log4j_Patch/bin/ips.ini”文件中配置需要打补丁的节点IP（当前集群所有节点IP）。 每行配置一个IP，中间不能有空行。 执行脚本安装补丁。 cd /home/omm/MRS_Log4j_Patch/bin nohup sh install.sh upgrade & 通过tail -f nohup.out可查看执行情况（打印 “upgrade patch success.” 表示执行完成）。 登录Manager页面，具体请参考访问集群Manager。重启受影响的组件，受影响组件请参考受影响组件列表。建议业务低峰期时执行重启操作。 （可选）如果要新下载的客户端安装上补丁，需要先为部件包安装补丁，可执行如下命令： su - omm cd /home/omm/MRS_Log4j_Patch/bin nohup sh install.sh upgrade_package & 通过tail -f nohup.out查看执行情况，打印“upgrade_package patch success.”表示执行完成。 执行完之后，重新下载的客户端就已经是安装补丁的客户端。 该步骤耗时比较长，且执行完之后不需要重启组件。

扩容节点安装补丁 扩容操作时关闭“启动组件”开关。扩容节点请参考扩容集群。 将“MRS_Log4j_Patch.tar.gz”上传至主OMS节点的“/home/omm”目录下。具体可参考如何上传本地文件到集群内节点？。 使用root用户登录主OMS节点，修改补丁工具相应权限，切到omm用户下，并解压补丁工具至当前目录。 chown omm:wheel -R /home/omm/MRS_Log4j_Patch.tar.gz su - omm cd /home/omm tar -zxf MRS_Log4j_Patch.tar.gz 在“/home/omm/MRS_Log4j_Patch/bin/ips.ini”文件中配置需要打补丁的节点IP（当前集群扩容节点IP）。 每行配置一个IP，中间不能有空行。 执行脚本安装补丁。 cd /home/omm/MRS_Log4j_Patch/bin nohup sh install.sh upgrade & 通过tail -f nohup.out可查看执行情况，打印“upgrade patch success.”表示执行完成。 登录Manager页面，具体请参考访问集群Manager。启动新扩容节点上的实例。

验证Jupyter Notebook访问MRS 在客户端节点执行如下命令，启动Jupyter Notebook： PYSPARK_PYTHON=./Python/bin/python3 PYSPARK_DRIVER_PYTHON=jupyter-notebook PYSPARK_DRIVER_PYTHON_OPTS="--allow-root" pyspark --master yarn --executor-memory 2G --driver-memory 1G 使用弹性IP:9999，登录到jupyter webui（保证ECS的安全组对外放通本地公网IP和9999端口），登录密码为2设置的密码。 创建代码。 创建个新的python3任务，使用Spark读取文件。 结果如下： 登录到Manager界面，在Yarn的WebUI页面上查看提交的pyspark应用： 验证pandas库调用。 父主题： Jupyter Notebook采用自定义Python对接MRS

安装Jupyter Notebook 使用root用户登录客户端节点，执行如下命令安装Jupyter Notebook。 pip3 install jupyter notebook 显示结果如下，表示安装成功： 为了安全，需要生成一个密文密码用于登录Jupyter，放到Jupyter Notebook的配置文件中。 执行如下命令，需要输入两次密码：（进行到Out[3]退出） ipython [root@ecs-notebook python36]# ipythonPython 3.6.6 (default, Dec 20 2021, 09:32:25)Type 'copyright', 'credits' or 'license' for more informationIPython 7.16.2 -- An enhanced Interactive Python. Type '?' for help.In [1]: from notebook.auth import passwdIn [2]: passwd()Enter password:Verify password:Out[2]: 'argon2:$argon2id$v=19$m=10240,t=10,p=8$g14BqLddl927n/unsyPlLQ$YmoKJzbUfNG7LcxylJzm90bgbKWUIiHy6ZV+ObTzdcA 执行如下命令生成jupyter配置文件： jupyter notebook --generate-config 修改配置文件： vi ~/.jupyter/jupyter_notebook_config.py 添加如下配置： # -*- coding: utf-8 -*- c.NotebookApp.ip='*' #此处填写ecs对应的内网IP c.NotebookApp.password = u'argon2:$argon2id$v=19$m=10240,t=10,p=8$NmoAVwd8F6vFP2rX5ZbV7w$SyueJoC0a5TbCuHYzqfSx1vQcFvOTTryR+0uk2MNNZA' # 填写步骤2，Out[2]密码生成的密文c.NotebookApp.open_browser = False # 禁止自动打开浏览器 c.NotebookApp.port = 9999 # 指定端口号 c.NotebookApp.allow_remote_access = True 父主题： Jupyter Notebook采用自定义Python对接MRS

安装Python3 使用root用户，登录集群外客户端节点，执行如下命令，检查是否安装Python3。 python3 --version 是，执行配置MRS客户端。 否，执行2。 安装Python，此处以Python3.6.6为例。 执行如下命令，安装依赖： yum install zlib zlib-devel zip -y yum install gcc-c++ yum install openssl-devel yum install sqlite-devel -y 如果pandas库需要额外安装如下依赖： yum install -y xz-devel yum install bzip2-devel 下载对应Python版本源码：wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tgz 执行如下命令，解压python源码压缩包，例如下载在“opt”目录下： cd /opt tar –xvf Python-3.6.6.tgz 创建Python的安装目录，此处以“/opt/python36”为例： mkdir /opt/python36 编译Python。 cd /opt/python-3.6.6 ./configure --prefix=/opt/python36 执行成功，显示结果如下： 执行命令：make -j8，执行成功，显示结果如下： 执行命令：make install，执行成功，显示结果如下： 执行如下命令，配置python环境。 export PYTHON_HOME=/opt/python36 export PATH=$PYTHON_HOME/bin:$PATH 执行命令python3 --version，显示结果如下，表示Python已经安装完成。 验证Python3。 pip3 install helloword python3 import helloworld helloworld.say_hello("test") 测试安装第三方Python库（如pandas, sklearn）。 pip3 install pandas pip3 install backports.lzma pip3 install sklearn 执行命令python3 -m pip list，查看安装结果。 打包Python.zip cd /opt/python36/ zip -r python36.zip ./* 创建并上传到HDFS指定目录作为后续使用。 hdfs dfs -mkdir /user/python hdfs dfs -put python36.zip /user/python 父主题： Jupyter Notebook采用自定义Python对接MRS

安装集群外节点客户端 准备一台集群外Linux弹性云服务器，需要满足的条件，请参考集群外节点安装客户端。 参考集群外节点安装客户端，安装集群外节点客户端，例如安装目录为“/opt/client”。 确认集群是否开启了Kerberos认证。 是，执行4。 否，执行安装Python3。 访问FusionInsight Manager（MRS 3.x及之后版本），登录到Manager界面。 创建用户，用户组选择hadoop，主组选择hadoop，角色选择Manager_operator，例如创建用户mrs-test。 使用root用户，登录到安装的客户端节点，执行如下命令，配置环境变量，安全认证。 source /opt/client/bigdata_env kinit mrs-test 第一次认证需要修改用户密码。 父主题： Jupyter Notebook采用自定义Python对接MRS

配置MRS客户端 进入Spark客户端安装目录“/opt/client/Spark2x/spark/conf”，在spark-defaults.conf配置文件如下参数： spark.pyspark.driver.python=/usr/bin/python3spark.yarn.dist.archives=hdfs://hacluster/user/python/python36.zip#Python 父主题： Jupyter Notebook采用自定义Python对接MRS

简介 在MRS服务中可以配合Jupyter Notebook使用Pyspark，能够提高机器学习、数据探索和ETL应用开发效率。 本文指导用户如何在MRS中配置Jupyter Notebook来使用Pyspark。具体流程如下： 安装集群外节点客户端 安装Python3 配置MRS客户端 安装Jupyter Notebook 验证Jupyter Notebook访问MRS 本操作仅适用MRS 3.x及之后版本。 父主题： Jupyter Notebook采用自定义Python对接MRS

如何配置网络ACL出规则？ 方案一： 放通网络ACL所有出站流量，此方案能保证集群正常创建与使用，优先建议使用此方案。 图11 放通网络ACL所有出站流量配置示例 方案二： 放通保证集群创建成功的最小出规则，此方案可能在后续使用中因出方向规则遗漏导致集群使用问题，不建议使用方案。若出现集群使用问题请联系运维人员支撑处理。 配置示例：参照方案一中示例，配置策略为“允许”，目的地址为通信安全授权地址、NTP、OBS、Openstack及DNS地址的出方向规则。

漏洞规避方案 请根据MRS集群版本，从如下链接中选择相应的漏洞规避方案。 MRS 3.1.1：MRS 3.1.1版本Log4j2远程执行漏洞（CVE-2021-44228）缓解措施 MRS 3.1.0：MRS 3.1.0版本Log4j2远程执行漏洞（CVE-2021-44228）缓解措施 MRS 3.0.5：MRS 3.0.5版本Log4j2远程执行漏洞（CVE-2021-44228）缓解措施 MRS 3.0.2：MRS 3.0.2版本Log4j2远程执行漏洞（CVE-2021-44228）缓解措施 MRS 2.1.1：MRS 2.1.1版本Log4j2远程执行漏洞（CVE-2021-44228）缓解措施 MRS 2.1.0：MRS 2.1.0版本Log4j2远程执行漏洞（CVE-2021-44228）缓解措施 MRS 1.9.3：MRS 1.9.3版本Log4j2远程执行漏洞（CVE-2021-44228）缓解措施 MRS 1.9.2：MRS 1.9.2版本Log4j2远程执行漏洞（CVE-2021-44228）缓解措施 MRS 1.9.0：MRS 1.9.0版本Log4j2远程执行漏洞（CVE-2021-44228）缓解措施 MRS 1.8.10：MRS 1.8.10版本Log4j2远程执行漏洞（CVE-2021-44228）缓解措施 MRS 1.7.1：MRS 1.7.1版本Log4j2远程执行漏洞（CVE-2021-44228）缓解措施

使用Oozie客户端 安装客户端，详细操作请参考安装客户端章节。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录，该操作的客户端目录只是举例，请根据实际安装目录修改。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 判断集群认证模式。 安全模式，执行以下命令进行用户认证。exampleUser为提交任务的用户名。 kinit exampleUser 普通模式，执行6。 配置Hue。 spark2x环境配置（如果不涉及spark2x任务，可以跳过此步骤）： hdfs dfs -put /opt/client/Spark2x/spark/jars/*.jar /user/oozie/share/lib/spark2x/ 当HDFS目录“/user/oozie/share”中的Jar包发生变化时，需要重启Oozie服务。 上传Oozie配置文件以及Jar包至HDFS： hdfs dfs -mkdir /user/exampleUser hdfs dfs -put -f /opt/client/Oozie/oozie-client-*/examples /user/exampleUser/ exampleUser为提交任务的用户名。 在提交任务的用户和非job.properties文件均无变更的前提下，客户端安装目录/Oozie/oozie-client-*/examples目录一经上传HDFS，后续可重复使用，无需多次提交。 解决Spark和Yarn关于jetty的jar冲突。 hdfs dfs -rm -f /user/oozie/share/lib/spark/jetty-all-9.2.22.v20170606.jar 普通模式下，上传过程如果遇到“Permission denied”的问题，可执行以下命令进行处理。 su - omm source /opt/client/bigdata_env hdfs dfs -chmod -R 777 /user/oozie exit

使用Yarn客户端 安装客户端。 MRS 3.x之前版本请参考安装客户端章节。 MRS 3.x及之后版本请参考安装客户端章节。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 直接执行Yarn命令。例如： yarn application -list

背景信息 假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，使用Impala客户端实现A业务操作流程如下： 普通表的操作： 创建用户信息表user_info。 在用户信息中新增用户的学历、职称信息。 根据用户编号查询用户姓名和地址。 A业务结束后，删除用户信息表。 表1 用户信息 编号 姓名 性别 年龄 地址 12005000201 A 男 19 A城市 12005000202 B 女 23 B城市 12005000203 C 男 26 C城市 12005000204 D 男 18 D城市 12005000205 E 女 21 E城市 12005000206 F 男 32 F城市 12005000207 G 女 29 G城市 12005000208 H 女 30 H城市 12005000209 I 男 26 I城市 12005000210 J 女 25 J城市

使用Hive客户端（MRS 3.x之前版本） 安装客户端，具体请参考安装客户端章节。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 根据集群认证模式，完成Hive客户端登录。 安全模式，则执行以下命令，完成用户认证并登录Hive客户端。 kinit 组件业务用户 beeline 普通模式，则执行以下命令，登录Hive客户端，如果不指定组件业务用户，则会以当前操作系统用户登录。 beeline -n 组件业务用户 进行beeline连接后，可以编写并提交HQL语句执行相关任务。如需执行Catalog客户端命令，需要先执行!q命令退出beeline环境。 使用以下命令，执行HCatalog的客户端命令。 hcat -e "cmd" 其中"cmd"必须为Hive DDL语句，如hcat -e "show tables"。 若要使用HCatalog客户端，必须从“组件管理”页面单击“下载客户端”，下载全部服务的客户端。Beeline客户端不受此限制。 由于权限模型不兼容，使用HCatalog客户端创建的表，在HiveServer客户端中不能访问，但可以使用WebHCat客户端访问。 在普通模式下使用HCatalog客户端，系统将以当前登录操作系统用户来执行DDL命令。 退出beeline客户端时请使用!q命令，不要使用“Ctrl + c”。否则会导致连接生成的临时文件无法删除，长期会累积产生大量的垃圾文件。 在使用beeline客户端时，如果需要在一行中输入多条语句，语句之间以“;”分隔，需要将“entireLineAsCommand”的值设置为“false”。 设置方法：如果未启动beeline，则执行beeline --entireLineAsCommand=false命令；如果已启动beeline，则在beeline中执行!set entireLineAsCommand false命令。 设置完成后，如果语句中含有不是表示语句结束的“;”，需要进行转义，例如select concat_ws('\;', collect_set(col1)) from tbl。

HDFS客户端常用命令 常用的HDFS客户端命令如下表所示。 更多命令可参考https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/CommandsManual.html#User_Commands 表1 HDFS客户端常用命令 命令 说明 样例 hdfs dfs -mkdir 文件夹名称 创建文件夹 hdfs dfs -mkdir /tmp/mydir hdfs dfs -ls 文件夹名称 查看文件夹 hdfs dfs -ls /tmp hdfs dfs -put 客户端节点上本地文件 HDFS指定路径 上传本地文件到HDFS指定路径 hdfs dfs -put /opt/test.txt /tmp 上传客户端节点“/opt/test.txt”文件到HDFS的“/tmp”路径下 hdfs dfs -get hdfs指定文件 客户端节点上指定路径 下载HDFS文件到本地指定路径 hdfs dfs -get /tmp/test.txt /opt/ 下载HDFS的“/tmp/test.txt”文件到客户端节点的“/opt”路径下 hdfs dfs -rm -r -f hdfs指定文件夹 删除文件夹 hdfs dfs -rm -r -f /tmp/mydir hdfs dfs -chmod 权限参数 文件目录 为用户设置HDFS目录权限 hdfs dfs -chmod 700 /tmp/test

使用HDFS客户端 安装客户端。 MRS 3.x之前版本请参考安装客户端章节。 MRS 3.x及之后版本请参考安装客户端章节。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 直接执行HDFS Shell命令。例如： hdfs dfs -ls /

前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。 “机机”用户需要下载keytab文件，“人机”用户第一次登录时需修改密码。 非root用户使用HBase客户端，请确保该HBase客户端目录的属主为该用户，否则请参考如下命令修改属主。 chown user:group -R 客户端安装目录/HBase

使用Hbase客户端（MRS 3.x之前版本） 安装客户端，具体请参考安装客户端章节。 以客户端安装用户，登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建HBase表的权限，具体请参见创建角色配置拥有对应权限的角色，参考创建用户章节，为用户绑定对应角色。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit 组件业务用户 例如，kinit hbaseuser。 直接执行HBase组件的客户端命令。 hbase shell

使用HBase客户端（MRS 3.x及之后版本） 安装客户端，具体请参考安装客户端章节。 以客户端安装用户，登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建HBase表的权限，具体请参见角色管理配置拥有对应权限的角色，参考创建用户章节，为用户绑定对应角色。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit 组件业务用户 例如，kinit hbaseuser。 直接执行HBase组件的客户端命令。 hbase shell

前置条件 已创建RDS服务MySQL数据库的实例，请参考创建RDS数据连接。 对于MRS 3.x之前版本，当用户选择的数据连接为“RDS服务MySQL数据库”时，请确保使用的数据库用户为root用户。如果为非root用户，请参考数据连接前置操作新建用户并为该用户进行赋权。 对于MRS 3.x及之后版本，当用户选择的数据连接为“RDS服务MySQL数据库”时，数据库用户不允许为root用户，请参考数据连接前置操作新建用户并为该用户进行赋权。

操作步骤 根据前提条件，创建一个满足要求的弹性云服务器。 登录集群详情页面，选择“组件管理”。 若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 单击“下载客户端”。 在“客户端类型”选择“完整客户端”。 在“下载路径”选择“远端主机”。 将“主机IP”设置为ECS的IP地址，设置“主机端口”为“22”，并将“保存路径”设置为“/tmp”。 如果使用SSH登录ECS的默认端口“22”被修改，请将“主机端口”设置为新端口。 “保存路径”最多可以包含256个字符。 “登录用户”设置为“root”。 如果使用其他用户，请确保该用户对保存目录拥有读取、写入和执行权限。 在“登录方式”选择“密码”或“SSH私钥”。 密码：输入创建集群时设置的root用户密码。 SSH私钥：选择并上传创建集群时使用的密钥文件。 单击“确定”开始生成客户端文件。 若界面显示以下提示信息表示客户端包已经成功保存。 下载客户端文件到远端主机成功。 若界面显示以下提示信息，请检查用户名密码及远端主机的安全组配置，确保用户名密码正确，及远端主机的安全组已增加SSH(22)端口的入方向规则。然后从3执行重新下载客户端。 连接到服务器失败，请检查网络连接或参数设置。 图1 下载客户端 选择“Flume”服务，单击“实例”，查看任意一个Flume实例和两个MonitorServer实例的“业务IP”。 使用VNC方式，登录弹性云服务器。参见远程登录（VNC方式）)。 所有镜像均支持Cloud-init特性。Cloud-init预配置的用户名“root”，密码为创建集群时设置的密码。首次登录建议修改。 在弹性云服务器，切换到root用户，并将安装包复制到目录“/opt”。 sudo su - root cp /tmp/MRS_Flume_Client.tar /opt 在“/opt”目录执行以下命令，解压压缩包获取校验文件与客户端配置包。 tar -xvf MRS_Flume_Client.tar 执行以下命令，校验文件包。 sha256sum -c MRS_Flume_ClientConfig.tar.sha256 界面显示如下信息，表明文件包校验成功： MRS_Flume_ClientConfig.tar: OK 执行以下命令，解压“MRS_Flume_ClientConfig.tar”。 tar -xvf MRS_Flume_ClientConfig.tar 执行以下命令，安装客户端运行环境到新的目录，例如“/opt/Flumeenv”。安装时自动生成目录。 sh /opt/MRS_Flume_ClientConfig/install.sh /opt/Flumeenv 查看安装输出信息，如有以下结果表示客户端运行环境安装成功： Components client installation is complete. 执行以下命令，配置环境变量。 source /opt/Flumeenv/bigdata_env 执行以下命令，解压Flume客户端。 cd /opt/MRS_Flume_ClientConfig/Flume tar -xvf FusionInsight-Flume-1.6.0.tar.gz 执行以下命令，查看当前用户密码是否过期。 chage -l root “Password expires”时间早于当前则表示过期。此时需要修改密码，或执行chage -M -1 root设置密码为未过期状态。 执行以下命令，安装Flume客户端到新目录，例如“/opt/FlumeClient”。安装时自动生成目录。 sh /opt/MRS_Flume_ClientConfig/Flume/install.sh -d /opt/FlumeClient -f MonitorServer实例的业务IP地址 -c Flume配置文件路径 -l /var/log/ -e Flume的业务IP地址 -n Flume客户端名称 各参数说明如下： “-d”：表示Flume客户端安装路径。 “-f”：可选参数，表示两个MonitorServer角色的业务IP地址，中间用英文逗号分隔，若不设置则Flume客户端将不向MonitorServer发送告警信息，同时在MRS Manager界面上看不到该客户端的相关信息。 “-c”：可选参数，表示Flume客户端在安装后默认加载的配置文件“properties.properties”。如不添加参数，默认使用客户端安装目录的“fusioninsight-flume-1.6.0/conf/properties.properties”。客户端中配置文件为空白模板，根据业务需要修改后Flume客户端将自动加载。 “-l”：可选参数，表示日志目录，默认值为“/var/log/Bigdata”。 “-e”：可选参数，表示Flume实例的业务IP地址，主要用于接收客户端上报的监控指标信息。 “-n”：可选参数，表示自定义的Flume客户端的名称。 IBM的JDK不支持“-Xloggc”，需要修改“flume/conf/flume-env.sh”，将“-Xloggc”修改为“-Xverbosegclog”，若JDK为32位，“-Xmx”不能大于3.25GB。 “flume/conf/flume-env.sh”中，“-Xmx”默认为4GB。若客户端机器内存过小，可调整为512M甚至1GB。 例如执行：sh install.sh -d /opt/FlumeClient 系统显示以下结果表示客户端运行环境安装成功： install flume client successfully.

ZooKeeper高危操作 表20 ZooKeeper高危操作 操作名称 操作风险 风险等级 规避措施 重大操作观察项目 删除或者修改ZooKeeper的数据目录 该操作将会导致业务信息丢失 ★★★ 修改ZooKeeper目录时候，严格按照扩容指导操作 观察服务能否正常启动，关联组件能否正常启动 修改ZooKeeper实例的启动参数GC_OPTS 导致服务启动异常 ★★ 修改相关配置项时请严格按照提示描述，确保修改后的值有效 观察服务能否正常启动 设置ZooKeeper中znode的ACL信息 修改ZooKeeper中znode的权限，可能会导致其他用户无权限访问该znode，导致系统功能异常 ★★★★ 修改相关配置项时请严格按照“ZooKeeper权限设置指南”章节操作，确保修改ACL信息，不会影响其他组件正常使用ZooKeeper 观察项目观察其他依赖ZooKeeper的组件能否正常启动，并提供服务

Storm高危操作 表18 Storm高危操作 操作名称 操作风险 风险等级 规避措施 重大操作观察项目 修改插件相关的配置项： storm.scheduler nimbus.authorizer storm.thrift.transport nimbus.blobstore.class nimbus.topology.validator storm.principal.tolocal 导致服务启动异常 ★★★★ 修改相关配置项时请严格按照提示描述，确保修改后的类名是存在并有效的 观察服务能否正常启动 修改Storm实例的启动参数GC_OPTS NIMBUS_GC_OPTS SUPERVISOR_GC_OPTS UI_GC_OPTS LOGVIEWER_GC_OPTS 导致服务启动异常 ★★ 修改相关配置项时请严格按照提示描述，确保修改后的值有效 观察服务能否正常启动 修改用户资源池配置参数resource.aware.scheduler.user.pools 导致业务提交后无法正常运行 ★★★ 修改相关配置项时请严格按照提示描述，确保给每个用户分配的资源合理有效 观察服务能否正常启动并且业务能否正常运行 修改数据目录 该操作不当会导致服务异常，无法提供服务 ★★★★ 请勿手动操作数据目录 观察数据目录是否正常 重启服务/实例 该操作会导致服务有短暂中断，如果有业务运行也会引起业务短暂中断 ★★★ 确保在必要时重启服务 观察服务是否运行正常，业务是否恢复 同步配置（重启服务） 该操作会引起服务重启，导致服务短暂中断，若引起Supervisor重启会导致所运行业务短暂中断 ★★★ 确保在必要时修改配置 观察服务是否运行正常，业务是否恢复 停止服务/实例 该操作会导致服务停止，业务中断 ★★★ 确保在必要时停止服务 观察服务是否正常停止 删除/修改元数据 删除Nimbus元数据会导致服务异常，并且已运行业务丢失 ★★★★★ 请勿手动删除Nimbus元数据文件 观察Nimbus元数据文件是否正常 修改文件权限 修改元数据目录和日志目录权限不当会引起服务异常 ★★★★ 请勿手动修改文件权限 观察数据目录和日志目录权限是否正常 删除拓扑 该操作会删除正在运行中的拓扑 ★★★★ 确保在必要时删除拓扑 观察拓扑是否删除成功

Loader高危操作 表16 Loader高危操作 操作名称 操作风险 风险等级 规避措施 重大操作观察项目 修改Loader实例的浮动IP地址loader.float.ip 导致服务启动异常 ★★ 修改相关配置项时请严格按照提示描述，确保修改后的值有效 观察Loader UI是否可以正常连接 修改Loader实例的启动参数LOADER_GC_OPTS 导致服务启动异常 ★★ 修改相关配置项时请严格按照提示描述，确保修改后的值有效 观察服务能否正常启动 往HBase导入数据时，选择清空表数据 目标表的原数据被清空 ★★ 选择时，确保目标表的数据可以清空 选择前，需确认目标表数据是否可以清空

Spark2x高危操作 MRS 3.x之前版本，服务名称为Spark。 表17 Spark2x高危操作 操作名称 操作风险 风险等级 规避措施 重大操作观察项目 配置项的修改（spark.yarn.queue） 导致服务启动异常 ★★ 修改相关配置项时请严格按照提示描述，确保修改后的值有效 观察服务能否正常启动 配置项的修改（spark.driver.extraJavaOptions） 导致服务启动异常 ★★ 修改相关配置项时请严格按照提示描述，确保修改后的值有效 观察服务能否正常启动 配置项的修改（spark.yarn.cluster.driver.extraJavaOptions） 导致服务启动异常 ★★ 修改相关配置项时请严格按照提示描述，确保修改后的值有效 观察服务能否正常启动 配置项的修改（spark.eventLog.dir） 导致服务启动异常 ★★ 修改相关配置项时请严格按照提示描述，确保修改后的值有效 观察服务能否正常启动 配置项的修改（SPARK_DAEMON_JAVA_OPTS） 导致服务启动异常 ★★ 修改相关配置项时请严格按照提示描述，确保修改后的值有效 观察服务能否正常启动 删除所有JobHistory2x实例 导致历史应用的event log丢失 ★★ 至少保留一个JobHistory2x实例 观察JobHistory2x中是否可以查看历史应用信息 删除或修改HDFS上的/user/spark2x/jars/8.1.0.1/spark-archive-2x.zip 导致JDBCServer2x启动异常及业务功能异常 ★★★ 删除/user/spark2x/jars/8.1.0.1/spark-archive-2x.zip，等待10-15分钟，zip包自动恢复 观察服务能否正常启动

KrbServer高危操作 表14 KrbServer高危操作 操作名称 操作风险 风险等级 规避措施 重大操作观察项目 修改KrbServer的参数KADMIN_PORT 修改该参数后，若没有及时重启KrbServer服务和其关联的所有服务，会导致集群内部KrbClient的配置参数异常，影响业务运行 ★★★★★ 修改该参数后，请重启KrbServer服务和其关联的所有服务 无 修改KrbServer的参数kdc_ports 修改该参数后，若没有及时重启KrbServer服务和其关联的所有服务，会导致集群内部KrbClient的配置参数异常，影响业务运行 ★★★★★ 修改该参数后，请重启KrbServer服务和其关联的所有服务 无 修改KrbServer的参数KPASSWD_PORT 修改该参数后，若没有及时重启KrbServer服务和其关联的所有服务，会导致集群内部KrbClient的配置参数异常，影响业务运行 ★★★★★ 修改该参数后，请重启KrbServer服务和其关联的所有服务 无 修改Manager系统域名 若没有及时重启KrbServer服务和其关联的所有服务，会导致集群内部KrbClient的配置参数异常，影响业务运行 ★★★★★ 修改该参数后，请重启KrbServer服务和其关联的所有服务 无 配置跨集群互信 该操作会重启KrbServer服务和其关联的所有服务，影响集群的管理维护和业务 ★★★★★ 更换前确认操作的必要性，更换时确保同一时间无其它管理维护操作 观察是否有未恢复的告警产生，观察集群的管理维护是否正常，业务是否正常