华为云用户手册

回答 可能原因为IBM的JDK和普通JDK的jaas.conf文件格式不一样。 在使用IBM JDK时，建议使用如下jaas.conf文件模板，其中“useKeytab”中的文件路径必须以“file://”开头，后面为绝对路径。 Client { com.ibm.security.auth.module.Krb5LoginModule required useKeytab="file://D:/install/HbaseClientSample/conf/user.keytab" principal="hbaseuser1" credsType="both"; };

数据类型映射 目前Hive数据源支持的数据类型为：BOOLEAN、TINYINT、SMALLINT、INT、BIGINT、REAL、DOUBLE、DECIMAL、NUMERIC、DEC、VARCHAR、VARCHAR（X）、CHAR、CHAR（X）、STRING、DATE、TIMESTAMP、TIME WITH TIMEZONE、TIMESTAMP WITH TIME ZONE、TIME、ARRAY、MAP、STRUCT、ROW。

性能优化 元数据缓存 Hive连接器支持元数据缓存，以便更快地提供对各种操作的元数据请求。可参考调整HetuEngine元数据缓存。 动态过滤 开启动态过滤有助于Hive连接器的Join算子的计算优化。可参考调整HetuEngine动态过滤。 带分区条件查询 建立分区表并且查询带分区过滤条件有助于过滤部分分区数据，从而提高性能。 Insert优化 通过设置“task.writer-count”的值为“1”和增大“hive.max-partitions-per-writers”的值有助于提升Insert性能。可参考调整HetuEngine INSERT写入优化。

前提条件 数据源所在集群域名与HetuEngine集群域名不能相同。 数据源所在集群与HetuEngine集群节点网络互通。 在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对接数据源所在集群的主机名称和对应的IP映射，及其“/etc/hosts”文件中的“10.10.10.10 hadoop.系统域名”（如“10.10.10.10 hadoop.hadoop.com”），否则HetuEngine无法根据主机名称连接到非本集群节点。 已创建HetuEngine计算实例。

操作场景 HetuEngine服务在安装时已经将共部署（与HetuEngine在同一个Hadoop集群）的Hive数据源默认实现对接，数据源名称为“hive”，不可删除。部分默认配置不可修改，如数据源名称，数据源类型，服务端Principal，客户端Principal等。但当环境配置发生变化时，如修改了本集群的“本端域”域名，重启HetuEngine服务可以自动同步共部署Hive数据源的相关配置，如服务端Principal，客户端Principal。 HetuEngine目前支持对接的数据格式包括：avro、text、rctext、orc、parquet、sequencefile。 HetuEngine对接Hive数据源，不支持指定多分隔符建表，但对于在Hive数据源中指定MultiDelimitSerDe类作为序列化类来创建text数据格式的多分隔符表，可以通过HetuEngine查询，其他场景不支持。 HetuEngine对接的Hive数据源支持Hudi表重定向功能。适用于MRS 3.3.0及以后版本。该功能支持在Hive connector访问Hudi表时重定向到Hudi connector，从而使用Hudi connector高级功能。使用该功能需提前配置目标Hudi数据源，并确保Hudi数据源与当前Hive数据源的Metastore URL一致，并在Hive数据源中配置“开启Hudi重定向”参数即可。 若需要使用Hive Metastore隔离功能，需要在Hive侧配置“HIVE_METASTORE_URI_HETU”，配置完成后需要重启HetuEngine服务的HSBroke实例，刷新Hive Metastore URI信息。 本章节指导用户在HSConsole界面添加集群外部的Hive类型数据源。

通过加载数据的时间删除 用户可基于特定的加载时间删除数据。 命令： DELETE FROM TABLE db_name.table_name WHERE SEGMENT.STARTTIME BEFORE date_value; 示例： DELETE FROM TABLE carbonTable WHERE SEGMENT.STARTTIME BEFORE '2017-07-01 12:07:20'; 上述命令可删除'2017-07-01 12:07:20'之前的所有segment。 有关详细信息，请参阅DELETE SEGMENT by DATE。

删除结果 数据对应的segment被删除，数据将不能再被访问。可通过SHOW SEGMENTS命令显示segment状态，查看是否成功删除。 调用DELETE SEGMENT命令时，物理上而言，Segment并没有从文件系统中被删除。使用命令SHOW SEGMENTS查看Segment信息，可看见被删除的Segment的状态被标识为"Marked for Delete"。但使用SELECT * FROM tablename命令查询时，不会显示被删除的Segment的内容。 下一次加载数据且达到最大查询执行时间（由“max.query.execution.time”配置，默认为“60分钟”）后，Segment才会从文件系统中真正删除。 如果用户想要强制删除物理Segment文件，那么可以使用CLEAN FILES命令。 示例： CLEAN FILES FOR TABLE table1; 该命令将从物理上删除状态为“Marked for delete”的Segment文件。 如果在“max.query.execution.time”规定的时间到达之前使用该命令，可能会导致查询失败。“max.query.execution.time”可在“carbon.properties”文件中设置，表示一次查询允许花费的最长时间。

通过Segment ID删除 每个Segment都有与其关联的唯一Segment ID。使用这个Segment ID可以删除该Segment。 运行如下命令获取Segment ID。 命令： SHOW SEGMENTS FOR Table dbname.tablename LIMIT number_of_loads; 示例： SHOW SEGMENTS FOR TABLE carbonTable; 上述命令可显示tablename为carbonTable的表的所有Segment信息。 SHOW SEGMENTS FOR TABLE carbonTable LIMIT 2; 上述命令可显示number_of_loads规定条数的Segment信息。 输出结果如下： +-----+----------+--------------------------+------------------+------------+------------+-------------+--------------+--+ | ID | Status | Load Start Time | Load Time Taken | Partition | Data Size | Index Size | File Format | +-----+----------+--------------------------+------------------+------------+------------+-------------+--------------+--+ | 3 | Success | 2020-09-28 22:53:26.336 | 3.726S | {} | 6.47KB | 3.30KB | columnar_v3 | | 2 | Success | 2020-09-28 22:53:01.702 | 6.688S | {} | 6.47KB | 3.30KB | columnar_v3 | +-----+----------+--------------------------+------------------+------------+------------+-------------+--------------+--+ SHOW SEGMENTS命令输出包括ID、Status、Load Start Time、Load Time Taken、Partition、Data Size、Index Size、File Format。最新的加载信息在输出中第一行显示。 获取到需要删除的Segment的Segment ID后，执行如下命令删除对应Segment： 命令： DELETE FROM TABLE tableName WHERE SEGMENT.ID IN (load_sequence_id1, load_sequence_id2, ....); 示例： DELETE FROM TABLE carbonTable WHERE SEGMENT.ID IN (1,2,3); 详细信息，请参阅DELETE SEGMENT by ID。

问题 Hive创建超过3.2万分区的表，执行带有WHERE分区的条件查询时出现异常，且“metastore.log”中打印的异常信息包含以下信息： Caused by: java.io.IOException: Tried to send an out-of-range integer as a 2-byte value: 32970 at org.postgresql.core.PGStream.SendInteger2(PGStream.java:199) at org.postgresql.core.v3.QueryExecutorImpl.sendParse(QueryExecutorImpl.java:1330) at org.postgresql.core.v3.QueryExecutorImpl.sendOneQuery(QueryExecutorImpl.java:1601) at org.postgresql.core.v3.QueryExecutorImpl.sendParse(QueryExecutorImpl.java:1191) at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:346)

操作场景 HBase可以通过对HFile中的data block编码，减少keyvalue中key的重复部分，从而减少空间的使用。目前对data block的编码方式有：NONE、PREFIX、DIFF、FAST_DIFF和ROW_INDEX_V1，其中NONE表示不使用编码。另外，HBase还支持使用压缩算法对HFile文件进行压缩，默认支持的压缩算法有：NONE、GZ、SNAPPY和ZSTD，其中NONE表示HFile不压缩。 这两种方式都是作用在HBase的列簇上，可以同时使用，也可以单独使用。

解决方法 spark.sql.hive.convertInsertingPartitionedTable开关控制了Hive和Datasource表的插入写操作逻辑, 使用Hive表时逻辑不会自动格式化时间戳，使用Datasource表时会自动格式化时间戳。 如果写入的分区字段是a='2016-8-1 11:45:5'会自动格式化成a='2016-08-01 11:45:05'，此时查询使用a='2016-8-1 11:45:5'会报错。 正确查询方式如下： spark.sql.hive.convertInsertingPartitionedTable=true时使用datasource表逻辑，使用如下方式即可以正常查询： desc formatted test_hive_orc_snappy_internal_table partition(a='2016-08-01 11:45:05');

回答 在YARN中，当一个APP的节点被AM（ApplicationMaster）加入黑名单的数量达到一定比例（默认值为节点总数的33%）时，该AM会自动释放黑名单，从而不会出现由于所有可用节点都被加入黑名单而任务无法获取节点资源的现象。 在资源池场景下，假设该集群上有8个节点，通过NodeLabel特性将集群划分为两个资源池，pool A和pool B，其中pool B包含两个节点。用户提交了一个任务App1到pool B，由于HDFS空间不足，App1运行失败，导致pool B的两个节点都被App1的AM加入了黑名单，根据上述原则，2个节点小于8个节点的33%，所以YARN不会释放黑名单，使得App1一直无法得到资源而保持运行状态，后续即使被加入黑名单的节点恢复，App1也无法得到资源。 由于上述原则不适用于资源池场景，所以目前可通过调整客户端参数（路径为“客户端安装路径/Yarn/config/yarn-site.xml”）“yarn.resourcemanager.am-scheduling.node-blacklisting-disable-threshold”为：(nodes number of pool / total nodes )* 33%解决该问题。

回答 由于已备份Hive表对应的HDFS目录创建了快照，导致HDFS目录无法删除，造成Hive表删除失败。 Hive表在执行备份操作时，会创建表对应的HDFS数据目录快照。而HDFS的快照机制有一个约束：如果一个HDFS目录已创建快照，则在快照完全删除之前，该目录无法删除或修改名称。Hive表（除EXTERNAL表外）执行drop操作时，会尝试删除该表对应的HDFS数据目录，如果目录删除失败，系统会提示表删除失败。 如果确实需要删除该表，可手动删除涉及到该表的所有备份任务。

操作场景 该操作指导用户对ZooKeeper的znode设置权限。 ZooKeeper通过访问控制列表（ACL）来对znode进行访问控制。ZooKeeper客户端为znode指定ACL，ZooKeeper服务器根据ACL列表判定某个请求znode的客户端是否有对应操作的权限。ACL设置涉及如下四个方面。 查看ZooKeeper中znode的ACL。 增加ZooKeeper中znode的ACL。 修改ZooKeeper中znode的ACL。 删除ZooKeeper中znode的ACL。 ZooKeeper的ACL权限说明： ZooKeeper目前支持create，delete，read，write，admin五种权限，且ZooKeeper对权限的控制是znode级别的，而且不继承，即对父znode设置权限，其子znode不继承父znode的权限。ZooKeeper中znode的默认权限为world:anyone:cdrwa，即任何用户都有所有权限。 ACL有三部分： 第一部分是认证类型，如world指所有认证类型，sasl是kerberos认证类型； 第二部分是账号，如anyone指的是任何人； 第三部分是权限，如cdrwa指的是拥有所有权限。 特别的，由于普通模式启动客户端不需要认证，sasl认证类型的ACL在普通模式下将不能使用。本文所有涉及sasl方式的鉴权操作均是在安全集群中进行。 表1 Zookeeper的五种ACL 权限说明 权限简称 权限详情 创建权限 create(c) 可以在当前znode下创建子znode 删除权限 delete(d) 删除当前的znode 读权限 read(r) 获取当前znode的数据，可以列出当前znode所有的子znodes 写权限 write(w) 向当前znode写数据，写入子znode 管理权限 admin(a) 设置当前znode的权限

操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“Shell”按钮，将其拖到操作区中。 在弹出的“Shell”窗口中配置“Shell command”的值，例如“oozie_shell.sh”，然后单击“添加”。 单击“文件+”，添加Shell命令执行文件或Oozie样例执行文件，可以选择存储在HDFS的文件或本地文件。 如果文件存储在HDFS上，选择“.sh”文件所在路径即可，例如“user/hueuser/shell/oozie_shell.sh”。 如果选择本地文件，则需在“选择文件”界面，单击“上传文件”，上传本地文件，文件上传成功后，选择该文件即可。 如果执行的Shell文件需要传递参数，可单击“参数+”设置参数。 传递参数的顺序需要和Shell脚本中保持一致。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Shell-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 配置Shell命令为Linux指令时，请指定为原始指令，不要使用快捷键指令。例如：ls -l ,不要配置成ll。可配置成Shell命令ls ，参数添加一个 “-l”。 Windows上传Shell脚本到HDFS时，请保证Shell脚本的格式为Unix，格式不正确会导致Shell作业提交失败。

操作步骤 进入Flume客户端日志目录，默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下： flume-client-1/flume: total 7672 -rw-------. 1 root root 0 Sep 8 19:43 Flume-audit.log -rw-------. 1 root root 1562037 Sep 11 06:05 FlumeClient.2017-09-11_04-05-09.[1].log.zip -rw-------. 1 root root 6127274 Sep 11 14:47 FlumeClient.log -rw-------. 1 root root 2935 Sep 8 22:20 flume-root-20170908202009-pid72456-gc.log.0.current -rw-------. 1 root root 2935 Sep 8 22:27 flume-root-20170908202634-pid78789-gc.log.0.current -rw-------. 1 root root 4382 Sep 8 22:47 flume-root-20170908203137-pid84925-gc.log.0.current -rw-------. 1 root root 4390 Sep 8 23:46 flume-root-20170908204918-pid103920-gc.log.0.current -rw-------. 1 root root 3196 Sep 9 10:12 flume-root-20170908215351-pid44372-gc.log.0.current -rw-------. 1 root root 2935 Sep 9 10:13 flume-root-20170909101233-pid55119-gc.log.0.current -rw-------. 1 root root 6441 Sep 9 11:10 flume-root-20170909101631-pid59301-gc.log.0.current -rw-------. 1 root root 0 Sep 9 11:10 flume-root-20170909111009-pid119477-gc.log.0.current -rw-------. 1 root root 92896 Sep 11 13:24 flume-root-20170909111126-pid120689-gc.log.0.current -rw-------. 1 root root 5588 Sep 11 14:46 flume-root-20170911132445-pid42259-gc.log.0.current -rw-------. 1 root root 2576 Sep 11 13:24 prestartDetail.log -rw-------. 1 root root 3303 Sep 11 13:24 startDetail.log -rw-------. 1 root root 1253 Sep 11 13:24 stopDetail.log flume-client-1/monitor: total 8 -rw-------. 1 root root 141 Sep 8 19:43 flumeMonitorChecker.log -rw-------. 1 root root 2946 Sep 11 13:24 flumeMonitor.log 其中FlumeClient.log即为Flume客户端的运行日志。

前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录、HBase表和数据。 获取外部数据源（SFTP服务器或关系型数据库）使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP、FTP和HDFS/OBS导入数据时，确保外部数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的任务需要使用指定Yarn队列功能，该用户需要已授权有相关Yarn队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。

任务实例 不更新作业参数，直接运行名称为“sftp-hdfs”的作业。 ./submit_job.sh -n sftp-hdfs -u n 更新名称为“sftp-hdfs”导入作业的输入路径、编码类型、后缀、输出路径和启动的map数量参数，并运行作业。 ./submit_job.sh -n sftp-hdfs -u y -jobType import -connectorType sftp -inputPath /opt/tempfile/1 -encodeType UTF-8 -suffixName '' -frameworkType hdfs -outputDirectory /user/user1/tttest -extractors 10 更新名称为“db-hdfs”导入作业的数据库模式、表名、输出路径参数，并运行作业。 ./submit_job.sh -n db-hdfs -u y -jobType import -connectorType rdb -schemaName public -tableName sq_submission -sql '' -partitionColumn sqs_id -frameworkType hdfs -outputDirectory /user/user1/dbdbt

前提条件 集群已安装HetuEngine、Hive服务及其所依赖的服务（DBService、KrbServer、Zookeeper、HDFS、Yarn、MapReduce）且运行正常。 如集群已启用Kerberos认证，需提前创建HetuEngine的用户并授予相关权限，具体操作请参见创建HetuEngine权限角色。且需要通过Ranger为该用户配置操作数据源的数据库、表、列的管理权限，具体操作请参考添加HetuEngine的Ranger访问权限策略。 已安装集群客户端，例如安装目录为“/opt/client”。

基础概念 Internal Catalog Doris原有的Database和Table都将归属于Internal Catalog。Internal Catalog是内置的默认Catalog，用户不可修改或删除。 External Catalog 可以通过CREATE CATALOG命令创建一个External Catalog，创建后，可以通过SHOW CATALOGS命令查看已创建的 Catalog。 切换Catalog 用户登录Doris后，默认进入Internal Catalog，因此默认的使用和之前版本并无差别，可以直接使用SHOW DATABASES，USE DB等命令查看和切换数据库。 用户可以通过SWITCH命令切换Catalog，例如： SWITCH internal; SWITCH hive_catalog; 切换后，可以直接通过SHOW DATABASES，USE DB等命令查看和切换对应Catalog中的Database。Doris会自动同步Catalog中的 Database和Table。用户可以像使用Internal Catalog一样，对External Catalog中的数据进行查看和访问。 当前，Doris 只支持对External Catalog 中的数据进行只读访问。 删除Catalog External Catalog中的Database和Table都是只读的。但是可以删除Catalog（Internal Catalog无法删除）。可以通过DROP CATALOG命令删除一个External Catalog。 该操作仅会删除Doris中该Catalog的映射信息，并不会修改或变更任何外部数据目录的内容。 Resource Resource是一组配置的集合。用户可以通过CREATE RESOURCE命令创建一个Resource，之后可以在创建Catalog时使用这个Resource。 一个Resource可以被多个Catalog使用，以复用其中的配置。

回答 当userB对tableB执行insert操作后，会在外表数据路径下生成新的数据文件，且文件属组是userB，当userA查询tableA时，会读取外表数据目录下的所有的文件，此时会因没有userB生成的文件的读取权限而查询失败。 实际上，不只是查询场景，还有其他场景也会出现问题。例如：inset overwrite操作将会把此目录下的其他表文件也一起复写。 由于Spark SQL当前的实现机制，如果对此种场景添加检查限制，会存在一致性问题和性能问题，因此未对此种场景添加限制，但是用户应避免此种用法，以避免此场景带来的各种问题。

操作步骤 以root用户登录已安装Hive客户端的节点。 执行以下命令，进入客户端安装目录，例如“/opt/client”。 cd /opt/client 执行source bigdata_env命令，配置客户端环境变量。 在客户端中执行如下命令，执行登录操作。 kinit 用户名 执行以下命令登录客户端工具。 beeline 指定静态分区或者动态分区。 静态分区： 静态分区是手动输入分区名称，在创建表时使用关键字PARTITIONED BY指定分区列名及数据类型。应用开发时，使用ALTER TABLE ADD PARTITION语句增加分区，以及使用LOAD DATA INTO PARTITON语句将数据加载到分区时，只能静态分区。 动态分区：通过查询命令，将结果插入到某个表的分区时，可以使用动态分区。 动态分区通过在客户端工具执行如下命令来开启： set hive.exec.dynamic.partition=true; 动态分区默认模式是strict，也就是必须至少指定一列为静态分区，在静态分区下建立动态子分区，可以通过如下设置来开启完全的动态分区： set hive.exec.dynamic.partition.mode=nonstrict; 动态分区可能导致一个DML语句创建大量的分区，对应的创建大量新文件夹，对系统性能可能带来影响。 在文件数量大的情况下，执行一个SQL语句启动时间较长，可以在执行SQL语句之前执行“set mapreduce.input.fileinputformat.list-status.num-threads = 100;”命令来缩短启动时间。“mapreduce.input.fileinputformat.list-status.num-threads”参数需要先添加到Hive的白名单才可设置。

操作步骤 如果您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数。 可用内存 除了分配给操作系统、其他服务的内存外，剩余的资源应尽量分配给YARN。通过如下配置参数进行调整。 例如，如果一个container默认使用512M，则内存使用的计算公式为：512M*container数。 默认情况下，Map或Reduce container会使用1个虚拟CPU内核和1024MB内存，ApplicationMaster使用1536MB内存。 参数 描述 默认值 yarn.nodemanager.resource.memory-mb 设置可分配给容器的物理内存数量。单位：MB，取值范围大于0。 建议配置成节点物理内存总量的75%~90%。如果该节点有其他业务的常驻进程，请降低此参数值给该进程预留足够运行资源。 16384 CPU虚拟核数 建议将此配置设定在逻辑核数的1.5～2倍之间。如果上层计算应用对CPU的计算能力要求不高，可以配置为2倍的逻辑CPU。 参数 描述 默认值 yarn.nodemanager.resource.cpu-vcores 表示该节点上YARN可使用的虚拟CPU个数，默认是8。 目前推荐将该值设值为逻辑CPU核数的1.5～2倍之间。 8 物理CPU使用百分比 建议预留适量的CPU给操作系统和其他进程（数据库、HBase等）外，剩余的CPU核都分配给YARN。可以通过如下配置参数进行调整。 参数 描述 默认值 yarn.nodemanager.resource.percentage-physical-cpu-limit 表示该节点上YARN可使用的物理CPU百分比。默认是90，即不进行CPU控制，YARN可以使用节点全部CPU。该参数只支持查看，可通过调整YARN的RES_CPUSET_PERCENTAGE参数来修改本参数值。注意，目前推荐将该值设为可供YARN集群使用的CPU百分数。 例如：当前节点除了YARN服务外的其他服务（如HBase、HDFS、Hive等）及系统进程使用CPU为20%左右，则可以供YARN调度的CPU为1-20%=80%，即配置此参数为80。 90 本地磁盘 由于本地磁盘会提供给MapReduce写job执行的中间结果，数据量大。因此配置的原则是磁盘尽量多，且磁盘空间尽量大，单个达到百GB以上规模更合适。简单的做法是配置和data node相同的磁盘，只在最下一级目录上不同即可。 多个磁盘之间使用逗号隔开。 参数 描述 默认值 yarn.nodemanager.log-dirs 日志存放地址（可配置多个目录）。 容器日志的存储位置。默认值为%{@auto.detect.datapart.nm.logs}。如果有数据分区，基于该数据分区生成一个类似/srv/BigData/hadoop/data1/nm/containerlogs,/srv/BigData/hadoop/data2/nm/containerlogs的路径清单。如果没有数据分区，生成默认路径/srv/BigData/yarn/data1/nm/containerlogs。除了使用表达式以外，还可以输入完整的路径清单，比如/srv/BigData/yarn/data1/nm/containerlogs或/srv/BigData/yarn/data1/nm/containerlogs,/srv/BigData/yarn/data2/nm/containerlogs。这样数据就会存储在所有设置的目录中，一般会是在不同的设备中。为保证磁盘IO负载均衡，需要提供几个路径且每个路径都对应一个单独的磁盘。应用程序的本地化后的日志目录存在于相对路径/application_%{appid}中。单独容器的日志目录，即container_{$contid}，是该路径下的子目录。每个容器目录都含容器生成的stderr、stdin及syslog文件。要新增目录，比如新增/srv/BigData/yarn/data2/nm/containerlogs目录，应首先删除/srv/BigData/yarn/data2/nm/containerlogs下的文件。之后，为/srv/BigData/yarn/data2/nm/containerlogs赋予跟/srv/BigData/yarn/data1/nm/containerlogs一样的读写权限，再将/srv/BigData/yarn/data1/nm/containerlogs修改为/srv/BigData/yarn/data1/nm/containerlogs,/srv/BigData/yarn/data2/nm/containerlogs。可以新增目录，但不要修改或删除现有目录。否则，NodeManager的数据将丢失，且服务将不可用。 【默认值】%{@auto.detect.datapart.nm.logs} 【注意】请谨慎修改该项。如果配置不当，将造成服务不可用。当角色级别的该配置项修改后，所有实例级别的该配置项都将被修改。如果实例级别的配置项修改后，其他实例的该配置项的值保持不变。 %{@auto.detect.datapart.nm.logs} yarn.nodemanager.local-dirs 本地化后的文件的存储位置。默认值为%{@auto.detect.datapart.nm.localdir}。如果有数据分区，基于该数据分区生成一个类似/srv/BigData/hadoop/data1/nm/localdir,/srv/BigData/hadoop/data2/nm/localdir的路径清单。如果没有数据分区，生成默认路径/srv/BigData/yarn/data1/nm/localdir。除了使用表达式以外，还可以输入完整的路径清单，比如/srv/BigData/yarn/data1/nm/localdir或/srv/BigData/yarn/data1/nm/localdir,/srv/BigData/yarn/data2/nm/localdir。这样数据就会存储在所有设置的目录中，一般会是在不同的设备中。为保证磁盘IO负载均衡，需要提供几个路径且每个路径都对应一个单独的磁盘。应用程序的本地化后的文件目录存在于相对路径/usercache/%{user}/appcache/application_%{appid}中。单独容器的工作目录，即container_%{contid}，是该路径下的子目录。要新增目录，比如新增/srv/BigData/yarn/data2/nm/localdir目录，应首先删除/srv/BigData/yarn/data2/nm/localdir下的文件。之后，为/srv/BigData/hadoop/data2/nm/localdir赋予跟/srv/BigData/hadoop/data1/nm/localdir一样的读写权限，再将/srv/BigData/yarn/data1/nm/localdir修改为/srv/BigData/yarn/data1/nm/localdir,/srv/BigData/yarn/data2/nm/localdir。可以新增目录，但不要修改或删除现有目录。否则，NodeManager的数据将丢失，且服务将不可用。 【默认值】%{@auto.detect.datapart.nm.localdir} 【注意】请谨慎修改该项。如果配置不当，将造成服务不可用。当角色级别的该配置项修改后，所有实例级别的该配置项都将被修改。如果实例级别的配置项修改后，其他实例的该配置项的值保持不变。 %{@auto.detect.datapart.nm.localdir}

操作步骤 参数入口： HBase角色相关的JVM参数需要配置在安装有HBase服务的节点的“${BIGDATA_HOME}/FusionInsight_HD_*/install/FusionInsight-HBase-2.2.3/hbase/conf/”目录下的“hbase-env.sh”文件中。 每个角色都有各自的JVM参数配置变量，如表1。 表1 HBase相关JVM参数配置变量 变量名 变量影响的角色 HBASE_OPTS 该变量中设置的参数，将影响HBase的所有角色。 SERVER_GC_OPTS 该变量中设置的参数，将影响HBase Server端的所有角色，例如：Master、RegionServer等。 CLIENT_GC_OPTS 该变量中设置的参数，将影响HBase的Client进程。 HBASE_MASTER_OPTS 该变量中设置的参数，将影响HBase的Master。 HBASE_REGIONSERVER_OPTS 该变量中设置的参数，将影响HBase的RegionServer。 HBASE_THRIFT_OPTS 该变量中设置的参数，将影响HBase的Thrift。 配置方式举例： export HADOOP_NAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,NullAppender} $HADOOP_NAMENODE_OPTS"

前提条件 集群已安装CDL、Hudi和ClickHouse服务且运行正常。 用户需要有操作ClickHouse的权限，相关操作请参见创建ClickHouse角色。 在FusionInsight Manager中创建一个人机用户，例如“cdluser”，该用户需具有ClickHouse管理员权限（相关操作请参见创建ClickHouse角色），并加入用户组cdladmin、hadoop、kafka、supergroup，主组选择“cdladmin”组，关联角色“System_administrator”。 手动创建ClickHouse侧的本地表和分布式表， 本地表使用ReplicatedReplacingMergeTree引擎，详细操作请参见ClickHouse客户端使用实践章节。

处理步骤 登录安装了MySQL的节点，连接Doris数据库。 调用BE的check_tablet_segment_lost请求自动修复丢失的副本。 curl -X POST http://192.168.67.78:29986/api/check_tablet_segment_lost?repair=true （ 192.168.67.78为异常的BE节点IP地址，29986为BE的HTTP Server的服务端口，可在Manger的Doris配置界面搜索“webserver_port”查看。 执行以下命令，获取DetailCmd。 show tablet tabletId 执行DetailCmd，当异常节点的副本已经被移除时，再次进行业务查询正常即可。

操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“Loader”按钮，将其拖到操作区中。 在弹出的“Loader”窗口中配置“Job id”的值，例如“1”。然后单击“添加”。 “Job id”是需要编排的Loader作业的ID值，可从Loader页面获取。 创建需要调度的Loader作业，并获取该作业ID，具体操作请参见使用Loader相关章节。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Loader-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。

前提条件 集群已安装CDL、Hudi服务且运行正常。 ThirdKafka数据库的Topic需要能被MRS集群消费，操作步骤请参考ThirdPartyKafka前置准备。 在FusionInsight Manager中创建一个人机用户，例如“cdluser”，加入用户组cdladmin、hadoop、kafka、supergroup，主组选择“cdladmin”组，关联角色“System_administrator”。

配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 dfs.namenode.delegation.token.max-lifetime 该参数为服务器端参数，设置token的最大存活时间，单位为毫秒。取值范围：10000~10000000000000。 604800000 dfs.namenode.delegation.token.renew-interval 该参数为服务器端参数，设置token renew的时间间隔，单位为毫秒。取值范围：10000~10000000000000。 86400000

操作场景 此功能适用于Hive。 因为操作系统用户组个数限制，导致Hive不能创建超过32个角色，开启此功能后，Hive将支持创建超过32个角色。 开启本功能并对表库等授权后，对表库目录具有相同权限的角色将会用“|”合并。查询acl权限时，将显示合并后的结果，与开启该功能前的显示会有区别。此操作不可逆，请充分考虑实际应用场景，再决定是否作出调整。 如果当前组件使用了Ranger进行权限控制，需基于Ranger配置相关策略进行权限管理，具体操作可参考添加Hive的Ranger访问权限策略。 开启此功能后，包括owner在内默认最大可支持512个角色，由MetaStore自定义参数“hive.supports.roles.max”控制，可考虑实际应用场景进行修改。