华为云用户手册

  • 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Hive完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。 外部表,如果数据要被多种工具(如Pig等)共同处理,则应该使用外部表,可避免对该数据的误操作。删除外部表时,只删除掉元数据。 根据已有表创建新表,使用CREATE LIKE句式,完全复制原有的表结构,包括表的存储格式。 根据查询结果创建新表,使用CREATE AS SELECT句式。 这种方式比较灵活,可以在复制原表表结构的同时指定要复制哪些字段,不包括表的存储格式。
  • 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的dropTable方法中 public void dropTable() { LOG.info("Entering dropTable."); Admin admin = null; try { admin = conn.getAdmin(); if (admin.tableExists(tableName)) { // Disable the table before deleting it. admin.disableTable(tableName);//注[1] // Delete table. admin.deleteTable(tableName); } LOG.info("Drop table successfully."); } catch (IOException e) { LOG.error("Drop table failed ", e); } finally { if (admin != null) { try { // Close the Admin object. admin.close(); } catch (IOException e) { LOG.error("Close admin failed ", e); } } } LOG.info("Exiting dropTable."); }
  • MRS各组件样例工程汇总 样例工程获取地址参见获取MRS应用开发样例工程,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 MRS样例代码库提供了各组件的基本功能样例工程供用户使用,当前版本各组件提供的样例工程汇总参见表1。 表1 各组件样例工程汇总(2.x版本) 组件 样例工程位置 描述 Alluxio alluxio-examples 使用Alluxio通过公共接口连接到存储系统示例程序。可实现写文件、读文件等功能。 Flink flink-examples 该样例工程提供以下样例程序: DataStream程序 Flink构造DataStream的Java/Scala示例程序。本工程示例为基于业务要求分析用户日志数据,读取文本数据后生成相应的DataStream,然后筛选指定条件的数据,并获取结果。 向Kafka生产并消费数据程序 Flink向Kafka生产并消费数据的Java/Scala示例程序。在本工程中,假定某个Flink业务每秒就会收到1个消息记录,启动Producer应用向Kafka发送数据,然后启动Consumer应用从Kafka接收数据,对数据内容进行处理后并打印输出。 异步Checkpoint机制程序 Flink异步Checkpoint机制的Java/Scala示例程序。本工程中,程序使用自定义算子持续产生数据,产生的数据为一个四元组(Long,String,String,Integer)。数据经统计后,将统计结果打印到终端输出。每隔6秒钟触发一次checkpoint,然后将checkpoint的结果保存到HDFS中。 Stream SQL Join程序 Flink SQL Join示例程序。本工程示例调用flink-connector-kafka模块的接口,生产并消费数据。生成Table1和Table2,并使用Flink SQL对Table1和Table2进行联合查询,打印输出结果。 HBase hbase-examples HBase数据读写操作的应用开发示例。 通过调用HBase接口可实现创建用户表、导入用户数据、增加用户信息、查询用户信息及为用户表创建二级索引等功能。 HDFS hdfs-examples HDFS文件操作的Java示例程序。 本工程主要给出了创建HDFS文件夹、写文件、追加文件内容、读文件和删除文件/文件夹等相关接口操作示例。 Hive hive-examples 该样例工程提供以下JDBC/HCatalog样例程序: Hive JDBC处理数据Java示例程序。 本工程使用JDBC接口连接Hive,在Hive中执行相关数据操作。使用JDBC接口实现创建表、加载数据、查询数据等功能。 Hive HCatalog处理数据Java示例程序。 使用HCatalog接口实现通过Hive命令行方式对MRS Hive元数据进行数据定义和查询操作。 Impala impala-examples Impala JDBC处理数据Java示例程序。 本工程使用JDBC接口连接Impala,在Impala中执行相关数据操作。使用JDBC接口实现创建表、加载数据、查询数据等功能。 Kafka kafka-examples Kafka流式数据的处理Java示例程序。 本工程基于Kafka Streams完成单词统计功能,通过读取输入Topic中的消息,统计每条消息中的单词个数,从输出Topic消费数据,然后将统计结果以Key-Value的形式输出。 MapReduce mapreduce-examples MapReduce任务提交Java示例程序。 本工程提供了一个MapReduce统计数据的应用开发示例,实现数据分析、处理,并输出满足用户需要的数据信息。 另外以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 Presto presto-examples 该样例工程提供以下JDBC/HCatalog样例程序: Presto JDBC处理数据Java示例程序。 本工程使用JDBC接口连接Presto,在Presto中执行相关数据操作。使用JDBC接口实现创建表、加载数据、查询数据等功能。 Presto HCatalog处理数据Java示例程序。 OpenTSDB opentsdb-examples 通过调用OpenTSDB接口可实现采集大规模集群中的监控类信息,并可实现数据的秒级查询。该样例程序主要实现写入数据、查询数据、删除数据等功能。 Spark spark-examples SparkHbasetoHbaseJavaExample Spark从HBase读取数据再写入HBase的Java/Scala示例程序。 本示例工程中,Spark应用程序实现两个HBase表数据的分析汇总。 SparkHbasetoHbaseScalaExample SparkHivetoHbaseJavaExample Spark从Hive读取数据再写入到HBase的Java/Scala示例程序。 本示例工程中,Spark应用程序实现分析处理Hive表中的数据,并将结果写入HBase表。 SparkHivetoHbaseScalaExample SparkJavaExample Spark Core任务的Java/Python/Scala示例程序。 本工程应用程序实现从HDFS上读取文本数据并计算分析。 SparkPythonExample SparkScalaExample SparkLauncherJavaExample 使用Spark Launcher提交作业的Java/Scala示例程序。 本工程应用程序通过org.apache.spark.launcher.SparkLauncher类采用Java/Scala命令方式提交Spark应用。 SparkLauncherScalaExample SparkOnHbaseJavaExample Spark on HBase场景的Java/Scala示例程序。 本工程应用程序以数据源的方式去使用HBase,将数据以Avro格式存储在HBase中,并从中读取数据以及对读取的数据进行过滤等操作。 SparkOnHbaseScalaExample SparkSQLJavaExample Spark SQL任务的Java/Scala示例程序。 本工程应用程序实现从HDFS上读取文本数据并计算分析。 SparkSQLScalaExample SparkStreamingJavaExample Spark Streaming从Kafka接收数据并进行统计分析的Java/Scala示例程序。 本工程示例为基于业务要求分析用户日志数据,读取文本数据后生成相应的DataStream,然后筛选指定条件的数据,并获取结果。 SparkStreamingScalaExample SparkStreamingKafka010JavaExample Spark Streaming从Kafka接收数据并进行统计分析的Java/Scala示例程序。 本工程应用程序实时累加计算Kafka中的流数据,统计每个单词的记录总数。 SparkStreamingKafka010ScalaExample SparkStreamingtoHbaseJavaExample Spark Streaming读取Kafka数据并写入HBase的Java/Scala示例程序。 本工程应用程序每5秒启动一次任务,读取Kafka中的数据并更新到指定的HBase表中。 SparkStreamingtoHbaseScalaExample SparkStructuredStreamingJavaExample 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 SparkStructuredStreamingScalaExample SparkThriftServerJavaExample 通过JDBC访问Spark SQL的Java/Scala示例程序。 本示例中,用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 SparkThriftServerScalaExample Storm storm-examples storm-common-examples 构造Storm拓扑和开发Spout/Bolt样例程序。可实现创建Spout、创建Bolt、创建Topology等功能。 storm-hbase-examples MRS的Storm与HBase组件实现交互的示例程序。实现提交Storm拓扑将数据存储到HBase的WordCount表中。 storm-hdfs-examples MRS的Storm与HDFS组件实现交互的示例程序。实现提交Storm拓扑数据存储到HDFS的功能。 storm-jdbc-examples 使用JDBC访问MRS Storm的样例程序。实现使用Storm拓扑向表中插入数据功能。 storm-kafka-examples MRS的Storm与Kafka组件实现交互的示例程序。实现使用Storm拓扑向Kafka中发送数据并查看。 storm-obs-examples MRS的Storm与OBS实现交互的示例程序。实现提交Storm拓扑数据存储到OBS功能。
  • 安全认证代码(Scala版) 目前样例代码统一调用LoginUtil类进行安全认证。 在Spark样例工程代码中,不同的样例工程,使用的认证代码不同,基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证参数如表3所示,请根据实际情况修改对应参数值。 表3 参数描述 参数 示例参数值 描述 userPrincipal sparkuser 用户用于认证的账号Principal,您可以联系管理员获取此账号。 userKeytabPath /opt/FIclient/user.keytab 用户用于认证的Keytab文件,您可以联系管理员获取文件。 krb5ConfPath /opt/FIclient/KrbClient/kerberos/var/krb5kdc/krb5.conf krb5.conf文件路径和文件名称。 ZKServerPrincipal zookeeper/hadoop.hadoop.com ZooKeeper服务端principal。请联系管理员获取对应账号。 基本安全认证: Spark Core和Spark SQL程序不需要访问HBase或ZooKeeper,所以使用基本的安全认证代码即可。请在程序中添加如下代码,并根据实际情况设置安全认证相关参数: val userPrincipal = "sparkuser" val userKeytabPath = "/opt/FIclient/user.keytab" val krb5ConfPath = "/opt/FIclient/KrbClient/kerberos/var/krb5kdc/krb5.conf" val hadoopConf: Configuration = new Configuration() LoginUtil.login(userPrincipal, userKeytabPath, krb5ConfPath, hadoopConf); 带ZooKeeper认证: 由于“Spark Streaming”、“通过JDBC访问Spark SQL”和“Spark on HBase”样例程序,不仅需要基础安全认证,还需要添加ZooKeeper服务端Principal才能完成安全认证。请在程序中添加如下代码,并根据实际情况设置安全认证相关参数: val userPrincipal = "sparkuser" val userKeytabPath = "/opt/FIclient/user.keytab" val krb5ConfPath = "/opt/FIclient/KrbClient/kerberos/var/krb5kdc/krb5.conf" val ZKServerPrincipal = "zookeeper/hadoop.hadoop.com" val ZOOKEEPER_DEFAULT_LOGIN_CONTEXT_NAME: String = "Client" val ZOOKEEPER_SERVER_PRINCIPAL_KEY: String = "zookeeper.server.principal" val hadoopConf: Configuration = new Configuration(); LoginUtil.setJaasConf(ZOOKEEPER_DEFAULT_LOGIN_CONTEXT_NAME, userPrincipal, userKeytabPath) LoginUtil.setZookeeperServerPrincipal(ZOOKEEPER_SERVER_PRINCIPAL_KEY, ZKServerPrincipal) LoginUtil.login(userPrincipal, userKeytabPath, krb5ConfPath, hadoopConf);
  • 安全认证代码(Java版) 目前样例代码统一调用LoginUtil类进行安全认证。 在Spark样例工程代码中,不同的样例工程,使用的认证代码不同,基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证参数如表2所示,请根据实际情况修改对应参数值。 表2 参数描述 参数 示例参数值 描述 userPrincipal sparkuser 用户用于认证的账号Principal,您可以联系管理员获取此账号。 userKeytabPath /opt/FIclient/user.keytab 用户用于认证的Keytab文件,您可以联系管理员获取文件。 krb5ConfPath /opt/FIclient/KrbClient/kerberos/var/krb5kdc/krb5.conf krb5.conf文件路径和文件名称。 ZKServerPrincipal zookeeper/hadoop.hadoop.com ZooKeeper服务端principal。请联系管理员获取对应账号。 基本安全认证: Spark Core和Spark SQL程序不需要访问HBase或ZooKeeper,所以使用基本的安全认证代码即可。请在程序中添加如下代码,并根据实际情况设置安全认证相关参数: String userPrincipal = "sparkuser"; String userKeytabPath = "/opt/FIclient/user.keytab"; String krb5ConfPath = "/opt/FIclient/KrbClient/kerberos/var/krb5kdc/krb5.conf"; Configuration hadoopConf = new Configuration(); LoginUtil.login(userPrincipal, userKeytabPath, krb5ConfPath, hadoopConf); 带ZooKeeper认证: 由于“Spark Streaming”、“通过JDBC访问Spark SQL”和“Spark on HBase”样例程序,不仅需要基础安全认证,还需要添加ZooKeeper服务端Principal才能完成安全认证。请在程序中添加如下代码,并根据实际情况设置安全认证相关参数: String userPrincipal = "sparkuser"; String userKeytabPath = "/opt/FIclient/user.keytab"; String krb5ConfPath = "/opt/FIclient/KrbClient/kerberos/var/krb5kdc/krb5.conf"; String ZKServerPrincipal = "zookeeper/hadoop.hadoop.com"; String ZOOKEEPER_DEFAULT_LOGIN_CONTEXT_NAME = "Client"; String ZOOKEEPER_SERVER_PRINCIPAL_KEY = "zookeeper.server.principal"; Configuration hadoopConf = new Configuration(); LoginUtil.setJaasConf(ZOOKEEPER_DEFAULT_LOGIN_CONTEXT_NAME, userPrincipal, userKeytabPath); LoginUtil.setZookeeperServerPrincipal(ZOOKEEPER_SERVER_PRINCIPAL_KEY, ZKServerPrincipal); LoginUtil.login(userPrincipal, userKeytabPath, krb5ConfPath, hadoopConf);
  • Alluxio简介 Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置,从而能够更容易、更快得被访问。同时使得应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio主要特点如下: 提供内存级I/O 吞吐率,同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入 简化数据管理,提供对多数据源的单点访问 应用程序部署简易
  • 回答 建议将"blob.storage.directory"配置选项设置成“/tmp”或者“/opt/Bigdata/tmp”。 当用户将"blob.storage.directory"配置选项设置成自定义目录时,需要手动赋予用户该目录的owner权限。以下以MRS的admin用户为例。 修改Flink客户端配置文件conf/flink-conf.yaml,配置blob.storage.directory: /home/testdir/testdirdir/xxx。 创建目录/home/testdir(创建一层目录即可),设置该目录为admin用户所属。 /home/testdir/下的testdirdir/xxx目录在启动Flink集群时会在每个节点下自动创建。 进入客户端路径,执行命令./bin/yarn-session.sh -n 3 -jm 2048 -tm 3072,可以看到yarn-session正常启动并且成功创建目录。
  • Spark简介 Spark是分布式批处理框架,提供分析挖掘与迭代式内存计算能力,支持多种语言(Scala/Java/Python)的应用开发。 适用以下场景: 数据处理(Data Processing):可以用来快速处理数据,兼具容错性和可扩展性。 迭代计算(Iterative Computation):支持迭代计算,有效应对多步的数据处理逻辑。 数据挖掘(Data Mining):在海量数据基础上进行复杂的挖掘分析,可支持各种数据挖掘和机器学习算法。 流式处理(Streaming Processing):支持秒级延迟的流式处理,可支持多种外部数据源。 查询分析(Query Analysis):支持标准SQL查询分析,同时提供DSL(DataFrame), 并支持多种外部输入。 Apache Spark部件架构如图1所示。本文档重点介绍Spark、Spark SQL和Spark Streaming应用开发指导。MLlib和GraghX的详细指导请参见Spark官方网站:http://spark.apache.org/docs/2.2.2/。 图1 Spark架构
  • Spark开发接口简介 Spark支持使用Scala、Java和Python语言进行程序开发,由于Spark本身是由Scala语言开发出来的,且Scala语言具有简洁易懂的特性,推荐用户使用Scala语言进行Spark应用程序开发。 按不同的语言分,Spark的API接口如表1所示。 表1 Spark API接口 接口 说明 Scala API 提供Scala语言的API。由于Scala语言的简洁易懂,推荐用户使用Scala接口进行程序开发。 Java API 提供Java语言的API。 Python API 提供Python语言的API。 按不同的模块分,Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块,支持CLI或者ThriftServer两种方式访问。其中ThriftServer的连接方式也有Beeline和JDBC客户端代码两种。 spark-sql脚本、spark-shell脚本和spark-submit脚本(运行的应用中带SQL操作),不支持使用proxy user参数去提交任务。
  • 操作步骤 参考《访问开源组件UI界面》章节,访问Storm Web界面 。 在Storm UI中单击word-count应用,查看应用程序运行情况,如图1所示。 图1 Storm应用程序执行界面 Topology stats统计了最近各个不同时间段的算子之间发送数据的总数据量。 Spouts中统计了spout算子从启动到现在发送的消息总量。Bolts中统计了Count算子和split算子的发送消息总量,如图2所示。 图2 Storm应用程序算子发送数据总量
  • 快速购买ClickHouse集群 进入购买MRS集群页面。 在购买集群页面,选择“快速购买”页签。 参考下列参数说明配置集群基本信息,参数详细信息请参考购买自定义集群。 区域:默认即可。 计费模式:选择“按需计费”时,可能需要冻结一定的保证金。具体内容请参见 计费说明。 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。例如:“mrs_20201121”。 集群类型:默认即可。 版本类型:默认选择普通版(不同版本提供的组件有所不同,请根据需要选择版本类型)。 集群版本:默认选择最新版本即可(不同版本集群提供的组件有所不同,请根据需要选择集群版本)。 组件选择:选择“ClickHouse集群”。 可用区:默认即可。 当您为IES购买MRS时,请选择可用区为“边缘可用区”。 企业项目:默认即可。 虚拟私有云:默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 子网:默认即可。 CPU架构:默认即可。 集群节点:请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 Kerberos认证:选择是否开启Kerberos认证。购买集群后,不支持修改。 用户名:默认为“root/admin”,root用于远程登录ECS机器,admin用于登录集群管理页面。 密码:设置root用户和admin用户密码。 确认密码:再次输入设置的root用户和admin用户密码。 图1 ClickHouse集群 图2 集群节点配置 勾选通信安全授权,通信安全授权详情请参考授权安全通信。 单击“立即购买”。 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后,不支持修改。 如果您对价格有疑问,可以单击页面左下角“了解计费详情”,根据计费详情来了解产品价格。 单击“返回集群列表”,可以查看到集群创建的状态。单击“访问集群”,可以查看集群详情。 集群创建的状态过程请参见表1中的“状态”参数说明。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。
  • 操作步骤 登录FusionInsight Manager,查看是否存在未清除的告警? 是,请修复告警。告警处理完毕后,执行2。 否,执行2。 以omm用户分别登录主备管理节点。 在主管理节点执行以下命令查看管理平面网关。 cat ${BIGDATA_HOME}/om-server/OMS/workspace/conf/oms-config.ini | grep om_gateway 在主备管理节点分别执行ping 管理平面网关,检查节点是否与管理平面网关连通? 是,执行5。 否,请联系网络管理员修复网络故障,处理完毕后,执行5。 在主管理节点执行以下命令,获取当前环境NTP服务器域名。 本章节后续步骤中将以“ntp.myhuaweicloud.com”为例 cat /opt/Bigdata_func/cloudinit/cloudinit_params | grep ntpserver 在主管理节点执行以下命令,检查集群时间与新的NTP服务器时间偏差。单位为秒。 例如,检查与NTP服务器“ntp.myhuaweicloud.com”的时间差,执行ntpdate -d ntp.myhuaweicloud.com命令,界面显示: 6 Dec 15:16:10 ntpdate[2861453]: step time server 10.79.3.251 offset +2.118107 sec 其中+2.118107 sec表示时间偏差。正数表示NTP服务器时间比集群当前时间快,负数表示NTP服务器时间比集群当前时间慢。 ntp的版本号可以使用ntpq -v或者ntpq --version命令查询,具体显示信息以实际环境为准。 ntpq -v界面显示: 10.1.1.112: ~# ntpq -v ntpq - standard NTP query program - Ver. 4.2.4p8 ntpq --version界面显示: 10.1.1.112: ~# ntpq --version ntpq 4.2.8p10@1.3728-o Mon Jun 6 08:01:59 UTC 2016 (1) 检查时间偏差的绝对值是否超过“150”。 是,执行8。 否,时间偏差的绝对值不超过“150”,以omm用户执行10。 确认是否可以停止集群。 是,停止上层业务并停止集群,然后执行9。 否,任务结束。 确认NTP服务器时间是否比集群当前时间慢? 是,NTP服务器时间慢,停止集群界面显示“操作成功”后需等待,间隔大约为6得到的时间偏差,再以omm用户执行11。 否,NTP服务器时间快,停止集群界面显示“操作成功”后直接以omm用户执行11。 在主管理节点执行以下命令,更换NTP服务器,任务结束。 sh ${BIGDATA_HOME}/om-server/om/bin/tools/modifyntp.sh --ntp_server_ip ntp.myhuaweicloud.com NTP服务器IP地址不可以设置为集群内节点IP地址,否则可能会导致节点与主备oms节点业务网络断连。 在主管理节点执行以下命令,从NTP服务器“ntp.myhuaweicloud.com”立即强制同步时间并更换NTP服务器,任务结束。 sh ${BIGDATA_HOME}/om-server/om/bin/tools/modifyntp.sh --ntp_server_ip ntp.myhuaweicloud.com --force_sync_time 如果停止了集群,在更换NTP服务器后需要重新启动集群。 执行强制同步时间命令后,集群节点大约需要5分钟完成时间同步。
  • 安装完成后必须的手动操作 支持HDFS单副本检测能力 MRS 3.1.0.0.2补丁以及之后的补丁中,会增加HDFS单副本检测和告警能力,新增是否允许写入单副本数据配置项dfs.single.replication.enable,对于新建集群该值配置为false,因为HDFS单副本并不属于MRS服务SLA保障范围; 但是对于存量集群,为了考虑兼容性,补丁安装完成后dfs.single.replication.enable配置项值为true,保证客户业务不受影响,建议补丁完成后对于没有单副本诉求时手动修改为false后滚动重启HDFS服务,保证HDFS数据的高可靠; 对于确定存在单副本诉求的文件也可通过dfs.single.replication.exclude.pattern配置项设置单副本的数据文件和目录。 MRS 3.1.0.0.1版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上同步集群配置,重启ClickHouse、Flink、Hadoop、HDFS、Hue、Kudu、meta、Presto、Spark2x、Yarn、DBService、Flume、HBase、Hive、Impala、MapReduce、Oozie、Ranger和Sqoop服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。 MRS 3.1.0.0.8版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启ClickHouse、Flink、Hadoop、HDFS、Hue、Kafka、MapReduce、Oozie、Ranger、Sqoop、Yarn、DBService、Flume、HBase、Hive、Impala、Kudu、meta、Presto、Spark2x、Tez和ZooKeeper服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。 MRS 3.1.0.0.9版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启Hadoop、HDFS、MapReduce、Yarn和Hive服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。 MRS 3.1.0.0.10版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HDFS、MapReduce、Yarn和Spark2x服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。 MRS 3.1.0.0.11版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HDFS、MapReduce、Yarn、Spark2x、Hive、ClickHouse和Hue服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。 MRS 3.1.0.0.12版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HBase和ClickHouse服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。 MRS 3.1.0.0.15版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HDFS、MapReduce、Yarn、Impala、Kudu、Spark和Hive服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。 重启组件的范围,是以补丁依次升级给定的范围,即如果是从MRS 3.1.0.0.7打补丁升级到MRS 3.1.0.0.8,需要重启MRS 3.1.0.0.8补丁的组件;如果是跨版本升级的,则需要重启的组件范围是各补丁的合集。 MRS 3.1.0版本如果安装了Spark服务,需要在补丁安装完成后在主oms节点执行HDFS上zip包的升级操作: 使用root用户,登录集群主节点,执行如下命令: su - omm cd /opt/Bigdata/patches/{MRS补丁版本号}/client/ 所有涉及{MRS补丁版本号}目录名称的操作,均以实际安装的补丁号为准。 例如:cd /opt/Bigdata/patches/MRS_3.1.0.0.1/client/ source /opt/Bigdata/client/bigdata_env 安全集群需要认证对HDFS有权限的用户,普通集群无需执行: kinit {用户} 执行升级hdfs上的包: sh update_hdfs_file.sh (可选)回退(卸载完补丁后执行): sh rollback_hdfs_file.sh 升级/回退完成后需要在FusionInsight Manager Web界面上重启Spark的JDBCServer2x实例。 如果有使用人为安装的客户端(集群内、外新下载客户端),需要执行客户端升级或者回退的操作: 登录集群主节点: cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下: scp patch.tar.gz {客户端机器IP}:/opt/ 如:scp patch.tar.gz 127.0.0.1:/opt/ 登录客户端所在节点。 执行命令创建补丁目录并解压补丁包: mkdir /opt/{MRS补丁版本号} tar -zxf /opt/patch.tar.gz -C /opt/{MRS补丁版本号} 补丁升级/回退。 执行客户端补丁升级: 登录客户端所在节点 cd /opt/{MRS补丁版本号}/client sh upgrade_client.sh upgrade {客户端安装目录} 如:sh upgrade_client.sh upgrade /opt/client/ 执行客户端补丁回滚(卸载完补丁后执行): 登录客户端所在节点 cd /opt/{MRS补丁版本号}/client sh upgrade_client.sh rollback {客户端安装目录} 如:sh upgrade_client.sh rollback /opt/client/
  • 安装补丁的影响 MRS 3.1.0版本的补丁安装/卸载过程中会自动重启OMS,安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能,请选择适当的时间进行补丁安装。 MRS 3.1.0版本的补丁安装完成后,如需对接CES,请联系运维处理。 MRS 3.1.0版本打了补丁后,重新下载安装的客户端也需要执行客户端升级步骤。 MRS 3.1.0.8以及之后的补丁Spark新增特性Parquet/Orc分区表场景下,执行insert相关命令时,提供一个可选配置spark.sql.hive.convertInsertingPartitionedTable,控制Spark DataSource/Hive逻辑,默认值为false即使用Hive逻辑。如需使用Spark DataSource逻辑,将此配置改为true。 慢盘隔离特性约束: 隔离慢盘之前无法判断集群节点是否存在客户私有化数据,因此不要在节点数据盘存放个人私有化数据,避免慢盘隔离时对业务造成影响; 自动触发慢盘隔离动作后,对于原来写两副本数据存在单副本运行的场景,存在一定风险,请知;同时华为侧运维人员会尽快对慢盘进行替换; 慢盘自动隔离能力支持单节点同时出现多个慢盘【默认配置为4】时自动隔离节点,此时该节点会变成隔离状态,客户无需特殊操作,MRS运维相关人员会及时介入处理并恢复。
  • 补丁下载地址 华北-北京一:https://mrs-container1-patch-cn-north-1.obs.cn-north-1.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华北-北京二:https://mrs-container1-patch-cn-north-2.obs.cn-north-2.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华北-北京四:https://mrs-container1-patch-cn-north-4.obs.cn-north-4.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华东-上海一:https://mrs-container1-patch-cn-east-3.obs.cn-east-3.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华东-上海二:https://mrs-container1-patch-cn-east-2.obs.cn-east-2.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华南-广州:https://mrs-container1-patch-cn-south-1.obs.cn-south-1.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华北-乌兰察布一:https://mrs-container1-patch-cn-north-9.obs.cn-north-9.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华北-北京一:https://mrs-container1-patch-cn-north-1.obs.cn-north-1.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华北-北京二:https://mrs-container1-patch-cn-north-2.obs.cn-north-2.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华北-北京四:https://mrs-container1-patch-cn-north-4.obs.cn-north-4.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华东-上海一:https://mrs-container1-patch-cn-east-3.obs.cn-east-3.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华东-上海二:https://mrs-container1-patch-cn-east-2.obs.cn-east-2.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华南-广州:https://mrs-container1-patch-cn-south-1.obs.cn-south-1.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华北-乌兰察布一:https://mrs-container1-patch-cn-north-9.obs.cn-north-9.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz
  • MRS 3.1.0.0.2补丁基本信息 表10 补丁基本信息 补丁号 MRS 3.1.0.0.2 发布时间 2023-04-10 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址请参考补丁下载地址。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 MRS Manager 支持Manager运维通道 支持Knox连接数告警 支持补丁xml配置文件合并 支持MRS管理面的作业返回日志路径 支持对慢盘自动隔离能力 大数据组件 支持ClickHouse滚动重启设置超时时间,并在重启失败时主动退出运维模式 支持ClickHouse屏蔽连接异常断开场景下,打印带堆栈exception Error日志 增加ClickHouse磁盘检查开关 支持HDFS单副本检测能力 解决的问题 MRS 3.1.0.0.2 修复问题列表: MRS Manager 解决安装用户名支持带“.”补丁后,出现创建异常用户的问题 解决executor每两小时有一批launcher-job任务提交失败问题 解决扩容的节点ssh key不清理问题 大数据组件 解决Hive表存在多个TIMESTAP字段,在插入时存在某个字段不是时间格式会导致原来能够是时间格式的数据显示错位问题 解决Hive表int列分区,值为01场景,无法删除分区问题 解决FlinkServer页面单击任务详情,业务不能正常跳转问题 解决StreamingFlinkSink写OBS从checkpoint恢复会抛异常导致作业失败 解决FlinkServer页面上传jar包,大小限制为10MB问题,调整到200MB 解决ClickHouse修改密码后监控数据不显示问题 解决ClickHouse支持MySQL引擎表无法连接MySQL时进程启动问题 解决ClickHouse crash问题 解决ClickHouse冷热分离,dettach/attach一个副本的数据,另一个副本会从attach节点copy数据,导致当前节点的数据存在OBS,而副本节点的数据存在本地的问题 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.2补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.0.0.5补丁基本信息 表9 补丁基本信息 补丁号 MRS 3.1.0.0.5 发布时间 2023-04-30 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址请参考补丁下载地址。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 MRS Manager 支持对慢盘自动隔离能力 说明: 如果需要打开慢盘隔离特性,在安装此补丁前,需要先安装支持慢盘隔离特性的定制补丁MRS_315_Patch_Diskmgt_v2.1_20230502.tar.gz,补丁下载地址请参考补丁下载地址。 MRS支持作业返回日志路径 MRS作业查询接口,支持返回多个application_id 大数据组件 支持HDFS单副本检测能力 解决的问题 MRS 3.1.0.0.5 修复问题列表: MRS Manager 解决当故障实例所在的节点数大于等于要缩容节点数时,缩容失败问题 解决当所有task节点都异常时,缩容失败问题 解决executor执行查询大数据量的hive表作业时,hivesql作业状态刷新与yarn作业执行结果不一致问题 大数据组件 解决ClickHouse执行的SQL中包含groupBitmap语句,内存持续上升,超过clickhouse配置参数限制的内存值的问题 安装完成后必须的手动操作 1.同步集群配置 2.重启 补丁兼容关系 MRS 3.1.0.0.5补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.0.0.1补丁基本信息 表11 补丁基本信息 补丁号 MRS 3.1.0.0.1 发布时间 2023-02-02 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址请参考补丁下载地址。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 MRS Manager 优化磁盘不可写故障告警上报逻辑 租户面支持直接对接CES 大数据组件 ClickHouse提高轻量级突变的优先级 ClickHouse允许空HTTP标头 优化ClickHouse客户端命令 ClickHouse SummingMergeTree引擎支持简单聚合函数数据类型 ClickHouse支持用户名密码同步到metrika.xml中每个replica配置中 ClickHouse开放users.xml自定义配置到页面 支持修改Ranger Usersync对接的外部用户的相关配置项 MapReduce开放Task重试节点黑名单配置阈值,默认值修改为34保证单节点故障作业重试可靠性 Yarn适配小规模集群下AM黑名单失效导致作业重试失败,默认值修改为0.34保证单节点故障作业重试可靠性 Yarn实现Container在磁盘级别的可靠性 hue界面使用hivesql特性 解决的问题 MRS 3.1.0.0.1 修复问题列表: MRS Manager 解决由于某个节点nodeagent故障导致偶现缩容失败问题 解决主master节点主网卡down30分钟,集群未发生主备倒换,集群状态异常问题 解决磁盘不可读磁盘故障告警无法上报问题 解决主节点正常备份,备节点master2备份文件不老化问题 大数据组件 解决Hive不兼容开源Sqoop 1.4.7问题 解决Hive beeline -p输入密码无效问题 解决[HiveSQL] Support manual skipping partial aggregate问题 解决Hive并发插入不同分区,存在分区数据丢失问题 解决Hive in语句被转换为or语句,造成性能损耗问题 解决Hive会话心跳检测判断问题 解决Hive高并发场景下会话积累问题 解决oozie运行workeflow报错问题 解决flink通过jdbc连接到clickhouse的9000端口超时问题 解决ClickHouse读取分布式表超时,没反应;数据迁移任务超时卡住,迁移失败;远程查询超时卡住问题 解决使用clickhouse benchmark 命令连接lb执行查询,并发数超过1个时,偶现coredump问题 解决ClickHouse HTTP请求为HTTP_BAD_REQUEST时出现crash问题 解决ClickHouse HTTP块大小限制问题 解决ClickHouse普通模式集群用户名密码修改、数据迁移问题 解决ClickHouse安全集群场景下滚动重启失败问题 解决ClickHouse扩容后manager上原有的用户和角色未同步至新节点的问题 解决ClickHouse 普通集群执行remote语句失败问题 解决ClickHouse实例扩容后,扩容节点分布式表的本地表未创建成功问题 解决ClickHouse修复偶现的证书同步失败导致组件启动失败问题 解决ClickHouse toWeek函数单调性问题 解决ClickHouse WITH FILL 和WITH TOTALS 计算问题 解决ClickHouse 表列名数字开头时,表join查询时无法成功的问题 解决ClickHouse replaceRegexpAll的问题 解决安全集群clickhouse二进制的LD_LIBRARY_PATH环境变量偶现失效问题 解决在节点上看不到kudu的pid信息问题 解决开启cas认证后,kudu服务不可用问题 解决Kudu健康检查无法检测到故障问题 解决impala manager页面上的配置未生效问题 解决集群扩容task节点,managr中的主机列表中的host无impala实例信息问题 解决HUE页面无法访问问题 解决hue导出excel导致临时目录残留文件问题 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.1补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.0.0.7补丁基本信息 表7 补丁基本信息 补丁号 MRS 3.1.0.0.7 发布时间 2023-07-03 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址:补丁下载地址。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 MRS Manager 优化对慢盘自动隔离能力 说明: 如果需要打开慢盘隔离特性,在安装此补丁前,需要先安装支持慢盘隔离特性的定制补丁MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz,补丁下载地址: https://mrs-container1-patch-cn-north-1.obs.cn-north-1.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 解决的问题 Spark黑名单增强和DiskBlockManager恢复机制优化 Spark支持删除分区 Spark视图权限优化 HBase慢盘隔离能力优化 解决HMaster用于处理RegionServer上报region状态请求的handler不够,导致region状态上报失败,出现RIT问题 解决HM异常主备倒换后由于大量regionServer的region上线请求导致HMaster full gc问题 解决磁盘热换盘过程中,spark-streaming读kafka写hbase任务失败问题 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.7补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.0.0.6补丁基本信息 表8 补丁基本信息 补丁号 MRS 3.1.0.0.6 发布时间 2023-06-15 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址:补丁下载地址。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 MRS Manager 支持对慢盘自动隔离能力 说明: 如果需要打开慢盘隔离特性,在安装此补丁前,需要先安装支持慢盘隔离特性的定制补丁MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz,补丁下载地址: https://mrs-container1-patch-cn-north-1.obs.cn-north-1.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 优化HDFS慢盘隔离动作,从reconfig改成重启DataNode。 解决的问题 安装MRS 3.1.0.0.6补丁后,慢盘恢复后yarn没有将隔离磁盘从黑名单剔除,导致后续任务提交不到新磁盘上。 当慢盘隔离失败后,恢复故障后,手动下发隔离,此时告警恢复,组件状态为已隔离,上报恢复事件,实际上组件未恢复。 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.6补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.0.0.10补丁基本信息 表4 补丁基本信息 补丁号 MRS 3.1.0.0.10 发布时间 2023-10-12 补丁约束 如果集群有安装Kudu组件,不能打此补丁; 如果之前集群打过MRS_3.1.0_HBase_patch_20220929.tar.gz 、MRS_3.1.0_OBSA_Patch_20230428.tar.gz或者MRS_3.1.0_HBase-qingting_20220424.tar.gz紧急补丁,不能打此补丁。 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址:补丁下载地址。 安装MRS 3.1.0.0.10补丁前,需要先安装MRS 3.1.0.0.8补丁,以支持root权限的补丁能力。 安装MRS 3.1.0.0.10补丁前,如果之前有装过MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz补丁,需要先卸载该补丁,卸载完之后请等待10分钟再执行MRS 3.1.0.0.10补丁的安装操作。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 新特性和优化: D系列本地盘单盘故障爆炸半径扩大问题 慢盘/卡IO检测算法优化 MRS支持设备分区丢失告警自动清除能力 解决的问题 解决的问题 Yarn: 解决Yarn资源池可用资源指标异常,导致弹性伸缩触发异常; 解决NM节点磁盘打满故障,导致资源池成员迁移到默认资源池; HBase: 解决HMaster堆内存使用监控数据上报到CES 超过100%问题; Ranger: 解决只给视图权限不给表的权限时,sparksql无法查询视图的问题; 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.10补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.0.0.9补丁基本信息 表5 补丁基本信息 补丁号 MRS 3.1.0.0.9 发布时间 2023-08-22 补丁约束 如果集群有安装Kudu组件,不能打此补丁; 如果之前集群打过MRS_3.1.0_HBase_patch_20220929.tar.gz 、MRS_3.1.0_OBSA_Patch_20230428.tar.gz或者MRS_3.1.0_HBase-qingting_20220424.tar.gz紧急补丁,不能打此补丁。 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址:补丁下载地址。 安装MRS 3.1.0.0.9补丁前,需要先安装MRS 3.1.0.0.8补丁,以支持root权限的补丁能力。 安装MRS 3.1.0.0.9补丁前,如果之前有装过MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz补丁,需要先卸载该补丁,卸载完之后请等待10分钟再执行MRS 3.1.0.0.9补丁的安装操作。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 新特性和优化: 支持对慢盘节点的自动隔离能力 支持D系列磁盘热插拔2.1版本能力 解决的问题 解决的问题 Hive: 解决Hive存算分离时,委托与aksk混用连接MetaStore出现aksk信息异常,导致403的问题 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.9补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.0.0.8补丁基本信息 表6 补丁基本信息 补丁号 MRS 3.1.0.0.8 发布时间 2023-08-08 补丁约束 如果集群有安装Kudu组件,不能打此补丁; 如果之前集群打过MRS_3.1.0_HBase_patch_20220929.tar.gz 、MRS_3.1.0_OBSA_Patch_20230428.tar.gz或者MRS_3.1.0_HBase-qingting_20220424.tar.gz紧急补丁,不能打此补丁。 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址:补丁下载地址。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 新特性和优化 支持运维巡检特性 解决的问题 解决的问题 Manager: 解决扩缩容过程中会更新部分实例的log4j.properties文件,每次更新都会导致对应实例进程中出现新的线程,造成线程泄漏问题 解决作业管理提交Spark作业写obs时偶现403问题 解决作业管理提交Spark访问HBase作业失败问题 解决作业管理提交作业后,HDFS上mrs/mrsjob/目录下存在大量application子目录未清理的问题 解决升级log4j后,作业管理提交Hive作业异常,jar包冲突的问题 解决审计日志不老化导致磁盘满的问题 解决主机/服务/实例增删等操作更新集群拓扑时,全表查询TBL_HISTORY_TOPOLOGY导致controller触发OOM的问题 解决屏蔽元数据未配置周期备份到第三方服务器的任务告警不生效的问题 解决开启日志收集,导致tmp目录磁盘空间占满的问题 解决取消隔离后Kafka存储路径配置改变的问题 解决弹性伸缩过程中出现Metaspace内存不足触发agent重启的问题 解决扩缩容时NodeManager退服/入服后修改资源池配置,会导致excludeHosts下发参数错误的问题 解决master节点keystore.xml文件内容丢失导致DBService实例异常问题 解决作业管理提交作业后/mrs/sql-result/spark-script/目录未做清理的问题 Flink 解决使用FlinkServer提交作业时,显示提交失败,但是Yarn上作业是RUNNING的问题 解决FlinkServer使用println打印日志将磁盘打满导致Yarn不可用的问题 解决Flink客户端ssl证书过期导致Flink任务提交失败问题 解决Flink写Hbase,获取的Hbase Connect7天超期,报Token has expired问题 解决Flink不支持对taskmanager.out文件进行log4j管控的问题 解决Flink[FLINK-20547]由于网络堆栈中的异常,批处理作业失败问题 HDFS 解决频繁修改namenode的log4j文件导致NameNode进程出现线程泄漏问题 解决HDFS的TimeLineServer相关HDFS目录爆满,无清理机制问题 将HDFS允许写单副本告警级别修改为重要告警 Hive 解决Hive的MetaSpace内存泄漏问题 解决Hive[HIVE-19994]drop表的时候会报错的问题 解决Hive对接atlas加载posthook内存泄漏问题 解决Hive[HIVE-24936] MR合并不兼容ORC文件导致数据丢失问题 Hive集成DataAtrs元数据同步插件包 解决Hive客户端连接HiveServer时建立session获取token时并发锁导致连接排队慢的问题 解决Hive任务持有metastore连接获但执行select NOTIFCATION_SEQUENCE for update时阻塞变慢,连接释放慢问题 解决Flink连接Hive的metastore的黑名单机制存在缺陷的问题 解决重启ZooKeeper或ive服务的ZooKeeper连接异常时,连接HiveServer正常但执行sql异常的问题 解决[HIVE-24501]lastaccesstime配置参数,导致hive无法插入数据的问题 解决Hive健康检查在OBS限流时会重启HiveServer的问题 解决Hive使用tez引擎进行select操作(包含union all)数据正常,外面套一个insert后导致数据丢失问题 Hudi 解决Hudi对接Hive会造成/tmp目录下的临时文件残留的问题 Hue 解决Hue在查询返回数据量大的情况下会导致HUE页面卡死不可用的问题 解决Hue单击“文档”报错maximum recursion depth exceeded while calling a Python object的问题 解决Hue修改CHERRYPY_SERVER_THREADS配置不生效问题 解决Hue中导入json文件,目录名为空时,会导致文件加载不出来的问题 解决Hue连续导入两次json文档后一直提示加载中的问题 Impala 解决Impala中catalog日志配置的max_log_size单位不正确的问题 Kafka 解决Kafka组件监控的指标显示不全,监控的指标值单位不合适的问题 解决Kafka在使用kafka.security.auth.SimpleAclAuthorizer时,使用21005端口读写数据性能下降的问题 修改Kafka存在单副本告警的告警级别为重要 Kerberos 解决Kerberos服务安全检查脚本check-krb-availability.sh偶现认证用户krb_test_user失败的问题 HBase 解决HBase[HBASE-26273][HBASE-26274]性能问题 解决HBase组件WAL文件不回滚的问题 解决HBase的HMaster用于处理RegionServer上报region状态请求的handler不够,导致region状态上报失败,出现RIT的问题 解决HBase构造HMaster异常主备倒换后由于大量regionServer的region上线请求导致HMaster full gc的问题 ClickHouse 解决ClickHouse balancer实例error日志不回滚问题 解决ClickHouse节点上的副本同步及part合并因后台处理线程被占满且长时间未释放(TTL触发的merge占用内存超过最大内存导致合并失败),导致该两个节点与副本节点的数据落后其副本节点的问题 解决ClickHouse实例crash问题,将boost更新到1.78版本 解决ClickHouse修改clickhouse密码后监控丢失问题 解决ClickHouse配置冷热分离后,对于已经存在OBS的数据,dettach/attach一个副本的数据,另一个副本会从attach节点copy数据,导致当前节点的数据存在OBS,而副本节点的数据存在本地的问题 解决ClickHouse中async_socket_for_remote/use_hedged_requests设置参数存在的问题 解决ClickHouse使用 OFFSET 的查询可能出现的管道卡住的问题 解决ClickHouse对于日期/时间类型,强制WITH FILL 类型与ORDER BY列类型相等的问题 解决ClickHouse连接失败,clickhouse-benchmark挂起的问题 解决ClickHouse从配置中删除副本时,分布式异步插入中可能发生崩溃的问题 解决ClickHouse对冲连接上的客户端崩溃的问题 在TemporaryFileStream中完成CompressedWriteBuffer 解决ClickHouse修改没有类型的列时发生的错误问题 解决ClickHouse具有Nullable类型的类型化dictGet 解决ClickHouse使用Decimal参数修复avgWeighted中除以零的问题 解决ClickHouse列索引越界,避免列索引为空的问题 解决ClickHouse任何模型的分组依据的低基数问题 解决ClickHouse将 join_algorithm设置为“auto”并且使用字典执行Join时发生的崩溃问题 解决ClickHouse OOM异常情况下zk请求可能挂起的问题 解决ClickHouse grpc端口冲突时崩溃的问题 解决ClickHouse将错误的聚合状态传递给groupBitmap*时发生崩溃问题 解决ClickHouse在ZooKeeper客户端中的中止问题 解决ClickHouse在Kafka处理某些格式的NULL消息期间避免nullptr取消引用的问题 解决ClickHouse tuple()导致样本崩溃的问题 解决ClickHouse令牌提取器中的缓冲区溢出的问题 解决ClickHouse与ZooKeeper的连接超时hang住问题 解决ClickHouse与Zookeeper服务连接断开,导致认证超时问题 解决ClickHouse滚动升级过程中,连接ZooKeeper失败,导致clickhouse写入失败 业务中断的问题 解决ClickHouse配置ROW POLICY后,使用select语句查询数据发生crash的问题 ClickHouse支持postgres连接池 解决ClickHouse重命名列/删除列的DDL操作,客户端会卡死问题 解决ClickHouse异常场景下,手动执行数据均衡脚本执行失败问题 解决ClickHouse在冷热分离集群中,对表执行修改LLT操作失败问题 解决ClickHouse内存持续增长,3天左右内存会耗尽触发Memory Limit错误的问题 解决ClickHouse在manager上建立角色然后绑定用户,授权角色具有某个表读写权限后,实际上无法对此表进行读写操作,报错无权限的问题 优化ClickHouse与ZooKeeper连接异常时ZooKeeper客户端未能及时关闭并重连问题 优化ClickHouse BackgroundJobsExecutor逻辑 Yarn: 解决大量NodeManager下电后,Yarn任务大量pending的问题 解决HiveSQL任务长时间卡主在Yarn上面无法往下运行的问题 Spark: 解决SparkJDBCServer在OOM后不退出,导致后续任务提交失败问题 解决Spark Streaming作业长时运行后出现shuffle找不到报错问题 解决SparkJDBCServer在Yarn资源不足时会耗尽工作线程的问题 解决Spark使用Spark-sql执行select ${aaa} as aaa命令报错问题 解决Spark读取Hive表入dws时报dws表没有update权限问题 解决Spark使用spark-sql使用jar包放于OBS的UDF失败问题 Ranger: 解决Rangeradmin日志目录下access_log日志不清理的问题 解决Ranger日志归档文件没有压缩,没有清理,导致严重告警,磁盘容量不足的问题 解决非Kerberos集群Hive对接Ldap后,Ranger开源界面无法联想Hive表的问题 Presto: 解决Presto中EventListener类加载器无法加载plugin类的问题 Oozie: 解决Oozie历史job不清理的问题 解决提交SSH类型的Oozie作业依赖的文件在tmp目录下,系统会定期删除,删除后报错的问题 OBS-Provider: 解决获取ECS临时ak/sk失败的问题 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.8补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.0.0.15补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.1.0.0.15 发布时间 2024-6-7 补丁约束 如果之前集群安装过MRS_3.1.0_HBase_patch_20220929.tar.gz 、MRS_3.1.0_OBSA_Patch_20230428.tar.gz或者MRS_3.1.0_HBase-qingting_20220424.tar.gz紧急补丁,不能安装此补丁。 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址:补丁下载地址。 安装MRS 3.1.0.0.15补丁前,需要先安装MRS 3.1.0.0.8补丁,以支持root权限的补丁能力。 安装MRS 3.1.0.0.15补丁前,如果之前有装过MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz补丁,需要先卸载该补丁,卸载完之后请等待10分钟再执行MRS 3.1.0.0.15补丁的安装操作。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 新特性和优化: Impala默认参数优化、监控指标、告警增强 Impala data stream sender日志优化 支持Impala亚健康检查,以及服务不可用告警优化 支持Kudu tablet数量监控和告警特性 解决的问题 解决的问题: Impala 解决[IMPALA-6671]问题 解决[IMPALA-8737]问题 解决[IMPALA-11296]问题 解决[IMPALA-12267]问题 解决[IMPALA-5476]问题 解决[IMPALA-9907]问题 解决[IMPALA-9787]问题 解决[IMPALA-9707]问题 解决[IMPALA-9725]问题 解决[IMPALA-7833]问题 解决[IMPALA-11182]问题 解决[IMPALA-5256]问题 解决[IMPALA-11557]问题 解决修改mt_dop时引起的runtime filter竞争带来的性能损耗问题 解决配置元数据自动刷新后,hive添加一个已存在的分区,导致impala catalog无法自动同步hive的元数据的问题 解决Impala webui页面不能正常显示DAG图的问题 解决Manger界面日志收集无法收集Impala运行日志的问题 解决Impala webui下发的配置包含中文时,导致ldap认证失败的问题 Kudu 解决Kudu Tserver一直重启,导致日志数量大量积累的问题 解决Kudu监控指标数据过大的问题 Spark 解决Spark JDBCServer在session关闭超时的时候会出现session一直存在的问题 解决连接Spark JDBCServer任务失败的问题 解决JDBC插入时多文件下的性能问题 Hadoop 解决Superior调度器分配资源到用户时有可能会卡住的问题 解决ResourceManager偶现空指针报错而重启的问题 Hive 解决Hive使用udf时内存泄漏的问题 解决int列分区,值为01场景,无法删除分区的问题 解决Hive使用beeline连接出现卡住无法连接 解决Hive监控数据不显示的问题 解决avro格式表查询timestamp字段数据差8小时的问题 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.15补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.0.0.12补丁基本信息 表2 补丁基本信息 补丁号 MRS 3.1.0.0.12 发布时间 2024-4-30 补丁约束 如果集群有安装Kudu组件,不能安装此补丁。 如果之前集群打过MRS_3.1.0_HBase_patch_20220929.tar.gz 、MRS_3.1.0_OBSA_Patch_20230428.tar.gz或者MRS_3.1.0_HBase-qingting_20220424.tar.gz紧急补丁,不能安装此补丁。 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址:补丁下载地址。 安装MRS 3.1.0.0.12补丁前,需要先安装MRS 3.1.0.0.8补丁,以支持root权限的补丁能力。 安装MRS 3.1.0.0.12补丁前,如果之前有装过MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz补丁,需要先卸载该补丁,卸载完之后请等待10分钟再执行MRS 3.1.0.0.12补丁的安装操作。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 新特性和优化: ClickHouse新增活跃part数告警 解决的问题 解决的问题: HBase 解决HBase[HBASE-26680]问题 解决HBase[HBASE-26552]问题 解决HBase[HBASE-24984]问题 解决HBase[HBASE-25984]问题 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.12补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.0.0.11补丁基本信息 表3 补丁基本信息 补丁号 MRS 3.1.0.0.11 发布时间 2023-11-30 补丁约束 如果集群有安装Kudu组件,不能打此补丁; 如果之前集群打过MRS_3.1.0_HBase_patch_20220929.tar.gz 、MRS_3.1.0_OBSA_Patch_20230428.tar.gz或者MRS_3.1.0_HBase-qingting_20220424.tar.gz紧急补丁,不能打此补丁。 安装前处理 安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址:补丁下载地址。 安装MRS 3.1.0.0.11补丁前,需要先安装MRS 3.1.0.0.8补丁,以支持root权限的补丁能力。 安装MRS 3.1.0.0.11补丁前,如果之前有装过MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz补丁,需要先卸载该补丁,卸载完之后请等待10分钟再执行MRS 3.1.0.0.11补丁的安装操作。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 新特性和优化: 支持磁盘分区扩容 弹性扩缩容过程中的异常告警优化 支持更换i/ir系列磁盘后,自动挂载磁盘 解决的问题 解决的问题 Manager 解决主机监控数据缺失问题; 解决主oms的gaussdb进程占用内存较大的问题; 解决pms心跳检查客户端无法将localhost地址映射成ipv6地址问题; 解决指定时间段内主机资源概况,监控数据为空,查看失败的问题; 解决Zookeeper服务活动链接数监控显示异常问题; 解决主机资源概况查看趋势异常报错的问题; 解决磁盘监控指标计算不正确的问题; 解决Yarn监控中资源使用(按租户)监控当数据达到7位数时页面显示错误的问题; Clickhouse 解决用户授权后长时间不生效的问题; 解决集群内置租户密码修改后被锁的问题; 解决对角色赋权新的权限之后,用户的权限概率性无效的问题; Hive 解决使用unionall存算分离场景导致数据丢失的问题; 解决UDF的Classloader危机是释放导致内存不足、进程被Kill的问题; 解决任务数据量在一定条件下报错Capacity must be power of 2的问题; Spark 解决JobHistory偶现无法打开任务详情的问题; 解决JobHistory堆外内存占用高,导致节点内存不足的问题; HDFS 解决在webui上删除目录取消后再删除其他目录会连带把之前取消的目录删除的问题; Yarn 解决ResourceManager偶现空指针报错而重启的问题; Hue 解决查询Hive导出偶现报错的问题; 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.11补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • 版本信息说明 分布式缓存服务Redis的版本生命周期如表1所示。 表1 版本生命周期 版本 当前状态 华为云商用时间 计划EOM(停止销售)时间 计划EOS(停止服务)时间 Redis 3 已停售 - 2021年2月 2024年12月 Redis 4 在售 2020年4月 2025年9月 2025年12月 Redis 5 在售 2021年6月 2026年9月 2026年12月 Redis 6 在售 2023年3月 2027年9月 2027年12月 Redis 7 规划中 - - -
  • 版本发布记录 表1 Redis 6内核版本发布记录 版本 日期 特性描述 6.2.10 2023年11月 修复cluster因为publish消息至所有连接节点导致的内存增长后无法下降的问题。 2023年5月 支持写带宽控制。 2023年3月 修复带宽流控统计。 2023年3月 修复带宽module中的连接类型错误。 2022年10月 修复更新密文时的内存释放错误。 2022年5月 sentinel支持拓展功能。 2022年5月 支持过期键老化速度优化。 2022年5月 合入Redis社区6.2.10版本。 表2 Redis 5内核版本发布记录 版本 日期 特性描述 5.0.14 2023年11月 新增persistence-error-check配置项。 2023年10月 支持集群模式磁盘故障下倒换。 2023年4月 修改内核,定制化slowlog输出。 2023年3月 优化流控默认参数。 2023年1月 更改计数器流控为令牌桶。 2022年10月 添加 watch,wait,psubscribe到只读命令。 2022年10月 支持运行时动态重命名命令功能。 2022年4月 合入Redis社区5.0.14版本。 2021年10月 修复中文格式乱码问题。 2021年10月 过期key内核老化速度优化。 2021年9月 内核过期速度优化。 2021年8月 支持写带宽控制。 2021年8月 支持带宽控制和命令时延记录。 2021年4月 修复redis代码中announce模块存在数据溢出风险的问题。 2021年1月 修复新创建的redis实例无法写入AOF的问题。 2020年10月 修复用户的身份验证命令。 2020年10月 在通用模块API函数中支持流。 2020年5月 修复migrate日志、slowlog和monitor输出中可能出现明文密码的问题。 2020年4月 合入Redis社区5.0.9版本。 2020年3月 修复aof rewrite小概率存在无法结束的bug。 2020年3月 修复lua相关的内存泄漏。 2019年11月 合入Redis社区5.0.7版本。 表3 Redis 4内核版本发布记录 版本 日期 特性描述 4.0.14 2023年4月 支持动态重命名。 2023年3月 日志修改。 2022年10月 添加watch,wait,psubscribe到只读命令。 2022年7月 支持rename-command命令。 2021年12月 修复安全漏洞CVE-2020-14147。 2021年10月 过期key内核老化速度优化。 2021年9月 内核过期速度优化。 2021年8月 支持写带宽控制。 2021年4月 优化重构monitor代码,去除数据面冗余文件。 2020年8月 删除Lua中的随机值函数。 2020年4月 修复使用redis crash时日志打印不适用bio线程的问题。 2020年3月 解决EulerOS中glibc版本过老问题。 2020年1月 增加maxrss配置项,删除maxkeys配置项。 2020年1月 支持maxkeys配置,keys个数据超过maxkeys时,强制淘汰。 2019年7月 修复安全漏洞CVE-2019-10193。 2019年7月 修复安全漏洞CVE-2019-10192。 2019年3月 合入Redis社区4.0.14版本。
  • 修订记录 发布日期 修改说明 2024-06-19 下线多模态播报机器人接口。 2024-04-07 修改接口错误描述。 2022-12-27 新增多模态播报机器人接口 9.1-视频管理 9.2-形象管理 9.3-素材管理 2022-04-29 删除话务机器人相关接口。 2021-09-26 删除错误码ModelArts.0203、ModelArts.4101、ModelArts.4102、ModelArts.4103、ModelArts.4104、ModelArts.4105。 2020-05-14 新增 开启会话 处理会话 关闭会话 2019-06-28 刷新在线问答中问答请求的示例。 2019-01-17 刷新在线问答所有接口的参数描述。 2018-11-21 增加话务机器人相关接口。 2018-07-13 第一次正式发布。
  • 支持审计的服务及操作列表 表1 支持审计的服务及操作列表 分类 云服务 审计操作参考文档 计算 弹性云服务器 弹性云服务器支持审计的操作列表 镜像服务 镜像服务支持审计的操作列表 裸金属服务器 裸金属服务器支持审计的操作列表 弹性伸缩 弹性伸缩支持审计的操作列表 函数工作流 函数工作流支持审计的操作列表 云手机 云手机支持审计的操作列表 存储 云服务器备份 云服务器备份支持审计的操作列表 对象存储服务 对象存储服务支持审计的操作列表 云硬盘 云硬盘支持审计的操作列表 云硬盘备份 云硬盘备份支持审计的操作列表 内容分发网络 内容分发网络支持审计的操作列表 弹性文件服务 弹性文件服务支持审计的操作列表 存储容灾服务 存储容灾服务支持审计的操作列表 云备份 云备份支持审计的操作列表 云存储网关 云存储网关支持审计的操作列表 网络 虚拟私有云 虚拟私有云支持审计的操作列表 云专线 云专线支持审计的操作列表 弹性负载均衡 弹性负载均衡支持审计的操作列表 NAT网关 NAT网关支持审计的操作列表 虚拟专用网络 虚拟专用网络支持审计的操作列表 VPC终端节点 VPC终端节点支持审计的操作列表 全球加速 全球加速支持审计的操作列表 云连接 云连接支持审计的操作列表 企业路由器 企业路由器支持审计的操作列表 容器 云容器引擎 云容器引擎支持审计的操作列表 云容器实例 云容器实例支持审计的操作列表 应用编排服务 应用编排服务支持审计的操作列表 容器镜像服务 容器镜像服务支持审计的操作列表 云原生服务中心 云原生服务中心支持审计的操作列表 迁移 对象存储迁移服务 对象存储迁移服务支持审计的操作列表 主机迁移服务 主机迁移服务支持审计的操作列表 云数据迁移 云数据迁移支持审计的操作列表 管理与监管 云监控服务 云监控服务支持审计的操作列表 云审计服务 云审计服务支持审计的操作列表 统一身份认证 统一身份认证支持审计的操作列表 标签管理服务 标签管理服务支持审计的操作列表 资源访问管理 资源访问管理支持审计的操作列表 云日志服务 云日志服务支持审计的操作列表 配置审计(Config) 配置审计服务支持审计的操作列表 应用运维管理 应用运维管理(1.0)支持审计的操作列表 应用性能管理 应用性能管理(1.0)支持审计的操作列表 消息通知服务 消息通知服务支持审计的操作列表 应用身份管理服务 应用身份管理服务支持审计的操作列表 IAM身份中心 IAM身份中心支持审计的操作列表 应用中间件 微服务引擎 微服务引擎支持审计的操作列表 分布式消息服务Kafka版 分布式消息服务Kafka支持审计的操作列表 分布式消息服务RabbitMQ版 分布式消息服务RabbitMQ支持审计的操作列表 分布式消息服务RocketMQ版 分布式消息服务RocketMQ版支持审计的操作列表 分布式缓存服务 分布式缓存服务支持审计的操作列表 多活高可用服务 多活高可用服务支持审计的操作列表 事件网格 事件网格支持审计的操作列表 API网关 API网关支持审计的操作列表 数据库 分布式数据库中间件 分布式数据库中间件支持审计的操作列表 云数据库 云数据库RDS for MySQL支持审计的操作列表 云数据库RDS for PostgreSQL支持审计的操作列表 云数据库RDS for SQL Server支持审计的操作列表 数据复制服务 数据复制服务支持审计的操作列表 文档数据库服务 文档数据库服务支持审计的操作列表 云数据库 GaussDB 云数据库GaussDB支持审计的操作列表 云数据库 GeminiDB GeminiDB Redis支持审计的操作列表 GeminiDB Influx支持审计的操作列表 GeminiDB Cassandra支持审计的操作列表 GeminiDB Mongo支持审计的操作列表 云数据库 GaussDB(for MySQL) 云数据库GaussDB(for MySQL)支持审计的操作列表 数据管理服务 数据管理服务支持审计的操作列表 数据库和应用迁移 数据库和应用迁移支持审计的操作列表 开发与运维 流水线 流水线支持审计的操作列表 编译构建 编译构建支持审计的操作列表 性能测试服务 性能测试服务支持审计的操作列表 应用管理与运维平台 应用管理与运维平台支持审计的操作列表 研发安全服务 研发安全服务支持审计的操作列表 需求管理 需求管理支持审计的操作列表 IoT物联网 设备接入 设备接入支持审计的操作列表 路网数字化服务 路网数字化服务支持审计的操作列表 IoT边缘 IoT边缘支持审计的操作列表 全球SIM联接 全球SIM联接支持审计的操作列表 IoT数据分析 IoT数据分析支持审计的操作列表 安全与合规 数据加密服务 数据加密服务支持审计的操作列表 云防火墙 云防火墙支持审计的操作列表 DDoS防护 DDoS防护支持审计的操作列表 Web应用防火墙 Web应用防火墙支持审计的操作列表 漏洞管理服务 漏洞管理服务支持审计的操作列表 数据库安全服务 数据库安全服务支持审计的操作列表 管理检测与响应 管理检测与响应支持审计的操作列表 主机安全服务 主机安全服务支持审计的操作列表 数据安全中心 数据安全中心支持审计的操作列表 云堡垒机 云堡垒机支持审计的操作列表 云证书管理服务 云证书管理服务支持审计的操作列表 安全云脑 安全云脑支持审计的操作列表 企业应用 应用与数据集成平台 应用与数据集成平台支持审计的操作列表 域名注册服务 域名注册服务支持审计的操作列表 隐私保护通话 隐私保护通话支持审计的操作列表 云解析服务 云解析服务支持审计的操作列表 语音通话 语音通话支持审计的操作列表 区块链 区块链服务 区块链服务支持审计的操作列表 人工智能 人脸识别服务 人脸识别服务支持审计的操作列表 AI开发平台 AI开发平台支持审计的操作列表 知识图谱 知识图谱支持审计的操作列表 文字识别 文字识别支持审计的操作列表 大数据 MapReduce服务 MapReduce服务支持审计的操作列表 数据湖探索 数据湖探索支持审计的操作列表 数据仓库服务GaussDB 数据仓库服务GaussDB支持审计的操作列表 云搜索服务 云搜索服务支持审计的操作列表 数据湖治理中心 数据湖治理中心支持审计的操作列表 表格存储服务 表格存储服务支持审计的操作列表 智能数据洞察服务 智能数据洞察服务支持审计的操作列表 CDN与智能边缘 内容分发网络 内容分发网络支持审计的操作列表 智能边缘平台 智能边缘平台支持审计的操作列表 智能边缘云 智能边缘云支持审计的操作列表 智能边缘小站 智能边缘小站支持审计的操作列表 用户服务 工单管理 工单管理支持审计的操作列表 企业项目管理 企业项目管理支持审计的操作列表 成本中心 成本中心支持审计的操作列表 工业软件 工业数字模型驱动引擎 工业数字模型驱动引擎支持审计的操作列表 产品数字化协同平台云服务 产品数字化协同平台云服务支持审计的操作列表 视频 视频直播 视频直播支持审计的操作列表 媒体处理 媒体处理支持审计的操作列表 开天aPaaS 企业搜索服务 企业搜索服务支持审计的操作列表 云地图服务 云地图服务支持审计的操作列表 集成工作台 集成工作台支持审计的操作列表 云盘服务 云盘服务支持审计的操作列表 应用平台 应用平台支持审计的操作列表
共100000条