华为云用户手册

示例 场景 某客户分别购买了两个“华北-北京四”区域的流量套餐包。 套餐包A：规格100GB，2020年10月1日生效，购买时长1个月，即11月1日过期。 套餐包B：规格500GB，2020年10月10日生效，购买时长1个月，即11月10日过期。 抵扣顺序 10月1日~10月9日 只有套餐包A生效。 使用套餐包A抵扣，超出100GB部分按需计费。 10月10日~10月30日 套餐包A、B同时生效，叠加使用。 优先使用套餐包A抵扣，超出100GB部分使用套餐包B抵扣，超出600GB部分按需计费。 11月1日~11月9日 套餐包A过期，只有套餐包B生效。 使用套餐包B抵扣，超出500GB部分按需计费。 11月10日~ 套餐包A、B均已过期，此时为按需计费。

计费说明 套餐包是一种先付费再使用的计费模式，适用于对产品需求稳定且希望降低成本的用户。 目前，套餐包为按需套餐包。购买按需套餐包后，使用时优先扣除套餐包额度，超出部分按需计费。如果您需要使用套餐包，请参考如何购买套餐包。 CAE提供的套餐包如表1所示，各套餐包在不同规格及时长下的具体价格，请参见产品价格详情。您可以通过CAE提供的价格计算器，根据您的业务诉求，快速计算出参考价格。 表1 套餐包说明 套餐包 说明 CPU套餐包 用于抵扣CPU费用。 根据所购买实例的CPU规格、实例数量以及购买时长计费。 内存套餐包 用于抵扣内存费用。 根据所购买实例的内存规格、实例数量以及购买时长计费。 流量套餐包 用于抵扣流量使用量费用。 根据实际流量使用量计费。 购买套餐包时，有关计算规格核*时和GiB*时的说明如下： 核*时表示CPU数量*时间，例如：2核*时，可以表示2核的实例使用了1小时，也可以表示1核的实例使用了2小时。 1 核*时=1*60 核*分钟=60*1核*分钟 1 核*时：1核的CPU连续跑了1小时所使用的资源量 1核*分钟：1核的CPU连续跑了1分钟所使用的资源量 GiB*时表示内存大小*时间，例如，3GiB*时，可以表示3GiB的内存使用了1小时，也可以表示1GiB的内存使用了3小时。 1GiB*时=1*60GiB*分钟=60*1GiB*分钟 1GiB*时：1GiB的内存连续跑了1小时所使用的资源量 1GiB*分钟：1GiB的内存连续跑了1分钟所使用的资源量

常用概念 Topic Kafka维护的同一类的消息称为一个Topic。 Partition 每一个Topic可以被分为多个Partition，每个Partition对应一个可持续追加的、有序不可变的log文件。 Producer 将消息发往Kafka topic中的角色称为Producer。 Consumer 从Kafka topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 父主题： 概述

操作步骤 导出Jar包。具体步骤请参考安装客户端时编译并运行程序章节的1。 是否运行HBase/Phoenix对接SpringBoot样例： 是，执行以下步骤运行样例： 在Linux环境新建运行目录，将“target”目录下的“hbase-springboot-*.jar”放到该路径下，并上传配置文件到1配置的对应路径下。 切换到运行目录，执行以下命令，运行Jar包。 java -jar hbase-springboot-*.jar 否，执行3。 准备依赖的Jar包和配置文件。 在Linux环境新建目录，例如“/opt/test”，并创建子目录“lib”和“conf”。将样例工程中“lib”的Jar包导出，导出步骤请参考安装客户端时编译并运行程序章节的3，以及1导出的Jar包，上传到Linux的“lib”目录。将样例工程中“conf”的配置文件上传到Linux中“conf”目录。 在“/opt/test”根目录新建脚本“run.sh”，修改内容如下并保存： #!/bin/sh BASEDIR=`cd $(dirname $0);pwd` cd ${BASEDIR} for file in ${BASEDIR}/lib/*.jar do i_cp=$i_cp:$file echo "$file" done for file in ${BASEDIR}/conf/* do i_cp=$i_cp:$file done java -cp .${i_cp} com.huawei.bigdata.hbase.examples.TestMain 切换到“/opt/test”，执行以下命令，运行Jar包。 sh run.sh

在对性能要求比较高的场景下，可以使用Kryo优化序列化性能 Spark提供了两种序列化实现： org.apache.spark.serializer.KryoSerializer：性能好，兼容性差 org.apache.spark.serializer.JavaSerializer：性能一般，兼容性好 使用：conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") 为什么不默认使用Kryo序列化？ Spark默认使用的是Java的序列化机制，也就是ObjectOutputStream/ObjectInputStream API来进行序列化和反序列化。但是Spark同时支持使用Kryo序列化库，Kryo序列化类库的性能比Java序列化类库的性能要高很多。官方介 绍，Kryo序列化机制比Java序列化机制，性能高10倍左右。Spark之所以默认没有使用Kryo作为序列化类库，是因为Kryo要求最好要注册所 有需要进行序列化的自定义类型，因此对于开发者来说，这种方式比较麻烦。

RDD多次使用时，建议将RDD持久化 RDD在默认情况下的存储级别是StorageLevel.NONE，即既不存磁盘也不放在内存中，如果某个RDD需要多次使用，可以考虑将该RDD持久化，方法如下： 调用spark.RDD中的cache()、persist()、persist(newLevel:StorageLevel)函数均可将RDD持久化，cache()和persist()都是将RDD的存储级别设置为StorageLevel.MEMORY_ONLY，persist(newLevel:StorageLevel)可以为RDD设置其他存储级别，但是要求调用该方法之前RDD的存储级别为StorageLevel.NONE或者与newLevel相同，也就是说，RDD的存储级别一旦设置为StorageLevel.NONE之外的级别，则无法改变。 如果想要将RDD去持久化，那么可以调用unpersist(blocking:Boolean = true)，该函数功能如下： 将该RDD从持久化列表中移除，RDD对应的数据进入可回收状态； 将RDD的存储级别重新设置为StorageLevel.NONE。

在业务情况允许的情况下使用高性能算子 使用reduceByKey/aggregateByKey替代groupByKey。 所谓的map-side预聚合，说的是在每个节点本地对相同的key进行一次聚合操作，类似于MapReduce中的本地combiner。 map-side预聚合之后，每个节点本地就只会有一条相同的key，因为多条相同的key都被聚合起来了。其他节点在拉取所有节点上的相同key时，就会大大减少需要拉取的数据数量，从而也就减少了磁盘IO以及网络传输开销。通常来说，在可能的情况下，建议使用reduceByKey或aggregateByKey算子来替代掉groupByKey算子。因为reduceByKey和aggregateByKey算子都会使用用户自定义的函数对每个节点本地的相同key进行预聚合。而groupByKey算子是不会进行预聚合的，全量的数据会在集群的各个节点之间分发和传输，性能相对来说比较差。 使用mapPartitions替代普通map。 mapPartitions类的算子，一次函数调用会处理一个partition所有的数据，而不是一次函数调用处理一条，性能相对来说会高一些。 但是有的时候，使用mapPartitions会出现OOM（内存溢出）的问题。因为单次函数调用就要处理掉一个partition所有的数据，如果内存不够，垃圾回收时是无法回收掉太多对象的，很可能出现OOM异常。所以使用这类操作时要慎重！ 使用filter之后进行coalesce操作。 通常对一个RDD执行filter算子过滤掉RDD中较多数据后（比如30%以上的数据），建议使用coalesce算子，手动减少RDD的partition数量，将RDD中的数据压缩到更少的partition中去。因为filter之后，RDD的每个partition中都会有很多数据被过滤掉，此时如果照常进行后续的计算，其实每个task处理的partition中的数据量并不是很多，有一点资源浪费，而且此时处理的task越多，可能速度反而越慢。因此用coalesce减少partition数量，将RDD中的数据压缩到更少的partition之后，只要使用更少的task即 可处理完所有的partition。在某些场景下，对于性能的提升会有一定的帮助。 使用repartitionAndSortWithinPartitions替代repartition与sort类操作。 repartitionAndSortWithinPartitions是Spark官网推荐的一个算子，官方建议，如果需要在 repartition重分区之后，还要进行排序，建议直接使用repartitionAndSortWithinPartitions 算子。因为该算子 可以一边进行重分区的shuffle操作，一边进行排序。shuffle与sort两个操作同时进行，比先shuffle再sort来说，性能可能是要高的。 使用foreachPartitions替代foreach。 原理类似于“使用mapPartitions替代map”，也是一次函数调用处理一个partition的所有数据，而不是一次函数调用处理一条数 据。在实践中发现，foreachPartitions类的算子，对性能的提升还是很有帮助的。比如在foreach函数中，将RDD中所有数据写 MySQL，那么如果是普通的foreach算子，就会一条数据一条数据地写，每次函数调用可能就会创建一个数据库连接，此时就势必会频繁地创建和销毁数据库连接，性能是非常低下；但是如果用foreachPartitions算子一次性处理一个partition的数据，那么对于每个 partition，只要创建一个数据库连接即可，然后执行批量插入操作，此时性能是比较高的。

功能分解 根据上述的业务场景进行功能分解，需要开发的功能点如表1所示。 表1 在HBase中开发的功能 序号 步骤 代码实现 1 根据表1中的信息创建表。 请参见创建表。 2 导入用户数据。 请参见插入数据。 3 增加“教育信息”列族，在用户信息中新增用户的学历、职称等信息。 请参见修改表。 4 根据用户编号查询用户姓名和地址。 请参见使用Get读取数据。 5 根据用户姓名进行查询。 请参见使用过滤器Filter。 6 为提升查询性能，创建二级索引或者删除二级索引。 请参见创建二级索引和基于二级索引的查询。 7 用户销户，删除用户信息表中该用户的数据。 请参见删除数据。 8 A业务结束后，删除用户信息表。 请参见删除表。

功能分解 根据上述的业务场景进行功能分解，需要开发的功能点如表1所示。 表1 在HBase中开发的功能 序号 步骤 代码实现 1 根据表1中的信息创建表。 请参见创建表。 2 导入用户数据。 请参见插入数据。 3 增加“教育信息”列族，在用户信息中新增用户的学历、职称等信息。 请参见修改表。 4 根据用户编号查询用户姓名和地址。 请参见使用Get读取数据。 5 根据用户姓名进行查询。 请参见使用过滤器Filter。 6 为提升查询性能，创建二级索引或者删除二级索引。 请参见创建二级索引和基于二级索引的查询。 7 用户销户，删除用户信息表中该用户的数据。 请参见删除数据。 8 A业务结束后，删除用户信息表。 请参见删除表。

操作步骤 导出Jar包。具体步骤请参考安装客户端时编译并运行程序章节的1。 是否运行HBase/Phoenix对接SpringBoot样例： 是，执行以下步骤运行样例： 在Linux环境新建运行目录，将“target”目录下的“hbase-springboot-*.jar”放到该路径下，并上传配置文件和用户认证文件到1配置的对应路径下。 切换到运行目录，执行以下命令，运行Jar包。 java -jar hbase-springboot-*.jar 否，执行3。 准备依赖的Jar包和配置文件。 在Linux环境新建目录，例如“/opt/test”，并创建子目录“lib”和“conf”。将样例工程依赖的Jar包导出，导出步骤请参考安装客户端时编译并运行程序章节的3，以及1导出的Jar包，上传到Linux的“lib”目录。将样例工程中“conf”的配置文件及认证文件上传到Linux中“conf”目录。 在“/opt/test”根目录新建脚本“run.sh”，修改内容如下并保存： #!/bin/sh BASEDIR=`cd $(dirname $0);pwd` cd ${BASEDIR} for file in ${BASEDIR}/lib/*.jar do i_cp=$i_cp:$file echo "$file" done for file in ${BASEDIR}/conf/* do i_cp=$i_cp:$file done java -cp .${i_cp} com.huawei.bigdata.hbase.examples.TestMain 其中，com.huawei.bigdata.hbase.examples.TestMain为举例，具体以实际样例代码为准。 切换到“/opt/test”，执行以下命令，运行Jar包。 sh run.sh

适用场景 Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。 适用以下场景： 数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。 迭代计算（Iterative Computation）：支持迭代计算，有效应对多步的数据处理逻辑。 数据挖掘（Data Mining）：在海量数据基础上进行复杂的挖掘分析，可支持各种数据挖掘和机器学习算法。 流式处理（Streaming Processing）：支持秒级延迟的流式处理，可支持多种外部数据源。 查询分析（Query Analysis）：支持标准SQL查询分析，同时提供DSL（DataFrame）， 并支持多种外部输入。 父主题： Spark

Doris样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下Doris相关样例工程： 表1 Doris相关样例工程 样例工程位置 描述 doris-examples/doris-example Doris数据读写操作的应用开发示例。 通过调用Doris接口可实现创建用户表、向表中插入数据、查询表数据、删除表等功能，相关业务场景介绍请参见Doris JDBC接口调用样例程序。 springboot/doris-examples Doris数据读写操作的SpringBoot应用开发示例。 提供Doris对接SpringBoot的样例，样例介绍请参见配置并导入SpringBoot样例工程。 父主题： 概述

代码样例 下面列出pyflink-sql.py的主要逻辑代码作为演示，在提交之前需要确保“file_path” 为要运行的SQL的路径，建议写全路径。 完整代码参见“flink-examples/pyflink-example/pyflink-sql”中的“pyflink-sql.py”。 import logging import sys import os from pyflink.table import (EnvironmentSettings, TableEnvironment) def read_sql(file_path): if not os.path.isfile(file_path): raise TypeError(file_path + " does not exist") all_the_text = open(file_path).read() return all_the_text def exec_sql(): # 提交之前修改SQL路径 file_path = "datagen2kafka.sql" sql = read_sql(file_path) t_env = TableEnvironment.create(EnvironmentSettings.in_streaming_mode()) statement_set = t_env.create_statement_set() sqlArr = sql.split(";") for sqlStr in sqlArr: sqlStr = sqlStr.strip() if sqlStr.lower().startswith("create"): print("---------create---------------") print(sqlStr) t_env.execute_sql(sqlStr) if sqlStr.lower().startswith("insert"): print("---------insert---------------") print(sqlStr) statement_set.add_insert_sql(sqlStr) statement_set.execute() if __name__ == '__main__': logging.basicConfig(stream=sys.stdout, level=logging.INFO, format="%(message)s") exec_sql() 表1 使用Python提交SQL作业参数说明 参数 说明 示例 file_path “datagen2kafka.sql”文件路径，建议写全路径。需在二次样例代码中获取并上传至客户端指定目录。 说明： 当作业需要以yarn-application模式提交时，需替换如下路径： file_path = os.getcwd() + "/../../../../yarnship/datagen2kafka.sql" file_path = /客户端安装目录/Flink/flink/datagen2kafka.sql SQL示例： create table kafka_sink ( uuid varchar(20), name varchar(10), age int, ts timestamp(3), p varchar(20) ) with ( 'connector' = 'kafka', 'topic' = 'input2', 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号', 'properties.group.id' = 'testGroup2', 'scan.startup.mode' = 'latest-offset', 'format' = 'json' ); create TABLE datagen_source ( uuid varchar(20), name varchar(10), age int, ts timestamp(3), p varchar(20) ) WITH ( 'connector' = 'datagen', 'rows-per-second' = '1' ); INSERT INTO kafka_sink SELECT * FROM datagen_source;

建议 目前Hudi主要适用在实时入湖和增量数据ETL的场景，针对存量的历史数据可以批量导入Hudi表。 针对增量数据基本都是新增数据，侧重于读取数据的性能场景，更适合适用COW表。 针对对入湖性能有较高要求且增量数据中含有大量新增更新数据的场景，更适合用MOR表。 对于分区键的设置，根据业务建议使用日期字段来进行分区。 Hudi实时入湖时资源配置与Kafka的partition有一定关系，在消费kafka时一个partition只能被一个executor-core消费，因此过多配置executor-core会造成一定程度的资源浪费。 Spark streaming实时入湖的消费批次参数设置需要根据实际情况，满足每批次的间隔时间稍小于消费一批次消息写入Hudi表的时间。 Hudi写入的并行度设置不宜过大，适当缩小并行度可以缩短处理时间。 父主题： Hudi

连接方式说明 连接方式 是否支持用户名密码认证方式 是否支持Keytab认证方式 是否支持客户端跨网段访问 使用前提 HSFabric 是 是 是 确保业务侧和HetuEngine服务端HSFabric所在业务节点网络互通 适用于双平面的网络场景 只需对外开放HSFabric固定的IP，端口 支持范围：MRS 3.1.3及之后版本 HSBroker 是 否 否 确保业务侧和HetuEngine服务端HSBroker、Coordinator（随机分布在Yarn NodeManger）所在业务节点网络互通 需对外开放Coordinator的IP，端口 支持范围：MRS 3.1.0及之后版本 父主题： 概述

连接方式说明 连接方式 是否支持用户名密码认证方式 是否支持Keytab认证方式 是否支持客户端跨网段访问 使用前提 HSFabric 是 是 是 确保业务侧和HetuEngine服务端HSFabric所在业务节点网络互通 适用于双平面的网络场景 只需对外开放HSFabric固定的IP，端口 支持范围：MRS 3.1.3及之后版本 HSBroker 是 否 否 确保业务侧和HetuEngine服务端HSBroker、Coordinator（随机分布在Yarn NodeManger）所在业务节点网络互通 需对外开放Coordinator的IP，端口 支持范围：MRS 3.1.0及之后版本 父主题： 概述

代码样例 下面列出pyflink-sql.py的主要逻辑代码作为演示，在提交之前需要确保“file_path” 为要运行的SQL的路径，建议写全路径。 完整代码参见“flink-examples/pyflink-example/pyflink-sql”中的“pyflink-sql.py”。 import logging import sys import os from pyflink.table import (EnvironmentSettings, TableEnvironment) def read_sql(file_path): if not os.path.isfile(file_path): raise TypeError(file_path + " does not exist") all_the_text = open(file_path).read() return all_the_text def exec_sql(): # 提交之前修改SQL路径 file_path = "datagen2kafka.sql" sql = read_sql(file_path) t_env = TableEnvironment.create(EnvironmentSettings.in_streaming_mode()) statement_set = t_env.create_statement_set() sqlArr = sql.split(";") for sqlStr in sqlArr: sqlStr = sqlStr.strip() if sqlStr.lower().startswith("create"): print("---------create---------------") print(sqlStr) t_env.execute_sql(sqlStr) if sqlStr.lower().startswith("insert"): print("---------insert---------------") print(sqlStr) statement_set.add_insert_sql(sqlStr) statement_set.execute() if __name__ == '__main__': logging.basicConfig(stream=sys.stdout, level=logging.INFO, format="%(message)s") exec_sql() 表1 使用Python提交SQL作业参数说明 参数 说明 示例 file_path “datagen2kafka.sql”文件路径，建议写全路径。需在二次样例代码中获取并上传至客户端指定目录。 说明： 当作业需要以yarn-application模式提交时，需替换如下路径： file_path = os.getcwd() + "/../../../../yarnship/datagen2kafka.sql" file_path = /客户端安装目录/Flink/flink/datagen2kafka.sql SQL示例： create table kafka_sink ( uuid varchar(20), name varchar(10), age int, ts timestamp(3), p varchar(20) ) with ( 'connector' = 'kafka', 'topic' = 'input2', 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号', 'properties.group.id' = 'testGroup2', 'scan.startup.mode' = 'latest-offset', 'format' = 'json' ); create TABLE datagen_source ( uuid varchar(20), name varchar(10), age int, ts timestamp(3), p varchar(20) ) WITH ( 'connector' = 'datagen', 'rows-per-second' = '1' ); INSERT INTO kafka_sink SELECT * FROM datagen_source;

适用场景 全量数据分析：当前分析需要读取表内全量数据，可以使用Hudi的实时视图为分析引擎提供全量最新的数据。 快速数据分析：对数据最新一致性要求不高，不需要全量数据，需要较高的分析性能，可以采用Hudi的读优化视图提高读取效率。 增量数据分析：在增量ETL场景、增量OLAP等场景，可以使用Hudi的增量视图来读取最新的或者指定提交时间的增量数据，避免全量数据遍历，提高读取性能。 历史镜像数据分析：数据一直在不断变化，在需要对某一个历史时间点的数据进行分析，采用Hudi的多版本能力，指定版本读取当时的镜像数据。 父主题： Hudi

常用概念 在Doris中，数据都以表（Table）的形式进行逻辑上的描述。 Row&Column 一张表包括行（Row）和列（Column）： Row：即用户的一行数据。 Column： 用于描述一行数据中不同的字段。 Column可以分为两大类：Key和Value。从业务角度看，Key和Value可以分别对应维度列和指标列。从聚合模型的角度来说，Key列相同的行，会聚合成一行。其中Value列的聚合方式由用户在建表时指定。 Tablet&Partition 在Doris的存储引擎中，用户数据被水平划分为若干个数据分片（Tablet，也称作数据分桶）。每个Tablet包含若干数据行。各个Tablet之间的数据没有交集，并且在物理上是独立存储的。 多个Tablet在逻辑上归属于不同的分区（Partition）。一个Tablet只属于一个Partition，而一个Partition包含若干个Tablet。因为Tablet在物理上是独立存储的，所以可以视为Partition在物理上也是独立。Tablet是数据移动、复制等操作的最小物理存储单元。 若干个Partition组成一个Table。Partition可以视为是逻辑上最小的管理单元。数据的导入与删除，仅能针对一个Partition进行。 数据模型 Doris的数据模型主要分为三类：Aggregate、Unique、Duplicate。 Aggregate模型 导入数据时，对于Key列相同的行会聚合成一行，而Value列会按照设置的AggregationType进行聚合。 AggregationType目前有以下四种聚合方式： SUM：求和，多行的Value进行累加。 REPLACE：替代，下一批数据中的Value会替换之前导入过的行中的Value。 MAX：保留最大值。 MIN：保留最小值。 Unique模型 在某些多维分析场景下，用户更关注的是如何保证Key的唯一性，即如何获得Primary Key唯一性约束。因此，引入了Unique数据模型。 读时合并 Unique模型的读时合并实现完全可以用Aggregate模型中的REPLACE方式替代。其内部的实现方式和数据存储方式也完全一样。 写时合并 Unique模型的写时合并实现，查询性能更接近于Duplicate模型，在有主键约束需求的场景上相比Aggregate模型有较大的查询性能优势，尤其是在聚合查询以及需要用索引过滤大量数据的查询中。 在开启了写时合并选项的Unique表上，数据在导入阶段就会去将被覆盖和被更新的数据进行标记删除，同时将新的数据写入新的文件。在查询的时候，所有被标记删除的数据都会在文件级别被过滤掉，读取出来的数据就都是最新的数据，消除掉了读时合并中的数据聚合过程，并且能够在很多情况下支持多种谓词的下推。因此在许多场景都能带来比较大的性能提升，尤其是在有聚合查询的情况下。 Duplicate模型 在某些多维分析场景下，数据既没有主键，也没有聚合需求。可以引入Duplicate数据模型来满足这类需求。 这种数据模型区别于Aggregate和Unique模型。数据完全按照导入文件中的数据进行存储，不会有任何聚合。即使两行数据完全相同，也都会保留。 而在建表语句中指定的DUPLICATE KEY，只是用来指明底层数据按照那些列进行排序。 数据模型的选择建议 因为数据模型在建表时就已经确定，且无法修改。所以，选择一个合适的数据模型非常重要。 Aggregate模型可以通过预聚合，极大地降低聚合查询时所需扫描的数据量和查询的计算量，非常适合有固定模式的报表类查询场景。但是该模型对count(*) 查询不友好。同时因为固定了Value列上的聚合方式，在进行其他类型的聚合查询时，需要考虑语意正确性。 Unique模型针对需要唯一主键约束的场景，可以保证主键唯一性约束。但是无法利用ROLLUP等预聚合带来的查询优势。 对于聚合查询有较高性能需求的用户，推荐使用自1.2版本加入的写时合并实现。 Unique模型仅支持整行更新，如果用户既需要唯一主键约束，又需要更新部分列（例如将多张源表导入到一张Doris表的情形），则可以考虑使用Aggregate模型，同时将非主键列的聚合类型设置为REPLACE_IF_NOT_NULL。 Duplicate适合任意维度的Ad-hoc查询。虽然同样无法利用预聚合的特性，但是不受聚合模型的约束，可以发挥列存模型的优势（只读取相关列，而不需要读取所有Key列）。 父主题： 概述

常用概念 在Doris中，数据都以表（Table）的形式进行逻辑上的描述。 Row&Column 一张表包括行（Row）和列（Column）： Row：即用户的一行数据。 Column： 用于描述一行数据中不同的字段。 Column可以分为两大类：Key和Value。从业务角度看，Key和Value可以分别对应维度列和指标列。从聚合模型的角度来说，Key列相同的行，会聚合成一行。其中Value列的聚合方式由用户在建表时指定。 Tablet&Partition 在Doris的存储引擎中，用户数据被水平划分为若干个数据分片（Tablet，也称作数据分桶）。每个Tablet包含若干数据行。各个Tablet之间的数据没有交集，并且在物理上是独立存储的。 多个Tablet在逻辑上归属于不同的分区（Partition）。一个Tablet只属于一个Partition，而一个Partition包含若干个Tablet。因为Tablet在物理上是独立存储的，所以可以视为Partition在物理上也是独立。Tablet是数据移动、复制等操作的最小物理存储单元。 若干个Partition组成一个Table。Partition可以视为是逻辑上最小的管理单元。数据的导入与删除，仅能针对一个Partition进行。 数据模型 Doris的数据模型主要分为三类：Aggregate、Unique、Duplicate。 Aggregate模型 导入数据时，对于Key列相同的行会聚合成一行，而Value列会按照设置的AggregationType进行聚合。 AggregationType目前有以下四种聚合方式： SUM：求和，多行的Value进行累加。 REPLACE：替代，下一批数据中的Value会替换之前导入过的行中的Value。 MAX：保留最大值。 MIN：保留最小值。 Unique模型 在某些多维分析场景下，用户更关注的是如何保证Key的唯一性，即如何获得Primary Key唯一性约束。因此，引入了Unique数据模型。 读时合并 Unique模型的读时合并实现完全可以用Aggregate模型中的REPLACE方式替代。其内部的实现方式和数据存储方式也完全一样。 写时合并 Unique模型的写时合并实现，查询性能更接近于Duplicate模型，在有主键约束需求的场景上相比Aggregate模型有较大的查询性能优势，尤其是在聚合查询以及需要用索引过滤大量数据的查询中。 在开启了写时合并选项的Unique表上，数据在导入阶段就会去将被覆盖和被更新的数据进行标记删除，同时将新的数据写入新的文件。在查询的时候，所有被标记删除的数据都会在文件级别被过滤掉，读取出来的数据就都是最新的数据，消除掉了读时合并中的数据聚合过程，并且能够在很多情况下支持多种谓词的下推。因此在许多场景都能带来比较大的性能提升，尤其是在有聚合查询的情况下。 Duplicate模型 在某些多维分析场景下，数据既没有主键，也没有聚合需求。可以引入Duplicate数据模型来满足这类需求。 这种数据模型区别于Aggregate和Unique模型。数据完全按照导入文件中的数据进行存储，不会有任何聚合。即使两行数据完全相同，也都会保留。 而在建表语句中指定的DUPLICATE KEY，只是用来指明底层数据按照那些列进行排序。 数据模型的选择建议 因为数据模型在建表时就已经确定，且无法修改。所以，选择一个合适的数据模型非常重要。 Aggregate模型可以通过预聚合，极大地降低聚合查询时所需扫描的数据量和查询的计算量，非常适合有固定模式的报表类查询场景。但是该模型对count(*) 查询不友好。同时因为固定了Value列上的聚合方式，在进行其他类型的聚合查询时，需要考虑语意正确性。 Unique模型针对需要唯一主键约束的场景，可以保证主键唯一性约束。但是无法利用ROLLUP等预聚合带来的查询优势。 对于聚合查询有较高性能需求的用户，推荐使用自1.2版本加入的写时合并实现。 Unique模型仅支持整行更新，如果用户既需要唯一主键约束，又需要更新部分列（例如将多张源表导入到一张Doris表的情形），则可以考虑使用Aggregate模型，同时将非主键列的聚合类型设置为REPLACE_IF_NOT_NULL。 Duplicate适合任意维度的Ad-hoc查询。虽然同样无法利用预聚合的特性，但是不受聚合模型的约束，可以发挥列存模型的优势（只读取相关列，而不需要读取所有Key列）。 父主题： 概述

Doris样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下Doris相关样例工程： 表1 Doris相关样例工程 样例工程位置 描述 doris-examples/doris-example Doris数据读写操作的应用开发示例。 通过调用Doris接口可实现创建用户表、向表中插入数据、查询表数据、删除表等功能，相关业务场景介绍请参见Doris JDBC接口调用样例程序。 springboot/doris-examples Doris数据读写操作的SpringBoot应用开发示例。 提供Doris对接SpringBoot的样例，样例介绍请参见配置并导入SpringBoot样例工程。 父主题： 概述

计费模式概述 云数据库GaussDB提供包年/包月、按需计费两种计费模式，以满足不同场景下的用户需求。 包年/包月：一种预付费模式，即先付费再使用，按照订单的购买周期进行结算。购买周期越长，享受的折扣越大。一般适用于设备需求量长期稳定的成熟业务。 按需计费：一种后付费模式，即先使用再付费，按照云数据库实际使用时长计费，秒级计费，按小时结算。按需计费模式允许您根据实际业务需求灵活地调整资源使用，无需提前预置资源，从而降低预置过多或不足的风险。一般适用于电商抢购等设备需求量瞬间大幅波动的场景。 表1 计费模式 计费模式 包年/包月 按需计费 付费方式 预付费 按照订单的购买周期结算。 后付费 按照云数据库实际使用时长计费。 计费周期 按订单的购买周期计费。 秒级计费，按小时结算。 适用计费项 实例规格（vCPU和内存）、存储空间、备份空间、弹性公网IP 实例规格（vCPU和内存）、存储空间、备份空间、弹性公网IP 变更计费模式 支持变更为按需计费模式。 但包年/包月资费模式到期后，按需的资费模式才会生效。 包年/包月转按需 支持变更为包年/包月计费模式。 按需转包年/包月 变更规格 支持变更实例规格。 支持变更实例规格。 适用场景 适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。对于长期使用者，推荐该方式。 适用于计算资源需求波动的场景，可以随时开通，随时删除。 父主题： 计费模式

变更计费模式概述 在购买GaussDB实例后，如果发现当前计费模式无法满足业务需求，您可以变更计费模式。支持变更计费模式的GaussDB计费项如表 支持变更计费模式的GaussDB计费项所示。 表1 支持变更计费模式的GaussDB计费项 计费项 变更说明 相关文档 实例规格（vCPU和内存） 变更GaussDB实例的计费模式会同时变更计算资源（vCPU和内存）、存储空间和备份空间等资源的计费模式。 将GaussDB实例的计费模式从按需计费转为包年/包月，可以让您享受一定程度的价格优惠。 将GaussDB实例的计费模式从包年/包月转为按需计费，可以帮助您回收部分成本，并更加灵活地使用GaussDB资源。 说明： 包年/包月计费模式到期后，按需计费模式才会生效。 按需转包年/包月 包年/包月转按需 EIP 包年/包月EIP支持到期后转为按需、按带宽计费EIP。 按需、按带宽计费EIP支持转为包年/包月EIP。 按需、按带宽计费EIP支持和按需、按流量计费EIP互转。 具体变更方式可参考图1。 按需转包年/包月 包年/包月转按需 图1 GaussDB计费模式变更 父主题： 变更计费模式

在续费管理页面开通自动续费 登录管理控制台。 单击“控制台”页面上方“费用与成本”，在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“自动续费项”页签查询已经开通自动续费的资源。 可对“手动续费项”、“到期转按需项”、“到期不续费项”页签的资源开通自动续费。 图2 续费管理 为包年/包月资源开通自动续费。 单个资源开通自动续费：选择需要开通自动续费的GaussDB实例，单击操作列“开通自动续费”。 图3 单个资源开通自动续费 批量资源开通自动续费：选择需要开通自动续费的GaussDB实例，单击列表左上角的“开通自动续费”。 图4 多个资源开通自动续费 选择续费时长，并根据需要设置自动续费次数，单击“开通”。 图5 开通自动续费

在费用中心续费 登录管理控制台。 单击“控制台”页面上方“费用与成本”，在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“手动续费项”、“自动续费项”、“到期转按需项”、“到期不续费项”页签查询全部待续费资源，对资源进行手动续费的操作。 图3 续费管理 所有需手动续费的资源都可归置到“手动续费项”页签，具体操作请参见如何恢复为手动续费。 手动续费资源。 单个续费：在资源页面找到需要续费的资源，单击操作列的“续费”。 图4 单个续费 批量续费：在资源页面勾选需要续费的资源，单击列表左上角的“批量续费”。 图5 批量续费 选择云数据库的续费时长，判断是否勾选“统一到期日”，将云数据库到期时间统一到各个月的某一天（详细介绍请参见统一包年/包月资源的到期日）。确认配置费用后单击“去支付”。 图6 续费确认 进入支付页面，选择支付方式，确认付款，支付订单后即可完成续费。

包年/包月资源 对于包年/包月计费模式的资源，例如包年/包月的云数据库GaussDB实例用户在购买时会一次性付费，服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源，您可以执行退订操作，系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金额到您的帐户。详细的退订规则请参见云服务退订规则概览。 如果您已开启“自动续费”功能，为避免继续产生费用，请在自动续费扣款日（默认为到期前7日）之前关闭自动续费。

约束与限制 包年/包月的云数据库绑定的资源（弹性公网IP）可能不支持随云数据库同步变更计费模式，请参考表1查看绑定资源的计费规则及处理措施。 表1 弹性公网IP计费模式变更规则 计费方式 带宽类型 是否支持随 GaussDB包年/包月转按需 处理措施 按带宽计费 独享带宽 否 在控制台的弹性公网IP页面进行包年/包月转按需操作。 详细内容，请参见变更弹性公网IP计费方式。 按流量计费 独享带宽 否 包年/包月EIP不支持直接转为按需、按流量计费EIP。变更方法如下： 先转为按需、按带宽计费EIP。 再由按需、按带宽计费EIP转为按需、按流量计费EIP。 详细内容，请参见变更弹性公网IP计费方式。

计费构成分析 可以将云数据库的使用阶段按照计费模式分为两段： 2023/03/20 8:30:00 ~ 2023/03/20 10:30:00期间：按需计费 2023/03/20 8:30:00 ~ 2023/03/20 10:00:00期间 实例规格：通用增强Ⅱ型 8vCPUs 64GB、1分片、3副本、1个协调节点 使用存储空间：40GB 使用备份空间：40GB 公网带宽：6Mbit/s 2023/03/20 10:00:00 ~ 2023/03/20 10:30:00期间 实例规格：通用增强Ⅱ型 16vCPUs 128GB、1分片、3副本、1个协调节点 使用存储空间：20GB 使用备份空间：30GB 公网带宽：6Mbit/s 2023/03/20 10:30:00 ~ 2023/04/20 23:59:59期间：包年/包月计费。 实例规格：通用增强Ⅱ型 16vCPUs 128GB、1分片、3副本、1个协调节点 使用存储空间：80GB 使用备份空间：100GB（备份按需计费时间：2023/04/19 23:59:59 ~ 2023/04/20 23:59:59） 公网带宽：6Mbit/s 计费时长：1个月 按需计费 在2023/03/20 8:30:00 ~ 2023/03/20 10:00:00期间按照8vCPUs 64GB规格计费，计费时长为1.5小时，费用计算如下： 在2023/03/20 10:00:00 ~ 2023/03/20 10:30:00期间按照16vCPUs 128GB规格计费，计费时长为0.5小时，费用计算如下： 包年/包月计费 在2023/03/20 10:30:00 ~ 2023/04/20 23:59:59期间为包年/包月计费，计费时长为1个月，费用计算如下： 由此可见，在3~4月份，GaussDB总共产生的费用为：126.28 + 83.71 + 80483.05 = 80693.04 元。

计费场景 某用户于2023/03/20 8:30:00购买了一台按需计费的分布式版云数据库GaussDB，规格配置如下： 实例规格：通用增强Ⅱ型 8vCPUs 64GB、1分片、3副本、1个协调节点 存储空间：160GB 公网带宽：6Mbit/s 用了一段时间后，用户发现GaussDB当前规格无法满足业务需要，于2023/03/20 10:00:00扩容规格为 16vCPUs 128GB。因为该云数据库打算长期使用下去，于2023/03/20 10:30:00将云数据库转为包年/包月计费，购买时长为1个月。那么在3~4月份，该云数据库总共产生多少费用呢？

场景示例：核对资源用量是否与实际相符 假设用户在2023/04/08 10:09:06购买了一个按需计费GaussDB实例，并在2023/04/08 12:09:06时刻将其删除。 GaussDB实例流水账单 按需计费GaussDB实例按秒计费，每一个小时整点结算一次费用，您可以在流水账单中核对每一个计费周期的信息是否和实际相符，流水账单中计费资源是分开计费的，以“GaussDB存储”为例，具体如表 实例流水账单所示。 表1 云数据库 GaussDB流水账单 产品类型 云数据库 GaussDB 产品 GaussDB存储 计费模式 按需 消费时间 2023/04/08 10:09:06 ~ 2023/04/08 12:09:06时段计费系统将生成6笔流水账单，对应每一个计费周期，分别如下： 2023/04/08 10:09:06 ~ 2023/04/08 11:00:00 2023/04/08 11:00:00 ~ 2023/04/08 12:00:00 2023/04/08 12:00:00 ~ 2023/04/08 12:09:06 官网价 官网价=使用量*单价*容量 本例中，在第一个计费周期内GaussDB的使用量为3054秒，单价可在云数据库GaussDB价格详情中查询，以0.0075 元/GB/小时为例，容量为480GB，那么官网价=(3054 ÷ 3600) * 0.0075 * 480 = 3.054 元。同理，您可以计算剩余计费周期内资源的官网价。 优惠金额 用户使用云服务享受折扣优惠如商务折扣、伙伴授予折扣以及促销优惠等减免的金额。基于官网价的优惠金额。 抹零金额 华为云产品定价精度为小数点后8位（单位：元），因此在计费过程中会产生小数点后8位的资源使用费用。而在实际扣费时，仅扣除到小数点后2位，小数点后第3位到第8位部分金额会被舍弃，这种舍弃部分的金额称作抹零金额。 以第一个计费周期为例，抹零金额为：0.004 元。 应付金额 应付金额=官网价-优惠金额-抹零金额 以第一个计费周期为例，假设优惠金额为0，那么应付金额=3.054 - 0 - 0.004 = 3.05 元。 云数据库GaussDB实例明细账单 明细账单可以通过多维度展示客户账单的详细信息。一般通过设置统计维度为“按使用量”，统计周期为“按账期”来统计资源在某个月份的总开销，以“GaussDB存储”为例，建议您核对表 实例明细账单所示的信息是否和实际相符。 表2 云数据库GaussDB明细账单 产品类型 云数据库 GaussDB 产品 GaussDB存储 计费模式 按需 资源名称/ID GaussDB的名称和ID 例如：gauss-e4c4，41986722eb1041f886d28a90fd610067in14 规格 存储空间的类型和容量 本例为超高IO，480GB 使用量类型 按需计费云数据库GaussDB的使用量类型为“时长” 单价 按需计费模式为简单定价（使用量*单价）时提供单价信息，其他的定价（如EIP公网带宽的阶梯定价）等不提供单价。 按需计费云数据库GaussDB属于简单定价，您可以在云数据库GaussDB价格详情中查询单价。 单价单位 在云数据库GaussDB价格详情中查询到的单价单位：元/GB/小时 使用量 按产品单价单位显示使用量，GaussDB的单价单位为元/GB/小时，因此使用量以小时为单位。本例中，2023/04/08 10:09:06 ~ 2023/04/08 12:09:06时段总计使用量为2小时。 使用量单位 小时 官网价 官网价=使用量*单价*容量 本例中，使用量为2小时，单价可在云数据库GaussDB价格详情中查询，以0.0075 元/GB/小时为例，容量为480GB，那么官网价=2 * 0.0075 * 480 = 7.2元。 优惠金额 用户使用云服务享受折扣优惠如商务折扣、伙伴授予折扣以及促销优惠等减免的金额。基于官网价的优惠金额。 应付金额 用户使用云服务享受折扣优惠后需要支付的费用金额。