华为云用户手册

  • 一键部署客户端 准备Linux弹性云服务器。 使用一键部署客户端工具,建议Linux弹性云服务器的操作系统类型为EulerOS,CentOS,Ubuntu和SUSE。具体操作请参见准备弹性云服务器。 下载客户端一键部署工具。 使用SSH登录工具(如PuTTY)通过“弹性IP”远程登录到Linux弹性云服务器,然后执行如下命令,获取客户端一键部署工具: curl -O -k "https://cloudtable-publish.obs.myhuaweicloud.com/cloudtable-client/quick_start_hbase_shell.sh" 此命令适用于HBase 2.x版本。 一键部署包内置校验文件。 准备集群访问地址。 登录表格存储服务管理控制台,在左侧导航树单击集群管理,然后在集群列表中找到所需要的集群,并获取相应的“ZK链接地址(内网)”。该参数值就是集群访问地址,如图1所示。 图1 ZK链接地址 使用工具部署客户端。 请将以下命令中的"$zookeeper_address"参数替换为3获取的ZK链接地址,然后在弹性云服务器命令行窗口,执行该命令一键部署客户端。 source quick_start_hbase_shell.sh $zookeeper_address 启动Shell访问集群。 在上一步执行source命令自动部署客户端后,就已自动启动了HBase Shell。在后续使用过程中,您也可以执行“bin/hbase shell”命令启动Shell访问集群。
  • 创建MRS Hive连接步骤 通过访问以下地址登录表格存储服务管理控制台:https://console.huaweicloud.com/cloudtable。 用户在CloudTable集群管理界面,选择需要操作的集群进入集群详情页面。 单击tab页中的“连接设置”,弹出连接页面。 单击左上角“新建连接”创建MRS Hive连接。 新建连接类型:非安全认证hive on hdfs,认证类型选择SIMPLE,OBS按钮关闭状态。 图1 新建连接页面 表1 参数说明 参数 描述 名称 根据连接的数据源类型,用户可以自定义连接名。 说明: 必须以字母开头,由字母、数字、中划线组成,不能包含其他的特殊字符,并且长度为4~64个字符。 连接器 Doris支持的外部数据目录组件,目前支持可选:Hive。 Hadoop类型 Doris支持hadoop组件,目前支持的可选:MRS。 集群名称 MRS集群名称。 说明: Doris只能对接一个kerberos集群中的一个用户。 Manager IP MRS Manager的浮动IP地址,选择连接的集群后,ip地址会自动填充。 认证类型 MRS集群鉴权类型,安全集群可选“KERBEROS”,非安全集群可选“SIMPLE”。选择连接的集群后,安全类型会自动填充。 连接器版本 MRS集群的数据源组件的版本,HIVE支持3版本,可选:3.X。 用户名 MRS集群的用户名。 密码 MRS集群mrs_user_name对应的密码。 OBS支持 打开按钮,则支持OBS。关闭按钮则不支持OBS。 配置好参数后,单击测试。如果测试失败请检查用户名和密码是否正确。 测试完成后,单击确定按钮,连接设置页面会出现一条新的连接记录。
  • SQL命令 创建CATALOG的SQL命令以及参数说明。 CREATE CATALOG hive_catalog_OBS PROPERTIES ( 'type'='hms', 'hive.metastore.uris' = 'thrift://192.x.x.x:port,thrift://192.x.x.x:port', 'hive.metastore.sasl.enabled' = 'true', 'hive.server2.thrift.sasl.qop'='auth-conf', 'hive.server2.authentication' = 'KERBEROS', 'hive.server2.authentication.kerberos.principal' = 'hive/hadoop.99261318_1115_4b1a_bcbd_f944f2d68731.com@99261318_1115_4B1A_BCBD_F944F2D68731.COM', 'hive.metastore.kerberos.principal' = 'hive/hadoop.99261318_1115_4b1a_bcbd_f944f2d68731.com@99261318_1115_4B1A_BCBD_F944F2D68731.COM', 'hadoop.security.authentication'='kerberos', 'hadoop.kerberos.principal' = 'USER_NAME', 'hive.version' = '3.1.0', 'fs.defaultFS'='hdfs://hacluster', 'hadoop.rpc.protection'='privacy', 'AWS_ACCESS_KEY' = '***', 'AWS_SECRET_KEY' = '***', 'AWS_ENDPOINT' = 'obs.cn-north-7.ulanqab.huawei.com', 'AWS_REGION' = 'cn-north-7', 'yarn.resourcemanager.address' = '192.X.X.X:port', 'yarn.resourcemanager.principal' = 'mapred/hadoop.hadoop.com@HADOOP.COM' ); 表2 参数说明 参数 说明 type 对接外部数据类型。 hive.metastore.uris hive元数据uri,可在hive-site.xml配置文件查看。 hive.metastore.sasl.enabled 可在hive-site.xml配置文件查看。 hive.server2.thrift.sasl.qop 可在hive-site.xml配置文件查看。 hive.server2.authentication 认证类型,在集群连接页面查看。 hive.server2.authentication.kerberos.principal 可在hive-site.xml配置文件查看。 hive.metastore.kerberos.principal 可在hive-site.xml配置文件查看。 hadoop.security.authentication 可在core-site.xml配置文件查看。 hadoop.kerberos.principal \ hive.version Hive版本。 fs.defaultFS 可在core-site.xml配置文件查看。 hadoop.rpc.protection 可在core-site.xml配置文件查看。 AWS_ACCESS_KEY access key,获取方式请参见对象存储服务的获取访问密钥(AK/SK)章节。 AWS_SECRET_KEY secret key,获取方式请参见对象存储服务的获取访问密钥(AK/SK)章节。 AWS_ENDPOINT obs地址,获取方式见请参见对象存储服务的获取终端节点章节。 AWS_REGION obs region,在obs页面查看。 参数获取方法。 连接mrs集群,请参见使用mrs客户端章节。 进入client目录下,显示出MRS的全部组件,目前使用的组件有HDFS和Hive组件。 cd /opt/Bigdata/client/ HDFS组件中包含了core-site.xml、hdfs-site.xml配置文件,Hive组件中包含了hive-site.xml配置配置。 进入组件中的配置文件查看参数。 HDFS组件查看。 cd ./HDFS/hadoop/etc/ 进入hadoop目录。 cd hadoop/hdfs-site.xml 打开hdfs-site.xml配置文件,查找相关参数。 vim hdfs-site.xml Hive组件查看。 /opt/Bigdata/client/Hive/config/hive-site.xml 打开hive-site.xml配置文件,查找相关参数。 vim hive-site.xml catalog中的obs指的是obs桶,不是obs并行文件系统,目前还不支持obs并行文件系统。
  • 前提条件 CloudTable服务暂不支持细粒度策略,仅支持系统角色“cloudtable Administrator”。当前CloudTable默认的系统角色“cloudtable Administrator” 仅适用于未开通企业项目的账号,如已开通,请使用IAM自定义策略并直接给用户授权。 给用户组授权之前,请您了解用户组可以添加的CloudTable权限,并结合实际需求进行选择,CloudTable支持的系统权限,请参见:CloudTable系统权限。如果您需要对除CloudTable之外的其它服务授权,IAM支持服务的所有权限请参见权限策略。
  • 示例流程 图1 给用户授权CloudTable权限流程 创建用户组并授权 使用华为云登录IAM控制台,创建用户组,并授予表格存储服务的管理员权限“cloudtable Administrator”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入步骤1中创建的用户组。 用户登录并验证权限 使用新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择表格存储服务,进入CloudTable主界面,单击右上角“购买集群”,尝试创建表格存储服务集群,如果可以创建(假设当前权限仅包含cloudtable Administrator),表示“cloudtable Administrator”已生效。 在“服务列表”中选择除表格存储服务之外(假设当前策略仅包含cloudtable Administrator)的任一服务,如果提示权限不足,表示“cloudtable Administrator”已生效。
  • 注意事项 每个数据表只能绑定一个任务。一个集群仅支持一个执行中的任务。 本地表的数据库必须为 atomic(默认)或 ordinary,且表类型为 Mergetree 家族系列引擎的表(包括非复制表和复制表,不支持物化视图表)。 本地表副本关系和cluster一致,有分布式表作为分片之间的关系。 数据迁移过程中原表默认为只读状态。 数据迁移的时候数据首先会保存在临时表中,执行的时候用迁移的数据表替换原表,该过程中可能读取到错误的数据,切换时间为秒级。 数据迁移过程中可能由于集群问题导致此过程暂停,根据报错集群修复继续执行任务。 数据迁移的时候,源节点和重分布节点必须存在相同表,这样才可以进行数据迁移。 单节点不支持数据迁移。
  • 数据迁移新建任务 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击集群管理,选择集群进入集群详情页面。 单击数据迁移进入数据迁移管理页面。 表1 数据迁移参数说明 参数 说明 任务ID/名称 新建迁移任务ID/名称。 逻辑集群 选取的逻辑集群名称。 源节点 数据存放的节点。 重分布节点 数据分布的节点。 状态/进度 数据分布的状态/进度。 状态:初始化、运行中、已完成。 创建时间 创建数据任务的时间。 执行开始时间 启动数据任务的时间。 更新时间 修改数据任务的时间。 操作 启动:启动数据任务。 修改:修改任务信息。 取消:取消迁移任务。 详情:任务详情页面。 删除:删除任务。 单击左上角“新建任务”。 用户自定义任务名称(以字母开头)。 选择逻辑集群。 选择迁移百分比。 选择源节点。 选择重分布节点。 选择迁移的数据表。 选择后单击确定,完成新建任务。 单击操作列“启动”,任务启动。
  • 查看ClickHouse集群的基本信息 集群创建完成后,可对集群进行监控和管理。在CloudTable管理控制台单击集群管理,在集群列表中找到所要查看的集群并单击集群名称,进入集群基本信息页面,用户可查看集群信息和集群的网络配置。 表1 集群信息 参数 说明 集群名称 集群的名称,创建集群时设置。 集群ID 集群的ID。 集群状态 集群状态信息。 集群版本 集群的内核版本。 集群访问地址 集群访问的地址,用户可以单击,将访问的链接地址复制到剪切板。 集群访问地址端口 集群访问的地址端口: Http端口:8123。 TCP端口:9000。 Https端口:8443。 安全TCP端口:9440。 计费模式 显示集群的计费模式。 按需计费。 包年包月。 创建时间 显示集群创建的时间。 企业项目 企业项目管理帮助您将相关的资源(如具有相同使用用途的资源)集中在一起,按企业项目的方式来管理云资源。 说明: 当企业业务发生变化,原用户不再拥有企业项目的使用权限时,可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后,该用户将无法管理该企业项目,如需再次使用,需要重新给该用户关联企业项目。 数据库引擎 用于存储、处理和保护数据的核心服务。 通道状态 表示安全通道是否打开。 同时开启安全通道和非安全通道 如果安全通道开启,此按钮不显示,如果安全通道未开启,显示此按钮。 表2 网络配置 参数 说明 区域 集群的工作区域,在创建集群时设置。 可用区 显示创建集群时所选择的可用区信息。 虚拟私有云 VPC信息,创建集群时所选。 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 子网 子网信息,创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 安全组 显示创建集群时所选择的安全组信息。 表3 计算节点参数说明 参数 参数说明 云存储 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U16G。 4U32G。 8U32G。 8U64G。 16U64G。 16U128G。 32U128G。 32U256G。 64U256G。 64U512G。 128U512G。 存储规格 选Clickhouse计算节点的磁盘规格、容量。 支持的存储规格: 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为500~10000GB/节点之间。 节点数量 多节点:选择集群中的节点个数,支持的节点范围为2~20之间。 单节点节点个数默认为1。 本地SSD(不支持扩容) 计算规格 8U32G(本地盘容量:1.6T)。 8U64G(本地盘容量:1.6T)。 16U64G(本地盘容量:3.2T)。 16U128G(本地盘容量:3.2T)。 32U128G(本地盘容量:6.4T)。 64U256G(本地盘容量:6.4T)。 存储规格 默认支持本地SSD盘。 节点数量 多节点:选择集群中的节点个数,支持的节点范围为2~20之间。 单节点节点个数默认为1。 表4 ZooKeeper节点参数说明 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U16G。 8U32G。 16U64G。 32U128G。 存储规格 选Clickhouse计算节点的磁盘规格、容量。 支持的存储规格: 通用型SSD。 超高IO。 极速SSD。 容量范围为100~1000之间。 节点数量 集群中的节点个数,默认为3。 父主题: 集群管理
  • 在CloudTable中查看导入的数据 准备Linux弹性云服务器。 假设该弹性云服务器名称为“ecs_20170916”,准备的具体操作请参见准备弹性云服务器章节。 安装客户端并启动Shell访问CloudTable集群。 使用HBase Shell访问集群的具体操作请参见使用HBase Shell访问集群章节。 在CloudTable客户端中执行查询命令,查看使用CDM迁移到CloudTable的数据。 命令示例如下,其中table_name请替换为在CDM集群中新建作业时指定的表名。 scan 'table_name'
  • 打开安全和非安全通道步骤 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击右上角的购买集群按钮,进入“购买集群”页面。 配置好参数,单击“立即购买”。 进入“规格详情”页面,确认集群规格订单信息,单击“提交”,成功提交集群创建任务。 集群创建成功后,进入详情页面打开“同时开启安全通道和非安全通道”按钮,弹出确认框,确认无误后,单击“确定”。 在详情页面开启安全通道后,集群会重启。 安全通道和非安全通道同时开启后无法关闭。
  • HTTPS连接步骤 安全集群创建后,打开详情页面,下载证书。 下载证书后,自定义存放路径。 通过https协议执行样例sql。 echo 'select 1' | curl -H 'X-ClickHouse-User: user' -H 'X-ClickHouse-Key: password' --cacert /clickhouse/client/client/bin/certificate.crt 'https://host:port/?' --data-binary @- select 1:执行的sql语句。 user:用户名。 password:创集群时创建的密码。 /clickhouse/client/client/bin/certificate.crt:指证书存放路径。 host:port:host指的是内网地址,port指的是https协议端口。
  • 打开安全通道操作步骤 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击右上角的购买集群按钮,进入“购买集群”页面。 完成其他配置后,查看安全通道加密按钮是否开启,默认开启。 图1 安全通道 关闭https会给企业服务带来风险。 创建集群开启https选项,后续无法关闭。 创建集群未开启https选项,后续无法开启。 配置好参数,单击“立即购买”。 进入“规格详情”页面,确认集群规格订单信息,单击“提交”,成功提交集群创建任务,集群创建成功后,进入详情页面查看通道开启状态。
  • JDBC连接 public void run() throws InterruptedException { final ClickHouseProperties clickHouseProperties = new ClickHouseProperties(); // 认证用的密码直接写到代码中有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以密码保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量CK_PASSWORD String password = System.getenv("CK_PASSWORD"); clickHouseProperties.setSslRootCertificate("/etc/ssl/certificate.crt"); clickHouseProperties.setSsl(true); clickHouseProperties.setSslMode("strict"); clickHouseProperties.setUser("test"); clickHouseProperties.setPassword(password); clickHouseProperties.setSocketTimeout(2 * 3600 * 1000); final BalancedClickhouseDataSource dataSource = new BalancedClickhouseDataSource("xxxx.mycloudtable.com:8443/default?ssl=true", clickHouseProperties); try { final ClickHouseConnection conn = dataSource.getConnection(); conn.createStatement().executeQuery("select now()"); } catch (Throwable e) { e.printStackTrace(); } } clickHouseProperties.setSslRootCertificate("/etc/ssl/certificate.crt");中的/etc/ssl/certificate.crt指存放证书路径。
  • BE节点支持的监控指标 BE节点监控指标如表2所示。 表2 BE节点支持的监控指标 指标名称 显示名称 含义 取值范围 监控周期(原始指标) doris_be_active_scan_context_count 由外部直接打开的scanner的个数 - ≥0 60s doris_be_add_batch_task_queue_size 接收batch的线程池的队列大小 - ≥0 60s doris_be_brpc_endpoint_stub_count 已创建的brpc stub的数量(BE) 这些stub用于BE之间的交互 ≥0 60s doris_be_brpc_function_endpoint_stub_count 已创建的brpc stub的数量(Remote RPC) 这些stub用于和Remote RPC之间交互 ≥0 60s doris_be_cache_usage_LastestSuccessChannelCache LRU ChannelCache使用率 LRU DataPageCache使用率 [0%,100%] 60s doris_be_cache_usage_ratio_DataPageCache LRU DataPageCache使用率 - [0%,100%] 60s doris_be_cache_usage_ratio_IndexPageCache LRU IndexPageCache使用率 - [0%,100%] 60s doris_be_cache_usage_ratio_SegmentCache LRU SegmentCache使用率 - [0%,100%] 60s doris_be_cache_hit_ratio_DataPageCache LRU DataPageCache命中率 数据Cache,直接影响查询效率 [0%,100%] 60s doris_be_cache_hit_ratio_IndexPageCache LRU IndexPageCache命中率 索引Cache,直接影响查询效率 [0%,100%] 60s doris_be_cache_hit_ratio_LastestSuccessChannelCache LRU ChannelCache命中率 - [0%,100%] 60s doris_be_cache_hit_ratio_SegmentCache LRU SegmentCache命中率 - [0%,100%] 60s doris_be_chunk_pool_local_core_alloc_count ChunkAllocator中,从绑定的core的内存队列中分配内存的次数 - ≥0 60s doris_be_chunk_pool_other_core_alloc_count ChunkAllocator中,从其他的core的内存队列中分配内存的次数 - ≥0 60s doris_be_chunk_pool_reserved_bytes ChunkAllocator中预留的内存大小 - ≥0 Byte 60s doris_be_chunk_pool_system_alloc_cost_ns SystemAllocator申请内存的耗时 累计值,通过斜率可以观测内存分配的耗时 ≥0 ns 60s doris_be_chunk_pool_system_alloc_count SystemAllocator申请内存的次数 - ≥0 60s doris_be_chunk_pool_system_free_cost_ns SystemAllocator释放内存的耗时累计值 通过斜率可以观测内存释放的耗时 ≥0 ns 60s doris_be_chunk_pool_system_free_count SystemAllocator释放内存的次数 - ≥0 60s doris_be_compaction_bytes_total_base Base Compaction的数据量 累计值 ≥0 Byte 60s doris_be_compaction_bytes_total_cumulative Cumulative Compaction的数据量 累计值 ≥0 60s doris_be_compaction_deltas_total_base Base Compaction处理的rowset个数 累计值 ≥0 60s doris_be_compaction_deltas_total_cumulative Cumulative Compaction处理的rowset个数 累计值 ≥0 60s doris_be_compaction_waitting_permits 正在等待Compaction令牌的数量 - ≥0 60s doris_be_data_stream_receiver_count 数据接收端Receiver的数量 - ≥0 60s doris_be_data_stream_receiver_count 数据接收端Receiver的数量 同doris_be_data_stream_receiver_count ≥0 60s doris_be_fragment_request_duration_us 所有fragment intance的执行时间 累计值,通过斜率观测 instance 的执行耗时 ≥0 us 60s doris_be_fragment_requests_total 执行过的fragment instance的数量 累计值 ≥0 60s doris_be_load_channel_count 当前打开的load channel个数 数值越大,说明当前正在执行的导入任务越多 ≥0 60s doris_be_mem_consumption_tablet_meta tablet_meta模块的当前总内存开销 - ≥0 60s doris_be_mem_consumption_load load模块的当前总内存开销 - ≥0 Byte 60s doris_be_memory_allocated_bytes TcMalloc占用的虚拟内存的大小 - ≥0 Byte 60s doris_be_memory_pool_bytes_total 所有MemPool当前占用的内存大小 - ≥0 Byte 60s doris_be_memtable_flush_duration_us memtable写入磁盘的耗时 累计值,通过斜率可以观测写入延迟 ≥0 us 60s doris_be_memtable_flush_total memtable写入磁盘的个数 累计值,通过斜率可以计算写入文件的频率 ≥0 60s doris_be_meta_request_duration_read 访问RocksDB中的meta的读取耗时 - ≥0 us 60s doris_be_meta_request_duration_write 访问RocksDB中的meta的写入耗时 - ≥0 us 60s doris_be_meta_request_total_read 访问RocksDB中的meta的读取次数 累计值 ≥0 60s doris_be_meta_request_total_write 访问RocksDB中的meta的写入次数 累计值 ≥0 60s doris_be_plan_fragment_count 当前已接收的fragment instance的数量 观测是否出现instance堆积 ≥0 60s doris_be_process_fd_num_limit_hard BE进程的文件句柄数硬限 - ≥0 60s doris_be_process_fd_num_limit_soft BE进程的文件句柄数软限 - ≥0 60s doris_be_process_fd_num_used BE进程已使用的文件句柄数 - ≥0 60s doris_be_process_thread_num BE进程线程数 - ≥0 60s doris_be_query_cache_memory_total_byte Query Cache占用字节数 - ≥0 Byte 60s doris_be_query_cache_partition_total_count 当前Partition Cache缓存个数 - ≥0 60s doris_be_query_cache_sql_total_count 当前SQL Cache缓存个数 - ≥0 60s doris_be_query_scan_bytes 读取数据量的累计值 只统计读取Olap表的数据量 ≥0 Byte 60s doris_be_query_scan_bytes_per_second 读取速率 - ≥0 Byte/s 60s doris_be_query_scan_rows 读取行数 累计值,只统计读取Olap表的数据量,通过斜率观测查询速率 ≥0 60s doris_be_result_block_queue_count 当前查询结果缓存中的fragment instance个数 该队列仅用于被外部系统直接读取时使用 ≥0 60s doris_be_result_buffer_block_count 当前查询结果缓存中的query个数 该数值反映当前BE中有多少查询的结果正在等待FE消费 ≥0 60s doris_be_routine_load_task_count 当前正在执行的routine load task个数 - ≥0 60s doris_be_rowset_count_generated_and_in_use 自上次启动后,新增的并且正在使用的rowset id个数 - ≥0 60s doris_be_scanner_thread_pool_queue_size 用于OlapScanner的线程池的当前排队数量 - ≥0 60s doris_be_segment_read_segment_read_total 读取的segment的个数 累计值 ≥0 60s doris_be_segment_read_segment_row_total 读取的segment的行数 累计值,该数值也包含了被索引过滤的行数 ≥0 60s doris_be_send_batch_thread_pool_queue_size 导入时用于发送数据包的线程池的排队个数 - ≥0 60s doris_be_send_batch_thread_pool_thread_num 导入时用于发送数据包的线程池的线程数 - ≥0 60s doris_be_small_file_cache_count 当前BE缓存的小文件数量 - ≥0 60s doris_be_streaming_load_current_processing 当前正在运行的stream load任务数 仅包含curl命令发送的任务 ≥0 60s doris_be_streaming_load_duration_ms 所有stream load任务执行时间的耗时 累计值 ≥0 60s doris_be_streaming_load_requests_total stream load任务数 累计值,通过斜率可观测任务提交频率 ≥0 60s doris_be_stream_load_pipe_count 当前stream load数据管道的个数 包括stream load和routine load任务 ≥0 60s doris_be_stream_load_load_rows stream load最终导入的行数 包括stream load和routine load任务 ≥0 60s doris_be_stream_load_receive_bytes stream load接收的字节数 包括stream load从http接收的数据,以及routine load从kafka 读取的数据 ≥0 Byte 60s doris_be_tablet_base_max_compaction_score 当前最大的Base Compaction Score 该数值实时变化,有可能丢失峰值数据;数值越高,表示compaction堆积越严重 ≥0 60s doris_be_tablet_cumulative_max_compaction_score 当前最大的Cumulative Compaction Score - ≥0 60s doris_be_thrift_connections_total_heartbeat 心跳服务的连接数 累计值 ≥0 60s doris_be_thrift_connections_total_backend BE服务的连接数 累计值 ≥0 60s doris_be_thrift_current_connections_heartbeat 心跳服务的当前连接数 - ≥0 60s doris_be_thrift_current_connections_backend BE服务的当前连接数 - ≥0 60s doris_be_timeout_canceled_fragment_count 因超时而被取消的fragment instance数量 这个值可能会被重复记录 ≥0 60s doris_be_stream_load_txn_request_begin stream load开始事务数 包括stream load和routine load任务 ≥0 60s doris_be_stream_load_txn_request_commit stream load执行成功的事务数 包括stream load和routine load任务 ≥0 60s doris_be_stream_load_txn_request_rollback stream load执行失败的事务数 包括stream load和routine load任务 ≥0 60s doris_be_unused_rowsets_count 当前已废弃的rowset的个数 这些rowset正常情况下会被定期删除 ≥0 60s doris_be_load_bytes 通过tablet sink发送的数量 累计值,可观测导入数据量 ≥0 Byte 60s doris_be_load_rows 通过tablet sink发送的行数 累计值,可观测导入数据量 ≥0 Byte 60s doris_be_fragment_thread_pool_queue_size 当前查询执行线程池等待队列的长度 - ≥0 60s doris_be_compaction_used_permits Compaction任务已使用的令牌数量 用于反映Compaction的资源消耗量 ≥0 60s doris_be_upload_total_byte rowset数据量累计值 - ≥0 60s
  • FE节点支持的监控指标 FE节点监控指标如表1所示。 表1 FE节点支持的监控指标 指标名称 显示名称 含义 取值范围 监控周期(原始指标) doris_fe_image_clean_failed 清理历史元数据镜像文件失败的次数 不应失败,如失败,需人工介入 ≥0 60s doris_fe_image_clean_success 清理历史元数据镜像文件成功的次数 - ≥0 60s doris_fe_image_push_success 将元数据镜像文件推送给其他FE节点的成功的次数 - ≥0 60s doris_fe_image_write_failed 生成元数据镜像文件失败的次数 不应失败,如失败,需人工介入 ≥0 60s doris_fe_image_write_success 生成元数据镜像文件成功的次数 - ≥0 60s doris_fe_max_journal_id 当前FE节点最大元数据日志ID 如果是Master FE,则是当前写入的最大ID,如果是非Master FE,则代表当前回放的元数据日志最大ID;用于观察多个FE之间的id是否差距过大,过大则表示元数据同步出现问题 ≥0 60s doris_fe_max_tablet_compaction_score 所有BE节点中最大的compaction score值 该值可以观测当前集群最大的 compaction score,以判断是否过高,如过高则可能出现查询或写入延迟 ≥0 60s doris_fe_qps 当前FE每秒查询数量(仅统计查询请求) QPS ≥0 60s doris_fe_query_err 错误查询的累积值 - ≥0 60s doris_fe_query_err_rate 每秒错误查询数 - ≥0 60s doris_fe_query_latency_ms_99 查询请求延迟的99分位的查询延迟 - ≥0 ms 60s doris_fe_query_latency_ms_999 查询请求延迟的999分位的查询延迟 - ≥0 ms 60s doris_fe_query_olap_table 查询内部表(OlapTable)的请求个数 - ≥0 60s doris_fe_query_total 所有查询请求数 - ≥0 60s doris_fe_report_queue_size BE的各种定期汇报任务在FE端的队列长度 该值反映了汇报任务在 Master FE 节点上的阻塞程度,数值越大,表示FE处理能力不足 ≥0 60s doris_fe_request_total 所有通过MySQL端口接收的操作请求(包括查询和其他语句) - ≥0 60s doris_fe_routine_load_error_rows 集群内所有Routine Load作业的错误行数总和 - ≥0 60s doris_fe_routine_load_receive_bytes 集群内所有Routine Load作业接收的数据量大小 - ≥0 Byte 60s doris_fe_routine_load_rows 集群内所有Routine Load作业接收的数据行数 - ≥0 60s doris_fe_rps 当前FE每秒请求数量(包含查询以及其他各类语句) 和 QPS 配合来查看集群处理请求的量 ≥0 60s doris_fe_scheduled_tablet_num Master FE节点正在调度的tablet数量 包括正在修复的副本和正在均衡的副本;该数值可以反映当前集群,正在迁移的 tablet 数量;如果长时间有值,说明集群不稳定 ≥0 60s doris_fe_tablet_status_count_added Master FE节点被调度过的tablet数量 - ≥0 60s doris_fe_tablet_status_count_in_sched Master FE节点被重复调度的tablet数量 - ≥0 60s doris_fe_tablet_status_count_not_ready Master FE节点未满足调度触发条件的tablet数量 - ≥0 60s doris_fe_tablet_status_count_total Master FE节点的被检查过的tablet数量 - ≥0 60s doris_fe_tablet_status_count_unhealthy Master FE节点累积的被检查过的不健康的tablet数量 - ≥0 60s doris_fe_txn_counter_begin 提交的事务数量 - ≥0 60s doris_fe_txn_counter_failed 失败的事务数量 - ≥0 60s doris_fe_txn_counter_reject 被拒绝的事务数量 如当前运行事务数大于阈值,则新的事务会被拒绝 ≥0 60s doris_fe_txn_counter_success 成功的事务数量 - ≥0 60s doris_fe_txn_exec_latency_ms_99 99分位的事务执行耗时 - ≥0 ms 60s doris_fe_txn_exec_latency_ms_999 999分位的事务执行耗时 - ≥0 ms 60s doris_fe_txn_publish_latency_ms_99 99分位的事务publish耗时 - ≥0 ms 60s doris_fe_txn_publish_latency_ms_999 999分位的事务publish耗时 - ≥0 ms 60s jvm_heap_size_bytes_max 最大堆内存 观测JVM内存使用情况 ≥0 Byte 60s jvm_heap_size_bytes_committed 已申请的堆内存 观测JVM内存使用情况 ≥0 Byte 60s jvm_heap_size_bytes_used 已使用的堆内存 观测JVM内存使用情况 ≥0 Byte 60s jvm_non_heap_size_bytes_committed 已申请的堆外内存 - ≥0 Byte 60s jvm_non_heap_size_bytes_used 已使用堆外内存 - ≥0 Byte 60s jvm_old_gc_coun 老年代GC次数 观测是否出现长时间的FullGC ≥0 60s jvm_old_gc_time 老年代GC耗时 观测是否出现长时间的FullGC ≥0 ms 60s jvm_old_size_bytes_used 老年代内存占用 - ≥0 Byte 60s jvm_old_size_bytes_peak_used 老年代内存占用峰值 - ≥0 Byte 60s jvm_old_size_bytes_max 老年代内存最大值 - ≥0 Byte 60s jvm_thread_new_count 线程数峰值 观测JVM线程数是否合理 ≥0 60s jvm_thread_new_count new状态的线程数 观测JVM线程数是否合理 ≥0 60s jvm_thread_runnable_count runnable状态的线程数 观测JVM线程数是否合理 ≥0 60s jvm_thread_blocked_count blocked状态的线程数 观测JVM线程数是否合理 ≥0 60s jvm_thread_waiting_count waiting状态的线程数 观测JVM线程数是否合理 ≥0 60s jvm_thread_terminated_coun terminated状态的线程数 观测JVM线程数是否合理 ≥0 60s jvm_young_gc_count 新生代GC次数 累计值 ≥0 60s jvm_young_gc_time 新生代GC耗时 累计值 ≥0 ms 60s jvm_young_size_bytes_used 新生代内存占用 - ≥0 Byte 60s jvm_young_size_bytes_peak_used 新生代内存占用峰值 - ≥0 Byte 60s jvm_young_size_bytes_max 新生代内存最大值 - ≥0 Byte 60s doris_fe_cache_added_partition 新增的Partition Cache数量 累计值 ≥0 60s doris_fe_cache_added_sql 新增的SQL Cache数量 累计值 ≥0 60s doris_fe_cache_hit_partition 命中Partition Cache数 - ≥0 60s doris_fe_cache_hit_sql 命中SQL Cache数 - ≥0 60s doris_fe_connection_total 当前FE的MySQL端口连接数 用于监控查询连接数。如果连接数超限,则新的连接将无法接入 ≥0 60s doris_fe_counter_hit_sql_block_rule 被SQL BLOCK RULE拦截的查询数量 - ≥0 60s doris_fe_edit_log_clean_failed 清理历史元数据日志失败的次数 不应失败,如失败,需人工介入 ≥0 60s doris_fe_edit_log_clean_success 清理历史元数据日志成功的次数 - ≥0 60s doris_fe_edit_log_read 元数据日志读取次数的计数 通过斜率观察元数据读取频率是否正常 ≥0 60s doris_fe_edit_log_write 元数据日志写入次数的计数 通过斜率观察元数据读取频率是否正常 ≥0 60s doris_fe_image_push_failed 将元数据镜像文件推送给其他FE节点的失败的次数 - ≥0 60s
  • 集群状态 表3 集群状态说明 状态 说明 创建中 表示集群正在创建中。 服务中 当集群创建成功并正常提供服务时,其集群状态为服务中。 亚健康 当超过指定时间监控不到集群状态时,集群状态将显示为“亚健康”。“亚健康”状态的集群需要人工干预让集群恢复正常,比如,可以通过重启集群尝试恢复正常状态。 创建失败 表示集群创建失败。 冻结 续费时所支付的余额已不足,则其状态为“冻结”。 当集群状态为“冻结”时,您需要通过续费保证账户余额不为0才能解冻,详细操作请参见如何续费?。 说明: 冻结期间集群不可用且关闭集群中所有云主机,解冻后集群自动恢复为“服务中”状态。如果用户没有续费,冻结期限到期后集群会被删除。
  • 为Linux弹性云服务器配置DNS地址和hosts文件 当您通过一键部署客户端的方法安装HBase Shell时,不需要执行本操作。其他情况下,请参照以下方法为Linux弹性云服务器配置DNS地址和hosts。 配置/etc/hosts。 将主机IP配置到/etc/hosts文件,可以加速访问CloudTable集群。 为Linux弹性云服务器配置"/etc/hosts"的操作方法如下: 以root用户登录Linux弹性云服务器。 执行“hostname”,查询主机名。 [root@euler ~]# hostname euler.novalocal 执行“ifconfig”,查询本机IP。 图2 查询IP 执行“vi /etc/hosts”命令,编辑文件,增加主机配置。 192.168.0.58 euler.novalocal 127.0.0.1 euler.novalocal 按“Esc”键,并输入“:wq”,保存退出。 执行如下命令,查看IP地址是否写入成功。 cat /etc/hosts 执行如下命令,验证是否能够解析主机名。 ping 主机名 配置DNS。 DNS服务器用于解析CloudTable集群相关链接地址(例如ZK链接地址)中的域名。请根据CloudTable集群所在的区域,设置相应区域的内网DNS地址,各个区域的DNS地址请参见《云解析服务常见问题》中的内网DNS地址是多少?。 为Linux弹性云服务器配置DNS的操作方法如下: 以root用户登录Linux弹性云服务器。 执行“vi /etc/resolv.conf”命令,编辑“/etc/resolv.conf”文件,增加“nameserver”配置。 在已有的公网IP地址之前新增两行写入DNS服务器IP地址,格式如下: nameserver 100.125.1.250 按“Esc”键,并输入“:wq”,保存退出。 执行如下命令,查看IP地址是否写入成功。 cat /etc/resolv.conf 执行如下命令,验证访问域名是否可以解析到IP地址。 ping 访问域名 访问域名请输入CloudTable集群的相关链接地址(例如ZK链接地址)中的域名。请在表格存储服务管理控制台,单击集群名称,进入集群基本信息页面,获取CloudTable的相关链接地址。所获取的链接地址包含了以逗号分隔的3个内网域名,您可以ping其中任意一个内网域名。 图3 查看链接地址
  • 修订记录 发布日期 修订说明 2024-06-20 第二十七次发布。 新增章节如下: HBase Thrift Server HBase安全通道加密 Doris冷热分离应用 ClickHouse冷热分离应用 2024-04-15 第二十六次发布。 修改章节如下: 创建HBase集群 创建ClickHouse集群 创建Doris集群 2024-03-04 第二十五次发布。 新增章节如下: HBase监控页面 ClickHouse数据迁移 修改章节如下: 创建HBase集群 HBase集群水平扩容 2024-01-11 第二十四次发布。 修改章节如下: 创建Doris集群 2023-10-16 第二十三次发布。 新增章节如下: HBase热点自愈 使用全局二级索引 Doris用户管理 Doris角色管理 Doris慢查询管理 Doris连接管理 ClickHouse集群水平扩容 ClickHouse监控集群 Doris参数配置 Doris安全通道 ClickHouse包周期计费操作 修改章节如下: 创建HBase集群 HBase集群管理列表简介 查看Doris集群基本信息 ClickHouse集群管理列表简介 2023-08-03 第二十二次发布。 新增章节如下: HBase冷热分离 ClickHouse集群管理 2023-7-11 第二十一次发布。 新增加章节如下: 扩容集群 2023-04-30 第二十次发布。 新增如下章节: Doris集群管理 Doris监控集群 2019-11-07 第十九次发布。 修改如下章节: HBase集群支持的监控指标 2019-08-16 第十八次发布。 修改如下章节: 使用HBase Shell访问集群 2019-05-25 第十七次发布。 新增如下章节: 创建用户并授权使用CloudTable 2019-05-08 第十六次发布。 修改如下章节: 准备弹性云服务器 2019-04-04 第十五次发布。 新增如下章节: HBase集群管理列表简介 HBase集群水平扩容 2019-01-15 第十三次发布。 新增如下章节: 使用CopyTable工具导入数据 数据表复制样例代码 修改如下章节: 创建HBase集群 查看HBase集群基本信息 准备弹性云服务器 2019-01-04 第十二次发布。 修改如下章节: 创建HBase集群 2018-12-07 第十一次发布。 新增如下章节: HBase集群管理简介 修改如下章节 创建HBase集群 使用HBase Shell访问集群 删除如下章节: 总览 2018-09-25 第十次发布。 修改如下章节: 使用HBase Shell访问集群 2018-09-10 第九次发布。 修改如下章节: 使用HBase Shell访问集群 2018-08-03 第八次发布。 修改如下章节: 创建HBase集群 使用HBase Shell访问集群 2018-06-30 第七次发布。 修改如下章节: 创建HBase集群 使用HBase Shell访问集群 删除如下章节: 应用开发指导:将该章节拆分为开发指南单独发布。 2018-05-31 第六次发布。 修改如下章节: 使用CDM迁移数据到CloudTable 使用Import工具导入数据 支持的关键操作审计日志 查看审计日志 2018-02-12 第四次发布。 新增如下章节: HBase集群支持的监控指标 设置告警规则 查看集群的监控信息 修改如下章节: 创建HBase集群 准备弹性云服务器 使用HBase Shell访问集群 2018-01-03 第三次发布。 新增如下章节: HBase参数配置 修改如下章节: 总览 创建HBase集群 查看HBase集群基本信息 2017-11-29 第二次发布。 修改如下章节: 创建HBase集群 使用HBase Shell访问集群 2017-09-30 第一次正式发布。
  • ClickHouse冷热分离命令简介 此章节主要介绍CloudTable ClickHouse冷热分离命令的使用,ClickHouse集群基本命令使用请参见Clickhouse命令简介。 创建冷热分离数据表。 CREATE TABLE hot_cold_table ( `f1` String, `f2` String, `f3` Int64, `f4` Float64, `date` Date ) ENGINE = MergeTree() PARTITION BY date ORDER BY f1 SETTINGS storage_policy = 'hot_to_cold'; 设置冷数据存储时间。 CREATE TABLE hot_cold_table ( `f1` String, `f2` String, `f3` Int64, `f4` Float64, `date` Date ) ENGINE = MergeTree() PARTITION BY date ORDER BY f1 TTL date + INTERVAL 90 DAY TO DISK 'cold_disk' SETTINGS storage_policy = 'hot_to_cold'; 参数说明: storage_policy:指定存储策略,值指定为hot_to_cold。存储策略一旦指定,后期无法更改。 更新TTL。 修改元数据: ALTER TABLE hot_cold_table MODIFY TTL toDate(_cw_raw_time/ 1000) +toIntervalDay(29) TO VOLUME 'volum1_cold' SETTINGS materialize_ttl_after_modify=0; 手动移动数据:可以使用alter table hot_cold_table move partition‘partition_name’to volume‘volume_name’命令将指定分区移动到指定的卷或磁盘。 父主题: ClickHouse冷热分离应用
  • Doris冷热分离命令简介 此章节主要介绍CloudTable Doris冷热分离的使用命令。Doris集群基本命令使用请参见Doris MySQL命令简介。 创建数据迁移策略(STORAGE POLICY) CREATE STORAGE POLICY testPolicy PROPERTIES( "storage_resource" = "hot_to_cold", "cooldown_ttl" = "1d" ); 参数说明: storage_resource:指定策略使用的storage resource名称,且值指定为hot_to_cold。 cooldown_ttl:热数据持续时间。从数据分片生成时开始计算,经过指定时间后转为冷数据。支持的格式: 1d:1天、 1h:1小时、 50000:50000秒、0:0秒,表示数据立即转为冷数据。注意:cooldown_ttl的值不得低于6h。 cooldown_datetime:热数据转为冷数据时间,不能与cooldown_ttl同时存在,如:2023-06-08 00:00:00。 创建含数据迁移策略的Doris Table 创建数据库test_db。 CREATE DATABASE IF NOT EXISTS test_db; 创建test_tbl1。 CREATE TABLE IF NOT EXISTS test_db.test_tbl1 ( `timestamp` DATETIME NOT NULL COMMENT "日志时间", `type` INT NOT NULL COMMENT "日志类型", `error_code` INT COMMENT "错误码", `error_msg` VARCHAR(1024) COMMENT "错误详细信息", `op_id` BIGINT COMMENT "负责人id", `op_time` DATETIME COMMENT "处理时间" ) DISTRIBUTED BY HASH(`type`) BUCKETS 10 PROPERTIES ( "storage_policy" = "testPolicy", "replication_num" = "3" ); storage_policy:存储策略是使用冷热分离功能的入口,用户在建表或使用Doris过程中,给表或分区关联上Storage policy,即可以使用冷热分离功能。 已存在的数据表关联迁移策略Storage policy。 创建数据表test_tbl2。 CREATE TABLE IF NOT EXISTS test_db.test_tbl2 ( `timestamp` DATETIME NOT NULL COMMENT "日志时间", `type` INT NOT NULL COMMENT "日志类型", `error_code` INT COMMENT "错误码", `error_msg` VARCHAR(1024) COMMENT "错误详细信息", `op_id` BIGINT COMMENT "负责人id", `op_time` DATETIME COMMENT "处理时间" ) DISTRIBUTED BY HASH(`type`) BUCKETS 10 PROPERTIES ( "replication_num" = "3" ); 数据表关联/修改迁移策略Storage policy。 ALTER TABLE test_db.test_tbl2 set ("storage_policy" = "testPolicy"); 向含数据迁移策略的数据表插入数据。 insert into test_db.test_tbl1 values ('2024-03-26 10:35:00', 1, 404, 'Resource Not Found', 998756, '2024-03-26 10:36:00'); 删除数据迁移策略(STORAGE POLICY) DROP STORAGE POLICY testPolicy; 删除数据迁移策略前,请检查关联该策略的所有表是否都已经删除,否则删除数据迁移策略会失败。 删除含数据迁移策略的数据表后,为了保证数据的安全,冷数据在obs桶最多保留时间25小时,且数据保留期间会计费。 父主题: Doris冷热分离应用
  • 前提条件 当集群状态处于“服务中”,且没有任何任务操作(如:水平扩容、磁盘扩容等)时,可以执行变更操作。 规格变更只支持从小规格变更为大规格,如果要大规格更改为小规格,建议新建小规格集群,采用数据迁移进行切换。 一次只支持变更一种类型的节点规格(计算节点、ZooKeeper节点),且变更完成后只生效所选类型的节点规格。 规格变更过程中,整个集群不可用,变更结束前不能再次变更。 规格变更过程中系统不可用。
  • 磁盘扩容操作步骤 登录CloudTable管理控制台。 单击集群管理,显示当前集群列表。 在集群列表中,选定集群的操作列,选择“磁盘扩容”,进入扩容页面。如果在英文界面,选定集群的操作列,选择操作列中的“磁盘扩容”,进入扩容页面。 图1 磁盘扩容页面 磁盘操作也可以在集群详情页面单击“磁盘扩容”,跳转磁盘扩容页面。 图2 磁盘扩容 选择变配节点。 按“+”确定扩容磁盘后的磁盘容量。 确定费用以及资源配额后,单击确定。
  • 开启冷热分离步骤 登录表格存储服务管理控制台。 控制台左上角,选择区域。 单击左侧“集群管理”,进入集群管理界面。 单击集群管理界面右上角的“购买集群”。 进入创建集群界面,在集群购买页面选择ClickHouse数据库引擎并开启冷热分离特性,创建后的集群就开启了冷热分离特性。 创建集群可以参考创建ClickHouse集群。 如果在创建集群的时候未开启冷热分离特性,可在集群详请页面或者集群列表的操作列开启冷热分离。 节点已使用容量占节点总容量的比值超过冷热分存策略设置的比例,数据将被自动移动到冷存储卷。如图片中当热存储卷已使用容量超过80%时,热存储中的数据将被自动的移动到冷存储中。 图1 开启冷热分离
  • 背景 在数据分析的实际场景中,冷热数据面临着不同的查询频次及响应速度要求。而随着历史数据的不断增多,如果我们将所有数据存储在本地,将造成大量的资源浪费。冷热分离特性可将冷热数据分开存储,将冷热数据分别存储在成本不同的存储介质上。热数据提高时效数据的查询速度和响应能力,冷数据降低存储成本。我们还可以根据实际业务需求进行灵活的配置和调整,以满足不同场景的要求。冷热分离一般适用于以下需求场景: 数据存储周期长:面对历史数据的不断增加,存储成本也随之增加。 冷热数据访问频率及性能要求不同:热数据访问频率高且需要快速响应,而冷数据访问频率低且响应速度要求不高。
  • 原理介绍 创建表:CloudTable Doris通过文件系统在本地数据目录创建目录。 写数据:调用文件系统相关功能,生成文件到本地数据目录下。 合并数据:定期读取数据文件rowset,判断数据时间戳和时间线。如果当前时间减去写入时间小于TTL设置的值,则文件不移动。如果如果当前时间减去写入时间大于TTL设置的值,则会在系统后台执行并调用OBS SDK数据写入OBS,随后将本地文件删除。 查询数据:用户在表上进行对应的查询时,Doris会根据对应Partition使用的Policy信息找到对应的OBS并行文件系统的相关路径,并根据不同Tablet下的Rowset信息下载查询所需的数据到本地进行运算。
  • 开启冷热分离步骤 登录表格存储服务管理控制台。 控制台左上角,选择区域。 单击左侧“集群管理”,进入集群管理界面。 单击集群管理界面右上角的“购买集群”。 进入创建集群界面,在集群购买页面选择Doris数据库引擎并勾选是否开启冷热分离按钮,创建后的集群就开启了冷热分离特性。 创建集群可以参考创建Doris集群。 如果在创建集群的时候未开启冷热分离特性,可在集群详请页面或者集群列表的操作列开启冷热分离。 注意使用Doris集群不要长时间处于高负载(高CPU、高内存、高磁盘使用率等)状态,否则影响冷热分离的速率。如果业务需要可进行集群扩容,请参见扩容集群。
  • 原理介绍 创建表:创建含有冷热分离策略的数据表,其中存储策略值必须为hot_to_cold。 写数据:新数据会按照信息导入到对应的数据表中。在ClickHouse中,每次数据写入都会生成一个新的Part,以保证冷数据的Part在不受影响的情况下写入新数据,满足冷热数据同时存储的需求。 冷热分离:数据存储在热存储上,随着容量或时间的推移往冷存储上迁移。ClickHouse的冷热分离粒度是基于Part的,当达到容量上限或冷却时间时会将当前满足条件的Part全部上传到OBS并删除本地数据,之后新导入的数据生成的新Part达到容量上限或冷却时间后也会上传到OBS。 查询数据:用户在数据表上进行对应的查询,ClickHouse会根据对应表的存储策略信息查询到对应Bucket的根目录,并根据不同表下Part信息下载查询所需的数据到本地进行运算。
  • 背景 在数据分析的实际场景中,冷热数据面临着不同的查询频次及响应速度要求。而随着历史数据的不断增多,如果我们将所有数据存储在本地,将造成大量的资源浪费。冷热分离特性可将冷热数据分开存储,将冷热数据分别存储在成本不同的存储介质上。热数据提高时效数据的查询速度和响应能力,冷数据降低存储成本。我们还可以根据实际业务需求进行灵活的配置和调整,以满足不同场景的要求。冷热数据主要从数据访问频率、更新频率进行划分。 Hot(热数据):访问、更新频率较高,未来被调用的概率较高的数据,对访问的响应时间要求很高的数据。 Cold(冷数据):不允许更新或更新频率比较低,访问频率比较低,对访问的响应时间要求不高的数据。 用户可以定义冷热管理表,将符合规则的冷数据切换至OBS上进行存储,可以按照分区自动进行冷热数据的判断和迁移。
  • 使用限制 Thrift Server支持的语言:C++、Java。 Thrift Server功能不支持冷热分离、热点自愈和二级索引。 只有非安全集群支持Thrift Server。 Thrift Server只在Core节点中部署。 Thrift Server服务扩容依赖Core节点扩容。 开启用户认证后,不允许开启Thrift Server。 开启Thrift Server后,用IP连接集群节点Thrift Server进程故障会影响业务。 Thrift Server不支持对接ELB。
  • 约束与限制 云解析服务的使用约束与限制如表1所示。 表1 DNS约束与限制 资源 默认配额(个) 如何提升配额 公网域名 50 可以通过提交工单提高此限制。 内网域名 50 记录集 500 反向解析 50 自定义线路 50 入站终端节点 50 可以通过提交工单提高此限制。 出站终端节点 50 可以通过提交工单提高此限制。 解析规则 50 可以通过提交工单提高此限制。 每个终端节点绑定的IP地址的最大个数 6 可以通过提交工单提高此限制。 每个内网域名关联的VPC的最大个数 无限制 - 每个解析规则关联的VPC的最大个数 无限制 - VPC内单个ECS解析请求量 2000次/秒 VPC内单IP每秒最高QPS为2000次,每秒请求DNS峰值超过限制阈值后,将面临限速风险。 如果您的业务确实会产生超高的并发解析请求,建议您开启DNS缓存功能,以提升解析效率。 VPC内所有ECS解析总请求量 无限制 - VPC内单个ECS外部递归解析请求量 600次/秒 VPC内单IP外部递归解析请求阈值为600次/秒,超过限速阈值后,将面临限速风险。 如果您的业务确实会产生超高的并发解析请求,建议您开启DNS缓存功能,以提升解析效率。 VPC内所有ECS外部递归解析总请求量 5000次/秒 单个VPC内整体外部递归请求阈值为5000次/秒,超过限速阈值后,将面临限速风险。 如果您有特殊诉求访问大量互联网域名等业务场景,请提前提交工单联系技术支持沟通解决方案,以免因为限速影响您的业务。 解析器入站终端节点单IP解析请求量 10000次/秒 单个终端节点解析请求阈值为10000次/秒,互联网域名外部递归请求阈值为600次/秒,超过限速阈值后,将面临限速风险。 如果您的业务确实会产生超高的并发解析请求,建议您本地开启DNS缓存功能,以提升解析效率。 解析器出站终端节点单IP解析请求量 10000次/秒
共100000条