华为云用户手册

  • 解决方法 登录https://developer.vmware.com/home,下载VMware加密套件并完成安装。 执行以下命令,将eBackup安装包进行转换。 ovftool.exe --shaAlgorithm=SHA1 /path/to/the/original/ebackup_xxxx.ovf /path/to/the/new/ova/ebackup-SHA1.ovf 更多详情请参见:https://kb.vmware.com/s/article/2151537。 转换完成后再次执行eBackup安装操作。
  • 排查思路 以下排查思路根据原因的出现概率进行排序,建议您从高频率原因往低频率原因排查,从而帮助您快速找到问题的原因。 如果解决完某个可能原因仍未解决问题,请继续排查其他可能原因。 图2 排查思路 表1 排查思路 可能原因 处理措施 某个参数填写错误。 在eBackup创建存储单元界面,逐个检查参数是否填写正确。如有不正确,需要修改为正确的参数。其中AK/SK不能填写子账号的AK/SK,需要填写主账号的AK/SK。 eBackup的时间与实际时间偏差较大,导致响应失败。 解决方法请参考eBackup的时间与实际时间偏差较大。 eBackup与云备份服务存在网络通信问题。 解决方法请参考eBackup与云备份服务存在网络通信问题。 eBackup与对象存储服务存在网络通信问题。 请错峰备份或提交工单进行技术咨询。 VMware虚拟机的VDDK版本不正确。 需要使用6.0.3版本的VDDK。用户可以访问VMware官方网站https://code.vmware.com/web/sdk/6.0/vddk下载VMware-vix-disklib-6.0.3-4888596.x86_64.tar.gz的VDDK。
  • 存储容量已经超过最大容量 当存储库存储容量超过上限后,系统将不会继续执行备份。当存储库存储容量不足时,您可以采取以下措施: 前往云备份控制台,找到目标存储库,手动删除不需要的备份。 如果还需要保留产生的备份,可以选择扩容存储库,具体操作请参见扩容存储库。 如果存储库绑定了备份策略,可以选择停止备份策略或从策略中解绑存储库,具体操作请参见停止备份策略和从策略中解绑存储库。停止后,自动备份将停止,存储库存储容量将不再变化。也可以修改备份策略或者修改存储库绑定的资源。
  • 排查思路 以下排查思路根据原因的出现概率进行排序,建议您从高频率原因往低频率原因排查,从而帮助您快速找到问题的原因。 如果解决完某个可能原因仍未解决问题,请继续排查其他可能原因。 图1 排查思路 表1 排查思路 可能原因 处理措施 存储库存储容量已经超过最大容量。 解决方法请参考存储容量已经超过最大容量。 账户余额不足欠费后,备份存储库处于冻结状态。 请立即缴清欠款。 执行备份的资源正在执行其他操作。 解决方法请参考执行备份的资源正在执行其他操作。 系统繁忙,任务积压。 请错峰备份或提交工单寻求技术支持。
  • 排查思路 以下排查思路根据原因的出现概率进行排序,建议您从高频率原因往低频率原因排查,从而帮助您快速找到问题的原因。 如果解决完某个可能原因仍未解决问题,请继续排查其他可能原因。 图1 排查思路 表1 排查思路 可能原因 处理措施 eBackup虚拟机上传网速过低,导致以默认配置上传数据时OBS响应超时 eBackup虚拟机上传网速过低(50MB/s以下),导致以默认配置上传数据时OBS响应超时,备份上传失败。原因提示为:Write data to backup storage failed. 解决方法请参考eBackup虚拟机上传网速过低。 eBackup访问虚拟机时,配置的域名无法解析,导致创建快照失败 在eBackup的host文件中配置能够解析虚拟机vCenter的域名。
  • eBackup虚拟机上传网速过低 以hcp用户登录eBackup虚拟机后台,并切换到root账号。 执行以下命令,编辑hcpconf.ini文件。 vim /opt/huawei-data-protection/ebackup/microservice/ebk_vmware/conf/hcpconf.ini 将参数“ProductStorageMemoryPoolBlockNum”和“CommonTaskUsingMaxThread4Backup”的值均修改为“2”。 输入:wq!保存以上修改并退出编辑模式。 进入cd /opt/huawei-data-protection/ebackup/microservice/ebk_vmware/script。 执行sh ebackup_stop.sh,如图2所示。 图2 执行sh ebackup_stop.sh 执行sh ebackup_start.sh,如图3所示。 图3 执行sh ebackup_start.sh 重新下发VMware备份任务,并检查故障是否消除。如仍无法解决,请联系技术支持。
  • 排查思路 以下排查思路根据原因的出现概率进行排序,建议您从高频率原因往低频率原因排查,从而帮助您快速找到问题的原因。 如果解决完某个可能原因仍未解决问题,请继续排查其他可能原因。 表1 排查思路 可能原因 处理措施 备份状态为“正在创建”或者“正在恢复”,导致无法删除。 等待备份完成操作后,再执行删除操作。 云服务器备份已用于创建过镜像,备份的删除按钮为灰色,无法删除备份。 需要先将对应的镜像删除,再进行删除备份。具体操作请参考删除镜像。 系统异常,导致备份删除失败。 尝试重新删除备份,如仍无法删除,请提交工单寻求技术支持。 权限不足 在IAM中查看账号是否有删除权限。
  • 资源和成本规划 在实际业务使用时GeminiDB、GaussDB(for MySQL)服务会产生费用,该解决方案预估的费用,仅供参考,实际收费请参考各个云服务的计费详情。 表1 资源和成本规划(按需计费) 华为云服务 配置示例 每月预估花费 GeminiDB服务 按需计费:5.39元/小时。更多计费详情请参见价格详情。 区域:华北-北京四 节点规格:geminidb.redis.large.4 CPU (2 vCPUs) 节点数量:3 存储容量:40GB 5.39 * 24 * 30 = 3,880.8 元 GaussDB(for MySQL)服务 按需计费:4.74元/小时。更多计费详情请参见价格详情。 区域:华北-北京四 节点规格:独享版,4 vCPUs | 16 GB 只读节点数量:1 4.74 * 24 * 30 = 3,412.8 元 合计 7293.6 元 表2 资源和成本规划(包年包月) 华为云服务 配置示例 每月预估花费 GeminiDB服务 区域:华北-北京四 节点规格:geminidb.redis.large.4 CPU (2 vCPUs) 节点数量:3 存储容量:40GB 1953.4 元 GaussDB(for MySQL)服务 区域:华北-北京四 节点规格:独享版,4 vCPUs | 16 GB 只读节点数量:1 2374 元 合计 4327.4 元
  • (可选)创建rf_admin_trust委托 进入华为云官网,打开控制台管理界面,鼠标移动至个人账号处,打开“统一身份认证”菜单。 图1 控制台管理界面 图2 统一身份认证菜单 进入“委托”菜单,搜索“rf_admin_trust”委托。 图3 委托列表 如果委托存在,则不用执行接下来的创建委托的步骤 如果委托不存在时执行接下来的步骤创建委托 单击步骤2界面中右上角的“创建委托”按钮,在委托名称中输入“rf_admin_trust”,选择“普通账号”,委托的账号,输入“op_svc_IAC”,单击“下一步”。 图4 创建委托 在搜索框中输入“Tenant Administrator”权限,并勾选搜索结果。 图5 选择策略 选择“所有资源”,并单击下一步完成配置。 图6 设置授权范围 “委托”列表中出现“rf_admin_trust”委托则创建成功。 图7 委托列表
  • 名词解释 基本概念、云服务简介、专有名词解释: GaussDB(for MySQL):是华为自研的最新一代高性能企业级分布式关系型数据库,完全兼容MySQL。基于华为最新一代DFV分布式存储,采用计算存储分离架构,最高支持128TB的海量存储,可实现超百万级QPS吞吐,支持跨AZ部署,既拥有商业数据库的性能和可靠性,又具备开源数据库的灵活性。 GeminiDB:采用云原生分布式架构,完全兼容Redis®协议,支持丰富数据类型。 提供数据实时持久化、多副本强一致保障,以及实时监控、弹性伸缩、自动备份等一站式服务。
  • Doris常用端口 表中涉及端口的协议类型均为:TCP和HTTP。 配置参数 开源默认端口 定制默认端口 端口说明 http_port 8030 29980 FE服务的HTTP端口。 https_port 8050 29991 FE服务的HTTPS端口。 query_port 9030 29982 Doris FE通过MySQL协议查询连接端口。 rpc_port 9020 29981 FE服务的Thrift Server端口。 be_port 9060 29984 BE上Thrift Server的端口号,用于接收来自FE的请求。 brpc_port 8060 29987 BE上的BRPC的端口,用于各BE实例之间进行通讯连接。 heartbeat_service_port 9050 29985 BE上心跳服务端口(Thrift),用于接收来自FE的心跳。 webserver_port 8040 29986 BE上的HTTP Server的服务端口。 broker_ipc_port 8000 29990 Broker上的Thrift Server通信端口,用于接收请求。 single_replica_load_brpc_port 9070 29988 单副本数据导入功能中,Master副本和Slave副本之间通信的RPC端口。 single_replica_load_download_port 8050 29989 单副本数据导入功能中,Slave副本通过HTTP从Master副本下载数据文件的端口。
  • Storm常用端口 表中涉及端口的协议类型均为:TCP。 配置参数 开源默认端口 定制默认端口 端口说明 nimbus.thrift.port 6627 29200 nimbus提供thrift服务 supervisor.slots.ports 6700,6701,6702,6703 29200-29499 接收由其它服务器转发过来的请求 logviewer.https.port 29248 29248 logviewer提供HTTPS服务 ui.https.port 29243 29243 Storm UI提供Https服务(ui.https.port)
  • Presto常用端口 表中涉及端口的协议类型均为:TCP。 配置参数 默认端口 端口说明 http-server.http.port 7520 presto coordinator对外提供服务的HTTP端口。 http-server.https.port 7521 presto coordinator对外提供服务的HTTPS端口。 http-server.http.port 7530 presto worker对外提供服务的HTTP端口。 http-server.https.port 7531 presto worker对外提供服务的HTTPS端口。
  • ClickHouse常用端口 表中涉及端口的协议类型均为:TCP和HTTP。 配置参数 开源默认端口 定制默认端口 端口说明 interserver_http_port 9009 9009 用于在ClickHouse server间通信的http端口。 interserver_https_port 9010 9010 用于在ClickHouse server间通信的https端口。 http_port 8123 8123 用于通过http连接到ClickHouse server的端口。 https_port 8443 8443 用于通过https连接到ClickHouse server的端口。 tcp_port 9000 9000 用于客户端通过TCP连接到ClickHouse server的端口。 tcp_port_secure 9440 9440 用于客户端通过TCP SSL连接到ClickHouse server的端口。 lb_tcp_port 21424 21424 ClickHouseBalancer监听的tcp端口号。 lb_http_port 21425 21425 ClickHouseBalancer监听的http端口号。 lb_https_port 21426 21426 ClickHouseBalancer监听的https端口号。 lb_tcp_secure_port 21428 21428 ClickHouseBalancer监听的tcp ssl端口号。
  • Spark常用端口 表中涉及端口的协议类型均为:TCP。 配置参数 开源默认端口 定制默认端口 端口说明 hive.server2.thrift.port 22550 22550 JDBC thrift端口。 该端口用于: Spark2.1.0 CLI/JDBC与Spark2.1.0 CLI/JDBC服务器进行socket通信。 说明: 如果hive.server2.thrift.port被占用,将抛端口被占用异常。 安装时是否缺省启用:是 安全加固后是否启用:是 spark.ui.port 4040 22950 JDBC的Web UI端口 该端口用于:Web请求与JDBC Server Web UI服务器进行HTTPS/HTTP通信。 说明: 系统会根据端口的设置取值,并验证其有效性;如果无效,端口+1,直到取到有效值为止(上限16次,重试次数可以通过配置spark.port.maxRetries改变)。 安装时是否缺省启用:是 安全加固后是否启用:是 spark.history.ui.port 18080 22500 JobHistory Web UI端口 该端口用于:Web请求与Spark2.1.0 History Server间的HTTPS/HTTP通信 说明: 系统会根据端口的设置取值,并验证其有效性;如果无效,端口+1,直到取到有效值为止(上限16次,重试次数可以通过配置spark.port.maxRetries改变)。 安装时是否缺省启用:是 安全加固后是否启用:是
  • Kerberos常用端口 表中涉及端口的协议类型均为:TCP和UDP。 配置参数 默认端口 端口说明 KADMIN_PORT 21730 kerberos用户管理端口。 该端口用于: kerberos用户管理 安装时是否缺省启用:是 安全加固后是否启用:是 KPASSWD_PORT 21731 kerberos密码修改端口。 该端口用于: kerberos密码修改 安装时是否缺省启用:是 安全加固后是否启用:是 kdc_ports 21732 Kerberos服务端端口 该端口用于: 组件向Kerberos服务认证。配置集群互信可能会用到; 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是
  • YARN常用端口 表中涉及端口的协议类型均为:TCP。 配置参数 开源默认端口 定制默认端口 端口说明 yarn.resourcemanager.webapp.port 8088 26000 ResourceManager服务的Web http 端口。 yarn.resourcemanager.webapp.https.port 8090 26001 ResourceManager服务的Web https 端口。 该端口用于:安全模式下,接入Resource Manager Web应用。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 yarn.nodemanager.webapp.port 8042 26006 NodeManager Web http端口 yarn.nodemanager.webapp.https.port 8044 26010 NodeManager Web https端口。 该端口用于: 安全模式下,接入NodeManager web应用。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是
  • Hive常用端口 表中涉及端口的协议类型均为:TCP。 配置参数 开源默认端口 定制默认端口 端口说明 templeton.port 9111 21055 WebHCat提供REST服务的端口。 该端口用于: WebHCat客户端与WebHCat服务端之间的通信。 安装时是否缺省启用:是 安全加固后是否启用:是 hive.server2.thrift.port 10000 21066 HiveServer提供Thrift服务的端口。 该端口用于: HiveServer客户端与HiveServer之间的通信。 安装时是否缺省启用:是 安全加固后是否启用:是 hive.metastore.port 9083 21088 MetaStore提供Thrift服务的端口。 该端口用于: MetaStore客户端与MetaStore之间的通信,即HiveServer与MetaStore之间通信。 安装时是否缺省启用:是 安全加固后是否启用:是 hive.server2.webui.port 10002 - Hive的Web UI端口。 该端口用Web请求与Hive UI服务器进行HTTPS/HTTP通信。
  • Manager常用端口 表中涉及端口的协议类型均为:TCP。 配置参数 默认端口 (3.x之前版本) 端口说明 - 8080 WebService提供的供用户访问端口 该端口用于使用HTTP协议访问Web UI 安装时是否缺省启用:是 安全加固后是否启用:是 - 28443 WebService提供的供用户访问端口 该端口用于使用https协议访问Web UI 安装时是否缺省启用:是 安全加固后是否启用:是
  • HetuEngine常用端口 表中涉及端口的协议类型均为:TCP。 配置参数 开源默认端口 定制默认端口 端口说明 server.port(HSBroker) 29860 29860 HSBroker服务侦听的端口号。 server.port(HSConsole) 29880 29880 HSConsole服务侦听的端口号。 server.port(HSFabric) 29900 29900 HSFabric服务侦听的端口号,用于跨域连接。 gateway.port 29902 29902 HSFabric服务侦听的端口号,用于JDBC连接。
  • Kafka常用端口 表中涉及端口的协议类型均为:TCP。 配置参数 开源默认端口 定制默认端口 端口说明 port 9092 21005 Broker提供数据接收、获取服务 ssl.port 9093 21008 Broker提供数据接收、获取服务的SSL端口 sasl.port 21007 21007 Broker提供SASL安全认证端口,提供安全Kafka服务 sasl-ssl.port 21009 21009 Broker提供SASL安全认证和SSL通信的端口,提供安全认证及通信加密服务
  • MapReduce常用端口 表中涉及端口的协议类型均为:TCP。 配置参数 开源默认端口 定制默认端口 端口说明 mapreduce.jobhistory.webapp.port 19888 26012 Job history服务器Web http端口。 该端口用于:查看Job History服务器的Web页面。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 mapreduce.jobhistory.port 10020 26013 Job history服务器端口。 该端口用于: 用于MapReduce客户端恢复任务的数据。 用于Job客户端获取任务报告。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 mapreduce.jobhistory.webapp.https.port 19890 26014 Job history服务器Web https端口。 该端口用于查看Job History服务器的Web页面。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是
  • HBase常用端口 表中涉及端口的协议类型均为:TCP。 配置参数 开源默认端口 定制默认端口 端口说明 hbase.master.port 16000 21300 HMaster RPC端口。该端口用于HBase客户端连接到HMaster。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 hbase.master.info.port 16010 21301 HMaster HTTPS端口。该端口用于远程Web客户端连接到HMaster UI。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 hbase.regionserver.port 16020 21302 RS (RegoinServer) RPC端口。该端口用于HBase客户端连接到RegionServer。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 hbase.regionserver.info.port 16030 21303 Region server HTTPS端口。该端口用于远程Web客户端连接到RegionServer UI。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 hbase.thrift.info.port 9095 21304 Thrift Server的Thrift Server侦听端口。 该端口用于: 客户端链接时使用该端口侦听。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 hbase.regionserver.thrift.port 9090 21305 RegionServer的Thrift Server侦听端口 。 该端口用于: 客户端链接RegionServer时使用该端口侦听。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 hbase.rest.info.port 8085 21308 RegionServer RESTServer原生Web界面的端口 - 21309 21309 RegionServer RESTServer的REST端口
  • 操作场景 在购买自定义集群时,如果集群为LTS版本类型,则可以定制组件端口(默认选择为“开源”)。 “组件端口”参数选择“开源”时,组件端口默认值请参考“开源默认端口”列。 “组件端口”参数选择“定制”时,组件端口默认值请参考“定制默认端口”列。 如果仅有“默认端口”列,表示组件的开源端口与定制端口默认值一致。 如果集群不为LTS版本类型,则没有“组件端口”参数,默认使用开源端口,请参考“开源默认端口”列或“默认端口”列。
  • HDFS常用端口 表中涉及端口的协议类型均为:TCP。 配置参数 开源默认端口 定制默认端口 端口说明 dfs.namenode.rpc.port 9820(MRS 3.x之前版本) 8020(MRS 3.x及之后版本) 25000 NameNode RPC 端口。 该端口用于: HDFS客户端与Namenode间的通信。 Datanode与NameNode之间的连接。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 dfs.namenode.http.port 9870 25002 HDFS HTTP端口(NameNode)。 该端口用于: 点对点的NameNode检查点操作。 远程Web客户端连接NameNode UI。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 dfs.namenode.https.port 9871 25003 HDFS HTTPS端口(NameNode)。 该端口用于: 点对点的NameNode检查点操作。 远程Web客户端连接NameNode UI。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 dfs.datanode.ipc.port 9867 25008 Datanode IPC 服务器端口。 该端口用于: 客户端连接DataNode用来执行RPC操作。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 dfs.datanode.port 9866 25009 Datanode数据传输端口。 该端口用于: HDFS客户端从DataNode传输数据或传输数据到DataNode。 点对点的Datanode传输数据。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 dfs.datanode.http.port 9864 25010 Datanode HTTP端口。 该端口用于: 安全模式下,远程Web客户端连接DataNode UI。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 dfs.datanode.https.port 9865 25011 Datanode HTTPS端口。 该端口用于: 安全模式下,远程Web客户端连接DataNode UI。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 dfs.JournalNode.rpc.port 8485 25012 JournalNode RPC端口。 该端口用于: 客户端通信用于访问多种信息。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 dfs.journalnode.http.port 8480 25013 JournalNode HTTP端口。 该端口用于: 安全模式下,远程Web客户端链接JournalNode。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 dfs.journalnode.https.port 8481 25014 JournalNode HTTPS端口。 该端口用于: 安全模式下,远程Web客户端链接JournalNode。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 httpfs.http.port 14000 25018 HttpFS HTTP服务器侦听的端口。 该端口用于: 远程REST接口连接HttpFS。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是
  • 操作场景 该章节指导用户开启Guardian组件存算分离操作。开启后Guardian可以在存算分离场景下为HDFS、Hive、Spark、Loader、HetuEngine等服务提供访问OBS的临时认证凭据。 配置Guardian服务对接OBS主要操作如下: 创建OBS并行文件系统 创建云服务委托并绑定集群 创建普通账号委托 配置云服务委托 为Guardian组件配置访问OBS权限 开启Hive表的级联授权功能 配置回收站清理策略
  • 操作场景 在MRS管理控制台,按照集群维度,在集群信息页面的告警页签中能够提供选择是否使能通知服务,只有对应集群开关开启以后,才能实现以下场景的功能: 在用户订阅了通知服务之后,当集群出现扩容成功/失败、缩容成功/失败、删除成功/失败、弹性升缩成功/失败的场景下,由MRS管理面通过邮件或短信方式通知对应用户。 管理面检查大数据集群的告警信息,如果大数据集群的告警信息影响到服务的使用,其告警级别达到致命时,则发送信息通知给对应租户。 在用户集群的ECS机器被删除、关机、修改规格、重启、更新OS的行为,会导致大数据集群异常,当检测到用户的虚拟机出现以上状态的时候,发送通知给对应用户。
  • 操作场景 某个Core或Task节点出现问题时,可能导致整个集群状态显示为“异常”。MRS集群支持将数据存储在不同Core节点,用户可以在MRS指定角色实例退服,使退服的角色实例不再提供服务。在排除故障后,可以将已退服的角色实例入服。 支持退服、入服的角色实例包括: HDFS的DataNode角色实例 Yarn的NodeManager角色实例 HBase的RegionServer角色实例 ClickHouse的ClickHouseServer角色实例 MRS 3.1.2及之后版本支持ClickHouseServer角色实例退服。 限制: 当DataNode数量少于或等于HDFS的副本数时,不能执行退服操作。例如HDFS副本数为3时,则系统中少于4个DataNode,将无法执行退服,MRS在执行退服操作时会等待30分钟后报错并退出执行。 已经退服的角色实例,必须执行入服操作启动该实例,才能重新使用。
  • 问题排查步骤 登录ClickHouse客户端,需要排查是否存在异常的Merge。 select database, table, elapsed, progress, merge_type from system.merges; 业务上建议insert频率不要太快,不要小批量数据的插入,适当增大每次插入的时间间隔。 数据表分区分配不合理,导致产生太多的区分,需要重新划分分区。 如果没有触发Merge,或者Merge较慢,需要调整参数加快Merge。 加速Merge,需要调整如下参数,请参考加速Merge操作: 配置项 参考值 max_threads CPU核数*2 background_pool_size CPU核数 merge_max_block_size 8192的整数倍,根据CPU内存资源大小调整 cleanup_delay_period 适当小于默认值 30
  • 场景描述 通过使用AstroZero的零代码应用模板,快速创建零代码应用,带您了解在AstroZero中开发一个零代码应用的大致流程,并认识相关概念。本入门以AstroZero零代码中预置的“培训报名”模板为例进行介绍,该模板提供如下功能: 外部用户即匿名用户微信扫码,填报活动报名信息,支持查看自己填写的报名信息。 内部用户可在手机端微信扫码或者WeLink扫码填报信息,支持在PC端新窗口打开或使用链接在浏览器访问填报页,支持查看自己填写的报名信息。 培训活动管理员基于用户的填报信息,获取培训报名人员信息,以及用户希望了解的培训内容。
共100000条