华为云用户手册

  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 instance_info_list Array of InstanceInfo objects 实例信息列表。 total_count Integer 实例总数。 online_count Integer 在线实例总数。 offline_count Integer 离线实例总数。 disable_count Integer 停止实例总数。 表4 InstanceInfo 参数 参数类型 描述 instance_id Long 实例id。 business_name String 应用名称。 business_id Long 应用id。 app_name String 组件名称。 host_name String 主机名称。 instance_name String 实例名称。 ip_address String 主机ip地址。 env_id Long 环境ID。 agent_version String Javaagent版本。 last_heartbeat Long 最后心跳时间。 register_time Long 注册时间。 last_modify_user_id String 最后修改用户id。 instance_status Integer 实例状态。 last_modify_user_name String 最后修改用户名称。 last_modify_time Long 最后修改时间。
  • 响应示例 状态码: 200 OK,请求响应成功。 { "span_event_list" : [ { "global_trace_id" : "16-1666684411910-1326", "global_path" : null, "trace_id" : "16-1666684411910-1326", "span_id" : "1", "env_id" : 11, "instance_id" : 16, "app_id" : 11, "biz_id" : 162, "domain_id" : 1, "source" : "/apm2/health/v1/health-check", "real_source" : "/apm2/health/v1/health-check", "start_time" : 1666684411910, "time_used" : 1, "code" : 200, "class_name" : "org/apache/catalina/core/StandardHostValve", "is_async" : false, "tags" : { }, "has_error" : false, "error_reasons" : null, "type" : "Tomcat", "http_method" : "GET", "biz_code" : null, "event_id" : "1", "next_spanId" : null, "source_event_id" : null, "method" : "invoke", "children_event_count" : 0, "discard" : [ ], "argument" : "(GET)(/apm2/health/v1/health-check)(200)", "attachment" : null, "host_name" : "apm2-apm-pu-task-6b5bbfc84d-gtrrs", "ip_address" : "*.*.*.*", "instance_name" : "default", "region" : "xxx-roma-2", "env_name" : "xxx-roma-2", "app_name" : "apm-pu-task", "indent" : 0, "id" : "1+1" } ] }
  • 响应示例 状态码: 200 OK,请求响应成功。 { "business_nodes" : [ { "default" : true, "id" : 2, "gmt_create" : null, "gmt_modify" : null, "name" : "apm", "display_name" : "apm", "is_default" : true, "inner_domain_id" : 1, "eps_id" : "**********" } ] }
  • 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 business_nodes Array of BusinessNodeModel objects 获取应用列表数据结构。 表3 BusinessNodeModel 参数 参数类型 描述 default Boolean 默认应用。 display_name String 应用展示名称。 eps_id String 企业项目的id。 gmt_create String 创建时间。 gmt_modify String 修改时间。 id Long 应用id。 inner_domain_id Integer 内部租户id。 is_default Boolean 是否是默认的应用。 name String 应用的英文名称。
  • 响应示例 状态码: 200 OK,请求响应成功。 { "envs" : [ { "id" : 11, "gmt_create" : null, "gmt_modify" : null, "app_id" : 11, "business_name" : null, "inner_domain_id" : null, "name" : "xxx-roma-2", "is_default" : false, "app_name" : null, "business_id" : 162, "region" : "xxx-roma-2" } ] }
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 envs Array of EnvNodeModel objects 环境信息列表。 表4 EnvNodeModel 参数 参数类型 描述 id Long 环境id。 gmt_create String 创建时间。 gmt_modify String 修改时间。 app_id Long 组件id。 business_name String 应用名称。 inner_domain_id Integer 租户id。 name String 环境名称。 is_default Boolean 是否是默认环境。 app_name String 组件名称。 business_id Long 应用id。 region String 区域。
  • 响应示例 状态码: 200 OK,请求响应成功。 { "event_info" : { "global_trace_id" : "16-1666684411910-1326", "global_path" : null, "trace_id" : "16-1666684411910-1326", "span_id" : "1", "env_id" : 11, "instance_id" : 16, "app_id" : 11, "biz_id" : 162, "domain_id" : 1, "source" : "/apm2/health/v1/health-check", "real_source" : "/apm2/health/v1/health-check", "start_time" : 1666684411910, "time_used" : 1, "code" : 200, "class_name" : "org/apache/catalina/core/StandardHostValve", "is_async" : false, "tags" : { "httpMethod" : "GET", "remoteAddr" : "*.*.*.*" }, "has_error" : false, "error_reasons" : null, "type" : "Tomcat", "http_method" : "GET", "biz_code" : null, "event_id" : "1", "next_spanId" : null, "source_event_id" : null, "method" : "invoke", "children_event_count" : 0, "discard" : [ ], "argument" : "(GET)(/apm2/health/v1/health-check)(200)", "attachment" : { "bizName" : "LubanApm", "instanceName" : "apm2-apm-pu-task-6b5bbfc84d-gtrrs:172.16.3.7:default", "envName" : "xxx-roma-2", "appName" : "apm-pu-task", "projectId" : "420a7f6d790349c1bbeec18aefe36404", "domainId" : "f9b2ea53c6eb48078435d499a3b03419" }, "host_name" : "apm2-apm-pu-task-6b5bbfc84d-gtrrs", "ip_address" : "*.*.*.*", "instance_name" : "default", "region" : null, "env_name" : "xxx-roma-2", "app_name" : "apm-pu-task", "indent" : 0, "id" : "1+1" } }
  • 响应示例 状态码: 200 OK,请求响应成功。 { "total_page" : 1, "total_count" : 1, "online_count" : 1, "offline_count" : 0, "disable_count" : 0, "agent_info_list" : [ { "instance_id" : 5298, "business_name" : "LubanApm", "business_id" : null, "app_name" : "apm-data-deliver/xx-xxxx-xxx", "host_name" : "szv*******1", "instance_name" : "default", "ip_address" : "*.*.*.*", "env_id" : 1105, "agent_version" : "2.1.16", "last_heartbeat" : 1669684246000, "register_time" : 1657762671000, "last_modify_user_id" : "70iWY********VHVd", "instance_status" : 0, "last_modify_user_name" : "yWX", "last_modify_time" : 1667839085000 } ] }
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 total_page Integer 总页数。 total_count Integer 总个数。 online_count Integer 正常个数。 offline_count Integer 心跳异常个数。 disable_count Integer 被关闭的个数。 agent_info_list Array of InstanceInfo objects agent地址列表。 表4 InstanceInfo 参数 参数类型 描述 instance_id Long 实例id。 business_name String 应用名称。 business_id Long 应用id。 app_name String 组件名称。 host_name String 主机名称。 instance_name String 实例名称。 ip_address String 主机ip地址。 env_id Long 环境ID。 agent_version String Javaagent版本。 last_heartbeat Long 最后心跳时间。 register_time Long 注册时间。 last_modify_user_id String 最后修改用户id。 instance_status Integer 实例状态,0表示启用,1表示停用,2表示离线。 last_modify_user_name String 最后修改用户名称。 last_modify_time Long 最后修改时间。
  • 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 从IAM服务获取的用户Token。 x-business-id 是 Long 应用id。 表2 请求Body参数 参数 是否必选 参数类型 描述 business_id 是 Long 应用id。 env_id 否 Long 环境id status 否 String 探针状态。 枚举值: online disable offline region 是 String region英文名称。 order_by_status 否 String 是否按照采集状态排序,默认不填则不按状态排序,填y则按照状态排序。 page 是 Integer 需要查询的页码,最小数为1。 page_size 否 Integer 查询结果每页最多显示的条数。 keyword 否 String 关键字。
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 tx_node_list Array of TxNode objects 组件节点列表。 tx_line_list Array of TxLine objects 组件之间调用指向线列表。 表4 TxNode 参数 参数类型 描述 tx_node_id String 节点id。 tx_node_name String 节点名称。 tx_node_type String 节点类型。 表5 TxLine 参数 参数类型 描述 tx_from_node String 开始节点。 tx_to_node String 结束节点。 invoke_count Long 调用次数。 rt Double 平均响应时间。 error_count Long 错误数。 type String 类型。 direction String 指向。
  • 响应示例 状态码: 200 OK,请求响应成功。 { "tx_node_list" : [ { "tx_node_id" : "48", "tx_node_name" : "apm-api:xx-xxxx-xxx-az1", "tx_node_type" : "env", "tx_env_id" : 48 }, { "tx_node_id" : "11.108.243.78:3306:apm2_cmdb", "tx_node_name" : "11.108.243.78:3306:apm2_cmdb", "tx_node_type" : "Mysql", "tx_env_id" : null }, { "tx_node_id" : "user", "tx_node_name" : "user", "tx_node_type" : "user", "tx_env_id" : null }, { "tx_node_id" : "295", "tx_node_name" : "lubanops-api:xx-xxxx-xxx", "tx_node_type" : "env", "tx_env_id" : 295 }, { "tx_node_id" : "11.108.242.168:3306:apm2_region", "tx_node_name" : "11.108.242.168:3306:apm2_region", "tx_node_type" : "Mysql", "tx_env_id" : null }, { "tx_node_id" : "54", "tx_node_name" : "apm-front:xx-xxxx-xxx", "tx_node_type" : "env", "tx_env_id" : 54 }, { "tx_node_id" : "Elasticsearch:11.108.246.171:9200,11.108.246.24:9200,11.108.246.47:9200", "tx_node_name" : "Elasticsearch:11.108.246.171:9200,11.108.246.24:9200,11.108.246.47:9200", "tx_node_type" : "EsRestClient", "tx_env_id" : null } ], "tx_line_list" : [ { "tx_from_node" : "54", "tx_to_node" : "48", "invoke_count" : 364, "rt" : 28.065934065934066, "error_count" : 0, "type" : "HttpClient", "direction" : "out" }, { "tx_from_node" : "48", "tx_to_node" : "Elasticsearch:11.108.246.171:9200,11.108.246.24:9200,11.108.246.47:9200", "invoke_count" : 359, "rt" : 18.08635097493036, "error_count" : 0, "type" : "EsRestClient", "direction" : "out" }, { "tx_from_node" : "295", "tx_to_node" : "54", "invoke_count" : 365, "rt" : 49.87123287671233, "error_count" : 0, "type" : "HttpClient", "direction" : "out" }, { "tx_from_node" : "54", "tx_to_node" : "11.108.242.168:3306:apm2_region", "invoke_count" : 48, "rt" : 2.3541666666666665, "error_count" : 0, "type" : "Mysql", "direction" : "out" }, { "tx_from_node" : "54", "tx_to_node" : "48", "invoke_count" : 359, "rt" : 19.220055710306408, "error_count" : 0, "type" : "Url", "direction" : "in" }, { "tx_from_node" : "user", "tx_to_node" : "295", "invoke_count" : 365, "rt" : 50.92876712328767, "error_count" : 0, "type" : "Url", "direction" : "in" }, { "tx_from_node" : "295", "tx_to_node" : "54", "invoke_count" : 364, "rt" : 29.354395604395606, "error_count" : 0, "type" : "Url", "direction" : "in" }, { "tx_from_node" : "295", "tx_to_node" : "11.108.243.78:3306:apm2_cmdb", "invoke_count" : 58, "rt" : 0.5862068965517241, "error_count" : 0, "type" : "Mysql", "direction" : "out" } ] }
  • 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 从IAM服务获取的用户Token。 x-business-id 是 Long 应用id。 表2 请求Body参数 参数 是否必选 参数类型 描述 tx_name 是 String 事务名称。 start_time 是 String 开始时间。 end_time 是 String 结束时间。
  • 请求示例 入参为view_type参数为rawtable的视图配置,可从查询监控项配置信息接口获取。 /v1/apm2/openapi/view/metric/raw-table { "end_time" : 1667436600000, "env_id" : "913", "instance_id" : "13", "monitor_item_id" : 10499, "page" : 1, "page_size" : 10, "search_word" : "", "start_time" : 1667435400000, "view_config" : { "span" : null, "latest" : null, "collector_name" : "Exception", "metric_set" : "exception", "title" : "异常堆栈", "table_direction" : null, "group_by" : "", "filter" : "className=com.*.*.*.*.apm.alarm.service.impl.AviatorService^exceptionType=java.lang.ClassCastException^logType=sl4j_logback_error", "field_item_list" : [ { "trace" : null, "function" : "stackTrace", "as" : "异常堆栈", "default_value" : null, "precision" : null, "unit" : null, "visible" : true } ], "span_field" : null, "view_type" : "rawtable" } }
  • 响应示例 状态码: 200 OK,请求响应成功。 { "row_list" : [ { "header" : true, "cell_list" : [ { "span" : null, "trace" : null, "data_type" : "STRING", "function" : null, "span_field" : null, "precision" : null, "text" : "time", "unit" : null, "visible" : true }, { "span" : null, "trace" : null, "data_type" : "CLOB", "function" : null, "span_field" : null, "precision" : null, "text" : "异常堆栈", "unit" : null, "visible" : true } ], "filter" : null, "tx_id" : null }, { "header" : null, "cell_list" : [ { "span" : null, "trace" : null, "data_type" : null, "function" : null, "span_field" : null, "precision" : null, "text" : "2022-11-03 08:41:00", "unit" : null, "visible" : true }, { "span" : null, "trace" : null, "data_type" : null, "function" : null, "span_field" : null, "precision" : null, "text" : "6-973f4c1c78928bcf67d67dfaccc9d3a09f3cef97b2de70bd11f103a1af449b94", "unit" : null, "visible" : true } ], "filter" : null, "tx_id" : null } ], "latest_data_Time" : "2022-11-03 08:41:00", "table_direction" : "H", "result_id" : null, "real_start_time" : 1667435400000, "real_end_time" : 1667436600000 }
  • 响应参数 状态码: 200 表5 响应Body参数 参数 参数类型 描述 row_list Array of FrontRow objects 数据行。 latest_data_Time String 最近一笔数据的时间。 table_direction String 表格的方向,H:默认,表头横向,V:表头纵向。 枚举值: H V result_id String 上次请求id。 real_start_time Long 实际开始的时间,主要用于下一次调用,特别是分页调用的时候传的参数。 real_end_time Long 实际结束的时间。 表6 FrontRow 参数 参数类型 描述 cell_list Array of FrontCell objects 数据单元集合。 filter String 将group by的字段拼接成过滤字符串,用于后续点网格单击使用。 header Boolean 是否是header信息。 tx_id Long Url跟踪id。 表7 FrontCell 参数 参数类型 描述 data_type String 数据类型。 function String 函数。 trace Boolean 是否调用链。 span Boolean 是否是span信息,如果是就跳到调用链搜索页面。 span_field String span字段。 precision Integer 小数点位数。 text String 文本信息。 unit String 单位。 visible Boolean 是否可见。
  • 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 从IAM服务获取的用户Token。 x-business-id 是 Long 应用id。 表2 请求Body参数 参数 是否必选 参数类型 描述 last_row_id 否 String 上一次扫描的数据ID。 view_config 是 RawTableView object 原始数据表格视图。 page 是 Integer 当前页码。 page_size 是 Integer 每页数据总数。 order_by 否 String 排序。 search_word 否 String 搜索关键字。 instance_id 否 Long 实例id。 monitor_item_id 否 Long 监控项id。 env_id 是 Long 环境id。 start_time 是 String 开始时间。 end_time 是 String 结束时间。 表3 RawTableView 参数 是否必选 参数类型 描述 view_type 否 String 视图类型。 枚举值: trend sumtable rawtable collector_name 是 String 采集器名称。 metric_set 是 String 视图对应的指标集的名称。 title 是 String 图标所需展示的标题。 table_direction 是 String 表格的方向,H:默认,表头横向,V:表头纵向。 枚举值: H V group_by 是 String 分组规则。 filter 是 String 过滤列表模型。 field_item_list 是 Array of FieldItem objects 所需展示的字段列表模型集合。 span 是 Boolean 跨度。 span_field 是 String 跨度字段。 order_by 否 String 排序规则。 latest 否 Boolean 是否只展示最近一笔数据。 表4 FieldItem 参数 是否必选 参数类型 描述 function 是 String 表达式。 as 否 String 作为。 default_value 否 String 默认值。 trace 否 Boolean 是否是trace。 precision 否 Integer 百分比。 unit 否 String 单位。 visible 否 Boolean 是否可见。
  • 查询应用列表 接口相关信息 URI格式:GET /v1/apm2/openapi/cmdb/business/get-business-list 请求示例 GET https://{APM_endpoint}/v1/apm2/openapi/cmdb/business/get-business-list {APM_endpoint}信息请从地区和终端节点获取。 响应示例 { "business_nodes" : [ { "default" : true, "id" : 2, "gmt_create" : null, "gmt_modify" : null, "name" : "apm", "display_name" : "apm", "is_default" : true, "inner_domain_id" : 1, "eps_id" : "**********" } ] }
  • 请求示例 分页查询region ID为xxx-roma-2,应用ID为162,指定起止时间的span数据。 /v1/apm2/openapi/view/trace/span-search { "region" : "xxx-roma-2", "biz_id" : 162, "page" : 1, "page_size" : 15, "start_time_string" : "2022-10-25 10:03:16", "end_time_string" : "2022-10-25 10:23:16", "codes" : [ ] }
  • 响应示例 状态码: 200 OK,请求响应成功。 { "total" : 2, "span_info_list" : [ { "async" : false, "global_trace_id" : "16-1666684411910-1326", "global_path" : null, "trace_id" : "16-1666684411910-1326", "span_id" : "1", "env_id" : 11, "instance_id" : 16, "app_id" : 11, "biz_id" : 162, "domain_id" : 1, "source" : "/apm2/health/v1/health-check", "real_source" : "/apm2/health/v1/health-check", "start_time" : 1666684411910, "time_used" : 1, "code" : 200, "class_name" : "org/apache/catalina/core/StandardHostValve", "is_async" : false, "tags" : { }, "has_error" : false, "error_reasons" : null, "type" : "Tomcat", "http_method" : "GET", "estimated_start_time" : null, "estimated_end_time" : null, "biz_code" : null, "env_name" : "xxx-roma-2", "instance_name" : "apm2-apm-pu-task-6b5bbfc84d-gtrrs(172.16.3.7)", "app_name" : "apm-pu-task", "region" : "xxx-roma-2" }, { "async" : false, "global_trace_id" : "15-1666684400114-1332", "global_path" : null, "trace_id" : "15-1666684400114-1332", "span_id" : "1", "env_id" : 11, "instance_id" : 15, "app_id" : 11, "biz_id" : 162, "domain_id" : 1, "source" : "/apm2/health/v1/health-check", "real_source" : "/apm2/health/v1/health-check", "start_time" : 1666684400114, "time_used" : 0, "code" : 200, "class_name" : "org/apache/catalina/core/StandardHostValve", "is_async" : false, "tags" : { }, "has_error" : false, "error_reasons" : null, "type" : "Tomcat", "http_method" : "GET", "estimated_start_time" : null, "estimated_end_time" : null, "biz_code" : null, "env_name" : "xxx-roma-2", "instance_name" : "apm2-apm-pu-task-6b5bbfc84d-rxlhr(*.*.*.*)", "app_name" : "apm-pu-task", "region" : "xxx-roma-2" } ] }
  • 验证作业运行效果 登录任一节点(该节点需与边缘节点网络互通),安装mosquitto软件。 mosquitto软件的下载请参见https://mosquitto.org/download/。 执行如下命令订阅数据。 mosquitto_sub -h 127.0.0.1 -t abcd abcd为作业中定义的topic名称。 打开一个新的窗口,执行如下命令发布数据。 mosquitto_pub -h 127.0.0.1 -t abcd -m '{"student":{"score":90,"name":"1bc2"}}' abcd为作业中定义的topic名称。 数据发布后,在2中订阅就能收到对应的数据。
  • 参数说明 表1 参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 table_name Database中的表名,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 匹配规则为:^(?!_)(?![0-9]+$)[A-Za-z0-9_$]*$,如果特殊字符需要使用单引号('')包围起来。 partition_specs 分区信息,key=value形式,key为分区字段,value为分区值。若分区字段为多个字段,可以不包含所有的字段,会显示匹配上的所有分区信息。
  • 边云协同 实践 描述 智能园区人脸检测 通常园区视频功能主要集中在存储和查看,视频分析和态势感知能力较弱。通过使用智能边缘平台与视频分析服务(VAS),提升视频分析和感知能力,实现智慧园区人脸识别检测功能。本最佳实践提供了全面的智能园区人脸检测搭建教程,包括环境准备、IEF服务配置和下发人脸检测算法。 工业IoT边缘实时流分析 终端设备可以产生大量的数据,为了减少数据上云的数据量或提高数据处理实时性,有时需要在靠近数据产生的地方对其进行分析处理。智能边缘平台可以和数据湖探索服务(DLI)结合,通过在边缘节点上部署系统提供的流计算应用,将实时流计算能力从云端延伸到边缘。然后通过数据湖探索服务编辑流处理作业并下发到边缘执行,可以帮助您在边缘快速实现对流数据的实时、快速、准确地分析处理。
  • 安全接入 实践 描述 通过专线或VPN连接IEF 线下边缘节点无法通过公网访问IEF时,可以选择通过云专线(DC)或VPN连接华为云VPC,然后通过VPC终端节点在VPC提供私密安全的通道连接IEF,从而使得线下边缘节点在无法访问公网时连接IEF。 使用开源C语言库连接MQTT Broker MQTT是一种发布/订阅模式的消息协议,能够在硬件性能低下的远程设备以及网络状况糟糕的情况下工作。 本最佳实践介绍一种开源的C语言库Eclipse Paho C Client Library连接使用IEF的内置MQTT Broker。
  • 索引状态介绍 索引状态反映了索引当前的使用情况,全局二级索引支持以下五种状态: ACTIVE:索引正常,可以正常读写。 UNUSABLE:索引被禁用,索引数据会正常写入,查询时无法使用这个索引。 INACTIVE:索引异常,索引数据与数据表不一致,跳过生成这个索引的索引数据,查询数据时无法使用这个索引。 BUILDING:索引数据正常批量生成,索引数据生成工具执行结束会自动转换到ACTIVE状态,此状态下可以正常读写。 DROPPING:索引正在被删除,跳过生成这个索引的索引数据,查询数据时无法使用这个索引。 基于工具的索引状态修改,支持图1所示的状态转换。 图1 索引状态转换图
  • Doris修改参数步骤 登录CloudTable管理控制台。 单击管理控制台左上角的,选择区域。 在左侧导航栏中,单击“集群管理”。 在集群列表中找到所需要的集群,单击集群名称,进入“参数配置”页面。 在“参数配置”中单击“参数配置”页签,对Doris参数进行修改。 选择修改的节点(FE、BE节点)后,选中需要修改的参数,在“参数值”列单击。 在修改框中输入新值,单击,系统提示“参数修改为' xx '成功,请保存本次修改值”,并且修改的参数值后显示红色*。 如果单击,则取消修改。 图1 修改参数 单击参数列表左上方的“保存修改”,弹出“保存修改”对话框。 在“保存修改”对话框中,确认参数修改信息正确后,然后单击“确定”。 图2 保存修改 单击确定后,在单击右上角的刷新按钮,如果参数表状态显示“已生效”,集群不用重启。如果显示“未生效”,用户需要手动重启集群才能使修改的参数生效。 单击参数配置页签左上角的重启按钮,集群重启。 图3 静态参数修改图 静态参数修改完成后,需要手动重启集群,参数才能生效。动态参数修改后生效,不用重启集群。 图4 重启 如果修改的参数值不正确,可以在“保存修改”对话框中单击“一键还原”,取消修改参数值。 参数修改完成后,可以单击“修改历史”页签查看参数修改的历史。“修改历史”页面中显示如下信息。 表1 参数说明 参数 参数说明 参数名 被修改过的参数名。 旧值 修改前的参数值。 新值 修改后的参数值。 修改时间 记录用户修改参数值的时间。
  • BE节点参数说明 表4 BE节点参数说明 参数名 参数值 静态参数 参数类型 状态 单位 参数范围 参考缺省值 参数描述 max_consumer_num_per_grou 3 是 int 未更改 - (0,10) 3 一个数据消费者组中的最大消费者数量,用于routine load。 clone_worker_count 3 是 int 未更改 - (0,10) 3 用于执行克隆任务的线程数,其值影响副本均衡的速度。在磁盘压力不大的情况下,可以通过调整该参数来加快副本均衡。
  • Kerberos介绍 Hadoop社区版本提供两种认证方式Kerberos认证(安全模式)和Simple认证(普通模式),在创建集群时,MRS支持配置是否启用Kerberos认证。 在安全模式下MRS集群统一使用Kerberos认证协议进行安全认证。 功能 使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听、防止replay攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。 使用前提 需要Kerberos客户端、keytab路径、Kerberos认证用户名称、客户端配置krb5.conf文件。 原理结构图 Kerberos原理架构图如下图所示,详细介绍请参见MRS服务的安全认证原理以及认证机制章节。 图1 原理架构图 表1 参数说明 参数 说明 Application Client 应用客户端,通常是需要提交任务(或者作业)的应用程序。 Application Server 应用服务端,通常是应用客户端需要访问的应用程序。 Kerberos 提供安全认证的服务。 KerberosAdmin 提供认证用户管理的进程。 KerberosServer 提供认证票据分发的进程。
  • 背景 许多客户的Hive表数据在OBS或HDFS上,需要Doris对接Hive外表,且Hive集群分为安全集群与非安全集群,所以可以使用以下4种方式进行数据查询: 使用catalog连接非安全认证hive on hdfs。 使用catalog连接kerberos安全认证hive on hdfs。 使用catalog连接非安全认证hive on obs。 使用catalog连接kerberos安全认证hive on obs。
  • 查看HBase集群基本信息 集群创建完成后,可对集群进行监控和管理。在CloudTable管理控制台单击集群管理,在集群列表中找到所要查看的集群并单击集群名称,进入集群基本信息页面,用户可查看集群信息和集群的网络配置。 集群基本信息参数说明如表1和表2所示。 表1 集群信息 参数 参数说明 集群名称 集群的名称,创建集群时设置。 集群ID 集群的ID。 集群状态 集群状态信息。 已使用存储容量(GB) 显示已经使用的存储容量。 RS单元数量 显示RegionServer单元的个数。 存储配额(GB) 显示集群的存储容量大小。 计费模式 显示集群的计费模式。 集群版本 集群内核版本。 创建时间 显示集群创建的时间。 企业项目 企业项目管理帮助您将相关的资源(如具有相同使用用途的资源)集中在一起,按企业项目的方式来管理云资源。 说明: 当企业业务发生变化,原用户不再拥有企业项目的使用权限时,可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后,该用户将无法管理该企业项目,如需再次使用,需要重新给该用户关联企业项目。 ZK链接地址(内网) Zookeeper地址。 用户可以单击,将ZK链接地址复制到剪切板。 热存储已使用容量 集群开启冷热分离高级特性,热数据的存储容量。 冷存储已使用容量 集群开启冷热分离高级特性,冷数据的存储容量。 数据库引擎 HBase。 表2 网络配置 参数 参数说明 区域 集群的工作区域,在创建集群时设置。 可用区 显示创建集群时所选择的可用区信息。 虚拟私有云 VPC信息,创建集群时所选。 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 子网 子网信息,创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 安全组 显示创建集群时所选择的安全组信息。 表3 Master节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U16G。 8U16G。 8U32G。 16U32G。 16U64G。 32U64G。 存储规格 默认超高IO。 节点数量 默认2个master节点。 表4 Core节点配置 参数 参数说明 计算节点 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U16G。 8U16G。 8U32G。 16U32G。 16U64G。 32U64G。 存储规格 选择HBase计算节点的磁盘规格、容量。 说明: 支持的存储规格: 普通IO。 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为400~30000GB/节点。 节点数量 选择集群中的节点个数,节点范围2~20。 父主题: 管理集群
共100000条