华为云用户手册

2019-11-06 镜像版本 镜像说明 更新内容 Debian 镜像名称： Debian 10.0.0 64bit Debian 8.8.0 64bit Debian 8.2.0 64bit 升级系统内核版本，修复安全漏洞 优化Debian 10.0.0内核参数配置 内核版本： Debian 10：4.19.0-6-amd64 Debian 8：3.16.0-10-amd64 发布区域：所有 Fedora 镜像名称：Fedora 30 64bit 升级系统内核版本，修复安全漏洞 优化内核参数配置 内核版本：5.3.7-200.fc30.x86_64 发布区域：所有 openSUSE 镜像名称：openSUSE 15.0 64bit 升级系统内核版本，修复安全漏洞 内核版本：4.12.14-1p150.12.79-default 发布区域：所有

2020-04-24 镜像版本 镜像说明 更新内容 Debian 镜像名称： Debian 9.0.0 64bit Debian 10.0.0 64bit 升级系统内核版本，修复安全漏洞 更新一键式重置密码插件 更新HSS插件 优化串口相关的内核参数 禁用ntp服务，启用chrony服务 内核版本： Debian 10：4.19.0-8-amd64 Debian 9：4.9.0-12-amd64 发布区域：所有 Ubuntu 镜像名称： Ubuntu 18.04 64bit Ubuntu 16.04 64bit 升级系统内核版本，修复安全漏洞 更新一键式重置密码插件 更新HSS插件 优化串口相关的内核参数 禁用ntp服务，启用chrony服务 内核版本： Ubuntu 18：4.15.0-91-generic Ubuntu 16：4.4.0-176-generic 发布区域：所有 EulerOS 镜像名称： EulerOS 2.5 64bit EulerOS 2.3 64bit EulerOS 2.2 64bit 升级系统内核版本，修复安全漏洞 更新一键式重置密码插件 更新HSS插件 优化串口相关的内核参数 禁用ntp服务，启用chrony服务 内核版本： EulerOS 2.2：3.10.0-327.62.59.83.h195.x86_64 EulerOS 2.3：3.10.0-514.44.5.10.h234.x86_64 EulerOS 2.5：3.10.0-862.14.1.5.h428.eulerosv2r7.x86_64 发布区域：所有 openSUSE 镜像名称：openSUSE 15.0 64bit 升级系统内核版本，修复安全漏洞 更新一键式重置密码插件 更新HSS插件 优化串口相关的内核参数 禁用ntp服务，启用chrony服务 内核版本：4.12.14-lp150.12.82-default 发布区域：所有 Fedora 镜像名称：Fedora 30 64bit 升级系统内核版本，修复安全漏洞 更新一键式重置密码插件 更新HSS插件 优化串口相关的内核参数 禁用ntp服务，启用chrony服务 内核版本：5.5.10-100.fc30.x86_64 发布区域：所有

2019-12-13 镜像版本 镜像说明 更新内容 Windows Server 2012 R2 镜像名称： Windows Server 2012 R2 标准版 Windows Server 2012 R2 数据中心版 更新系统补丁 更新HSS插件 发布区域：所有 Windows Server 2016 镜像名称： Windows Server 2016 标准版 Windows Server 2016 数据中心版 发布区域：所有 Windows Server 2019 镜像名称：Windows Server 2019 数据中心版 更新系统补丁 更新HSS插件 发布区域：所有 Windows Server 2008 R2 镜像名称： Windows Server 2008 R2 标准版 Windows Server 2008 R2 数据中心版 Windows Server 2008 R2 企业版 Windows Server 2008 Web版 更新系统补丁 更新HSS插件 发布区域：所有

2019-10-15 镜像版本 镜像说明 更新内容 Debian 镜像名称： Debian 9.0.0 64bit Debian 8.8.0 64bit Debian 8.2.0 64bit 更新系统补丁，修复安全漏洞 升级Debian 9.0.0的内核版本 更新网卡多队列插件 优化内核参数配置 内核版本： Debian 9：4.9.0-11-amd64 Debian 8：3.16.0-9-amd64 发布区域：所有 Fedora 镜像名称：Fedora 29 64bit 升级系统内核版本，修复安全漏洞 更新网卡多队列插件 优化内核参数配置 内核版本：5.1.11-200.fc29.x86_64 发布区域：所有 openSUSE 镜像名称：openSUSE 15.0 64bit 升级系统内核版本，修复安全漏洞 更新网卡多队列插件 优化内核参数配置 内核版本：4.12.14-1p150.12.64-default 发布区域：所有 Ubuntu 镜像名称： Ubuntu 18.04 64bit Ubuntu 16.04 64bit 升级系统内核版本，修复安全漏洞 更新网卡多队列插件 优化内核参数配置 内核版本： Ubuntu 18.04：4.15.0-65-generic Ubuntu 16.04：4.4.0-165-generic 发布区域：所有

2020-07-23 镜像版本 镜像说明 更新内容 Windows Server 2012 R2 镜像名称： Windows Server 2012 R2 标准版 Windows Server 2012 R2 数据中心版 更新系统补丁 更新HSS插件 更新一键式重置密码插件 删除自动初始化磁盘脚本任务 发布区域：所有 Windows Server 2016 镜像名称： Windows Server 2016 标准版 Windows Server 2016 数据中心版 发布区域：所有 Windows Server 2019 镜像名称：Windows Server 2019 数据中心版 发布区域：所有

2021-05-21 镜像版本 镜像说明 更新内容 CentOS 镜像名称： CentOS 7.2 64bit CentOS 7.3 64bit CentOS 7.4 64bit CentOS 7.5 64bit CentOS 7.6 64bit CentOS 8.0 64bit CentOS 8.1 64bit CentOS 8.2 64bit 升级系统内核版本，修复安全漏洞 安装/更新hss插件 更新一键密码重置插件 优化repo源配置 修复sudo漏洞 内核版本： CentOS 7：3.10.0-1160.15.2.el7.x86_64 CentOS 8：4.18.0-240.10.1.el8_3.x86_64 发布区域：所有 Ubuntu 镜像名称： Ubuntu 16.04 server 64bit Ubuntu 18.04 server 64bit 升级系统内核版本，修复安全漏洞 安装/更新hss插件 更新一键密码重置插件 优化repo源配置 修复sudo漏洞 内核版本： Ubuntu 16.04：4.4.0-201-generic Ubuntu 18.04：4.15.0-136-generic 发布区域：所有 Debian 镜像名称： Debian 9.0.0 64bit Debian 10.0.0 64bit 升级系统内核版本，修复安全漏洞 安装/更新hss插件 更新一键密码重置插件 优化repo源配置 修复sudo漏洞 内核版本： Debian 9： 4.9.0-14-amd64 Debian 10：4.19.0-14-amd64 发布区域：所有 EulerOS 镜像名称： EulerOS 2.5 64bit EulerOS 2.2 64bit 升级系统内核版本，修复安全漏洞 安装/更新hss插件 更新一键密码重置插件 优化repo源配置 修复sudo漏洞 内核版本： EulerOS 2.5：3.10.0-862.14.1.5.h520 EulerOS 2.2：3.10.0-327.62.59.83.h255 发布区域：所有

2020-12-25 镜像版本 镜像说明 更新内容 CentOS 镜像名称： CentOS 8.1 64bit CentOS 8.2 64bit 发布上线 内核版本：4.18.0-240.1.1.el8_3.x86_64 发布区域：所有 CentOS 镜像名称： CentOS 7.2 64bit CentOS 7.3 64bit CentOS 7.4 64bit CentOS 7.5 64bit CentOS 7.6 64bit CentOS 8.0 64bit 升级系统内核版本，修复安全漏洞 安装/更新uniagent插件 更新cloudinit版本为19.1 优化resolv.conf配置 内核版本： CentOS 7: 3.10.0-1160.6.1.el7.x86_64 CentOS 8: 4.18.0-240.1.1.el8_3.x86_64 发布区域：所有 Ubuntu 镜像名称： Ubuntu 16.04 server 64bit Ubuntu 18.04 server 64bit Ubuntu 20.04 server 64bit 升级系统内核版本，修复安全漏洞 安装/更新uniagent插件 更新cloudinit版本为19.1 优化resolv.conf配置 内核版本： Ubuntu 16.04: 4.4.0-197-generic Ubuntu 18.04: 4.15.0-128-generic Ubuntu 20.04: 5.4.0-58-generic 发布区域：所有

2020-04-30 镜像版本 镜像说明 更新内容 CentOS 镜像名称： CentOS 6.5 64bit CentOS 6.8 64bit CentOS 6.9 64bit CentOS 6.10 64bit CentOS 7.2 64bit CentOS 7.3 64bit CentOS 7.4 64bit CentOS 7.5 64bit CentOS 7.6 64bit 升级系统内核版本，修复安全漏洞 更新一键式重置密码插件 更新HSS插件 优化串口相关的内核参数 禁用ntp服务，启用chrony服务 内核版本： CentOS 6：2.6.32-754.27.1.el6.x86_64 CentOS 7：3.10.0-1062.12.1.el7.x86_64 发布区域：所有

2022-03-22 镜像版本 镜像说明 更新内容 CentOS 镜像名称： CentOS 6.10 64bit CentOS 7.2 64bit CentOS 7.3 64bit CentOS 7.4 64bit CentOS 7.5 64bit CentOS 7.6 64bit CentOS 7.7 64bit CentOS 7.8 64bit CentOS 7.9 64bit CentOS 8.0 64bit CentOS 8.1 64bit CentOS 8.2 64bit 升级系统内核版本，修复安全漏洞 更新一键密码重置插件 内核版本： CentOS 6：2.6.32-754.35.1.el6.x86_64 CentOS 7：3.10.0-1160.53.1.el7.x86_64 CentOS 8：4.18.0-348.7.1.el8_5.x86_64 发布区域：所有 Ubuntu 镜像名称： Ubuntu 16.04 server 64bit Ubuntu 18.04 server 64bit Ubuntu 20.04 server 64bit 升级系统内核版本，修复安全漏洞 更新一键密码重置插件 内核版本： Ubuntu 16.04：4.4.0-210-generic Ubuntu 18.04：4.15.0-167-generic Ubuntu 20.04：5.4.0-99-generic 发布区域：所有 Debian 镜像名称： Debian 9.0.0 64bit Debian 10.0.0 64bit 升级系统内核版本，修复安全漏洞 更新一键密码重置插件 内核版本： Debian 9： 4.9.0-17-amd64 Debian 10：4.19.0-18-amd64 发布区域：所有 EulerOS 镜像名称： EulerOS 2.5 64bit 升级系统内核版本，修复安全漏洞 更新一键密码重置插件 内核版本： EulerOS 2.5：3.10.0-862.14.1.5.h654.eulerosv2r7.x86_64 发布区域：所有

2023-06-15 镜像版本 镜像说明 更新内容 Huawei Cloud EulerOS 2.0 镜像名称： Huawei Cloud EulerOS 2.0 标准版 64位 升级系统内核版本，修复安全漏洞 删除kernel.unknown_nmi_panic内核参数 更新一键密码插件版本 内核版本： 5.10.0-60.18.0.50.r865_35.hce2.x86_64 发布区域：所有区域 Huawei Cloud EulerOS 2.0 镜像名称： Huawei Cloud EulerOS 2.0等保2.0三级版 64位 升级系统内核版本，修复安全漏洞 删除kernel.unknown_nmi_panic内核参数 更新一键密码插件版本 内核版本：5.10.0-60.18.0.50.r865_35.hce2.x86_64 发布区域：所有区域

2023-07-29 镜像版本 镜像说明 更新内容 CentOS 镜像名称： CentOS 7.4 64bit CentOS 7.5 64bit CentOS 7.6 64bit CentOS 7.7 64bit CentOS 7.8 64bit CentOS 7.9 64bit 升级系统内核版本，修复安全漏洞 删除kernel.unknown_nmi_panic内核参数 更新一键密码插件版本 内核版本： CentOS 7: 3.10.0-1160.92.1.el7.x86_64 发布区域：所有区域 Ubuntu 镜像名称： Ubuntu 16.04 server 64bit Ubuntu 18.04 server 64bit Ubuntu 20.04 server 64bit Ubuntu 22.04 server 64bit 升级系统内核版本，修复安全漏洞 删除kernel.unknown_nmi_panic内核参数 更新一键密码插件版本 内核版本： Ubuntu 16.04：4.4.0-210-generic Ubuntu 18.04：4.15.0-213-generic Ubuntu 20.04：5.4.0-153-generic Ubuntu 22.04：5.15.0-76-generic 发布区域：所有区域 EulerOS 镜像名称： EulerOS 2.5 64bit 升级系统内核版本，修复安全漏洞 删除kernel.unknown_nmi_panic内核参数 更新一键密码插件版本 内核版本： EulerOS 2.5：3.10.0-862.14.1.5.757.eulerosv2r7.x86_64 发布区域：所有

2023-08-23 镜像版本 镜像说明 更新内容 Debian 镜像名称： Debian 11.1.0 64bit Debian 10.0.0 64 bit 升级系统内核版本，修复安全漏洞 删除kernel.unknown_nmi_panic内核参数 更新一键密码插件版本 内核版本： Debian 11.1.0：5.10.0-23-amd64 Debian 10.0.0：4.19.0-25-amd64 发布区域：所有区域 Rocky Linux 镜像名称： Rocky Linux 9.0 64bit Rocky Linux 8.5 64bit Rocky Linux 8.4 64bit 升级系统内核版本，修复安全漏洞 删除kernel.unknown_nmi_panic内核参数 更新一键密码插件版本 内核版本： Rocky 9.0：5.14.0-284.25.1.el9_2.x86_64 Rocky 8.5：4.18.0-477.15.1.el8_8.x86_64 Rocky 8.4：4.18.0-477.15.1.el8_8.x86_64 发布区域：所有区域 AlmaLinux 镜像名称： AlmaLinux 9.0 64bit AlmaLinux 8.4 64bit AlmaLinux 8.3 64bit 升级系统内核版本，修复安全漏洞 删除kernel.unknown_nmi_panic内核参数 更新一键密码插件版本 内核版本： AlmaLinux 9.0：5.14.0-284.25.1.el9_2.x86_64 AlmaLinux 8.4：4.18.0-477.21.1.el8_8.x86_64 AlmaLinux 8.3：4.18.0-477.21.1.el8_8.x86_64 发布区域：所有区域 CentOS 镜像名称： CentOS 8.0 64bit CentOS 8.1 64bit CentOS 8.2 64bit 删除kernel.unknown_nmi_panic内核参数 更新一键密码插件版本 内核版本： CentOS 8.0: 4.18.0-348.7.1.el8_5.x86_64 CentOS 8.1: 4.18.0-348.7.1.el8_5.x86_64 CentOS 8.2: 4.18.0-348.7.1.e18_5.x86_64 发布区域：所有区域

2022-07-15 镜像版本 镜像说明 更新内容 Huawei Cloud EulerOS 2.0 镜像名称： Huawei Cloud EulerOS 2.0 标准版 64位 第一次正式发布 内核版本： 5.10.0-60.18.0.50.h322_1.hce2.x86_64 发布区域：所有区域 Huawei Cloud EulerOS 2.0 镜像名称： Huawei Cloud EulerOS 2.0等保2.0三级版 64位 第一次正式发布 该镜像是根据《GB/T22239-2019信息安全技术网络安全等级保护基本要求》进行等保加固的镜像，您使用本镜像无需额外配置即可满足以下等保合规要求： 身份鉴别 访问控制 安全审计 入侵防范 恶意代码防范 内核版本：5.10.0-60.18.0.50.h322_1.hce2.x86_64 发布区域：所有区域 Huawei Cloud EulerOS 1.1 镜像名称： Huawei Cloud EulerOS 1.1 CentOS兼容版 64位 第一次正式发布 内核版本： 3.10.0-1160.66.1.hce1c.x86_64 5.10.0-60.18.0.50.h322_1.hce2.x86_64（默认内核） 发布区域：新加坡

2024-04-18 镜像版本 镜像说明 更新内容 CentOS 镜像名称： CentOS 7.4 64bit CentOS 7.5 64bit CentOS 7.6 64bit CentOS 7.7 64bit CentOS 7.8 64bit CentOS 7.9 64bit 升级系统内核版本，修复安全漏洞 更新一键密码插件、CES等插件版本 内核版本： CentOS 7: 3.10.0-1160.108.1.el7.x86_64 发布区域：所有区域 Ubuntu 镜像名称： Ubuntu 20.04 server 64bit Ubuntu 22.04 server 64bit 升级系统内核版本，修复安全漏洞 更新一键密码插件、CES等插件版本 内核版本： Ubuntu 20.04：5.4.0-170-generic Ubuntu 22.04：5.15.0-92-generic 发布区域：所有区域 Huawei Cloud EulerOS 2.0 镜像名称： Huawei Cloud EulerOS 2.0 标准版 64位 升级系统内核版本，修复安全漏洞 更新一键密码插件、CES等插件版本 内核版本： 5.10.0-60.18.0.50.r1083_58.hce2.x86_64 发布区域：所有区域 Huawei Cloud EulerOS 2.0 镜像名称： Huawei Cloud EulerOS 2.0等保2.0三级版 64位 升级系统内核版本，修复安全漏洞 更新一键密码插件、CES等插件版本 内核版本： 5.10.0-60.18.0.50.r1083_58.hce2.x86_64 发布区域：所有区域

2024-05-31 镜像版本 镜像说明 更新内容 Debian 镜像名称： Debian 11.1.0 64bit Debian 10.0.0 64 bit 升级系统内核版本，修复安全漏洞 更新一键密码插件、CES等插件版本 内核版本： Debian 11.1.0：5.10.0-28-amd64 Debian 10.0.0：4.19.0-26-amd64 发布区域：所有区域 Rocky Linux 镜像名称： Rocky Linux 9.0 64bit Rocky Linux 8.5 64bit Rocky Linux 8.4 64bit 升级系统内核版本，修复安全漏洞 更新一键密码插件、CES等插件版本 内核版本： Rocky 9.0：5.14.0-362.24.1.el9_3.x86_64 Rocky 8.5：4.18.0-513.18.1.el8_9.x86_64 Rocky 8.4：4.18.0-513.18.1.el8_9.x86_64 发布区域：所有区域 AlmaLinux 镜像名称： AlmaLinux 9.0 64bit AlmaLinux 8.4 64bit AlmaLinux 8.3 64bit 升级系统内核版本，修复安全漏洞 更新一键密码插件、CES等插件版本 内核版本： AlmaLinux 9.0：5.14.0-362.18.1.el9_3.x86_64 AlmaLinux 8.4：4.18.0-513.18.1.el8_9.x86_64 AlmaLinux 8.3：4.18.0-513.18.1.el8_9.x86_64 发布区域：所有区域 CentOS Stream 镜像名称： CentOS Stream 8 64bit CentOS Stream 9 64bit 升级系统内核版本，修复安全漏洞 更新一键密码插件、CES等插件版本 内核版本： CentOS Stream 8 64bit: 4.18.0-544.el8.x86_64 CentOS Stream 9 64bit：5.14.0-437.el9.x86_64 发布区域：所有区域

样例代码 代码认证 以下代码在“hbase-thrift-example”样例工程的“com.huawei.bigdata.hbase.examples”包的“TestMain”类中。 private static void init() throws IOException { // Default load from conf directory conf = HBaseConfiguration.create(); String userdir = TestMain.class.getClassLoader().getResource("conf").getPath() + File.separator;[1] //In Linux environment //String userdir = System.getProperty("user.dir") + File.separator + "conf" + File.separator; conf.addResource(new Path(userdir + "core-site.xml"), false); conf.addResource(new Path(userdir + "hdfs-site.xml"), false); conf.addResource(new Path(userdir + "hbase-site.xml"), false); } [1]userdir获取的是编译后资源路径下conf目录的路径。初始化配置用到的core-site.xml、hdfs-site.xml、hbase-site.xml文件和用于安全认证的用户凭证文件，需要放置到"src/main/resources/conf"的目录下。 安全登录 请根据实际情况，修改“userName”为实际用户名，例如“developuser”。 private static void login() throws IOException { if (User.isHBaseSecurityEnabled(conf)) { userName = " developuser "; //In Windows environment String userdir = TestMain.class.getClassLoader().getResource("conf").getPath() + File.separator; //In Linux environment //String userdir = System.getProperty("user.dir") + File.separator + "conf" + File.separator; userKeytabFile = userdir + "user.keytab"; krb5File = userdir + "krb5.conf"; /* * if need to connect zk, please provide jaas info about zk. of course, * you can do it as below: * System.setProperty("java.security.auth.login.config", confDirPath + * "jaas.conf"); but the demo can help you more : Note: if this process * will connect more than one zk cluster, the demo may be not proper. you * can contact us for more help */ LoginUtil.setJaasConf(ZOOKEEPER_DEFAULT_LOGIN_CONTEXT_NAME, userName, userKeytabFile); LoginUtil.login(userName, userKeytabFile, krb5File, conf); } } 连接ThriftServer实例 try { test = new ThriftSample(); test.test("10.120.16.170", THRIFT_PORT, conf);[2] } catch (TException | IOException e) { LOG.error("Test thrift error", e); } [2]test.test()传入参数为待访问的ThriftServer实例所在节点ip地址，需根据实际运行集群情况进行修改，且该节点ip需要配置到运行样例代码的本机hosts文件中。 “THRIFT_PORT”为ThriftServer实例的配置参数"hbase.regionserver.thrift.port"对应的值。

操作场景 HBase把Thrift结合起来可以向外部应用提供HBase服务。在HBase服务安装时可选部署ThriftServer实例，ThriftServer系统可访问HBase的用户，拥有HBase所有NameSpace和表的读、写、执行、创建和管理的权限。访问ThriftServer服务同样需要进行Kerberos认证。HBase实现了两套Thrift Server服务，此处“hbase-thrift-example”为ThriftServer实例服务的调用实现。

ClickHouse应用开发流程介绍 开发流程中各阶段的说明如图1 ClickHouse应用程序开发流程和表1 ClickHouse应用开发的流程说明 所示。 图1 ClickHouse应用程序开发流程 表1 ClickHouse应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解ClickHouse的基本概念。 基本概念 准备开发和运行环境 ClickHouse的应用程序支持多种语言开发，主要为Java语言，推荐使用IntelliJ IDEA工具，请根据指导完成开发环境配置。 准备ClickHouse应用开发和运行环境 根据场景开发工程 提供样例工程，帮助用户快速了解ClickHouse各部件的编程接口。 导入并配置ClickHouse样例工程 运行程序及查询结果 用户可以直接通过运行结果查看应用程序运行情况。 在本地Windows环境中调测ClickHouse应用（MRS 3.3.0之前版本） 在Linux环境中调测ClickHouse应用（MRS 3.3.0之前版本） 父主题： ClickHouse开发指南（安全模式）

开发思路 数据准备。 创建三张表，雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended”。 雇员信息表“employees_info”的字段为雇员编号、姓名、支付薪水币种、薪水金额、缴税税种、工作地、入职时间，其中支付薪水币种“R”代表人民币，“D”代表美元。 雇员联络信息表“employees_contact”的字段为雇员编号、电话号码、e-mail。 雇员信息扩展表“employees_info_extended”的字段为雇员编号、姓名、电话号码、e-mail、支付薪水币种、薪水金额、缴税税种、工作地，分区字段为入职时间。 创建表代码实现请见创建Hive表。 加载雇员信息数据到雇员信息表“employees_info”中。 加载数据代码实现请见加载数据到Hive表中。 雇员信息数据如表1所示： 表1 雇员信息数据 编号 姓名 支付薪水币种 薪水金额 缴税税种 工作地 入职时间 1 Wang R 8000.01 personal income tax&0.05 Country1:City1 2014 3 Tom D 12000.02 personal income tax&0.09 Country2:City2 2014 4 Jack D 24000.03 personal income tax&0.09 Country3:City3 2014 6 Linda D 36000.04 personal income tax&0.09 Country4:City4 2014 8 Zhang R 9000.05 personal income tax&0.05 Country5:City5 2014 加载雇员联络信息数据到雇员联络信息表“employees_contact”中。 雇员联络信息数据如表2所示： 表2 雇员联络信息数据 编号 电话号码 e-mail 1 135 XXXX XXXX xxxx@xx.com 3 159 XXXX XXXX xxxxx@xx.com.cn 4 186 XXXX XXXX xxxx@xx.org 6 189 XXXX XXXX xxxx@xxx.cn 8 134 XXXX XXXX xxxx@xxxx.cn 数据分析。 数据分析代码实现，请见查询Hive表数据。 查看薪水支付币种为美元的雇员联系方式。 查询入职时间为2014年的雇员编号、姓名等字段，并将查询结果加载进表employees_info_extended中的入职时间为2014的分区中。 统计表employees_info中有多少条记录。 查询使用以“cn”结尾的邮箱的员工信息。 提交数据分析任务，统计表employees_info中有多少条记录。实现请参见Hive JDBC访问样例程序。

使用Python提交Flink普通作业 获取样例工程“flink-examples/pyflink-example/pyflink-kafka”中的“pyflink-kafka.py”和“insertData2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包，获取“venv.zip”文件。 zip -q -r venv.zip venv/ 以root用户登录主管理节点，将1和2获取的“venv.zip”、“pyflink-kafka.py”和“insertData2kafka.sql”文件上传至客户端环境。 per-job模式：将上述文件上传到“客户端安装目录/Flink/flink”。 yarn-application模式：将上述文件和“flink-connector-kafka-实际版本号.jar”包上传到“客户端安装目录/Flink/flink/yarnship”。 修改“pyflink-kafka.py”中的“specific_jars”路径。 per-job模式：修改为SQL文件的实际路径。如：file:///客户端安装目录/Flink/flink/lib/flink-connector-kafka-实际版本号.jar yarn-application模式：修改为：file://"+os.getcwd()+"/../../../../yarnship/flink-connector-kafka-实际版本号.jar 修改“pyflink-kafka.py”中的“file_path”路径。 per-job模式：修改为sql文件的实际路径。如：客户端安装目录/Flink/flink/insertData2kafka.sql yarn-application模式：修改为os.getcwd() + "/../../../../yarnship/insertData2kafka.sql" 执行以下命令指定运行环境。 export PYFLINK_CLIENT_EXECUTABLE=venv.zip/venv/bin/python3 执行以下命令运行程序。 per-job模式： ./bin/flink run --detached -t yarn-per-job -Dyarn.application.name=py_kafka -pyarch venv.zip -pyexec venv.zip/venv/bin/python3 -py pyflink-kafka.py 运行结果： yarn-application模式 ./bin/flink run-application --detached -t yarn-application -Dyarn.application.name=py_kafka -Dyarn.ship-files=/opt/client/Flink/flink/yarnship/ -pyarch yarnship/venv.zip -pyexec venv.zip/venv/bin/python3 -pyclientexec venv.zip/venv/bin/python3 -pyfs yarnship -pym pyflink-kafka 运行结果： 父主题： PyFlink样例程序

Manager应用开发流程 本文档主要基于Java API对Manager进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 Manager应用程序开发流程 表1 Manager应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解基本认证的基本概念，了解场景需求，设计表等。 Manager应用开发简介 准备开发和运行环境 Manager REST API的应用开发程序当前推荐使用Java语言进行开发，可使用IntelliJ IDEA工具。 准备Manager应用开发和运行环境 准备样例工程 Manager REST API提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。 配置并导入Manager样例工程 根据场景开发工程 提供了Java语言的样例工程，包含添加用户、查找用户、修改用户、删除用户，导出用户列表等典型应用场景。 开发Manager应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 在本地开发环境中调测Manager应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 查看Manager应用调测结果 父主题： Manager管理开发指南

功能简介 使用REST服务，传入对应host与port组成的url以及指定的Namespace，通过HTTP协议，对Namespace进行创建、查询、删除，获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储，若在创建表时不指定命名空间，则默认存储在“default”中。其中，“hbase”命名空间为系统表命名空间，请不要对该系统表命名空间进行业务建表或数据读写等操作。

样例代码 -- 从本地文件系统/opt/hive_examples_data/目录下将employee_info.txt加载进employees_info表中. ---- 用新数据覆盖原有数据 LOAD DATA LOCAL INPATH '/opt/hive_examples_data/employee_info.txt' OVERWRITE INTO TABLE employees_info; ---- 保留原有数据，将新数据追加到表中 LOAD DATA LOCAL INPATH '/opt/hive_examples_data/employee_info.txt' INTO TABLE employees_info; -- 从HDFS上/user/hive_examples_data/employee_info.txt加载进employees_info表中. ---- 用新数据覆盖原有数据 LOAD DATA INPATH '/user/hive_examples_data/employee_info.txt' OVERWRITE INTO TABLE employees_info; ---- 保留原有数据，将新数据追加到表中 LOAD DATA INPATH '/user/hive_examples_data/employee_info.txt' INTO TABLE employees_info; 加载数据的实质是将数据复制到HDFS上指定表的目录下。

HetuEngine应用开发流程介绍 开发流程中各阶段的说明如图1所示： 图1 HetuEngine应用程序开发流程 表1 HetuEngine应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解HetuEngine的基本概念，了解场景需求等。 HetuEngine基本概念 准备开发和运行环境 HetuEngine的应用程序支持使用任何语言调用JDBC接口进行开发，当前样例主要是java语言。推荐使用IDEA工具，请根据指导完成不同语言的开发环境配置。HetuEngine的运行环境即客户端，请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备工程 HetuEngine提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。或者您可以根据指导，新建一个HetuEngine工程。 导入并配置HetuEngine样例工程 根据场景开发工程 提供了Java语言的样例工程，包括连接HetuEngine、SQL语句执行、结果解析，断开连接等全流程的样例工程。 开发HetuEngine应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HetuEngine应用 查看程序运行结果 程序运行结果会根据结果解析部分的实现显示到期望显示的地方。 调测HetuEngine应用 父主题： HetuEngine开发指南（普通模式）

数据规划 在kafka中生成模拟数据（需要有Kafka权限用户）。 确保集群安装完成，包括安装HDFS、Yarn、Spark2x和Kafka服务。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka --replication-factor 1 --partitions 1 --topic {Topic} 启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中调测Spark应用章节中导出jar包的操作步骤。 java -cp $SPARK_HOME/conf:$SPARK_HOME/jars/*:$SPARK_HOME/jars/streamingClient010/*:{ClassPath} com.huawei.bigdata.spark.examples.KafkaProducer {brokerlist} {topic} {number of events produce every 0.02s} 示例： java -cp /opt/client/Spark2x/spark/conf:/opt/StructuredStreamingState-1.0.jar:/opt/client/Spark2x/spark/jars/*:/opt/client/Spark2x/spark/jars/streamingClient010/* com.huawei.bigdata.spark.examples.KafkaProducer xxx.xxx.xxx.xxx:21005,xxx.xxx.xxx.xxx:21005,xxx.xxx.xxx.xxx:21005 mytopic 10

数据规划 StructuredStreaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户）。 确保集群安装完成，包括HDFS、Yarn、Spark和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka --replication-factor 1 --partitions 1 --topic {Topic} 启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中调测Spark应用章节中导出jar包的操作步骤。 java -cp $SPARK_HOME/jars/*:$SPARK_HOME/jars/streamingClient010/*:{ClassPath} com.huawei.bigdata.spark.examples.KafkaWordCountProducer {BrokerList} {Topic} {messagesPerSec} {wordsPerMessage}

样例工程运行依赖包参考信息 Flink客户端lib目录、opt目录中都有flink jar包，其中lib目录中默认是flink核心jar包，opt目录中是对接外部组件的jar包（例如flink-connector-kafka*.jar）,若应用开发中需要请手动复制相关jar包到lib目录中。 针对Flink提供的几个样例工程，其对应的运行依赖包如下： 表1 样例工程运行依赖包 样例工程 依赖包 依赖包获取地址 DataStream程序 异步Checkpoint机制程序 flink-dist_*.jar 可在Flink的客户端或者服务端安装路径的lib目录下获取。 使用Flink Jar提交SQL作业程序 FlinkServer REST API程序 flink-dist_*.jar flink-table_*.jar 可在Flink的客户端或者服务端安装路径的lib目录下获取。 向Kafka生产并消费数据程序 kafka-clients-*.jar flink-connector-kafka_*.jar kafka-clients-*.jar由Kafka组件发布提供，可在Kafka组件客户端或者服务端安装路径下的lib目录下获取。 flink-connector-kafka_*.jar可在Flink客户端或者服务端安装路径的opt目录下获取。 pipeline程序 flink-connector-netty_*.jar flink-dist_*.jar flink-connector-netty_*.jar可在二次开发样例代码编译后产生的lib文件夹下获取。 flink-dist_*.jar可在Flink的客户端或者服务端安装路径的lib目录下获取。 Stream SQL Join程序 kafka-clients-*.jar flink-connector-kafka_*.jar flink-dist_*.jar flink-table_*.jar kafka-clients-*.jar由Kafka组件发布提供，可在Kafka组件客户端或者服务端安装路径下的lib目录下获取。 flink-connector-kafka_*.jar可在Flink客户端或者服务端安装路径的opt目录下获取。 flink-dist_*.jar、flink-table_*.jar可在Flink的客户端或者服务端安装路径的lib目录下获取。 Flink读写HBase程序 flink-connector-hbase*.jar flink-dist_*.jar flink-table_*.jar hbase-clients-*.jar flink-connector-hbase_*.jar可在Flink客户端或者服务端安装路径的opt目录下获取。 flink-dist_*.jar、flink-table_*.jar可在Flink的客户端或者服务端安装路径的lib目录下获取。 hbase-clients-*.jar由HBase组件发布提供，可在HBase组件客户端或者服务端安装路径下的lib目录下获取。 Flink读写Hudi程序 hbase-unsafe-*.jar 可在二次开发样例代码编译后产生的lib文件夹下获取。

准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装和配置IntelliJ IDEA 开发环境的基本配置，建议使用2019.1或其他兼容版本。 说明： 若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 若使用Open JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程 安装Maven 开发环境基本配置，用于项目管理，贯穿软件开发生命周期。 安装JDK 开发和运行环境的基本配置。版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端：Oracle JDK：支持1.8版本；IBM JDK：支持1.8.5.11版本。 TaiShan客户端：OpenJDK：支持1.8.0_272版本。 说明： 基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0，若使用IBM JDK，请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”，设置后可以同时支持TLS V1.0/V1.1/V1.2，详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls.html#matchsslcontext_tls。 7-zip 用于解压“*.zip”和“*.rar”文件。 支持7-Zip 16.04版本。

Flink Jar作业提交SQL样例程序（Java） 提交SQL的核心逻辑如下，目前只支持提交CREATE和INSERT语句。完整代码参见com.huawei.bigdata.flink.examples.FlinkSQLExecutor。 public class FlinkSQLExecutor { public static void main(String[] args) throws IOException { System.out.println("-------------------- begin init ----------------------"); final String sqlPath = ParameterTool.fromArgs(args).get("sql", "config/redisSink.sql"); final StreamExecutionEnvironment streamEnv = StreamExecutionEnvironment.getExecutionEnvironment(); EnvironmentSettings bsSettings = EnvironmentSettings.newInstance().inStreamingMode().build(); StreamTableEnvironment tableEnv = StreamTableEnvironment.create(streamEnv, bsSettings); StatementSet statementSet = tableEnv.createStatementSet(); String sqlStr = FileUtils.readFileToString(FileUtils.getFile(sqlPath), "utf-8"); String[] sqlArr = sqlStr.split(";"); for (String sql : sqlArr) { sql = sql.trim(); if (sql.toLowerCase(Locale.ROOT).startsWith("create")) { System.out.println("----------------------------------------------\nexecuteSql=\n" + sql); tableEnv.executeSql(sql); } else if (sql.toLowerCase(Locale.ROOT).startsWith("insert")) { System.out.println("----------------------------------------------\ninsert=\n" + sql); statementSet.addInsertSql(sql); } } System.out.println("---------------------- begin exec sql --------------------------"); statementSet.execute(); } } 需将当前样例需要的依赖包，即编译之后lib文件下面的jar包复制到客户端的lib文件夹内。 以对接普通模式Kafka提交SQL为例： create table kafka_sink ( uuid varchar(20), name varchar(10), age int, ts timestamp(3), p varchar(20) ) with ( 'connector' = 'kafka', 'topic' = 'input2', 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号', 'properties.group.id' = 'testGroup2', 'scan.startup.mode' = 'latest-offset', 'format' = 'json' ); create TABLE datagen_source ( uuid varchar(20), name varchar(10), age int, ts timestamp(3), p varchar(20) ) WITH ( 'connector' = 'datagen', 'rows-per-second' = '1' ); INSERT INTO kafka_sink SELECT * FROM datagen_source; 父主题： Flink Jar作业提交SQL样例程序

创建ClickHouse数据库 通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。 private void createDatabase(String databaseName, String clusterName) throws Exception { String createDbSql = "create database if not exists " + databaseName + " on cluster " + clusterName; util.exeSql(createDbSql); } 父主题： 开发ClickHouse应用