华为云计算 云知识 实时流计算服务的功能
实时流计算服务的功能

实时流计算服务 主要具有以下功能:

  • 丰富的StreamSQL在线分析能力

支持Window、Join等聚合函数、地理函数、CEP函数等,用SQL表达业务逻辑,简便快捷实现业务。详细内容请参见《实时流计算服务SQL语法参考》。

  • StreamingML

提供多种流式机器学习方法对数据进行实时分析与预测,用户仅需编写SQL调用相关函数便可实现数据统计,异常检测,实时聚类,时间序列分析等场景。详细内容请参见StreamingML。

  • 地理位置分析

提供地理位置分析函数对地理空间数据进行实时分析,用户仅需编写SQL便可实现例如偏航检测,电子围栏等地理分析场景。详细内容请参见地理函数。

  • CEP SQL

提供基于Match Recognize的模式匹配检测,帮助业务人员使用SQL实现基于复杂事件规则的异常检测业务。典型应用场景如欺诈检测、车辆异常行为检测、工业设备异常运行状态检测等。详细内容请参见CEP模式匹配。

提供多种图表类型实时展示作业数据输出,用户还可以通过API网关服务自由访问作业数据,接入自定义工作流中。详细内容请参见数据可视化。

  • 可视化SQL编辑器

实时流计算服务针对不太熟悉SQL的用户,提供了可视化编辑器功能,它将实时流计算服务需要对接的上下游服务(如DIS、CloudTable等)和内部逻辑算子(如filter、window等)封装成可拖拽的组件,用户只需要将其拖入画布中并用连线将各个元素连接,就能轻松的创建出一个作业的拓扑,再通过点击画布中的各个元素设置对应参数,就能轻松完成一个作业的编辑。详细内容请参见可视化编辑器。

  • 支持独享集群及其作业的资源配额

允许租户创建独享集群,独享集群与其他租户和共享集群是完全物理隔离的,不会受其他作业影响。租户可配置独享集群最大可使用SPU配额,并为其子用户分配可用的集群以及可使用的SPU配额。详细内容请参见集群管理。

  • 支持在线测试SQL作业

作业调试功能可以帮助用户校验SQL语句逻辑是否正确,通过用户的样例数据输入(支持手动输入和OBS输入两种方式)结合SQL逻辑快速输出样例结果,确保在作业正式运行时,逻辑处理正确。详细内容请参见调试作业。

  • 支持Flink和Spark自定义作业

允许用户在独享集群上提交Flink和Spark自定义作业。

  • 支持Spark streaming和Structured streaming

允许用户在独享集群上提交Spark streaming自定义作业。

  • 支持与多种云服务连通,形成丰富的流生态圈。

实时流计算服务的生态分为云服务生态和开源生态:

云服务生态:实时流计算服务在Stream SQL中支持与其他服务的连通。用户可以直接使用SQL从这些服务中读写数据,如DIS、OBS、CloudTable、MRS、RDS、 SMN 、DCS等。

开源生态:通过对等连接建立与其他VPC的网络连接后,用户可以在实时流计算服务的租户独享集群中访问所有Flink和Spark支持的数据源与输出源,如Kafka、Hbase、ElasticSearch等。

智能 边缘平台 (IEF)与实时流计算服务的结合,支持流处理云端管理,边缘侧运行,提供实时流处理能力。


上一篇:二进制代码相似度比较研究技术汇总 下一篇:工作负载Job/CronJob概述