所谓流式处理技术,是针对流式数据的一种分布式、高可用、低延时、具有自身容错性的实时计算技术。它是根据一组处理规则来工作的工具。通过提取和分析来自各个系统的信息,解决企业监控和管理的各种问题。
目前,主流的流数据处理技术主要有Storm、Spark、Streaming等,它们的基本原理是类似的,均对来自各个系统的高频度事件流进行分析,根据既定的一些分析规则,对每个独立事件进行处理分析,计算得出所需要的服务信息,用于时效要求的服务场景。
典型的流数据处理系统设计思路如图12-3所示。