[发明专利]基于海量实时互联网DPI数据的流式处理方法及系统

摘要

本发明提供了一种基于海量实时互联网DPI数据的流式处理方法，并包括如下步骤：接口协议层接收海量实时互联网DPI数据，并对所述DPI数据进行采集清洗过滤；Kafka集群接收来自所述接口协议层的DPI数据，并存放在对应Topics的具体分区中；Storm集群间隔设定的时间去所述Kafka集群的Topics中去获取所述DPI数据，且对应的处理单元Topology对这些数据进行相应的预处理，并将预处理后的结果数据输出到所述Kafka集群对应的Topics中；Spark Streaming集群间隔设定的时间去所述Kafka集群的Topics中获取经所述Strom集群预处理后的DPI数据，对所述预处理后的DPI数据进行复制和分发，并将最终的处理结果以<key，value>的形式存入KV数据库集群的数据库中。本发明还提供一种基于海量实时互联网DPI数据的流式处理方法的系统。

主权项

一种基于海量实时互联网DPI数据的流式处理方法，其特征在于：包括如下步骤：一、接口协议层接收海量实时互联网DPI数据，并对所述DPI数据进行采集清洗过滤；二、Kafka集群接收来自所述接口协议层的DPI数据，并存放在对应Topics的具体分区中；三、Storm集群间隔设定的时间去所述Kafka集群的Topics中去获取所述DPI数据，且对应的处理单元Topology对这些数据进行相应的预处理，并将预处理后的结果数据输出到所述Kafka集群对应的Topics中；四、Spark Streaming集群间隔设定时间去所述Kafka集群的Topics中获取经所述Strom集群预处理后的DPI数据，对所述预处理后的DPI数据进行复制和分发，并将最终的处理结果以<key，value>的形式存入KV数据库集群的数据库中。