[发明专利]基于海量实时互联网DPI数据的流式处理方法及系统

权利要求书

1.一种基于海量实时互联网DPI数据的流式处理方法，其特征在于:包括如下步骤：

一、接口协议层接收海量实时互联网DPI数据，并对所述DPI数据进行采集清洗过滤；

二、Kafka集群接收来自所述接口协议层的DPI数据，并存放在对应Topics的具体分区中；

三、Storm集群间隔设定的时间去所述Kafka集群的Topics中去获取所述DPI数据，且对应的处理单元Topology对这些数据进行相应的预处理，并将预处理后的结果数据输出到所述Kafka集群对应的Topics中；

四、Spark Streaming集群间隔设定时间去所述Kafka集群的Topics中获取经所述Strom集群预处理后的DPI数据，对所述预处理后的DPI数据进行复制和分发，并将最终的处理结果以〈key,value〉的形式存入KV数据库集群的数据库中；

在步骤一中，对所述DPI数据进行清洗过滤包括如下步骤：

过滤清洗所述DPI数据中的HTTP POST流量，只保留HTTP GET流量；

过滤清洗HTTP GET流量中非用户点击行为的流量；

在源数据中仅保留与业务相关联的字段，并清洗其他剩余的字段，且对保留的字段的进行重新排列；

对关键字段IMEI进行MD5不可逆加密，保障数据的隐私安全；

在步骤三中，所述预处理步骤包括：清洗AD/MDN字段为空的记录和清洗URL字段中带Password信息的记录；

在步骤四之后还包括步骤五，在所述步骤五中，业务平台系统通过所述KV数据库集群获取权限范围内的数据，并根据注册时使用的用户名与密码，以及随机生成的ApiKey获取访问令牌Token,使得后续的数据请求均带上所述访问令牌Token。

2.根据权利要求1所述的基于海量实时互联网DPI数据的流式处理方法，其特征在于：所述步骤二中，将经过步骤一过滤清洗后的DPI数据分别传输到Kafka集群对应的Topic中，即每过滤清洗产生一条有用的DPI数据记录就传输到kafka对应队列中。

3.根据权利要求1所述的基于海量实时互联网DPI数据的流式处理方法，其特征在于:从步骤一到步骤五的整个处理流程所产生的时延在秒数量级。

4.一种根据权利要求1-3任一所述的基于海量实时互联网DPI数据的流式处理方法的系统，其特征在于：包括：接口协议层、Kafka集群、Storm集群、Spark Streaming集群、KV集群；

所述接口协议层，用于接收海量实时互联网，并对所述DPI数据进行清洗过滤；

所述Kafka集群，用于接收来自所述接口协议层的DPI数据，并存放在对应Topics的具体分区中；

所述Storm集群，用于间隔设定的时间去所述Kafka集群的Topics中去获取所述DPI数据，且对应的处理单元Topology对这些数据进行相应的预处理，并将预处理后的结果数据输出到所述Kafka集群对应的Topics中；

所述Spark Streaming集群，间隔设定的时间去所述Kafka集群的Topics中获取经所述Strom集群预处理后的DPI数据，对所述预处理后的DPI数据进行复制和分发，并将最终的处理结果以〈key,value〉的形式存入所述KV数据库集群的数据库中；

在所述KV数据库集群中，业务平台系统通过所述KV数据库集群获取权限范围内的数据，并根据注册时使用的用户名与密码，以及随机生成的ApiKey获取访问令牌Token,使得后续的数据请求均带上所述访问令牌Token。