[发明专利]一种基于网络流量大数据的异常信息发现方法

说明书

本发明提供了一种基于网络流量大数据的异常信息发现方法，涉及网络安全和大数据技术领域，能够利用人工智能技术发挥网络流量大数据的优势，扩展数据维度、增大数据挖掘深度、提高异常发现敏捷性，有效提高刑侦稽查的工作效率；该方法包括：对网络流量数据预处理和解析；按用户标识聚合得到用户时序轨迹数据；提取地理位置信息并聚合，得到空间索引数据；提取用户属性；按用户聚合，得到用户的话单关系网络和社交关系网络；对前述数据进行融合，获得空间特征、社交关系标签、抽象语义轨迹和设备与账号标签，并扩展用户的标签；设定异常信息的匹配规则；进行异常信息匹配得到异常信息并输出。本发明提供的技术方案适用于网络异常信息发现的过程中。

【技术领域】

本发明涉及网络安全和大数据技术领域，尤其涉及一种基于网络流量大数据的异常信息发现方法。

【背景技术】

随着移动设备的普及，以及移动互联网、物联网的大力发展，每个人、每台设备都成为了社会信息网络中的一个节点。人们的生活、工作、学习已经和网络密不可分，每一次点击和操作都将产生流量，从而在网络中留下痕迹。网络流量大数据包含用户标识、时间戳、接入基站信息、访问HOST、访问URL，如果含有话单数据，则还包含通话时间、通话时长、通话对端用户标识。可以认为网络世界是真实世界的某种映射，网络中出现的异常信息往往对应着现实世界中的一些异常事件。如果能从网络流量数据中发现不利于社会稳定的异常事件的发生(例如逃窜人员、网络诈骗、非法聚众等等)，这样就能及早作出应对，防患于未然，维持社会治安。

目前，常用的异常信息发现方法，将异常信息局限在应用层面(使用了某个特定APP)，更深层的发现方法能到简单的行为层(在某个特定APP内进行了特定的操作，例如点击某按钮)，即：根据专家知识提炼出异常信息对应的URL正则公式，然后对网络流量大数据进行匹配。这样的方法过于简单，没有发挥出大数据真正的价值，而且容易被反侦查混淆，并且在发现异常的时候，事件已经发生，无法做到预防告警的目的。

因此，有必要研究一种新型的基于网络流量大数据的异常信息发现方法，充分利用大数据以及人工智能技术，来应对现有技术的不足，以解决或减轻上述一个或多个问题。

【发明内容】

有鉴于此，本发明提供了一种基于网络流量大数据的异常信息发现方法，通过人工智能技术充分发挥网络流量大数据的优势，扩展数据维度、增大数据挖掘深度、提高异常发现敏捷性，实现异常信息的自动化发现和推送，有效提高刑侦稽查以及治安维护的工作效率。

一方面，本发明提供一种基于网络流量大数据的异常信息发现方法，其特征在于，所述方法的步骤包括：

S1、对网络流量数据进行预处理，按预先设置好的规则过滤数据；

S2、对预处理后的网络流量数据进行解析，并将解析结果添加到相应的字段当中；

S3、对S2中解析后的数据按用户标识进行聚合，得到用户时序轨迹数据；

S4、对S2中解析后的数据进行处理，提取地理位置信息，并对地理位置信息进行周期性的聚合，得到空间索引数据；

S5、对S2中解析后的数据进行处理，提取用户属性；

S6、对S2中解析后的数据按用户进行聚合，得到用户的话单关系网络和社交关系网络；

S7、对S3、S4、S5和/或S6中的数据进行融合，获得空间特征、用户的社交关系标签、用户的抽象语义轨迹和用户的设备与账号标签，并扩展用户的标签；

S8、设定异常信息的匹配规则；

S9、根据匹配规则进行异常信息匹配，得到异常信息并输出；

S3～S6的顺序不固定。