[发明专利]一种基于网络流量大数据的异常信息发现方法

权利要求书

1.一种基于网络流量大数据的异常信息发现方法，其特征在于，所述方法的步骤包括：

S1、对网络流量数据进行预处理，按预先设置好的规则过滤数据；

S2、对预处理后的网络流量数据进行解析，并将解析结果添加到相应的字段当中；

S3、对S2中解析后的数据按用户标识进行聚合，得到用户时序轨迹数据；

S4、对S2中解析后的数据进行处理，提取地理位置信息，并对地理位置信息进行周期性的聚合，得到空间索引数据；

S5、对S2中解析后的数据进行处理，提取用户属性；

S6、对S2中解析后的数据按用户进行聚合，得到用户的话单关系网络和社交关系网络；

S7、对S3、S4、S5和/或S6中的数据进行融合，获得空间特征、用户的社交关系标签、用户的抽象语义轨迹和用户的设备与账号标签，并扩展用户的标签；

S8、设定异常信息的匹配规则；

S9、根据匹配规则进行异常信息匹配，得到异常信息并输出；

S3～S6的顺序不固定；

所述S3具体内容包括：对S2中每个用户的数据进行聚合处理，得到每个用户按时间顺序所对应的流量轨迹，每个轨迹点包含流量产生时间、流量产生地点、访问领域、访问应用和访问行为；

聚合周期根据数据的具体情况而定；

所述S7的具体步骤包括：

S71、对S4中的空间索引数据进行聚类模型分析，并融合S5和S6中的数据，提取空间特征；

S72、对S5中的用户属性进行自然语言处理模型分析，并融合S3、S4和S6中的数据，扩展用户的标签；

S73、对S6中的话单关系网络和社交关系网络进行关系网模型分析，并融合S3、S4和S5中的数据，得到用户的社交关系标签；

S74、对S3中的用户时序轨迹数据进行过滤，并融合S4、S5和S6中的数据，得到用户的抽象语义轨迹；

S75、对S5中的用户属性进行信息提取和聚合，得到用户的设备与账号标签；

S71～S75的顺序不固定。

2.根据权利要求1所述的基于网络流量大数据的异常信息发现方法，其特征在于，所述解析结果包括访问领域、访问应用、访问行为和访问内容；所述解析结果成为原始数据的一部分，为后续分析提供数据支撑。

3.根据权利要求1所述的基于网络流量大数据的异常信息发现方法，其特征在于，对网络流量数据的预处理包括对数据进行清洗过滤，过滤的数据包括特殊数据和异常数据；

所述特殊数据包括预先设置好的用户白名单、URL白名单、HOST白名单以及区域白名单；

所述异常数据是在收集和传输过程中由于不可控因素造成的数据缺失以及数据噪声；所述异常数据包括字段丢失、地理位置偏移不符合要求和字段不符合要求的数据。

4.根据权利要求1所述的基于网络流量大数据的异常信息发现方法，其特征在于，所述S4的具体内容包括：提取S2中数据的地理位置信息，建立索引，对每个位置索引进行周期性聚合后得到该周期内在该索引代表范围内出现过的用户、领域、应用、行为和内容，获得空间索引数据；

地理位置信息包括基站信息、经纬度、街道名称和楼宇名称。

5.根据权利要求1所述的基于网络流量大数据的异常信息发现方法，其特征在于，所述S5中用户属性包括第一用户属性和第二用户属性；

第一用户属性为：用户访问流量中携带的明文属性信息；

第二用户属性为：根据用户访问流量中的信息进行互联网爬取，进而提炼得到的互联网属性信息。

6.根据权利要求1所述的基于网络流量大数据的异常信息发现方法，其特征在于，所述S6中话单关系网络获得方式为：提取用户所有的通话记录，统计每个通话对象对应的通话频次、通话时间和通话时长，并对其进行排序，过滤掉陌生人的通话关系，从而建立用户的话单关系网络；

所述S6中社交关系网络的获得方式为：从用户访问的流量中获取用户的相关社交账号主页，再获取用户的关注列表以及被关注列表，从而获取用户的社交关系网络。