[发明专利]一种基于数据流的异常用户检索系统

说明书

本发明提供一种基于数据流的异常用户检索系统，使用原创的SimCard算法通过对输入的“用户‑兴趣”数据流(如通话网络，流量网络，社交网络好友关系等)进行实时的监控，并根据使用者给定的种子异常用户，反馈与之相似的用户，并根据提前给定的条件过滤出其中的异常用户；包括数据流采样，相似用户查询及异常用户过滤这三个子系统。本发明可用于数据流动态采样；可用于估计某一用户兴趣集合的基数；可用于估计两个用户之间的兴趣集合的交集大小；也可用于估计两个用户之间的相似程度；还可以根据给定的种子异常用户进行相似异常用户检索等。

技术领域

本发明属于数据挖掘技术领域，特别涉及一种基于数据流的异常用户检索系统。

背景技术

随着互联网技术和通信技术的应用与发展，每天都有大量数据产生。这些数据大都以数据流的形式产生，例如，ip地址与网站之间传递的数据包。流中的元素通常由一条从用户(ip地址)指向兴趣(网站)的链接构成。通过对数据流进行监控和分析，可以帮助我们更好的进行异常检测及兴趣推荐等任务。

而随着需要处理的数据也越来越多，很多数据流的大小是我们不可预知的，完全地存储这些数据需要耗费大量的物力人力，因此人们大都对流数据进行动态采样，并根据采样后的结果对原数据流进行分析。

这里我们关注的是实时地处理大规模数据流，例如网络流量、大型社交网络中的消息等；并根据系统使用者给出的种子异常用户，快速的检索与之相似的异常用户。但是由于数据量地巨大和设备资源地限制，我们并不能完全地存储每一条数据。因此，主流方法通常采用采样的方式来得到一个或多个采样数组，并在此基础上对原数据流进行分析。

然而，主流方法用在实际网络流中通常会产生很多问题。一是，这些方法一般只能估计某一种统计量。若使用者希望使用多种统计量来检索和判断异常，常用的方式是组合使用这些方法；但是，这样会生成多组采样数组，造成内存或硬盘空间的浪费。二是，这些方法通常采样或检索速度较慢，不能满足实时的对大规模数据流的处理需求。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于数据流的异常用户检索系统，与传统方法相比，本发明的一项优势在于，能够快速检索大规模数据流中的相似异常用户，本发明的另一项优势在于，解决了常规方法的内存冗余问题。本发明的又一项优势在于，使用原创的SimCard算法，提高了检索精度。

为了实现上述目的，本发明采用的技术方案是：

一种基于数据流的异常用户检索系统，包括：

数据流采样子系统，对输入数据流中的“用户--兴趣”二元组进行动态采样，以数组的形式进行存储；

相似用户检索子系统，当使用者提供某一或某些种子用户后，在上述采样的数组中找出与之兴趣集合相似的用户；

异常用户过滤子系统，利用上述采样的数组，通过对相似用户进行统计分析，过滤出其中的异常用户。

所述数据流采样子系统应用SimCard算法对输入数据流Γ中“用户-兴趣”二元组(u,w)进行采样，并以用户id建立索引，其中u表示用户，w表示用户u的兴趣。

所述SimCard算法中，将采样数组定义为{S_u}_u∈U，其中U为全体用户的集合，对于每一个用户u∈U，其对应的采样数组大小为|S_u|＝k，元素s_u,i∈S_u，i＝1,2,...,k为取值在0到1之间的实数，并初始化s_u,i＝1。

定义一个哈希函数：H，将二元组(u,w)中的w随机映射到(0,1)区间，该哈希函数映射出的值满足均匀分布性质。