[发明专利]一种基于数据流的异常用户检索系统

摘要

本发明提供一种基于数据流的异常用户检索系统，使用原创的SimCard算法通过对输入的“用户‑兴趣”数据流(如通话网络，流量网络，社交网络好友关系等)进行实时的监控，并根据使用者给定的种子异常用户，反馈与之相似的用户，并根据提前给定的条件过滤出其中的异常用户；包括数据流采样，相似用户查询及异常用户过滤这三个子系统。本发明可用于数据流动态采样；可用于估计某一用户兴趣集合的基数；可用于估计两个用户之间的兴趣集合的交集大小；也可用于估计两个用户之间的相似程度；还可以根据给定的种子异常用户进行相似异常用户检索等。

主权项

1.一种基于数据流的异常用户检索系统，包括：数据流采样子系统，对输入数据流中的“用户‑‑兴趣”二元组进行动态采样，以数组的形式进行存储；相似用户检索子系统，当使用者提供某一或某些种子用户后，在上述采样的数组中找出与之兴趣集合相似的用户；异常用户过滤子系统，利用上述采样的数组，通过对相似用户进行统计分析，过滤出其中的异常用户；其特征在于，所述数据流采样子系统应用SimCard算法对输入数据流Γ中“用户‑兴趣”二元组(u,w)进行采样，并以用户id建立索引，其中u表示用户，w表示用户u的兴趣，所述SimCard算法中，将采样数组定义为{S_u}_u∈U，其中U为全体用户的集合，对于每一个用户u∈U，其对应的采样数组大小为|S_u|＝k，元素s_u,i∈S_u，i＝1,2,...,k，为取值在0到1之间的实数，并初始化s_u,i＝1；定义一个哈希函数：H，将二元组(u,w)中的w随机映射到(0,1)区间，该哈希函数映射出的值满足均匀分布性质，所述数据流采样子系统在二元组(u,w)到来时，令其哈希值h_w＝H(w)，并通过该哈希值计算其在采样数组中的位置和打分r_w＝h_wk‑i_w+1，其中为向下取整符号，最后根据其打分值更新采样数组的相应位置，其中令所述异常用户过滤子系统根据检索出的相似用户的集合，利用用户兴趣集合基数C_u＝|{w|(u,w)∈Γ}|及该用户与种子用户v的兴趣集合交集大小C_u,_v＝|{w|(u,w)∈Γ}∩{w|(v,w)∈Γ}|作为统计量，通过采样数组{S_u}_u∈U对C_u和C_u,v进行准确估计，并采用阈值过滤的方法，输出其中与种子用户相似的异常用户，过程如下：(1)兴趣集合的基数；系统利用采样数组S_u来估计用户u的基数：其中k_u为采样数组S_u中元素值为1的位置的个数；(2)与种子用户兴趣集合的相似度；系统利用采样数组和来估计用户u与种子用户v的兴趣集合的相似度：其中若(3)与种子用户集合的交集大小；系统利用和来估计用户u与种子用户v的兴趣集合交集的大小：为达到更加精确的估计效果，采用极大似然估计的方法，在和的基础上得到更加精确的估计值和令则其中为汉森矩阵，为梯度向量；最后，系统根据估算出的统计特征对相似用户进行排序，最终得到输出的相似异常用户集合；其中采样数组中的元素满足如下条件：(1)如果s_u,i≠1，表明当前位置i已有采样元素，令(2)如果s_u,i＝1，表明当前位置i没有采样元素，需要用另一个非空位置j的元素来补全，初始化l←0，令若s_u,j＝1，令l←l+1，若s_u,j≠1，令其中←表示赋值操作。