[发明专利]一种深层网络数据源异常点的检测方法及系统

说明书

技术领域

本申请涉及服务计算技术领域，更具体地说，涉及一种深层网络数据源异常点的检测方法及系统。

背景技术

深层网络Deep Web是指那些网络爬虫很难找到的站点，相对于浅层网络Surface Web而言，深层网络中的数据是无法直接全部获得的，必须通过查询接口提交查询来获取相应的数据。而异常点是指不服从正常的数据分布或表现的数据模式。例如，信贷事务中的异常点极有可能是一项预谋的欺诈事务；网络通信中异常的通信模式可能代表我们的电脑正在受到黑客攻击。因此，异常点检测具有重大的现实意义。

但是，现有的异常点检测方法大多是针对浅层网络的。由于深层网络不同于浅层网络，其数据无法直接全部获得，因此，现有的检测方法无法适用到深层网络之中。

发明内容

有鉴于此，本申请提供了一种深层网络数据源异常点的检测方法及系统，用于对深层网络数据源的异常点进行有效的检测。

为了实现上述目的，现提出的方案如下：

一种深层网络数据源异常点的检测方法，包括：

从深层网络数据源中采集多个初始样本；

按照预设规则，对每个所述初始样本进行分层得到s层，所述预设规则为使得分层后的每一层中各个初始样本的方差最小；

根据预设算法，确定每一层中包含异常点的概率；

按照最优采样策略，将规定的重采样次数分配到s层中，确定每一层中重采样的次数；

按照确定的各个层的重采样次数进行重采样；

综合重采样数据与分层后的所述初始样本，进行异常点检测。

优选地，所述按照预设规则，对每个所述初始样本进行分层得到s层，具体为：

定义：IS＝{I₁,I₂,...,I_s}代表输入属性集合，I_j的值域为{a_j,1,a_j,2,...a_j,m}，OS＝{O₁,O₂,...,O_p}代表输出属性集合，查询Q由输入属性IS的子集SI组成，潜在输入属性PS＝IS-SI；

依次从PS中选择能最大降低层间方差的输入属性SA作为所述查询Q，对每个所述初始样本进行分层共得到s层，输入属性SA满足：

SA＝max_i∑_j[Var(O_j)-∑_mVar_m(O_j)×p(a_i,m|Q)]

其中Var(O_j)代表输出属性O_j的方差，其中x_i代表第i个初始样本关于属性O_j的取值，代表输出属性O_j的平均取值，n是初始样本个数，Var_m(O_j)代表输出属性O_j在第m层的方差，p(a_i,m|Q)代表在查询空间Q下，第i个输入属性取值为a_i,m的条件概率，可以通过下式来计算:

p(ai,m|Q)=sel(Q,ai,m)sel(Q)]]>

其中sel(Q)的作用是返回深层网络数据源中满足查询Q的数据的数目，sel(Q,a_i,m)的作用是返回深层网络数据源中同时满足查询Q和第i个输入属性取值为a_i,m的数据的数目。