[发明专利]检测数据集中异常的装置和方法以及它们相应的计算机程序产品

权利要求书

1. 一种检测数据集中异常的装置，其特征在于，所述装置包括：

至少一个处理器；以及

耦合到所述至少一个处理器并存储可执行指令的存储器，当由所述至少一个处理器执行时，所述指令使得所述至少一个处理器：

接收包括多个数据项的数据集，其中至少一个数据项异常，

选择至少两种异常检测算法；

通过使用所述至少两种异常检测算法中的每一种：

为所述数据项中的每一项计算异常分数；

基于所述异常分数，获得所述数据项的部分排序，所述部分排序使得所述数据项被划分为多个子集，每个子集对应于不同的中间等级区间；

基于所述部分排序选择描述每个子集中各数据项的中间等级的概率模型；以及

基于所述概率模型为每个子集中的所述数据项的所述中间等级分配信度；

按照预定义的组合规则同时使用所述至少两种异常检测算法，通过组合所获得的所述数据项中每一项的中间等级的信度来获得所述中间等级的总信度；

将所述数据项的所述中间等级的所述总信度转换为描述所述数据项的预期等级的概率分布函数；

根据所述数据项的所述预期等级将所述数据项进行排序；以及

在排序后的所述数据项中找出所述至少一个异常数据项。

2.根据权利要求1所述的装置，其特征在于，所述至少一个处理器还用于基于所述数据项所属的使用领域来选择所述至少两种异常检测算法。

3.根据权利要求1所述的装置，其特征在于，所述至少两种异常检测算法中的每一种配置有不同的权重系数，并且所述至少一个处理器还用于与所述异常检测算法的所述权重系数配合基于所述概率模型分配所述信度。

4.根据权利要求3所述的装置，其特征在于，所述至少两种异常检测算法是基于无监督学习的异常检测算法，并且所述至少两种异常检测算法的所述不同权重系数是基于用户偏好指定的，使得所述权重系数的和等于1。

5.根据权利要求3所述的装置，其特征在于，所述至少两种异常检测算法是基于监督学习的异常检测算法，并且所述至少两种异常检测算法的所述权重系数使用预先准备的训练集来调整，所述训练集包括不同的前数据集以及与所述前数据集一一对应的目标排序。

6. 根据权利要求5所述的装置，其特征在于，基于Kendall tau距离进一步调整所述至少两种异常检测算法的所述权重系数，所述Kendall tau距离用于测量通过所述至少两种异常检测算法所获得的组合部分排序与所述训练集中的所述目标排序中每一个之间的距离。

7.根据权利要求1至6中任一项所述的装置，其特征在于，基于所述数据项的所述部分排序所获得的所述子集包括至少两个第一子集，每个第一子集包括具有相同异常分数的数据项。

8.根据权利要求7所述的装置，其特征在于，所述至少两个第一子集的所述中间等级区间是不重叠的。

9.根据权利要求7所述的装置，其特征在于，基于所述数据项的所述部分排序所获得的所述子集还包括第二子集，所述第二子集包括不属于所述至少两个第一子集的数据项，并且所述至少一个处理器还用于基于所述第二子集选择所述概率模型。

10.根据权利要求9所述的装置，其特征在于，所述第二子集的所述数据项是错误遗漏的数据项或者是所具有的所述异常分数与属于所述至少两个第一子集的所述数据项不同的数据项。

11.根据权利要求9所述的装置，其特征在于，所述第二子集的所述中间等级区间包含所述至少两个第一子集的所述中间等级区间。

12.根据权利要求1至6中任一项所述的装置，其特征在于，所述预定义的组合规则包括Dempster组合规则。