[发明专利]异常数据检测方法与装置

权利要求书

1.一种用于检测异常数据的方法，包括：

针对待检测的数据样本集，迭代执行下述过程，直到满足迭代结束条件：

使用当前数据样本集来训练当前变分自编码神经网络模型；

利用所述经过训练的当前变分自编码神经网络模型处理所述当前数据样本集，以得到与当前迭代过程对应的正常样本集；

在当前迭代过程未满足迭代结束条件时，从所述当前数据样本集中去除所述正常样本集，以得到用于下一迭代过程的当前数据样本集；

在当前迭代过程满足迭代结束条件时，将从所述当前数据样本集中去除所述正常样本集后得到的数据样本，作为所述待检测的数据样本集中的异常数据样本。

2.如权利要求1的方法，其中，所述使用当前数据样本集来训练当前变分自编码神经网络模型包括：

将所述当前数据样本集划分成训练样本集与验证样本集；

利用所述训练样本集训练所述当前变分自编码神经网络模型，并利用所述验证样本集对经过训练的所述当前变分自编码神经网络模型进行验证。

3.如权利要求1或2的方法，其中，利用所述经过训练的变分自编码神经网络模型处理所述当前数据样本集，以得到与当前迭代过程对应的正常样本集包括：

将所述当前数据样本集输入所述变分自编码神经网络模型以产生所述当前数据样本集中每个输入样本的预测输出；

计算每个输入样本与对应的预测输出之间的距离；

将所述当前数据样本集中距离小于或等于第一阈值的输入样本确定为所述正常样本集。

4.如权利要求1-3之一的方法，其中所述迭代结束条件包括：

所述当前数据样本集中的样本数量小于第二阈值；或者

所述迭代过程的执行次数达到第三阈值。

5.一种用于检测异常数据的装置，包括：

样本收集模块，用于接收待检测的数据样本集；

模型训练模块，配置为使用当前数据样本集来训练当前变分自编码神经网络模型；

样本预测模块，配置为利用所述经过训练的变分自编码神经网络模型处理所述当前数据样本集，以得到与当前迭代过程对应的正常样本集；

仲裁模块，配置为在当前迭代过程未满足迭代结束条件时，从所述当前数据样本集中去除所述正常样本集，以得到用于下一迭代过程的当前数据样本集；在当前迭代过程满足迭代结束条件时，将从所述当前数据样本集中去除所述正常样本集后得到的数据样本，作为所述待检测的数据样本集中的异常数据样本。

6.如权利要求5的装置，其中，所述模型训练模块进一步配置为：

将所述当前数据样本集划分成训练样本集与验证样本集；

利用所述训练样本集训练所述当前变分自编码神经网络模型，并利用所述验证样本集对经过训练的所述变分自编码神经网络模型进行验证。

7.如权利要求6的装置，其中所述样本预测模块进一步配置为：

将所述当前数据样本集输入所述变分自编码神经网络模型以产生所述当前数据样本集中每个输入样本的预测输出；

计算每个输入样本与对应的预测输出之间的距离；

将所述当前数据样本集中距离小于或等于第一阈值的输入样本确定为所述正常样本集。

8.如权利要5-7之一的装置，其中所述迭代结束条件包括：

所述当前数据样本集中的样本数量小于第二阈值；或者

所述迭代过程的执行次数达到第三阈值。

9.一种具有指令的机器可读介质，所述指令在被一个或多个机器执行时，使所述机器执行根据权利要求1-4中的任一项所述的方法。

10.一种用于检测异常数据的装置，包括：

存储器，其上存储有指令；

处理器，所述处理器可配置为执行所述指令以实现根据权利要求1-4中的任一项所述的方法。