[发明专利]一种数据异常检测方法及相关装置

说明书

本申请公开了一种数据异常检测方法，包括：基于数据格式对原始数据进行预处理，得到多个数据矩阵；采用卷积降噪自动编码器模型对所述多个数据矩阵进行表示向量提取，得到每个数据矩阵对应的表示向量；将所有所述表示向量进行多输入融合，得到目标表示向量；基于密度DBSCAN算法对所述目标表示向量进行聚类分析，得到异常点；将所述异常点的数据标记为异常数据。实现在缺少标签数据的背景下，借助无监督的聚类算法检测出异常数据，提高数据检测的准确性。本申请还公开了一种数据异常检测装置、服务器以及计算机可读存储介质，具有以上有益效果，在此不做赘述。

技术领域

本申请涉及数据处理技术领域，特别涉及一种数据异常检测方法、数据异常检测装置、服务器以及计算机可读存储介质。

背景技术

随着信息技术的不断发展，使用数据处理手段对各行各业的数据进行处理，以提高数据处理的效率，提前发现数据中存在的问题。

相关技术中，基于数据挖掘进行异常交易检测，首先采用了贝叶斯信念网络算法判断当前交易属于异常交易的后验概率。另外，将当前交易之前一定数量的历史交易组成交易序列，将该序列与已知异常交易序列对比，得到相似度。最终，综合后验概率和相似度两个指标来判别交易是否异常。但是，在真实的纳税人交易场景中，足够的有标签数据是十分理想化的。使用贝叶斯信念网络分类器对交易进行分类，在无标签数据的前提下是难以实施的；其次在对比历史交易序列和异常交易序列时，也没有考虑到异常交易序列的多样性与复杂性。也就是，无法准确的进行数据检测，降低了数据检查的准确性。

因此，如何提高对数据进行检测的准确性是本领域技术人员关注的重点问题。

发明内容

本申请的目的是提供一种数据异常检测方法、数据异常检测装置、服务器以及计算机可读存储介质，以提高对数据进行检测的准确性，及时发现数据中的异常数据。

为解决上述技术问题，本申请提供一种数据异常检测方法，包括：

基于数据格式对原始数据进行预处理，得到多个数据矩阵；

采用卷积降噪自动编码器模型对所述多个数据矩阵进行表示向量提取，得到每个数据矩阵对应的表示向量；

将所有所述表示向量进行多输入融合，得到目标表示向量；

基于密度DBSCAN算法对所述目标表示向量进行聚类分析，得到异常点；

将所述异常点的数据标记为异常数据。

可选的，基于数据格式对原始数据进行预处理，得到多个数据矩阵，包括：

对所述原始数据进行清洗，得到待整理数据；

基于所述数据格式和数据属性对所述待整理数据进行数据矩阵整理，得到所述多个数据矩阵。

可选的，采用卷积降噪自动编码器模型对所述多个数据矩阵进行表示向量提取，得到每个数据矩阵对应的表示向量，包括：

基于预设模型结构进行构建，得到所述卷积降噪自动编码器模型；

采用所述卷积降噪自动编码器模型对所述多个数据矩阵进行模型训练；

当所述模型训练完成时，将所述模型训练的结果作为所述每个数据矩阵对应的表示向量。

可选的，将所有所述表示向量进行多输入融合，得到目标表示向量，包括：

基于预设比例将所有所述表示向量进行多输入融合，得到所述目标表示向量。

可选的，基于密度DBSCAN算法对所述目标表示向量进行聚类分析，得到异常点，包括：

对所述密度DBSCAN算法进行参数设定；