[发明专利]一种多维数据异常检测方法及装置

说明书

本发明公开了一种多维数据异常检测方法及装置，涉及移动通信大数据领域，所述方法包括：将待检测多维数据输入经训练的数据重构模型；利用所述经训练的数据重构模型，对所述待检测多维数据进行数据重构，得到多维重构数据；根据所述多维重构数据，确定所述待检测多维数据是否异常。本发明能够检测出由于数据特征之间的关系异常所导致的数据异常。

技术领域

本发明涉及移动通信大数据领域，特别涉及一种多维数据异常检测方法及装置。

背景技术

信息技术和互联网的迅猛发展和普及应用，数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。企业的数据质量与业务绩效之间存在着直接联系，高质量的数据可以使公司保持竞争力并在经济动荡时期立于不败之地。有了普遍深入的数据质量，企业在任何时候都可以信任满足所有需求的所有数据。在日常维护过程中，监控是很棘手的问题，对于许多公司而言，服务模块数量众多，针对每个服务或组件，都有各种各样的性能指标，而当这些指标数据规模成长到百万、千万级别时，对于只有几十或几百人的工程师团队来讲，即使有各种美观的图表展示，也可能花费较长的时间。

传统监控系统的出现解决了一部分问题，工程师或专家可以去配置一些指标的异常阈值，当数据超出阈值时系统就会触发警报。但是，如果某个指标没有被监控覆盖到(不管是系统还是人)，那么它表现异常后就可能没有人会知道，造成不可预期的问题或故障。另外，许多问题不是靠人工设定阈值就能够解决的，特别是在对超大规模的性能指标进行监控时，很难依靠人工配置完成监控。

异常检测的核心问题是如何准确快速的建立一个检测模型，通过对数据的学习建立主观检测模型，一些新理论通过揭示数据本身的规律能够建立客观检测模型。将学习方法与新理论应用到异常检测中，对于解决异常检测面临的问题，提高检测准确度与速度具有重要的意义。

常见异常检测方法，例如统计方法、基于邻近度的离群点检测、基于密度的离群点检测、基于聚类的技术等，都不能很好的检测数据的各维度或特征间具有某种比较稳定的关系，而当这种关系发生异常所导致的数据异常。本发明的方法能够很好的解决该问题。

发明内容

本发明实施例提供的一种多维数据异常检测方法及装置，能够在数据的多维特征间具有某种未知关系时，解决数据的异常检测问题。

根据本发明实施例提供的一种多维数据异常检测方法，包括：

将待检测多维数据输入经训练的数据重构模型；

利用所述经训练的数据重构模型，对所述待检测多维数据进行数据重构，得到多维重构数据；

根据所述多维重构数据，确定所述待检测多维数据是否异常。

优选地，在所述将待检测多维数据输入经训练的数据重构模型之前，还包括：

利用多维训练数据对数据重构模型进行训练，确定一组使所述数据重构模型的重构损失函数值最小的参数作为所述数据重构模型的参数，从而得到经训练的数据重构模型。

优选地，在得到所述经训练的数据重构模型之后，还包括：

利用训练数据集中每个多维训练数据与其多维重构训练数据的误差，确定误差阈值区间。

优选地，所述利用所述经训练的数据重构模型，对所述待检测多维数据进行数据重构，得到多维重构数据包括：

利用所述经训练的数据重构模型，对所述待检测多维数据进行编码处理，得到维数下降的编码数据，并对所述维度下降的编码数据进行解码处理，得到与所述待检测多维数据维数相同的多维重构数据。

优选地，所述根据所述多维重构数据，确定所述待检测多维数据是否异常包括：

若所述多维重构数据与所述待检测多维数据的误差不在误差阈值区间内，则确定所述待检测多维数据异常。