[发明专利]一种基于界标的数据填补方法及装置

说明书

本发明实施例提供一种基于界标的数据填补方法及装置，该方法包括：获取待填补的原始数据，所述原始数据包括完整数据行和缺失数据行；将所述原始数据中的完整数据行输入至预设的生成对抗网络模型，输出完整数据行的界标；根据完整数据行的界标和完整数据行，对缺失数据行进行填补，得到填补后的缺失数据行；其中，所述生成对抗网络模型，根据多个完整数据行样本和对应的界标标签进行训练后得到。该方法能够得到数据行在值空间的准确界标，综合考虑到了界标数据和无缺失的完整数据，在数据缺少近邻点的情况下，也能进行填补。另外，填补数据部分依据真实的完整数据，能够有效避免神经网络的过拟合问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于界标的数据填补方法及装置。

背景技术

随着信息技术的发展，大数据时代的来临，人们在信息处理中面对的数据量也在飞速增加。而在大数据的背景下，随着数据量的增加，数据采集与数据挖掘已经成为信息技术中非常重要的一环，而这其中，数据质量是保证大数据情况下，数据挖掘技术能够顺利进行的保障。数据质量问题存在于数据的方方面面，包括数据缺失、数据错漏、数据异构等，产生这些数据质量的原因有很多，例如工业数据传感器在采集过程中会由于传感器的故障导致存在数据缺失的问题。数据质量问题会导致后续的数据挖掘、数据分析等步骤出现错误。

在数据填补领域，现有方法主要分为两大类：根据传统方法基于一定的规则或特性对数据进行填补和基于深度学习或神经网络对数据进行填补。目前，数据填补领域的方法有以下不足：根据传统方法基于一定的规则或特性对数据进行填补，这类方法都是针对特定的领域中的数据，具有一定的领域局限性，同时在数据缺少近邻点的情况下，填补的效果不佳。基于深度学习或神经网络对数据进行填补，这类方法存在模型过拟合、预测后直接忽略了原始数据中的准确部分的问题，使得填补的准确率有所降低。

发明内容

为了解决上述问题，本发明实施例提供一种基于界标的数据填补方法及装置。

第一方面，本发明实施例提供一种基于界标的数据填补方法，包括：获取待填补的原始数据，所述原始数据包括完整数据行和缺失数据行；将所述原始数据中的完整数据行输入至预设的生成对抗网络模型，输出完整数据行的界标；根据完整数据行的界标和完整数据行，对缺失数据行进行填补，得到填补后的缺失数据行；其中，所述生成对抗网络模型，根据多个完整数据行样本和对应的界标标签进行训练后得到。

进一步地，所述根据完整数据行的界标和完整数据行，对缺失数据行进行填补，包括：根据完整数据行的界标和完整数据行在值空间的分布，建立kd树结构；在kd树中找到缺失数据在值空间的多个临界点；根据所述多个临界点，对缺失数据行进行填补。

进一步地，所述根据所述多个临界点，对缺失数据行进行填补，包括：根据所述多个临界点，和预设的距离权重，对缺失数据行进行填补。

进一步地，将所述原始数据中的完整数据行输入至预设的生成对抗网络模型，包括：将所述完整数据行依次输入至所述生成对抗网络模型生成器的卷积层、全连接层和反卷积层；从生成器的反卷积层输出完整数据行在值空间以预设间隔分布的多个界标。

进一步地，所述将所述原始数据中的完整数据行输入至预设的生成对抗网络模型之前，还包括：获取多个与待填补原始数据类型相同的完整数据行；将每个完整数据行作为一个训练样本，得到多个训练样本，利用所述多个训练样本对所述生成对抗网络模型进行训练，得到所述预设的生成对抗网络模型。

进一步地，利用所述多个训练样本对所述生成对抗网络模型进行训练，包括：将任意一个完整数据行样本，输入至所述生成对抗网络模型，通过所述生成对抗网络模型的生成器生成预测界标；利用所述生成对抗网络模型的判别器，判断预测界标为界标标签的概率；根据判别器输出的结果，对生成器进行参数更新；根据整体的损失函数计算损失值，若损失函数收敛，则所述生成对抗网络模型训练完成。

进一步地，所述生成对抗网络模型的判别器由卷积层和全连接层构成。