[发明专利]一种缺失数据填补方法、装置和计算机可读存储介质

说明书

本申请实施例提供一种缺失数据填补方法、装置和计算机可读存储介质，获取待处理的缺失数据集，缺失数据集为初始数据集中包缺失数据元组的集合，初始数据集包括在一时段内的多个不同时刻采集的多条数据元组，数据元组包含车辆的多维属性数据，缺失数据元组为包含缺失数据的数据元组；确定缺失数据集中每个缺失数据对应的至少一个候选值；将每个缺失数据的至少一个候选值进行融合获得替换值；利用替换值替换缺失数据集中对应的缺失数据，得到填补后的数据集。通过缺失数据的候选值得到替换值，并利用替换值对缺失数据进行填补，将包含缺失数据的数据集填补为完整数据集，有利于上层属性数据分析算法对属性数据的分析。

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种缺失数据填补方法、装置和计算机可读存储介质。

背景技术

近年来，随着各领域的发展随之产生了大量属性数据，各领域对应的属性数据对于各领域的发展有着非常重要的意义。例如，以智能汽车领域为例，随着智能汽车品牌层出不穷，由此产生了大量的车辆健康及车辆行驶数据（以下简称：车辆数据），这些大量且不断产生的车辆数据已经成为智能汽车发展历程中不可或缺的基础性资源。

然而，在实际应用中，受硬件设备故障、网络拥堵等不可控因素影响，数据缺失现象普遍存在，进而产生数据质量问题，而目前大多数的数据挖掘、监测系统等上层数据分析算法通常无法高效处理包含缺失数据的属性数据。

发明内容

本申请实施例提供一种缺失数据填补方法、装置和计算机可读存储介质，用以解决现有技术中无法高效处理包含缺失数据的属性数据的问题。

第一方面，本申请实施例中提供了一种缺失数据填补方法，包括：

获取待处理的缺失数据集，所述缺失数据集为初始数据集中包缺失数据元组的集合，所述初始数据集包括在一时段内的多个不同时刻采集的多条数据元组，所述数据元组包含多维属性数据，所述缺失数据元组为包含缺失数据的数据元组；

确定所述缺失数据集中每个缺失数据对应的至少一个候选值；

将所述每个缺失数据的至少一个候选值进行融合获得替换值；

利用所述替换值替换所述缺失数据集中对应的缺失数据，得到填补后的数据集。

可选地，所述方法是利用缺失数据填补模型实现的，所述缺失数据填补模型包括数据破损层、数据处理层、数据分析层；

所述数据破损层用于将所述缺失数据集中的缺失数据替换为设定值；

所述数据处理层用于确定所述缺失数据集中每个缺失数据对应的至少一个候选值；

所述数据分析层用于将所述每个缺失数据的至少一个候选值进行融合获得替换值。

可选地，所述缺失数据填补模型是利用完整数据集训练得到的，所述完整数据集是所述初始数据集不包含缺失数据的完整数据元组集合，在训练过程中，所述数据破损层将所述完整数据集中的部分数据替换为设定值，以模拟缺失数据，模拟缺失数据的缺失模式与所述缺失数据集中的缺失数据的缺失模式一致。

可选地，所述数据处理层具体用于：通过编码器生成每个缺失数据所在缺失数据元组对应的隐变量的后验分布，并对所述隐变量的后验分布进行至少一次采样，获取至少一个隐变量样本；并通过解码器解码所述至少一个隐变量样本，以生成所述每个缺失数据对应的至少一个候选值。

可选地，所述通过编码器生成每个缺失数据所在缺失数据元组对应的隐变量的后验分布，并对所述隐变量的后验分布进行至少一次采样，获取至少一个隐变量样本，包括：

通过编码器生成每个缺失数据所在缺失数据元组对应隐变量的后验分布，并对所述后验分布进行m次采样，获取m个隐变量样本；