[发明专利]多副本数据的时效性判断方法及装置

说明书

本发明实施例提供一种多副本数据的时效性判断方法及装置，该方法包括：获取当前时刻的k个相互邻近的历史时刻的副本，并计算每两个相邻副本的时间差值和数据差值，以及当前时刻和最近副本的时间差值；将所有时间差值和数据差值，输入至预设的差值模型，输出当前时刻和最近副本的数据差值预测结果；若所述预测结果小于预设阈值，则判断所述最近副本具备时效性；其中，所述差值模型，根据具有时效性的两两相邻的k个时间差值和数据差值样本，进行训练后得到。该方法具有客观性，且无需找到分布式机器之间的强关联关系，便可实现数据时效性的有效判断，提高了多副本数据的时效性判断的准确率。

技术领域

本发明涉及分布式计算领域，尤其涉及一种多副本数据的时效性判断方法及装置。

背景技术

随着计算机技术和移动互联网的高速发展，产生的数据量呈现急剧增长的趋势。为了存储和处理由此产生的海量数据，分布式系统和分布式数据库随之产生。然而，在加速存储和处理的同时，分布式也带来了更多的数据质量问题。数据质量已被公认成数据管理中最为重要的问题之一，劣质数据往往会带来严重的损失，阻碍上层应用的有效执行。因此，数据质量的重要性是毋庸置疑的，而在影响数据质量的多种问题中，数据时效性正是其中尤为突出的一类问题。在实际应用中，由于分布式机器故障、网络失联等各种问题，某些分布式机器无法被实时连接和读写使用，也就无法得到相应机器上最新的更新和存储值。当用户对分布式数据库进行查询得到查询结果时，如果这些数据的时效性无法被及时判断，则用户无法确定当前有多少的数据是最新和可靠的，也就无法对当前应用的可信性进行准确的判断。

现有的多副本数据的时效性判断的方法主要分为两大类：基于规则的判断方法和基于统计的方法。基于规则的判断方法能够将领域知识表达成规则的形式，利用规则来判断失联机器内存储的数据值。基于统计的方法利用历史修改数据，来学习不同分布式机器数据更新之间的关系，利用学习到的更新关系以及相应的可实时连接和使用的机器来推测失联机器当前可能的存储值，进而判断数据的时效性。

然而，现有的技术都存在着明显的弊端。基于规则的判断方法通常需要领域专家来人为指定。基于统计的判断方法能够自动学习分布式机器间的数据更新关系，但并不是在所有的实际应用中我们都可以找到分布式机器之间的强关联关系。同时，基于统计的判断方法直接学习数据库中存储的原始值之间的关系，因此其只能够支持数值类型的数据，而无法拟合字符类型数据之间的关系。在相对独立的分布式应用中，我们往往很难为其定制规则或挖掘各机器之间的强关联关系确定字符型数据之间的关系，从而确定的失联机器的实时数据值往往具有非常大的不准确性，从而导致数据时效性的判断不可信，甚至无效。

发明内容

为了解决上述问题，本发明实施例提供一种多副本数据的时效性判断方法及装置。

第一方面，本发明实施例提供一种多副本数据的时效性判断方法，包括：获取当前时刻的k个相互邻近的历史时刻的副本，并计算每两个相邻副本的时间差值和数据差值，以及当前时刻和最近副本的时间差值；将所有时间差值和数据差值，输入至预设的差值模型，输出当前时刻和最近副本的数据差值预测结果；若所述预测结果小于预设阈值，则判断所述最近副本具备时效性；其中，所述差值模型，根据具有时效性的两两相邻的k个时间差值和数据差值样本，进行训练后得到。

进一步地，所述将所有时间差值，和待检测数据差值以外的所有数据差值，输入至预设的差值模型之前，还包括：获取n+1个时间相互邻近的有时效性的数据副本，并计算每两个相邻时刻的时间差值和数据差值；将每k个相邻的时间差值和数据差值作为一个训练样本，得到n-k+1个训练样本，利用n-k+1个训练样本对建立的差值模型进行训练，得到所述预设的差值模型。

进一步地，所述利用n-k+1个训练样本对建立的差值模型进行训练，包括：对于任意一个长度为k的样本，将时间较早的k-1个数据差值和k个时间差值，输入至建立的差值模型，得到最近的数据差值的预计值；根据最近的数据差值和所述预计值，对所述差值模型进行更新。