[发明专利]一种试验数据一致性检测方法

说明书

本发明提供一种试验数据一致性检测方法，能够对试验数据中存储格式和数值偏差的不一致问题进行检测。所述方法包括：构建试验数据一致性理论体系；获取待检测的试验数据；对获取的所述待检测的试验数据在存储格式和数值一致度方面进行量化，其中，所述一致度为度量两个数据对象之间一致性程度的量，所述两个数据对象为两个数据单元、一个数据集合中的数据单元和另一个数据集合、或两个数据集合；按照所述试验数据一致性评判原则，根据量化结果，确定两个数据单元之间、一个数据集合中的数据单元和另一个数据集合之间、和/或两个数据集合之间的一致性程度。本发明适用于试验数据评估分析领域。

技术领域

本发明涉及试验数据评估分析领域，特别是指一种试验数据一致性检测方法。

背景技术

随着科学技术的发展，累积的试验数据也日趋庞杂。试验数据的一个主要的特点是非雷同性，由于数据来源非常广泛，导致数据的类型和存储格式呈现多样化的形式，而且由于科学试验本身的特点，如试样的不均匀性、外部因素干扰、检测设备误差等，同样会造成试验结果数值的不相同。试验数据的这种不一致性，可能会带来不可预知的后果：一方面，不精确的数据混淆在精确的数据中，会造成计算失误，从而影响试验结果的评估；另一方面，一些属于正常偏差范围内的数据被舍弃，会造成数据资源的浪费，从而影响试验工程应用的发展。因此，为了能够更好的发挥试验数据的作用，避免试验资源浪费，试验数据的一致性检测问题便成了急需解决的问题。

目前的数据不一致性研究大都是针对分布式系统而言的，分布式系统中的数据一致性与本发明描述的数据一致性有所不同，分布式系统中的数据一致性是指在关系型数据库中有关联的数据之间有正确和完整的逻辑关系。例如，当用户在同一时间访问同一个数据库，并且使用的是相同数据，此时会发生以下三种情况：丢失更新、未确定的相关性和不一致的分析。由于不一致的数据会导致矛盾，因此必须确保数据的一致，现在的研究领域还停留在对共享数据的一致性研究；清华大学邓栋曾对大数据处理中的容错技术进行过研究，他总结了一些大数据中出现数值不一致的客观现象，利用广泛应用的序列相似函数和集合相似函数来容忍数据的错误。上述课题只是在宏观方面对数据不一致情况进行研究，但并未对数据不一致现象进行归类分析，同时也未建立完整的数据一致性检测方法。

发明内容

本发明要解决的技术问题是提供一种试验数据一致性检测方法，以解决现有技术所存在的未对数据不一致现象进行归类分析，且未建立完整的数据一致性检测方法的问题。

为解决上述技术问题，本发明实施例提供一种试验数据一致性检测方法，包括：

根据试验数据不一致的原因，构建试验数据一致性理论体系，其中，所述数据不一致的原因包括：存储格式不一致和数值不一致，所述试验数据为数据集合，所述数据集合由一个或多个数据单元组成，所述试验数据一致性理论体系包括：试验数据一致性评判原则；

获取待检测的试验数据；

对获取的所述待检测的试验数据在存储格式和数值一致度方面进行量化，其中，所述一致度为度量两个数据对象之间一致性程度的量，所述两个数据对象为两个数据单元、一个数据集合中的数据单元和另一个数据集合、或两个数据集合；

按照所述试验数据一致性评判原则，根据量化结果，确定两个数据单元之间、一个数据集合中的数据单元和另一个数据集合之间、和/或两个数据集合之间的一致性程度。

进一步地，所述数据单元是用一个或多个原子数据来描述定义或反映试验客观事实的；

每个数据单元由一个或多个数据项组成。

进一步地，量化存储格式的一致性程度包括：

按照预先确定的存储格式之间的一致性程度对应关系，确定两个数据对象在存储格式上的一致性程度量化值。

进一步地，所述存储格式包括：结构化存储、半结构化存储、非结构化存储；其中，