[发明专利]一种数据可信度优化方法、存储介质和设备

说明书

本发明公开了一种数据可信度优化方法、存储介质和设备，所述方法包括以下步骤：计算每个数据提供者提供的数据与真相之间的误差，对所述误差的方差进行区间估计，获得所述方差的置信区间，根据所述置信区间的上限，获得数据提供者的可信度；所述误差为数据提供者提供的数据与真相之间的差值；实时获取某时刻，数据提供者对于目标对象集提供的实时数据集，并根据所述数据提供者的可信度，计算出所述目标对象的聚合真相；计算该时刻，数据提供者提供的实时数据与聚合真相之间的实时误差，并根据所述实时误差计算出数据提供者的实时可信度，将所述数据提供者的可信度更新为实时可信度，用于下一时刻的真相聚合。本发明可对动态的长尾数据进行准确并且高效地聚合。

技术领域

本发明涉及一种数据可信度优化方法，属于人工智能领域。

背景技术

在信息时代，人们获得信息的途径越来越多，通常社交平台是最常用地方式之一。然而，而社交平台上，数据提供者的信息权威性难以辨认，导致信息的可靠性有待商榷。为得到可信度更高的结果，通常采用多渠道信息聚合的方式。

而现有多渠道信息聚合的方法对于一些领域的应用存在缺陷。应对数据的长尾特性，由于数据提供者提供的信息数量不等，故若只是考虑数据的准确性，而不考虑提供数据的次数，那么对于数据提供者的权重估计也不准确，最终聚合的结果也不准确。此外，对于动态数据，由于数据是不断变化的，数据提供者的可信度往往也会是实时变化的。对于动态数据的聚合，现有多渠道信息聚合的方法无法在保证最终结果准确的基础上又符合动态系统所需的高效特性。

发明内容

本发明是提供一种数据可信度优化方法，可对动态的长尾数据进行准确并且高效的聚合。

为达到上述目的，本发明所采用的技术方案是：一种数据可信度优化方法，包括以下步骤：计算每个数据提供者提供的数据与真相之间的误差，对所述误差的方差进行区间估计，获得所述方差的置信区间，根据所述置信区间的上限，获得数据提供者的可信度；所述误差为数据提供者提供的数据与真相之间的差值；实时获取某时刻，数据提供者对于目标对象集提供的实时数据集，并根据所述数据提供者的可信度，计算出所述目标对象的聚合真相；计算该时刻，数据提供者提供的实时数据与聚合真相之间的实时误差，并根据所述实时误差计算出数据提供者的实时可信度，将所述数据提供者的可信度更新为实时可信度，用于下一时刻的真相聚合。

进一步地，所述方差的置信区间上限由公式(1)计算得到：

其中，为置信区间上限，为第s个数据提供者对于第i个问题提供的数据，V_i为第i个问题的真相，N_s为每个数据提供者s提供的数据集，为自由度为|N_s|的χ²分布的上α/2分位点。

进一步地，所述数据提供者的可信度由公式(2)计算得到：

其中，w_s为数据提供者集S中所有数据提供者s的可信度，为置信区间上限。

进一步地，所述聚合真相由公式(3)计算得到：

其中，为目标对象o_i的聚合真相w_s为数据提供者集S中所有数据提供者s的可信度，为每个数据提供者s对于目标对象o_i(o_i∈O_t)提供的数据。

进一步地，所述获得数据提供者的实时可信度包括以下步骤：数据提供者提供的实时数据与聚合真相之间的实时误差；更新截止到t时刻，数据提供者的累计的误差平方和；根据所述累计的误差平方和，计算实时误差的方差的实时置信区间上限；根据所述实时置信区间上限，获得该数据提供者的实时可信度。