[发明专利]一种面向大数据的可信度量方法

说明书

一种面向大数据的可信度量方法，用于对大数据的可信性进行准确分析，其技术方案是，通过计算数据源之间的可信度、数据源的可信度、数据的可信度，动态地构建含有时间因子和惩罚因子权重参数的层次化的大数据可信性分析网络，最后利用所构建的可信性分析网络计算出数据的可信度。本发明在传统数据可信分析理论的基础上，通过增加时间因子与惩罚因子等权重参数，构建了层次化的动态大数据可信分析网络模型，将大数据的可信性分析问题归结为数据源、数据源之间及数据传播网络路径的组合问题，仿真实验证明，数据源提供的数据量越多，该模型越能对数据的可信性进行准确分析，很好地满足了大数据的可信需求。

技术领域

本发明涉及一种基于分层模型的大数据可信性度量方法，属于数据处理技术领域。

背景技术

近年来，随着物联网、云计算等技术的迅猛发展，“人-机-物”三元世界高度融合，并且造成数据规模的爆炸式增长和数据模式的高度复杂化，促使当前的信息社会步入大数据(Big Data)时代。大数据的产生，为信息科学及控制与决策领域提供了丰富的数据源基础，但数据的真实性在信息融合、智能决策等方面具有重要的作用。

目前，针对数据的可信度量与信任管理，已有一些研究方法和经典处理，主要分为两大类，一类是客观信任分析，这类信任分析是基于证据的，严格的定义信任关系，能够精确地描述、验证。另一类是主观信任分析，这类信任分析是基于信念的，具有模糊性、不确定性，无法精确地描述、验证。具体包括基于证据和概率统计理论、基于模糊集合理论、基于信息熵的理论及基于多属性决策理论等算法。虽然这些算法对于普通数据的可信度量做出了一定的贡献，但是其可信计算模型一般只考虑一部分决策属性，并不全面。在计算综合信任度时只考虑直接信任与间接信任的简单的加权平均，而忽略了环境上下文影响，导致模型不能很好地刻画信任关系的复杂性和不确定性。在基于概率统计建模过程中，由于建模前做了一部分假设，带有较大的主观性，致使预测结果的准确性和可信决策的科学性受到影响。一部分模型虽然考虑了实体之间的动态交互性和随机性，但并没有考虑时效性及恶意推荐所带来的影响，而且缺少灵活性,一旦权值确定，系统很难动态地去调整它，致使预测模型缺少自适应性。而在大数据时代，数据具有典型的“4V”特征(即海量的数据规模(Volume)、快速的数据流转(Velocity)、多样的数据类型(Variety)、巨大的数据价值(Value))和典型“HDC”属性(即数据的异构性(Heterogeneous)、动态的数据体系(Dynamic)、数据的复杂性(Complexity))，这就决定了大数据具有多源分布性、异构性、时空关联性、社会性及高噪声等特点。因此传统的数据可信分析方法无法满足大数据的可信度量需求，有必要研究新形势下大数据的可信度量与评估方法，以有效降低风险，提高数据的可信性，满足人们对大数据可信性的迫切需求。

发明内容

本发明的目的在于针对现有技术之弊端，提供一种面向大数据的可信度量方法，以便对数据的可信性进行准确分析，满足人们对大数据可信性的迫切需求。

本发明所述问题是以下述技术方案解决的：

一种面向大数据的可信度量方法，所述方法通过计算数据源之间的可信度、数据源的可信度、数据的可信度，动态地构建含有时间因子和惩罚因子权重参数的层次化的大数据可信性分析网络，最后利用所构建的可信性分析网络计算出数据的可信度，所述方法包括以下步骤:

a.利用Hadoop技术对采集到的数据进行预处理，提取关键属性；

b.计算数据源之间的本地可信度，动态构建由数据源构成的可信网络：

本地可信度的计算公式为：

ΔContext(A,B,t)＝Context(A,B,t)-Context(A,B,t-1)，