[发明专利]一种全息科技数据处理方法

权利要求书

1.一种全息科技数据处理方法，其特征在于，

主要包括四个步骤：

1)全息科技数据梳理与描述；

2)全息科技数据模型设计

3)全息科技数据清洗；

4)全息科技数据数据融合。

2.根据权利要求1所述的方法，其特征在于，

其中，1)全息科技数据梳理与描述

在科技项目信息数据服务的基础上，建立科技数据分类体系，将业务分成需求征集、重点任务布局、实施方案编制、专项设立、编制项目指南、合规性审核、答辩评审、正式申报、首轮评审、预申报、指南发布、立项结果公示、项目立项、预算经费监管、项目绩效评估、项目成果管理、项目成果转化、科技成果推广宣传、科技奖励阶段；

通过上述梳理，将科技项目管理业务归为项目、机构、人员、产出、环境、条件、事件和项目管理过程这八类要素。

3.根据权利要求2所述的方法，其特征在于，

2)全息科技数据模型设计

按照上述构成科技数据的八要素，设计科技全息数据模型。

4.根据权利要求3所述的方法，其特征在于

3)全息科技数据清洗

数据清洗包括清除重复数据、消除噪声数据。

5.根据权利要求4所述的方法，其特征在于

其中，重复数据的清洗：

如果有两个及以上的实例表示的是同一实体,那么即为重复记录。为了发现重复实例,将每一个实例都与其他实例进行对比,找出与之相同的实例；对于实例中的数值型属性,采用统计学的方法来检测,根据不同的数值型属性的均值和标准方差值,设置不同属性的置信区间来识别异常属性对应的记录,识别出数据集合中的重复记录,并加以消除；

相似度计算是重复数据清洗过程中的常用方法,通过计算记的各属性的相似度,再考虑每个属性的不同权重值,加权平均后得到记录的相似度；

如果两条记录相似度超过了设定的阈值,则认为两条记录是匹配的,否则,认为这两条记录指向不同实体。

6.根据权利要求4或5所述的方法，其特征在于

噪声数据处理：

在数据收集、整理的过程中,产生的噪声数据,即“离群点”；通过值域及文本语义理解判定数据内容值的合理性并修订。

7.根据权利要求6所述的方法，其特征在于

对于数值型数据采用平滑数据的方法，文本内容采用语义判断-相似文本替换的方法。

8.根据权利要求8所述的方法，其特征在于

4)全息科技数据数据融合

数据集成是将多文件或多数据库运行环境中的异构数据进行合并处理,解决语义模糊性；该部分主要涉及数据的选择、不一致数据的处理问题。

9.根据权利要求8所述的方法，其特征在于

数据选择指不同来源信息对实体的同一属性进行描述时做的选择；

根据算法矩阵用于判定不同数据源的内容权重值，根据最后权重值计算最终的内容项。

10.根据权利要求9所述的方法，其特征在于

当内容适合使用数据选择矩阵时，可以进行权重计算，数据重构。

当内容不适用数据选择矩阵时，分别对数据源进行数据质量评估，依据数据质量评估矩阵进行数据内容重构。