[发明专利]一种全息科技数据处理方法

说明书

本发明提供一种全息科技数据处理方法，属于软件架构技术领域，本发明主要包括四个步骤：1)全息科技数据梳理与描述；2)全息科技数据模型设计；3)全息科技数据清洗；4)全息科技数据数据融合。有效整合政府各职能部门的科技管理信息资源，建立贯穿科技项目管理生命周期全过程的科技项目全息数据模型，实现不同来源数据清洗、融合，作为数据分析、挖掘前的重要数据准备工作,可以保证数据的准确性和有效性。

技术领域

本发明涉及软件架构技术，尤其涉及一种全息科技数据处理方法。

背景技术

随着“以用户为中心、以服务为导向”的政府形态的提出，对分散在政府各职能部门的科技项目资源进行有效的梳理和整合，设计科技全息数据模型，对于全面掌握项目生命周期全过程的信息，为用户提供个性化、精细化和移动化的服务。

因为数据类型和组织模式多样化、关联关系繁杂、质量良莠不齐等内在的复杂性,使得数据的感知、表达、理解和计算等多个环节面临着巨大的挑战。

发明内容

为了解决以上技术问题，本发明提出了一种全息科技数据处理方法，结合各类科技信息资源，设计全息科技数据模型，对数据模型进行系列处理，提高数据的准确性。

本发明的技术方案是：

一种全息科技数据处理方法，主要包括四个步骤：

1)全息科技数据梳理与描述；

2)全息科技数据模型设计

3)全息科技数据清洗；

4)全息科技数据数据融合。

其中，1)全息科技数据梳理与描述

在科技项目信息数据服务的基础上，建立科技数据分类体系，将业务分成需求征集、重点任务布局、实施方案编制、专项设立、编制项目指南、合规性审核、答辩评审、正式申报、首轮评审、预申报、指南发布、立项结果公示、项目立项、预算经费监管、项目绩效评估、项目成果管理、项目成果转化、科技成果推广宣传、科技奖励阶段；

通过上述梳理，将科技项目管理业务归为项目、机构、人员、产出、环境、条件、事件和项目管理过程这八类要素。

2)全息科技数据模型设计

按照上述构成科技数据的八要素，设计科技全息数据模型；

3)全息科技数据清洗

数据清洗包括清除重复数据、消除噪声数据。

其中，重复数据的清洗：

如果有两个及以上的实例表示的是同一实体,那么即为重复记录。为了发现重复实例,将每一个实例都与其他实例进行对比,找出与之相同的实例；对于实例中的数值型属性,采用统计学的方法来检测,根据不同的数值型属性的均值和标准方差值,设置不同属性的置信区间来识别异常属性对应的记录,识别出数据集合中的重复记录,并加以消除；

相似度计算是重复数据清洗过程中的常用方法,通过计算记的各属性的相似度,再考虑每个属性的不同权重值,加权平均后得到记录的相似度；

如果两条记录相似度超过了设定的阈值,则认为两条记录是匹配的,否则,认为这两条记录指向不同实体。

噪声数据处理：

在数据收集、整理的过程中,产生的噪声数据,即“离群点”；通过值域及文本语义理解判定数据内容值的合理性并修订。

对于数值型数据采用平滑数据的方法，文本内容采用语义判断-相似文本替换的方法。

4)全息科技数据数据融合