[发明专利]一种大数据的融合方法、系统和装置

说明书

本发明公开了一种大数据的融合方法、系统和装置，本发明的方法包括以下步骤：根据实体概念与原始数据的映射关系、原始数据结构图和业务逻辑图，构建数据融合图；通过中心联通子图法对数据融合图中的复杂实体概念进行识别，得到复杂实体概念以及描述复杂实体概念的数据结构图集合；系统包括数据重构模块和复杂实体概念识别模块；装置包括存储器和处理器。本发明以图为核心，增设了通过中心连通子图法对数据融合图进行识别的步骤，使得数据融合方法可以将复杂实体概念以及描述复杂实体概念的潜在数据结构从数据融合图中挖掘出来，克服了现有技术不能挖掘更复杂的实体概念的缺点。本发明可以广泛应用于数据挖掘领域。

技术领域

本发明涉及数据挖掘领域，尤其是一种大数据的融合方法、系统和装置。

背景技术

名词解释：

DFS算法：深度优先搜索属于图算法的一种，英文缩写为DFS即Depth FirstSearch。其过程简要来说是对每一个可能的分支路径深入到不能再深入为止，而且每个节点只能访问一次，DFS算法遍历图的方法是，从图中某顶点v出发：

(1)访问顶点v；

(2)依次从v的未被访问的邻接点出发，对图进行深度优先遍历；直至图中和v有路径相通的顶点都被访问；

(3)若此时图中尚有顶点未被访问，则从一个未被访问的顶点出发，重新进行深度优先遍历，直到图中所有顶点均被访问过为止。

中心连通子图：子图中存在一个中心节点，对于子图中的任何一个节点，都存在一条从该节点到中心节点的路径。

实体概念：是对业务逻辑中一类事物的抽象模型，实体概念e由多个侧面特征组成。实体概念可形式化表示为e＝(Attributes,Relations),其中Attributes是属性的集合，Relations是关系集合。attr∈Attributes是一个属性，属性attr＝name,attrClass包括属性名和属性类型，属性类型只有两种分别是值类型value和实体概念类型entity。即attr可以表示为name,value或者是name,entity。Relations是属性之间的关系。

简单实体概念：是在业务逻辑中，属性集合中每个元素的类型都是值类型value，即实体概念es＝(Attributes,Relations)是简单实体概念当且仅当attr.attrClass=value。由于属性是值类型，所以

复杂实体概念：是在业务逻辑中，属性集合中存在一个元素的类型是实体概念类型entity，即实体概念es＝(Attributes,Relations)是复杂实体概念当且仅当attr.attrClass＝entity。由于属性存在实体概念类型，所以实体概念与数据表的映射是指存在一个关系R,对于所有实体概念e，都有一个二元组(GeVe,Ee,A2S)与之对应；形式化表达为：R:e→(GeVe,Ee,A2S)。

数据融合最初是由于军事作战需求而提出，为使多种作战设备上的多传感器的数据信息能够协调、整合与集成而形成的一种数据横向综合信息处理技术。因而，国内早期研究数据融合的研究者，从技术的观点，把数据融合理解为一种技术思路，视为多源信息协调处理技术的总称。随着计算机科学技术的迅猛发展，数据融合概念已经不再局限于多传感器数据融合技术领域，概念的覆盖领域进一步扩充。在计算机领域，随着硬件设备性能和软件服务能力的不断提升，面对多源数据系统的数据融合，数据集成的技术手段不再缺乏。

目前大部分的数据融合的研究主要集中于针对数据对象或实例的融合。在实体识别方面，针对关系型数据库大部分研究都是基于数据的记录(元组)进行识别和匹配的。但是基于这种情况的方法和模型存在以下不足：基于数据的记录(元组)进行识别，只能识别出表与表之间重叠部分的实体概念，无法在融合后的数据中挖掘出更为复杂的实体概念。

发明内容