[发明专利]大量数据关系的表示

说明书

技术领域

本发明涉及一种表示大量数据关系的方法，更具体地，涉及一种利用属性超图(AHG)表示数据事件之间的大量数据关系的方法，从而以有效的方式存储和检索该大量的数据关系，以用于分析。

背景技术

对于大多数AI应用，包括机器学习、数据库中的知识发掘(knowledgediscoveryfromdatabases,KDD)以及大数据分析，对知识表达的选择是一项困难的任务。由W.A.伍兹于1983年10月在Computer，16(0)发表的题为“What’simportantaboutknowledgerepresentation”的文章中(下文用“伍兹”表示)提出应该使用两个衡量标准去评价知识表达的性能，即表达充分性和计数效率；并且基本作为模式存储、检索和操作的范式。

在数据挖掘，或者数据库中的知识发掘中，尤其是在大数据时代中，数据事件关系形式的大量模式需要被合适表达，表达形式应适于KDD系统用户实现目标。由于涉及到该系统的目标通常定义模糊并且随时间变化，因此数据和数据关系表示对于KDD系统而言要比传统的事物处理系统更重要。除了伍兹提出的要求外，还需要考虑其他方面。首先，表示方案应该提供简单知识重组机制，或者将焦点集中于某部分知识，从而实现变化的目标。第二，该表示方案应该是可扩展的，并且支持大量关系的快速查询和检索。由于现实世界中的数据通常包含噪声和不确定性，因此从KDD系统中提取的模式通常是概率性的。除逻辑基准之外，该表示还应该支持数字基准。最后，由于从大数据库中检测的模式可能是不同阶的，并且由于低阶关系不能够生成高阶模式，因此需要清楚地表示不同阶的模式。进一步的信息提供于A.K.C.黄(Wong)和Y.王在1995年于温哥华.BC.加拿大发表在Proc.OfThe1995IEEEInt’lConf.OnSMC，第二卷，第1142-1148页的题为“Discoveryofhighorderpatterns”的文章。

这些年来，已经出现多种数据关系的表示方案。最受欢迎的一种为E.F.科德发表于CommunicationoftheACM，13(6):377-387，1970的题为“Arelationalmodelofdataforlargeshareddatabanks”的文章中提出的数据关系模型，该关系模型形成了关系型数据库实现的基础。尽管关系模型对于事务处理有效且广泛适用，但是众所周知，它在数据分析中效率低下。关于此的进一步细节可见于J.V.霍曼和P.J.科瓦奇发表于IssuesinInformationSystem，X(1):208-213，2009的题为“Acomparisonoftherelationaldatabasemodelandassociativedatabasemodel”的文章；以及由D.克伦克所著的书籍“DatabaseProcessing:fundamentalsandimplementation”，PrenticeHall，第7版，2000(下文用“克伦克”表示)中的选录。

关系数据模型需要提前进行结构设计，并且严重依赖操作问题领域的知识(例如索引和键约束)。除了关系数据模型，还存在其他表示数据及数据关系的概念，尤其用于支持数据分析(而非事务处理)，例如由D.C.Tsichritzis和F.H.Lochovsky在ACMComputingSurveys，8(1):15-123发表于1976年3月的题为“Hierachicaldata-basemanagement:Asurvy”的文章中描述的层级模型；由R.盎格鲁和C.古铁雷斯于2008年2月在ACMComputingSurveys，40(1):1-1:39发表的题为“Survyofgraphdatabasemodels”(下文用“盎格鲁”表示)的文章中描述的网络/图形模型；并且尤其用于知识管理、规则模型和逻辑模型。

层级数据模型将数据组织为树形结构。数据被存储为彼此通过链接连接的记录。它使每个子记录仅具有一个根源，而每个父记录可以具有一个或多个子记录。为了检索数据，需要遍历整个树。就其本质而言，树仅将第一阶关系直接表示为父子链接。