[发明专利]面向电影信息数据集中数据空间的实体解析方法

说明书

面向数据空间的实体解析方法，本发明涉及实体解析方法。本发明的目的是为了解决现有在数据空间中进行实体解析时，要对记录进行对比，对于不同领域的记录对，匹配概率很小，成对对比会浪费资源的问题。过程为：步骤一、构建记录图：步骤二、采用剪枝方法简化记录图；步骤三、对剪化后的记录图进行分块处理；步骤四、建立属性映射集群；步骤五、计算属性映射集的优度；步骤六、得到属性映射集群中各个映射集的优度后，在块内进行实体解析。本发明用于数据实体解析领域。

技术领域

本发明涉及实体解析方法。

背景技术

实体解析是指识别同一实体的不同描述形式的过程，旨在保障数据质量，是数据清理、数据集成及数据挖掘中的关键技术^[1](Vasilis Efthymiou,Kostas Stefanidis,Vassilis Christophides.Big Data Entity Resolution:From Highly to SomehowSimilar Entity Descriptions in the Web[C]//Proceeding Big Data’15Proceedingsof the 2015IEEE International Conference on Big Data,2015,11(1):401-410P)。在传统的实体解析工作中，大部分工作依赖于数据之间的模式或语义映射。数据空间是一种新的数据集成方式，它没有严格的数据模式及语义映射，而是根据主体的需求逐渐将数据纳入并建立关系，是一种异质数据集合，其特点是数据来自多个数据源^[2](葛敬军,胡长军,刘歆.面向领域科学的虚拟数据空间共享模型[J].小型微型计算机系统,2014,35(3):514-519PGE Jingjun,HU Changjun,LIU Xin.Virtual Data Space Sharing Model forDomain Science[J].Minicomputer System,2014,35(13):514-519P)。在数据空间中进行实体解析时，就失去了实体解析的有力工具，语义映射。实体解析要对记录进行对比，对于不同领域的记录对，匹配概率很小，成对对比会浪费资源。

发明内容

本发明的目的是为了解决现有电影信息数据集中在数据空间中进行实体解析时，要对电影信息数据集中记录进行对比，对于电影信息数据集中不同领域的记录对，匹配概率很小，成对对比会浪费资源的问题，而提出面向电影信息数据集中数据空间的实体解析方法。

面向数据空间的实体解析方法具体过程为：

步骤一、构建记录图：

步骤二、采用剪枝方法简化记录图；

步骤三、对剪化后的记录图进行分块处理；

步骤四、建立属性映射集群；

步骤五、计算属性映射集的优度；

步骤六、得到属性映射集群中各个映射集的优度后，在块内进行实体解析。

本发明的有益效果为：

本发明提出了分块技术^[3](Batya Kening,Avigdor Gal.MFIBlocks:Aneffective blocking algorithm for entity resolution[J].Information Systems,2013,38(6):908-926P)，即利用一种代价较低的计算方法对电影信息数据集中数据进行预判，即电影信息数据集中可能属于同一实体的数据记录放在一个块中，仅在块内进行记录对比。解决了现有在电影信息数据集中数据空间中进行实体解析时，要对记录进行对比，对于不同领域的记录对，匹配概率很小，成对对比会浪费资源的问题。