[发明专利]海量数据实体相似对确定方法和系统

说明书

本发明公开了海量数据实体相似对确定方法和系统，包括对数据根据相同属性值进行实体初步聚类；根据实体聚类结果确定初选相似实体对；计算初选相似实体对在所有属性下的总相似度，将获得的总相似度与预先确定的相似度阈值进行比较，获得确定的相似实体对集合。本发明首先进行了初选相似实体对的识别，再次基础上在进行相似实体对的确认，能够快速有效地进行大数据量、更新频繁和具有复杂结构数据上的实体相似度的判定。

技术领域

本发明属于数据处理技术领域，具体涉及海量数据实体相似对确 定方法和系统。

背景技术

在实体性计算中，根据每个实体的属性，对部分实体进行相似性 的标注，要求能得到实体之间的相似度。相似性实体的确定有着广泛 的应用，由于在互联网应用更加广泛，还可以应用到智能工业物联网、 智能农业、智能交通以及智能城市等多个方面，利用相似性分析实现 传统的相似性搜索和智能推荐。

而目前的实体相似对的确定方法在处理复杂的海量数据时效率 有待提高，且准确度不高。

发明内容

本发明旨在解决现有实体相似对的确定方法处理复杂的海量数 据时效率有待提高，且准确度不高的技术问题，提供了一种海量数据 实体相似度确定方法和系统。

为实现上述技术目的，本发明采用了以下技术方案。

一方面，本发明提供了海量数据实体相似对确定方法，包括以下 步骤：

对数据根据相同属性值进行实体初步聚类；根据实体聚类结果确 定初选相似实体对；计算初选相似实体对在所有属性下的总相似度， 将获得的总相似度与预先确定的相似度阈值进行比较，获得确定的相 似实体对集合。

进一步地，对数据根据相同属性值进行实体初步聚类包括：对原 始数据库文件进行预处理后根据属性进行聚类，后输出各个属性的属 性索引表。

第二方面，本发明提供了海量数据实体相似对确定系统，包括：

实体初步聚类模块，用于对数据根据相同属性值进行实体初步聚 类；根据实体聚类结果确定初选相似实体对；

实体对总相似度计算模块，用于计算实体初步聚类模块确定的初 选相似实体对在所有属性下的总相似度；

实体对确定模块，用于将实体对总相似度计算模块获得的总相似 度与预先确定的相似度阈值进行比较，获得确定的相似实体对集合。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储 介质存储有计算机程序，所述计算机程序被处理器执行时实现如以上 技术方案提供的所述方法的步骤。

有益技术效果

本发明首先进行了初选相似实体对的识别，再次基础上在进行相 似实体对的确认，能够快速有效地进行大数据量、更新频繁和具有复 杂结构数据上的实体相似度的判定；

本发明提供了可选的相似对的相似度阈值的确认方法，更加科学， 使得相似对的划分更加合理、准确；

本发明采用了并行计算方法，提高了处理的速度和效率，更加适 合应用于海量数据实体的识别。

附图说明

图1为本发明具体实施例中初步聚类算法流程图；

图2为本发明具体实施例中阈值求解算法流程图；

图3为本发明具体实施例海量数据实体相似对确定方法流程示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需 要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技 术特征之间可以任意组合形成新的实施例。