[发明专利]合并对称实体组的方法及装置

说明书

本发明公开了一种合并对称实体组的方法及装置，涉及互联网技术领域，为解决现有合并对称实体组的方法效率极低的问题而发明。本发明的方法包括：计算数据库实体表里各实体组中实体的校验值，数据库实体表记录有多个实体组以及对应每个实体组的关联度，关联度用于表征实体组中各个实体之间的关联程度；将各实体组中各个实体的校验值相加，获得对应各实体组的校验值之和；将校验值之和相等的实体组的关联度相加，获得新的关联度，并将校验值之和相等的实体组的关联度分别赋值为新的关联度；对校验值之和相等的实体组进行去除重复项的操作，在数据库实体表中保留剩余的实体组。本发明适合应用在大数据分析处理的过程中。

技术领域

本发明涉及互联网技术领域，尤其涉及一种合并对称实体组的方法及装置。

背景技术

目前，在大数据应用系统中，越来越多的使用关联分析工具从海量数据中挖掘出不同实体(或项，商品等)之间的联系。在实际的数据挖掘中会出现一些关联关系，比如：“啤酒-尿布”，关联度为10；“尿布-啤酒”，关联度为13，其中“啤酒-尿布”，就是一个由关联的实体组成的实体组，“尿布-啤酒”是另一个由关联的实体组成的实体组。从业务上讲这两个实体组属于对称关系，是可以进行合并的。比如可以将其合并为一个实体组“啤酒-尿布”，关联度为23。

关于合并对称实体组，现有的方法是通过将所有的实体组进行逐对比较，当发现有对称的实体组时将其进行合并。

在现有的合并对称实体组的方法中，发明人发现，逐对比较实体组的方法开销非常大，每增加一个实体组就需要多进行n-1次的比较，在大数据量环境下，这种比较方式效率极低。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种合并对称实体组的方法及装置。

为解决上述技术问题，一方面，本发明提供了一种合并对称实体组的方法，该方法包括：

计算数据库实体表里各实体组中实体的校验值，所述数据库实体表记录有多个实体组以及对应每个实体组的关联度，所述关联度用于表征实体组中各个实体之间的关联程度；

将所述各实体组中各个实体的校验值相加，获得对应所述各实体组的校验值之和；

将所述校验值之和相等的实体组的关联度相加，获得新的关联度，并将所述校验值之和相等的实体组的关联度分别赋值为所述新的关联度；

对所述校验值之和相等的实体组进行去除重复项的操作，在所述数据库实体表中保留剩余的实体组。

另一方面，本发明还提供了一种合并对称实体组的装置，该装置包括：

计算单元，用于计算数据库实体表里各实体组中实体的校验值，所述数据库实体表记录有多个实体组以及对应每个实体组的关联度，所述关联度用于表征实体组中各个实体之间的关联程度；

第一相加单元，用于将所述各实体组中各个实体的校验值相加，获得对应所述各实体组的校验值之和；

第二相加单元，用于将所述校验值之和相等的实体组的关联度相加，获得新的关联度，并将所述校验值之和相等的实体组的关联度分别赋值为所述新的关联度；

去重单元，用于对所述校验值之和相等的实体组进行去除重复项的操作，在所述数据库实体表中保留剩余的实体组。

借由上述技术方案，本发明提供的合并对称实体组的方法及装置，能够通过计算实体组中各实体的校验值，并得到各实体组中实体的校验值之和，将校验值之和相等的实体组的关联度相加，得到新的关联度，并将新的关联度分别赋值于校验值之和相等的实体组，最后对校验值之和相等的实体组进行去重处理，保留剩余的实体组。与现有技术相比，本发明能够通过计算校验值之和的方法对对称实体组进行去重，无需对实体组中的实体内容进行比对，因此可以减少处理资源的开销，提高合并对称实体组的效率。