[发明专利]数据表相似度确定方法及装置

说明书

本发明提供一种数据表相似度确定方法及装置，在数据仓库的任意两个数据表中存在具有关联关系的字段时确定出任意两个数据表中具有关联关系的至少一对字段之间的字段相似度；然后根据确定出的字段相似度以及所述任意两个数据表中的字段数量确定任意两个数据表的表相似度。整个过程并不需要人为参与，降低了对工作人员的能力要求，同时提高了数据表的表相似度的确定效率以及确定结果的准确性。而且，可以通过数据仓库中不同数据表的表相似度，对整个数据仓库的冗余程度进行评估，为数据仓库的建设和维护提供理论基础。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据表相似度确定方法及装置。

背景技术

数据表，是数据仓库中用来存储数据的对象，数据在数据表中按行与列的格式组织排列，数据表中的每一列都设计为存储某种类型的信息，例如，姓名、日期等。

随着业务的快速发展，数据仓库中所存储的数据也越来越多，因此存储在数据仓库中的数据表也越来越多。各用户在构建自己的数据仓库的过程中，会根据业务需要创建大量的数据表，而且不同数据表中的字段之间会存在一定的调用关系和关联关系，使得不同数据表中的数据有一定的重复和相似性，可能会存在数据重复加工的问题，导致整个数据仓库的冗余数据增加，不利于数据仓库的健康维护。

目前，现有技术中对于数据仓库中不同数据表相似度的确定还处于空白阶段，需要依赖人工和经验来判断两个数据表是否相似以及数据仓库的数据冗余情况。这种方式效率较低，无法快速对数据仓库中不同数据表的相似度进行确定。而且，由于依赖人工和经验，将会导致确定结果的准确性降低。

发明内容

本发明提供一种数据表相似度确定方法及装置，用以解决现有技术中存在的缺陷。

本发明提供一种数据表相似度确定方法，包括：

判断数据仓库中任意两个数据表中是否存在具有关联关系的字段；

若所述任意两个数据表中存在具有关联关系的字段，则确定所述任意两个数据表中具有关联关系的至少一对字段之间的字段相似度；

基于所述字段相似度以及所述任意两个数据表中的字段数量，确定所述任意两个数据表的表相似度。

根据本发明提供一种数据表相似度确定方法，所述基于所述字段相似度以及所述任意两个数据表中的字段数量，确定所述任意两个数据表的表相似度，具体包括：

对所述任意两个数据表中具有关联关系的至少一对字段之间的字段相似度进行求和，得到第一求和结果；

将所述第一求和结果与所述任意两个数据表中的字段数量的比值作为所述任意两个数据表的表相似度。

根据本发明提供一种数据表相似度确定方法，还包括：

若所述任意两个数据表中不存在具有关联关系的字段，则确定所述数据仓库中与所述任意两个数据表对应的至少一个关联数据表，所述关联数据表中存在与所述任意两个数据表中的字段均具有关联关系的至少一个关联字段；

基于任一关联数据表中的任一关联字段与所述任意两个数据表中对应的字段之间的字段相似度，以及所述任一关联数据表中的关联字段的数量，确定所述任意两个数据表的表相似度。

根据本发明提供一种数据表相似度确定方法，所述基于任一关联数据表中的任一关联字段与所述任意两个数据表中对应的字段之间的字段相似度，以及所述任一关联数据表中的关联字段的数量，确定所述任意两个数据表的表相似度，具体包括：

基于所述任一关联数据表中的任一关联字段与所述任意两个数据表中对应的字段之间的字段相似度，以及所述任一关联数据表中的关联字段的数量，确定所述任一关联数据表对应的表相似度项；

将所述至少一个关联数据表对应的表相似度项之和作为所述任意两个数据表的表相似度。