[发明专利]面向总体设计的多维数据匹配方法、装置及计算机存储介质

说明书

本发明实施例公开了一种面向总体设计的多维数据匹配方法、装置及计算机存储介质；该方法可以包括：根据设定的哈希函数为多维数据表内的每个多维数据项建立对应的哈希值索引；相应于匹配策略为精确匹配，根据所述哈希函数确定待匹配多维数据项对应的哈希值，并且根据所述待匹配多维数据项对应的哈希值从所述多维数据表内搜索设定数目的第一目标多维数据项；相应于匹配策略为相似度匹配，基于设定的加权欧氏距离策略在所述多维数据表内逐项获取所述待匹配多维数据项与每个多维数据项之间的相似度，并从所述多维数据表中选取相似度最高的设定数目个第二目标多维数据项。

技术领域

本发明实施例涉及信息技术领域，尤其涉及一种面向总体设计的多维数据匹配方法、装置及计算机存储介质。

背景技术

随着数据规模的爆炸式扩大，数据中隐含的价值也在不断增大，挖掘大数据中有价值的信息和知识是目前热门的研究方式。在众多大数据挖掘和机器学习问题中，如何高效地实现大规模数据间精确匹配以及相似度匹配是一个基础的问题。比如，以数据清洗工作为例，首先就需要通过数据间的精确匹配和相似度计算删除冗余数据，以减少存储空间的浪费；或者在执行检索查询任务时，从海量的数据条目中快速的将为查询所输入的数据与数据库中数据进行匹配得到最符合查询问题的数据。

针对海量规模的参数库，所能够获取到的数据不再局限于单一维度的简单数据，而是具有多个属性维度和数值的多维数据对象，比如某型号物品同时具有质量、功率等多重属性。当前针对多维数据的相似度匹配算法通常是利用对象间距离计算进行相似度计算，比如基于欧式距离、最小边界矩等方法。由于仅依靠距离来计算相似度，造成了匹配所得到的结果并非是用户最期望获得的结果。

发明内容

有鉴于此，本发明实施例期望提供一种面向总体设计的多维数据匹配方法、装置及计算机存储介质；能够降低匹配过程的时间复杂度。

本发明实施例的技术方案是这样实现的：

第一方面，本发明实施例提供了一种面向总体设计的多维数据匹配方法，所述方法包括：

根据设定的哈希函数为多维数据表内的每个多维数据项建立对应的哈希值索引；

相应于匹配策略为精确匹配，根据所述哈希函数确定待匹配多维数据项对应的哈希值，并且根据所述待匹配多维数据项对应的哈希值从所述多维数据表内搜索设定数目的第一目标多维数据项；其中，所述第一目标多维数据项与所述待匹配多维数据项精确匹配；

相应于匹配策略为相似度匹配，基于设定的加权欧氏距离策略在所述多维数据表内逐项获取所述待匹配多维数据项与每个多维数据项之间的相似度，并从所述多维数据表中选取相似度最高的设定数目个第二目标多维数据项；其中，所述第二目标多维数据项与所述待匹配多维数据项相似匹配。

第二方面，本发明实施例提供了一种面向总体设计的多维数据匹配装置，所述装置包括：建立部分、精确匹配部分和相似度匹配部分；其中，

所述建立部分，经配置为根据设定的哈希函数为多维数据表内的每个多维数据项建立对应的哈希值索引；

所述精确匹配部分，经配置为相应于匹配策略为精确匹配，根据所述哈希函数确定待匹配多维数据项对应的哈希值，并且根据所述待匹配多维数据项对应的哈希值从所述多维数据表内搜索设定数目的第一目标多维数据项；其中，所述第一目标多维数据项与所述待匹配多维数据项精确匹配；

所述相似度匹配部分，经配置为相应于匹配策略为相似度匹配，基于设定的加权欧氏距离策略在所述多维数据表内逐项获取所述待匹配多维数据项与每个多维数据项之间的相似度，并从所述多维数据表中选取相似度最高的设定数目个第二目标多维数据项；其中，所述第二目标多维数据项与所述待匹配多维数据项相似匹配。