[发明专利]一种数据搜索处理方法、装置及设备

说明书

本发明公开了一种数据搜索处理方法、装置及设备，该方法包括：根据文件系统的数据集获得并行计算框架算法的第一抽象弹性数据集；对所述第一抽象弹性数据集进行转换处理，得到第二抽象弹性数据集；根据随机投影树的随机投影种子与所述第二抽象弹性数据集，形成第三抽象弹性数据集；对所述第三抽象弹性数据集进行计算处理，得到第四抽象弹性数据集；根据所述第四抽象弹性数据集，判断所述随机投影树的叶子节点达到条件时，得到优化的随机投影树；根据所述优化的随机投影树对待搜索数据进行搜索，得到目标数据。通过上述方式，本发明实现了在高维度空间上，快速地进行目标数据的检索。

技术领域

本发明涉及数据搜索处理技术领域，具体涉及一种数据搜索处理方法、装置及设备。

背景技术

目前搜索技术中，有随机投影树搜索算法、并行计算框架Spark搜索算法、伪随机数搜索算法等；现有技术存在以下缺点：

无法在高维度空间进行有效的实现快速文本的搜索，且当数据量庞大时索引数据单机消耗大量的存储资源，限制大规模数据的扩展。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的数据搜索处理方法、装置及设备。

根据本发明实施例的一个方面，提供了一种数据搜索处理方法，所述方法包括：

根据文件系统的数据集获得并行计算框架算法的第一抽象弹性数据集；

对所述第一抽象弹性数据集进行转换处理，得到第二抽象弹性数据集；

根据随机投影树的随机投影种子与所述第二抽象弹性数据集，形成第三抽象弹性数据集；

对所述第三抽象弹性数据集进行计算处理，得到第四抽象弹性数据集；

根据所述第四抽象弹性数据集，判断所述随机投影树的叶子节点达到条件时，得到优化的随机投影树；

根据所述优化的随机投影树对待搜索数据进行搜索，得到目标数据。

根据本发明实施例的另一方面，提供了一种数据搜索处理装置，所述装置包括：

第一获得模块，用于根据文件系统的数据集获得并行计算框架算法的第一抽象弹性数据集；

第二获得模块，用于对所述第一抽象弹性数据集进行转换处理，得到第二抽象弹性数据集；

第三获得模块，用于根据随机投影树的随机投影种子与所述第二抽象弹性数据集，形成第三抽象弹性数据集；

第四获得模块，用于对所述第三抽象弹性数据集进行计算处理，得到第四抽象弹性数据集；

处理模块，用于根据所述第四抽象弹性数据集，判断所述随机投影树的叶子节点达到条件时，得到优化的随机投影树；

搜索模块，用于根据所述优化的随机投影树对待搜索数据进行搜索，得到目标数据。

根据本发明实施例的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述的数据搜索处理方法对应的操作。

根据本发明实施例的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述的数据搜索处理方法对应的操作。

根据本发明上述实施例提供的方案，可以实现在高维度空间上，快速地进行目标数据的检索，由此解决了现有技术中无法在高维度空间进行有效的搜索的问题；取得了在高维度空间上，快速的实现目标数据的检索的有益效果。