[发明专利]一种数据搜索处理方法、装置及设备

权利要求书

1.一种数据搜索处理方法，其特征在于，所述方法包括：

根据文件系统的数据集获得并行计算框架算法的第一抽象弹性数据集；

对所述第一抽象弹性数据集进行转换处理，得到第二抽象弹性数据集；

根据随机投影树的随机投影种子与所述第二抽象弹性数据集，形成第三抽象弹性数据集；

对所述第三抽象弹性数据集进行计算处理，得到第四抽象弹性数据集；

根据所述第四抽象弹性数据集，判断所述随机投影树的叶子节点达到条件时，得到优化的随机投影树；

根据所述优化的随机投影树对待搜索数据进行搜索，得到目标数据。

2.根据权利要求1所述的数据搜索处理方法，其特征在于，对所述第一抽象弹性数据集进行转换处理，得到第二抽象弹性数据集，包括：

根据所述并行计算框架算法的映射map算子，对所述第一抽象弹性数据集进行转换处理，得到第二抽象弹性数据集。

3.根据权利要求1所述的数据搜索处理方法，其特征在于，根据随机投影树的随机投影种子与所述第二抽象弹性数据集，形成第三抽象弹性数据集，包括：

构建随机投影树；

产生所述随机投影树的随机种子；

根据所述随机种子产生随机向量；

获得所述第二抽象弹性数据集中的各个数据点与所述随机向量的点积，其中，随机向量与从所述数据点出发的向量垂直；

根据所述点积，形成所述第三抽象弹性数据集。

4.根据权利要求3所述的数据搜索处理方法，其特征在于，根据所述点积，形成所述第三抽象弹性数据集，包括：

当点积大于一预设值时，关键字key为第一随机向量的哈希值连接，表示该数据点属于随机投影树的右子树；

当数据点积小于所述预设值，关键字key为第二随机向量的哈希值连接，表示该数据点属于随机投影树的左子树；

将(key，数据点坐标)形式的键值对作为所述第三抽象弹性数据集。

5.根据权利要求4所述的数据搜索处理方法，其特征在于，对所述第三抽象弹性数据集进行计算处理，得到第四抽象弹性数据集，包括：

根据所述并行计算框架算法的reduce算子，对所述第三抽象弹性数据集进行计算处理，得到所述第三抽象弹性数据集中的叶子节点数count；

将(key，count)形式的键值对作为所述第四抽象弹性数据集。

6.根据权利要求5所述的数据搜索处理方法，其特征在于，根据所述第四抽象弹性数据集，判断所述随机投影树的叶子节点达到条件时，得到优化的随机投影树，包括：

根据所述第四抽象弹性数据集中的键值对，判断当叶子节点数count到达最大聚簇大小c时，停止数据空间的划分，得到优化的随机投影树。

7.根据权利要求6所述的数据搜索处理方法，其特征在于，还包括：

对所述优化的随机投影树的数量和最大聚簇大小c进行调节，得到最终的优化的随机投影树池。

8.一种数据搜索处理装置，其特征在于，所述装置包括：

第一获得模块，用于根据文件系统的数据集获得并行计算框架算法的第一抽象弹性数据集；

第二获得模块，用于对所述第一抽象弹性数据集进行转换处理，得到第二抽象弹性数据集；

第三获得模块，用于根据随机投影树的随机投影种子与所述第二抽象弹性数据集，形成第三抽象弹性数据集；

第四获得模块，用于对所述第三抽象弹性数据集进行计算处理，得到第四抽象弹性数据集；

处理模块，用于根据所述第四抽象弹性数据集，判断所述随机投影树的叶子节点达到条件时，得到优化的随机投影树；

搜索模块，用于根据所述优化的随机投影树对待搜索数据进行搜索，得到目标数据。