[发明专利]样本集的处理方法及装置、样本的查询方法及装置

权利要求书

1.一种对样本集进行分类处理的方法，包括：

通过对样本集中多个样本的特征向量进行聚类，确定N个类簇以及对应的N个类簇中心；

在第一向量表中记录所述N个类簇的类簇标识以及所述N个类簇中心对应的N个中心向量；

将所述多个样本中各个样本的特征向量根据维度划分为M个分段，以形成与各个分段i对应的分段向量；

分别对所述多个样本的各个分段向量进行聚类，确定各个分段i对应的k个分段类簇，以及对应的k个分段类簇中心；

在第二向量表中记录各个分段i对应的k个分段类簇的类簇标识，以及各个分段类簇中心对应的分段中心向量。

2.根据权利要求1所述的方法，还包括：将所述第一向量表和第二向量表存储在分布式文件系统中，并记录所述第一向量表和第二向量表对应的配置参数，所述配置参数指示所述第一向量表和第二向量表在分布式文件系统中的访问路径。

3.一种为样本集建立索引表的方法，包括：

获取根据权利要求1的方法得到的第一向量表和第二向量表；

获取所述样本集中任意样本的特征向量V；

从所述第一向量表记录的N个中心向量中，确定出与所述特征向量V距离最近的中心向量，将该最近的中心向量对应的类簇标识作为第一索引数据；

将所述特征向量V根据维度划分为M个分段，形成与各个分段i对应的分段向量Vi；

从所述第二向量表记录的、各个分段i对应的k个分段中心向量中，确定与对应的分段向量Vi距离最近的分段中心向量，将确定出的分段中心向量对应的分段类簇的类簇标识作为第二索引数据；

分别将所述第一索引数据和第二索引数据添加到索引表的第一索引字段和第二索引字段中。

4.根据权利要求3所述的方法，其中所述第一向量表和第二向量表存储在分布式文件系统中，所述获取根据权利要求1的方法得到的第一向量表和第二向量表包括：

获取所述第一向量表和第二向量表的配置参数，通过配置参数获得第一向量表和第二向量表的访问路径；

根据所述访问路径从所述分布式文件系统中读取第一向量表和第二向量表。

5.根据权利要求3所述的方法，还包括：通过查询标记文件，确定所述第一向量表和第二向量表的更新状态。

6.根据权利要求3所述的方法，还包括：对所述索引表中第一索引字段进行索引倒排，获得第一倒排索引表，所述第一倒排索引表记录各个类簇所对应的样本。

7.一种查询相似样本的方法，包括：

获取查询样本的特征向量T；

获取根据权利要求1的方法获得的第一向量表和第二向量表；

获取如权利要求3所述的索引表；

从所述第一向量表记录的N个中心向量中，确定出与所述特征向量T的距离满足第一预定条件的中心向量，将该中心向量所对应的类簇作为选定类簇；

根据所述索引表中的第一索引字段，确定与所述选定类簇对应的样本作为对比样本；

确定所述对比样本中各个对比样本与所述查询样本之间的样本距离；

将所述样本距离满足第二预定条件的样本确定为所述查询样本的相似样本。

8.根据权利要求7所述的方法，其中所述第一预定条件为：距离最小的预定数目个中心向量，或者，距离小于一定阈值的中心向量。

9.根据权利要求7所述的方法，其中根据所述索引表中的第一索引字段，确定与所述选定类簇对应的样本作为对比样本包括：通过对第一索引字段进行索引倒排，确定与选定类簇对应的样本作为对比样本。

10.根据权利要求7所述的方法，其中所述索引表还包括根据所述第一索引字段确定的第一倒排索引表，所述第一倒排索引表记录各个类簇所对应的样本；

根据所述索引表中的第一索引字段，确定与所述选定类簇对应的样本作为对比样本包括：通过查询所述第一倒排索引表，读取与所述选定类簇对应的样本作为对比样本。