[发明专利]样本集的处理方法及装置、样本的查询方法及装置

说明书

本说明书实施例提供对样本集进行分类处理、索引处理的方法和装置，以及查询相似样本的方法和装置。在分类处理中，对样本集中的样本进行两级聚类，将聚类结果记录在第一向量表和第二向量表中。在索引处理中，为样本集中的每个样本建立两级索引，第一级索引指向该样本所属于的粗聚类中心，第二级索引指向该样本的分段向量所对应的分段聚类中心。在查询相似样本过程中，对查询样本进行两级检索。第一级检索，从分类处理的第一向量表中确定与查询样本距离较近的粗聚类中心，并获取归属于这些粗聚类中心的对比样本。第二级检索，将距离满足预定条件的对比样本作为相似样本。如此，实现样本的快速检索和查询。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及样本集的预处理，和样本的查询方法及装置。

背景技术

随着互联网的升级，人们越来越多地利用互联网进行更多的搜索、查询工作。比如，人们已经非常习惯使用各种搜索引擎来搜索感兴趣的内容。同时，人们搜索和查询的对象也越来越复杂，例如，由搜索文本关键词，逐渐发展为搜索图片，搜索音乐等等。随着搜索和查询对象变得更加复杂，搜索的难度指数级增加。首先，复杂的对象通常需要用高维向量来表征。因此在进行搜索的过程中，通常需要比对诸多高维向量之间的距离或相似度。另一方面，在大数据时代下，网络上的数据呈爆炸式增长的趋势。当待检索的样本库中存在海量数据时，如果采用暴力搜索，针对每一样本进行高维向量的运算，计算量非常大，导致查询时间太长，从而难以满足用户需求。

因此，需要更有效的方式，对复杂对象进行相似性搜索。

发明内容

本说明书一个或多个实施例描述了一种方法和装置，预先对样本集中的样本进行两个层级的聚类并建立两个层级的索引，在样本查询过程中，通过两个层级的检索，快速地查询出相似样本。

根据第一方面，提供了一种对样本集进行分类处理的方法，包括：通过对样本集中多个样本的特征向量进行聚类，确定N个类簇以及对应的N个类簇中心，并在第一向量表中记录所述N个类簇的类簇标识以及所述N个类簇中心对应的N个中心向量；将所述多个样本中各个样本的特征向量根据维度划分为M个分段，以形成与各个分段i对应的分段向量；分别对所述多个样本的各个分段向量进行聚类，确定各个分段i对应的k个分段类簇，以及对应的k个分段类簇中心，并在第二向量表中记录各个分段i对应的k个分段类簇的类簇标识，以及各个分段类簇中心对应的分段中心向量。

根据第二方面，提供一种为样本集建立索引表的方法，包括：获取根据第一方面的第一向量表和第二向量表；获取所述样本集中任意样本的特征向量V；从所述第一向量表记录的N个中心向量中，确定出与所述特征向量V距离最近的中心向量，将该最近的中心向量对应的类簇标识作为第一索引数据；将所述特征向量V根据维度划分为M个分段，形成与各个分段i对应的分段向量Vi；从所述第二向量表记录的、各个分段i对应的k个分段中心向量中，确定与对应的分段向量Vi距离最近的分段中心向量，将确定出的分段中心向量对应的分段类簇的类簇标识作为第二索引数据；分别将所述第一索引数据和第二索引数据添加到索引表的第一索引字段和第二索引字段中。

根据第三方面，提供了一种查询相似样本的方法，包括：获取查询样本的特征向量T；获取根据第一方面的第一向量表和第二向量表；获取第二方面所述的索引表；从所述第一向量表记录的N个中心向量中，确定出与所述特征向量T的距离满足第一预定条件的中心向量，将该中心向量所对应的类簇作为选定类簇；根据所述索引表中的第一索引字段，确定与所述选定类簇对应的样本作为对比样本；确定所述对比样本中各个对比样本与所述查询样本之间的样本距离；将所述样本距离满足第二预定条件的样本确定为所述查询样本的相似样本。