[发明专利]一种挖掘短串的方法和装置

权利要求书

1.一种挖掘短串的方法，其特征在于，所述方法包括：

获取第一查询词与第二查询词之间的相似度，所述第一查询词为查询词集合中包括的任一查询词，所述第二查询词为所述查询词集合中除所述第一查询词之外的其他查询词；

选择与所述第一查询词之间的相似度大于第一相似度阈值的第二查询词，以及从第一短串集合中去除所述第一查询词对应的短串得到第二短串集合；

根据已存储的查询词、短串和相似度的对应关系，计算所述第一查询词与所述第一查询词对应的短串之间的第一相似度平均值，以及计算所述选择的第二查询词与所述选择的第二查询词对应的短串之间的第二相似度平均值；

根据所述第一相似度平均值和所述第二相似度平均值，计算所述第一查询词与所述第二短串集合中包括的短串之间的相似度；

从所述第二短串集合中选择与所述第一查询词之间的相似度大于第二相似度阈值的短串，并建立所述第一查询词与所述选择的短串之间的对应关系。

2.根据权利要求1所述的方法，其特征在于，所述获取第一查询词与第二查询词之间的相似度，包括：

根据已存储的查询词、短串和相似度的对应关系，构成第一查询词的第一向量和第二查询词的第一向量，所述第一查询词的第一向量中包括所述第一查询词与第一短串集合中包括的短串之间的相似度，所述第二查询词的第一向量中包括所述第二查询词与所述第一短串集合中包括的短串之间的相似度；

对所述第一查询词的第一向量和所述第二查询词的第一向量分别进行降维，得到所述第一查询词的第二向量和所述第二查询词的第二向量，所述第一查询词的第二向量中包括所述第一查询词与所述第一短串集合中包括的短串之间相似度的MD5值，所述第二查询词的第二向量中包括所述第二查询词与所述第一短串集合中包括的短串之间相似度的MD5值；

根据所述第一查询词的第二向量和所述第二查询词的第二向量，计算所述第一查询词与所述第二查询词之间的相似度。

3.根据权利要求2所述的方法，其特征在于，所述根据已存储的查询词、短串和相似度的对应关系，构成第一查询词的第一向量和第二查询词的第一向量，包括：

从已存储的查询词、短串和相似度的对应关系中获取第一查询词与第一短串集合中包括的短串之间的相似度，并根据所述第一查询词与所述第一短串集合中包括的短串之间的相似度构成所述第一查询词的第一向量；

从所述已存储的查询词、短串和相似度的对应关系中获取第二查询词与所述第一短串集合中包括的短串之间的相似度，并根据所述第二查询词与所述第一短串集合中包括的短串之间的相似度构成所述第二查询词的第一向量。

4.根据权利要求2所述的方法，其特征在于，所述对所述第一查询词的第一向量和所述第二查询词的第一向量分别进行降维，得到所述第一查询词的第二向量和所述第二查询词的第二向量，包括：

将所述第一查询词的第一向量和所述第二查询词的第一向量分别进行归一化计算，得到所述第一查询词的归一化第一向量和所述第二查询词的归一化第一向量；

分别计算所述第一查询词的归一化第一向量中包括的相似度的MD5值和所述第二查询词的归一化第一向量中包括的相似度的MD5值，得到所述第一查询词的第二向量和所述第二查询词的第二向量。

5.根据权利要求2所述的方法，其特征在于，所述根据所述第一查询词的第二向量和所述第二查询词的第二向量，计算所述第一查询词与所述第二查询词之间的相似度，包括：

对所述第一查询词的第二向量和所述第二查询词的第二向量分别进行离散化处理，得到所述第一查询词的离散第二向量和所述第二查询词的离散第二向量；

将所述第二查询词的离散第二向量进行平均划分，得到所述第二查询词对应的多个向量片段，并确定所述第二查询词对应的多个向量片段所属于的簇；

在同一个簇中，获取相同的向量片段，并将所述获取的相同向量片段对应的离散第二向量进行聚集，得到离散第二向量候选集合；

根据所述第一查询词的离散第二向量和所述离散第二向量候选集合中包括的离散第二向量，计算所述第一查询词与所述第二查询词之间的相似度。