[发明专利]搜索关键字频度解析方法、装置、电子设备及介质

说明书

本发明提供了一种基于HLSA的搜索关键词频度解析方法和装置。本发明中，引入包含主题思想的LSA空间模型进行关键词聚合，进而解决和弥补了基于VSM向量的欧式距离模型没有考虑词本身语义信息的不足之处以及基于编辑距离模型关键词顺序发生变化时带来的误差。此外，本发明还结合汉明码计算关键词间特征向量的相似度，形成新型HLSA算法，提高了相似度计算效率；并且，利用K近邻算法分类并统计关键词频度，可以将不同粒度的关键词进行聚合，从而有效地避免了最长公共子串模型由于粒度太细所产生的误判。

技术领域

本发明涉及电子商务技术领域，尤其涉及一种基于HLSA的搜索关键词频度解析方法和装置。

背景技术

用户在电商平台搜索栏里输入的关键词是表达其购买某款商品意愿的重要参考信息。在预定义的时间段范围内聚合、分类以及统计商品搜索关键词的出现频度能够有效地量化用户对某款商品的需求程度，进而为采销人员对某款商品是否需要采购、上架或增强其推广力度提供有力的参考决策依据。

统计搜索关键词频度的前提是对其进行分类处理，而分类理论的基础几乎都是依赖于相似度模型。目前，计算搜索关键词相似度的方法主要包括基于VSM(Vector SpaceModel，向量空间距离)向量的欧式距离模型、Levenshtein距离模型、最长公共子串以及最长公共子序列等。以下对各种方法的优缺点进行分别说明：

(1)基于VSM向量的欧式距离模型，该模型假设搜索关键词内部词条之间互不相关，采用多维向量来表示搜索记录，从而简化关键词之间的复杂关系，使得模型具备可计算性。然而，欧式距离模型在关键词之间线性无关时可以很好地解决问题，但它只考虑了关键词的统计特性，且假定关键词之间线性无关，而没有考虑词本身的语义信息，因此具有一定的局限性。

(2)Levenshtein距离，又称编辑距离，指的是两个搜索词之间，由一个转换成另一个所需的最少编辑操作次数。并由此衡量搜索关键词之间的距离，进而获得相似度。Levenshtein距离模型虽然具有无需考虑关键词之间是否线性无关的优势，但其不足之处在于若关键词出现顺序发生变化时，相似度计算结果将产生较大误差。

(3)基于权值的最长公共子串方法，采用动态规划方法递归计算搜索词之间的最大公共部分，进而计算搜索词之间的相似度。该最长公共子串方法对于关键字出现的顺序并无特殊要求，但对关键词的连续性和一致性有严格限制，因此也不能满足我们的实际需求。

(4)在最长公共子串方法的基础上，提出了基于权值和词条的最长公共子序列LCS((Longest Common Subsequence)方法，相比最长公共子串而言，最长公共子序列对搜索关键词的出现顺序不敏感，因此具有更好的适用性。然而，最长公共子序列方法在关键词不连续的情况下依然能够良好地工作，但由于其判别关键字的基本特征粒度过于太细，往往产生过判，造成误差的引入和累计，因而使用场合往往受到限制。

可见，现有技术解析搜索关键词相似度方法在一定程度和范围内具有一定的适用性，但或多或少也存在一些问题。

发明内容

(一)要解决的技术问题

鉴于上述技术问题，本发明提供了一种基于HLSA的搜索关键词频度解析方法和装置，以提升搜索关键词频度解析的准确性和有效性。

(二)技术方案

根据本发明的一个方面，提供了一种搜索关键字频度解析方法。该搜索关键字频度解析方法包括：

步骤A：提取搜索关键词记录，对其进行分词、清洗，得到目标词条，多条的目标词条构成目标词库；

步骤B：去除目标词库中对语义权重贡献较小的弱相关词条；

步骤C：对目标词库中的目标词条进行近义词或同义词的替换；