[发明专利]基于相关搜索的同义挖掘方法和装置

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于相关搜索的同义挖掘方法和装置。

背景技术

同义词语意指语义相同、在任何情况下可以相互替换的词对或者短语对。当用户使用搜索引擎进行搜索时，用户输入的查询query与SKU(Stock Keeping Unit，库存量单位)或者文档的标题之间存在一定的语义鸿沟，挖掘同义词语来对query进行改写，会对商品或文档的召回有较大的帮助。

目前已经有一些同义词语挖掘的方法，例如通过研究在给定句子的情况下其中某个词是否可以替换为另一个词、或者用户的点击行为、或者词语对在标题title中共同出现的概率等挖掘同义词语。

发明人发现现有技术中至少存在如下问题：

(1)在特定上下文的情况下能够替换的词对并不是上下文无关的同义词，并且这种同义挖掘方法较依赖于依存分析，准确率不高；

(2)通过用户的点击行为挖掘同义词语时，对候选的同义词语进行了过多的过滤，召回率低；

(3)通过标题中词语对的共现概率以及字面特征等挖掘同义词语的效果不理想，例如：在query-title点击数据中共现概率较大的一些相关词，如裙子和连衣裙，容易被误判为同义词语。

发明内容

有鉴于此，本发明实施例提供一种基于相关搜索的同义挖掘方法和装置，能够大大提高同义挖掘的准确性。

为实现上述目的，根据本发明实施例的一个方面，提供了一种基于相关搜索的同义挖掘方法，包括：

基于相关搜索获取相似的查询query对(qa,qb)；

对所述query对(qa,qb)进行正反双方向的统计对齐处理，基于所述统计对齐处理的结果确定同义词语候选对；

对所述同义词语候选对进行过滤，得到同义词语对；

其中，所述正反双方向是指：从qa至qb的正向方向，以及从qb至qa的反向方向；所述词语包括：词，和/或短语。

可选地，分别对qa和qb进行切词，对切词后的所述query对进行正反双方向的词级别的统计对齐处理。

可选地，所述同义词语候选对包括：词与词的同义候选对；

所述基于所述统计对齐处理的结果确定同义词语候选对，包括：

对于qa中的每个词W_a1和qb中的每个词W_b1：

若经正向方向的词级别的统计对齐处理之后，词W_a1与词W_b1正向对齐；并且，经反向方向的词级别的统计对齐处理之后，词W_a1与词W_b1反向对齐；

则将词W_a1与词W_b1作为词与词的同义候选对。

可选地，所述基于所述统计对齐处理的结果确定同义词语候选对，包括：

对于qa中的每个词W_a1和qb中的每个词W_b1：

若经正向方向的词级别的统计对齐处理之后词W_a1与词W_b1正向对齐，或者经反向方向的词级别的统计对齐处理之后，词W_a1与词W_b1反向对齐；并且，词W_a1与词W_b1有字面交叠；

则将词W_a1与词W_b1作为词与词的同义候选对。

可选地，所述词与词对中的两个词有字面交叠包括：

所述词与词对中的两个词含有相同的字符。

可选地，所述同义词语候选对包括：词与短语的同义候选对；所述短语包含两个词；

所述基于所述统计对齐处理的结果确定同义词语候选对，包括：

对于qa中的每个词W_a1和qb中的每个短语P_b1：

若词W_a1和短语P_b1中的两个词分别为词与词的同义候选对、且词W_a1不与qb中除短语P_b1之外的词为词与词的同义候选对；

则将词W_a1与短语P_b1作为词与短语的同义候选对。

可选地，所述同义词语候选对包括：短语与短语的同义候选对；所述短语包含两个词；

所述基于所述统计对齐处理的结果确定同义词语候选对，包括：