[发明专利]一种例句检索的方法及系统

说明书

技术领域

本发明涉及自然语言处理领域，特别地涉及一种例句检索的方法及系统。

背景技术

随着互联网技术的深入发展，使得人们在写作或语言学习中获得所需的信息更加便利。例句检索辅助用户获取与输入匹配的(双语)例句，从而满足用户了解词的用法或翻译的需求。另外，在机器翻译中，也会用到例句检索从而使得翻译更加精准。

截至目前为止，有关例句检索中query(即查询词)与例句相关性计算方法主要有以下几种：一是根据例句中匹配的query个数或长度计算；二是根据例句长度及匹配query字符串长度计算；三是根据query与例句的编辑距离计算。如CN 102346777公开了一种对例句检索结果进行排序的方法和装置，其中使用搭配来体现query的用法，但没有综合考虑例句中query的有关句法特征、例句本身的特征等因素，并且搭配概率的计算公式没有考虑query在搭配中所起的作用或所做的成分，搭配概率计算中笼统的采用了统一的计算公式。CN 1471030公开了一种基于加权编辑距离的自动例句检索的系统和方法，其中，通过编辑距离来进行检索，但依然侧重于query的字符串匹配。

这几种方法都侧重于词层次的字符串匹配，基于字符串匹配的相关性计算方法只侧重给出包含query的例句，没有涉及到给出的例句中是否体现了query用法的多样性及翻译的多样性，这样排序靠前的例句很可能满足不了用户的意图。

用户使用例句检索最主要是为了解query的相关用法或者翻译，而现有的例句与query的相关性计算大多只考虑了字符串层次的匹配，无法满足用户的需求，具体输出的例句检索结果存在以下问题：

1.例句仅注重词层次的匹配，未必体现query的常用(或某种)用法或翻译的多样性；

2.可能输出具有歧义的结果；

如输入query：有道

输出：他右边太阳穴上有道伤痕(只列出单语部分)。

而用户意图为输出含“经营有道”、“取之有道”之类的例句，这样的结果与用户意图相左。

3.输出结构不完整的例句；

4.输出例句过长或过短；

5.输出例句所含信息不丰富；

如输入query：清明节

输出：清明节是什么？

发明内容

本发明解决的技术问题在于提供了一种例句检索的方法，以更好地满足用户的需求；本发明还提供了一种例句检索的系统。

本发明实施例提供了一种例句检索的方法，包括，获取用户输入的查询词；对用户输入的query进行处理；在例句库中检索匹配query的例句，并进行所述query与例句的相关性计算；根据用法多样性或翻译多样性原则，进行例句相关性打分调整，进行例句排序；输出例句并展示例句中的短语。

本发明实施例还提供了一种例句检索的系统，包括，

查询词获取模块，用于获取用户输入的查询词；

查询词处理模块，用于对用户输入的query进行处理；

相关性计算模块，用于在例句库中检索匹配query的例句，并进行所述query与例句的相关性计算；

相关性调整模块，用于根据用法多样性或翻译多样性原则，进行例句相关性打分调整，进行例句排序；

例句输出模块，用于输出例句并展示例句中的短语。

采用本发明实施例提供的方案，在进行query与例句相关性计算时综合考虑了各种因素：：例句中query相关短语特征、句法特征、例句结构完整性特征、句长特征、例句所含标点数字噪音特征综合进行query与例句相关性计算，引入query相关短语反映query用法，引入句法信息使得含有query句法意义的例句具有优势，引入例句结构完整性信息使得输出例句更加规整，并结合例句句长、所含数字标点的噪音特征共同进行相关性计算，比起其它相关性计算方法显示了优势。

对某天的query log进行采样，分别抽取80个中文query与英文query，比较本方法的输出与传统基于字符串匹配方法的例句输出的效果，效果变好的占53%，效果相当的占47%，可见本发明所提方案非常有效。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明第一实施例流程图；

图2是query翻译多样性检索结果展现示意图；

图3是query用法多样性检索结果展现示意图；

图4是query用法多样性同种短语例句展现示意图；