[发明专利]一种跨语言搜索中的网页排序方法和系统

说明书

技术领域

本发明涉及互联网领域，特别涉及一种跨语言搜索中的网页排序方法及系统。

背景技术

随着网络搜索技术的不断发展，为克服用户的语言障碍，跨语言搜索技术应运而生。在跨语言搜索(比如用中文搜索英文网页)时，首先，输入中文的搜索请求，并将中文的搜索请求翻译成英文的搜索请求，再利用英文的搜索请求搜索英文网页。然后，将搜索到的英文网页的内容翻译成中文呈现给读者。在搜索结果呈现的过程中，一般需要进行排序。在现有的跨语言搜索技术，主要通过英文的搜索请求与英文网页的相关度来进行排序。然而，由于跨语言搜索进行了翻译过程，因此可能导致翻译质量较差的结果排在前面，导致用户体验不佳。

发明内容

本发明所要解决的技术问题是提供一种跨语言搜索中的网页排序方法及系统，以提高用户体验。

本发明为解决技术问题而采用的技术方案是提供一种跨语言搜索中的网页排序方法，包括：a.获取第一语言搜索请求；b.将所述第一语言搜索请求翻译成第二语言搜索请求；c.利用所述第二语言搜索请求搜索多个第二语言网页；d.将所述多个第二语言网页翻译成多个第一语言网页；e.根据所述多个第二语言网页的翻译置信度对所述多个第一语言网页进行排序。

根据本发明之一优选实施例，在所述步骤e中，在排序后的所述多个第一语言网页中，所述翻译置信度越高的所述第一语言网页的位置越靠前。

根据本发明之一优选实施例，所述步骤e包括：e1.获取翻译所述第二语言网页时使用的双语语料库中的源语言语料；e2.利用所述源语言语料生成语言模型；e3.利用所述语言模型计算所述第二语言网页的翻译困惑度；e4.根据所述翻译困惑度对所述多个第一语言网页进行排序。

根据本发明之一优选实施例，在所述步骤e4中，通过以下公式计算所述翻译困惑度：

P=2-Σi=1Ip(xi)logp(xi)]]>

其中，P为所述翻译困惑度，x_i为所述第二语言网页中的第i个句子，1≤i≤I，I为所述第二语言网页中的句子数量，p(x_i)为通过所述语言模型计算获得的x_i的出现概率。

根据本发明之一优选实施例，所述语言模型为n-gram语言模型。

根据本发明之一优选实施例，所述步骤e包括：e1.统计所述第二语言网页在翻译过程中的调序次数；e2.根据所述调序次数对所述多个第一语言网页进行排序。

根据本发明之一优选实施例，所述步骤e包括：e1.获取翻译所述第二语言网页时使用的双语语料库中的源语言语料；e2.将所述源语言语料聚类成多个文档；e3.计算所述第二语言网页与所述多个文档的最大相似度；e4.根据所述最大相似度对所述多个第一语言网页进行排序。

根据本发明之一优选实施例，在步骤e2中，从所述多个文档中获取多个主题，并计算每一所述文档属于每一所述主题的概率，以形成多个第一向量，在步骤e3中，计算所述第二语言网页属于每一所述主题的概率，以形成第二向量，计算所述多个第一向量与所述第二向量的相似度，并选择所述相似度中最大的作为所述最大相似度。

根据本发明之一优选实施例，在步骤e3中，根据如下公式计算所述最大相似度：