[发明专利]基于完全加权规则后件的中英跨语言查询译后扩展方法

说明书

本发明公开了基于完全加权规则后件的中英跨语言查询译后扩展方法，首先进行中英跨语言初次检索，提取初检前列英文文档经用户相关性判断构建初检相关文档集并预处理后采用融合项集权值和频度的完全加权项集支持度计算方法对初检相关文档集挖掘含有译后原查询词项的完全加权频繁项集，采用基于完全加权置信度‑兴趣度评价框架对完全加权频繁项集挖掘前件是译后原查询词项的英文特征词间完全加权关联规则，提取规则后件作为中英跨语言译后扩展词，译后扩展词与译后原查询词组合为新查询再次检索英文文档。本发明方法能提高和改善跨语言信息检索性能，减少跨语言信息检索中查询主题严重漂移和词不匹配等问题，具有较高的应用价值和广阔的应用前景。

技术领域

本发明属于信息检索领域，具体是一种基于完全加权规则后件的中英跨语言查询译后扩展方法。

背景技术

跨语言信息检索指的是借助机器翻译以一种语言的查询式检索其他语言信息资源的技术。其表达用户查询的语言称为源语言，被检索的文档所用的语言称为目标语言。跨语言信息检索受查询翻译质量和同义词、多义词等的影响，常常导致查询主题严重漂移，词不匹配以及查询项翻译歧义和多义性等等问题。跨语言查询扩展是解决上述问题的关键技术之一。跨语言查询扩展指的是在跨语言信息检索过程中，添加与原查询相关的语词，和原查询重新构建新查询再次检索的过程。按照其扩展发生在检索过程的不同阶段，分为译前查询扩展、译后查询扩展和混合式查询扩展(即同时发生在译前与译后的查询扩展)三种。研究表明，跨语言查询扩展是提高跨语言信息检索性能的核心技术之一。随着跨语言信息检索研究的兴起，跨语言查询扩展越来越受到国内外学者专家的关注和讨论，成为一个研究热点。多年来，各国学者从不同角度和方向对跨语言查询扩展进行深入研究和讨论，取得了丰富的理论成果，但还没有最终完全解决跨语言信息检索中查全率和查准率问题。

发明内容

针对上述现有技术存在的问题，本发明提出一种基于完全加权规则后件的中英跨语言查询译后扩展方法，该方法能提高和改善跨语言检索性能，解决跨语言信息检索中查询主题漂移和词不匹配问题，适用于跨语言信息检索领域，还能应用于跨语言搜索引擎，提高搜索引擎检索性能。

本发明采用技术方案如下：

基于完全加权规则后件的中英跨语言查询译后扩展方法，首先利用机器翻译工具进行中英跨语言初次检索，提取初检前列英文文档经用户相关性判断构建初检相关文档集，对初检相关文档集进行预处理，构建初检英文文档库和特征词库；采用融合项集权值和频度的完全加权项集支持度计算方法对初检英文文档库挖掘含有译后原查询词项的完全加权频繁项集得到完全加权频繁项集集合；然后，采用基于完全加权置信度-兴趣度评价框架对所述完全加权频繁项集挖掘前件是译后原查询词项的英文特征词间完全加权关联规则，构建英文特征词关联规则库，从所述英文特征词关联规则库中提取规则后件作为中英跨语言译后扩展词，所述译后扩展词与译后原查询词组合为新查询再次检索英文文档。

所述中英跨语言初次检索为先利用机器翻译工具将中文用户查询翻译为英文查询，采用向量空间检索模型将所述英文查询检索英文文档集得到初检英文文档。

所述对初检相关文档集进行预处理的方法为将初检英文相关文档集去除英文停用词，采用Porter程序提取英文特征词并按如下式(1)计算特征词权值，构建初检英文文档库和特征词库；

式(1)中，N表示初检相关文档集中总的文档数量，w_ij表示初检相关英文文档d_i中特征词t_j的权值，df_j表示含有英文特征词t_j的英文文档数量，tf_j,i表示英文特征词t_j在文档d_i中的出现次数，即词频，max(tf_i)表示初检相关英文文档d_i中最大的词频值，即文档d_i的所有英文特征词词频中的最大者，lg表示对数函数。