[发明专利]根据跨语种短语表的断词器

摘要

描述了将单词分割成词素的自动创建的断词器，例如用以改善信息检索、机器翻译或语音处理。在各实施例中，提供了一种跨语种短语表，其包括源语言(诸如土耳其语)短语和目标语言(诸如英语)的可能的翻译，并带有相关联的概率。在各个示例中，短语表中具有类似目标语言翻译的源语言短语的块被创建。在各个示例中，使用块中的目标语言翻译的推导使得能够找到针对源语言单词的词干和词缀组合，而无需来自人类判断的输入或者对于源语言语言学规则或源语言词法的在先知识。

主权项

一种自动构建用于将源语言的单词分割成词素的断词器的方法，包括：访问跨语种短语表，所述跨语种短语表包括多个源语言短语，每个源语言短语具有至少一个目标语言翻译；对所述跨语种短语表应用块划分操作以通过搜索所述跨语种短语表以找出由共享目标语言中的类似翻译的两个或更多个源语言短语所组成的块来将源语言短语分组成块；在每一个块中搜索不同源语言短语中的每一个以标识源语言单词的词干，每一个块中的词干包括在该块的不同源语言短语中的每一个中出现的相同的字符序列；在每一个块中搜索不同源语言短语中的每一个以找出该块的词干的多个词缀，每一个块中的词缀包括在该块的不同源语言短语中的任意一个中的词干的字符之前或之后的字符序列；生成包括源语言词干和词缀的一组词素；响应于接收到源语言的用户查询，应用所述一组词素以自动创建所述用户查询中的一个或多个单词的一个或多个不同形式；以及使用自动创建的所述用户查询中的单词的不同形式来执行扩展查询搜索。