[发明专利]基于自学排列的排列语料库的生成装置及其方法、使用排列语料库的破坏性表达语素分析装置及其语素分析方法

摘要

本发明公开基于自学排列的排列语料库的生成装置及其方法、使用排列语料库的破坏性表达语素分析装置及其语素分析方法。语素分析装置包括知识数据库和分析器。知识数据库储存有在按语言的语素分析中使用的多个知识信息，包括语素词典，储存与正常表达对应的语素信息；排列语料库，储存与破坏性表达对应的正常表达信息，其中破坏性表达是拼写错误或者没有规范化和标准化的表达。分析器对所输入的语节使用所述知识数据库进行语素分析并输出分析结果，当在所述语素词典中不存在输入语节的语素时，对在所述输入语节中包含的破坏性表达使用所述排列语料库查找与所述破坏性表达对应的正常表达并进行语素分析。

主权项

一种排列语料库的生成方法，包括步骤：构建双语语料库，所述双语语料库储存由包含破坏性表达的破坏性句子和与该破坏性句子对应的正常句子组成的句子对，其中所述破坏性表达是拼写错误或者没有规范化和标准化的表达；及对所述双语语料库进行基于自学的排列，从而生成由破坏性表达及与该破坏性表达对应的正常表达排列而成的排列语料库，其中，所述双语语料库的构建步骤包括：通过网络收集多个破坏性句子；利用查询对包含在被收集的破坏性句子中的破坏性表达进行网络检索，以判断该破坏性句子的普遍性；当判断为被收集的破坏性句子具有普遍性时，生成与该破坏性句子对应的正常句子；及将所生成的正常句子和与该正常句子对应的破坏性句子组成为一对，以构建所述双语语料库。