[发明专利]一种基于实体知识库的语言模型平滑方法

摘要

本发明公开一种基于实体知识库的语言模型平滑方法，包括：预先确定实体知识库；采用最大似然估计法，对语料库中的每篇文档构建原始文档语言模型，以及对整个语料库构建语料库语言模型；使用命名实体识别技术识别每篇文档中的命名实体，使用命名实体链接技术将识别的命名实体链接到实体知识库中实体上，将每篇文档与实体知识库之间建立联系；根据实体链接，提取每篇文档中的命名实体在实体知识库中的信息，融合成每篇文档的背景知识文档，采用最大似然估计法，构建背景知识语言模型；结合背景知识语言模型和语料库语言模型两种语言模型信息，对原始文档语言模型进行两次平滑。本发明提高了平滑后语言模型的鲁棒性。

主权项

1.一种基于实体知识库的语言模型平滑方法，其特征在于，包括以下步骤：/n(1)预先确定实体知识库，所述实体知识库作为命名实体链接的目标，根据实体对实体知识库中的实体信息建立索引，以方便后续步骤中检索查询实体知识库中的实体信息；/n(2)采用最大似然估计法，对语料库中的每篇文档构建原始文档语言模型，以及对整个语料库构建语料库语言模型；/n(3)使用命名实体识别技术识别每篇文档中的命名实体，使用命名实体链接技术将识别的命名实体链接到实体知识库中实体上，将每篇文档与实体知识库之间建立联系，以方便后续从实体知识库中提取和文档主题相关的信息；/n(4)根据实体链接，提取每篇文档中的命名实体在实体知识库中的信息，融合成每篇文档的背景知识文档，采用最大似然估计法，构建背景知识语言模型，这样的背景知识语言模型是以文档中的实体作为桥梁，从实体知识库中得到的，包含文档背景知识语义信息的语言模型，它与文档语义主题密切相关的，用来衡量查询语句中的单词与文档语义主题之间的相关性；/n(5)结合背景知识语言模型和语料库语言模型两种语言模型信息，对原始文档语言模型进行两次平滑，使得平滑后的语言模型具有更高的鲁棒性和准确度；/n所述步骤(5)包括以下子步骤：/n(5-1)对于语料库中的每篇文档d，获取步骤(2)中得到的原始文档语言模型θ