[发明专利]用于生成文本模板的方法、装置、设备和计算机可读介质

说明书

公开了一种用于生成文本模板的方法、装置、设备和计算机可读介质。所述方法包括：对于语料库中每个语料，将该语料中的实体名替换为该实体名对应的类别名，以生成初始文本模板；将所述初始文本模板的至少一个单词替换为相似词，以获得候选文本模板；在所述候选文本模板满足第一预设条件的情况下，将所述候选文本模板确定为扩充文本模板；以及利用所述初始文本模板和所述扩充文本模板生成所述文本模板。

技术领域

本公开涉及自然语言处理领域，具体涉及一种用于生成文本模板的方法、装置、设备和计算机可读介质。

背景技术

文本模板是对于自然语言的提炼和抽象，其符合自然语言的规律。文本模板在自然语言处理过程中的应用十分广泛，利用文本模板可以实现如新闻机器人或自动对话系统等功能。例如，利用预设的新闻模板，可以通过将实时信息填入模板快速得到新闻内容。利用预设的对话模板，可以判断用户输入的自然语言是否匹配该模板的格式，并根据判断结果确定用户意图。

因此，可以看出，文本模板的完整和准确是影响自然语言处理系统的准确性的一个指标。

发明内容

为此，本公开提供了一种用于生成文本模板的方法、装置、设备和计算机可读介质。

根据本公开的一个方面，提供了一种用于生成文本模板的方法，包括：对于语料库中每个语料，将该语料中的实体名替换为该实体名对应的类别名，以生成初始文本模板；将所述初始文本模板的至少一个单词替换为相似词，以获得候选文本模板；在所述候选文本模板满足第一预设条件的情况下，将所述候选文本模板确定为扩充文本模板，利用所述初始文本模板和所述扩充文本模板生成所述文本模板。

在一些实施例中，所述方法还包括：将所述文本模板中的类别名替换为实体名，以确定候选语料；在所述候选语料满足第二预设条件的情况下，将所述候选语料确定为扩充语料；以及利用所述扩充语料扩充所述语料库。

在一些实施例中，所述第一预设条件包括：所述候选文本模板的困惑度小于预设的第一困惑度阈值；以及所述第二预设条件包括：所述候选语料的困惑度小于预设的第二困惑度阈值。

在一些实施例中，所述候选文本模板的困惑度是通过根据所述初始文本模板确定的第一语言模型确定的，所述候选语料的困惑度是通过根据所述语料库中的语料确定的第二语言模型确定的。

在一些实施例中，将所述初始文本模板的至少一个单词替换为相似词包括：基于所述初始文本模板中的至少一个单词的词向量确定所述相似词。

在一些实施例中，所述相似词包括该单词的一度相似词和二度相似词，所述一度相似词通过该单词的词向量确定的与该单词最相似的N个单词，其中N是大于等于1的正整数，所述二度相似词是该单词的一度相似词的一度相似词。

在一些实施例中，所述词向量是根据所述第一语言模型或所述第二语言模型确定的。

根据本公开的另一方面，还提供了一种用于生成文本模板的装置，包括：初始文本模板确定单元，配置成对于语料库中每个语料，将该语料中的实体名替换为该实体名对应的类别名，以生成初始文本模板；候选文本模板确定单元，配置成将所述初始文本模板的至少一个单词替换为相似词，以获得候选文本模板；扩充文本模板确定单元，配置成在所述候选文本模板满足第一预设条件的情况下，将所述候选文本模板确定为扩充文本模板；以及文本模板生成单元，配置成利用所述初始文本模板和所述扩充文本模板生成所述文本模板。

在一些实施例中，所述装置还包括：候选语料确定单元，配置成将所述文本模板中的类别名替换为实体名，以确定候选语料；扩充语料确定单元，配置成在所述候选语料满足第二预设条件的情况下，将所述候选语料确定为扩充语料；以及语料库扩充单元，配置成利用所述扩充语料扩充所述语料库。

在一些实施例中，所述第一预设条件包括：所述候选文本模板的困惑度小于预设的第一困惑度阈值；以及所述第二预设条件包括：所述候选语料的困惑度小于预设的第二困惑度阈值。