[发明专利]词语替换方法、装置、电子设备和存储介质

说明书

本申请具体公开了一种词语替换方法、装置、电子设备和存储介质，其中，替换方法包括：对第一句子中的第一词语进行掩码处理，得到第二句子，其中，第一词语至少包括两个单词；将第二句子输入关键词预测模型，得到至少一个第二词语和至少一个第一概率值，至少一个第二词语和至少一个第一概率值一一对应；确定第一词语与至少一个第二词语中的每个第二词语之间的第一相似度；根据每个第二词语对应的第一概率值和第一相似度，确定每个第二词语的第二概率值；确定至少一个第二词语中的至少一个目标第二词语，至少一个目标第二词语中的每个目标第二词语对用的第二概率值大于第一阈值；分别使用每个目标第二词语替换第一句子中的第一词语。

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种词语替换方法、装置、电子设备和存储介质。

背景技术

目前，无论是在自然语言领域还是人工智能领域，对一个语言相关模型进行训练时，往往需要大量的文本。对此，传统方式利用关键词进行可控文本生成工作，为了能快速生成大量相似的文本，采取了同义词替换的方式将关键词进行替换，不同关键词排列组合之后可以以指数级别增加文本生成的数量。基于此，对于关键词的替换方法便成为了对新生成文本的文本质量进行控制的关键。

传统的替换方法主要分为两种：第一种是利用同义词词典的方法进行查找替换，例如：利用哈工大推出的《同义词词林扩展版》词典进行同义词查找替换。但是，这种方法的问题在于词汇量较少，对于一般的常用词还能找到几个同义词，而对于一些新兴词汇或者特殊名词而言，很难找到同义词。第二种方法是利用word2vec方法训练的词向量，进行词向量的匹配。但是，这种方法虽然解决了同义词词典的词汇量少的弊端，但是会发生如生成相关词而非同义词以及生成的同义词无法匹配上下文等问题。

发明内容

为了解决现有技术中存在的上述问题，本申请实施方式提供了一种词语替换方法、装置、电子设备和存储介质，使生成的同义词具有更大的范围，且能够更好地符合上下文的语境。

第一方面，本申请的实施方式提供了一种词语替换方法，包括：

对第一句子中的第一词语进行掩码处理，得到第二句子，其中，第一词语至少包括两个单词；

将第二句子输入关键词预测模型，得到至少一个第二词语和至少一个第一概率值，其中，至少一个第一概率值中的每个第一概率值用于表征使用每个第一概率值对应的第二词语替换第一词语的合理程度，至少一个第二词语和至少一个第一概率值一一对应；

确定第一词语与至少一个第二词语中的每个第二词语之间的第一相似度；

根据每个第二词语对应的第一概率值和第一相似度，确定每个第二词语的第二概率值；

确定至少一个第二词语中的至少一个目标第二词语，至少一个目标第二词语中的每个目标第二词语对用的第二概率值大于第一阈值；

分别使用每个目标第二词语替换第一句子中的第一词语。

第二方面，本申请的实施方式提供了一种词语替换装置，包括：

掩码模块，用于对第一句子中的第一词语进行掩码处理，得到第二句子，其中，第一词语至少包括两个单词；

预测模块，用于将第二句子输入关键词预测模型，得到至少一个第二词语和至少一个第一概率值，其中，至少一个第一概率值中的每个第一概率值用于表征使用每个第一概率值对应的第二词语替换第一词语的合理程度，至少一个第二词语和至少一个第一概率值一一对应；

词语确定模块，用于确定第一词语与至少一个第二词语中的每个第二词语之间的第一相似度；并根据每个第二词语对应的第一概率值和第一相似度，确定每个第二词语的第二概率值；以及确定至少一个第二词语中的至少一个目标第二词语，至少一个目标第二词语中的每个目标第二词语对用的第二概率值大于第一阈值；