[发明专利]文本扩写方法、装置、电子设备和存储介质

说明书

本公开提供一种文本扩写方法、装置、电子设备和存储介质，所述方法包括：根据获取的共指实体集合获取第一实体对应的第一共指实体组，其中，所述第一实体为待扩写文本中的实体，所述第一共指实体组包括第一实体以及所述第一实体的共指实体；根据所述待扩写文本和所述第一共指实体组获取待扩写修改文本；根据所述待扩写修改文本和文本扩写模型的模型参数获取生成概率、复制概率和生成权重；根据所述生成概率、所述复制概率和所述生成权重获取解码概率，以得到所述待扩写文本的扩写结果，其中，所述第一实体对应的生成概率被设置为0。本公开的技术方案可以提高文本扩写的忠实度。

技术领域

本公开涉及计算机技术领域，尤其涉及一种文本扩写方法、装置、电子设备和非暂态计算机可读存储介质。

背景技术

文本扩写技术是机器根据一段输入文本自动生成一段合法且与输入文本语义一致的文本的技术。通过文本扩写技术，可以扩充自动问答语料库，提高对话机器人的效果。

文本扩写的基本要求是扩写得到的文本不能和原始的输入文本的语义发生偏差。当前文本扩写使用的文本扩写方案通常很难保证扩写得到的文本和原始文本的语义保持一致，从而文本扩写的忠实度较低。

如何提高文本扩写的忠实度是当前亟需解决的技术问题。

发明内容

本公开提供一种文本扩写方法、装置、电子设备和非暂态计算机可读存储介质，用以解决扩写得到的文本与原始文本的语义不一致的问题，提高文本扩写的忠实度。

本公开提供一种文本扩写方法，包括：根据获取的共指实体集合获取第一实体对应的第一共指实体组，其中，所述第一实体为待扩写文本中的实体，所述第一共指实体组包括第一实体以及所述第一实体的共指实体；根据所述待扩写文本和所述第一共指实体组获取待扩写修改文本；根据所述待扩写修改文本和文本扩写模型的模型参数获取生成概率、复制概率和生成权重，其中，所述生成权重为获取解码概率时所述生成概率对应的权重，获取所述解码概率时所述复制概率对应的权重与所述生成权重的和为1；根据所述生成概率、所述复制概率和所述生成权重获取所述解码概率，以得到所述待扩写文本的扩写结果，其中，所述第一实体对应的生成概率被设置为0。

根据本公开提供的一种文本扩写方法，所述文本扩写模型的训练方法包括：获取第一样本扩写文本数据集，所述第一样本扩写文本数据集中的第一样本扩写文本数据包括作为输入文本的样本修改文本和对应的输出文本，所述样本修改文本根据历史扩写文本及其实体对应的共指实体组得到；采用所述第一样本扩写文本数据集对所述文本扩写模型进行训练，直到所述文本扩写模型收敛，得到所述文本扩写模型的模型参数，其中，所述文本扩写模型的模型参数包括生成概率参数和激活函数参数组。

根据本公开提供的一种文本扩写方法，所述文本扩写模型包括以下任一种模型：卷积神经网络CNN，循环神经网络RNN和Transformer。

根据本公开提供的一种文本扩写方法，所述根据获取的共指实体集合获取第一实体对应的第一共指实体组之前，所述方法还包括：获取所述共指实体集合；对所述待扩写文本进行实体识别，得到所述第一实体；根据所述第一实体在所述共指实体集合中匹配得到所述第一共指实体组。

根据本公开提供的一种文本扩写方法，所述获取所述共指实体集合之前，所述方法还包括：获取第二样本扩写文本数据集，所述第二样本扩写文本数据集中的第二样本扩写文本数据包括历史扩写文本中的输入文本和对应的输出文本；获取各个第二样本扩写文本数据中的实体的共现频率；根据所述共现频率和频率阈值获取共指实体组，组成所述共指实体集合。

根据本公开提供的一种文本扩写方法，所述根据所述待扩写文本和所述第一共指实体组获取待扩写修改文本，包括：将所述第一共指实体组中的全部实体插入到所述待扩写文本中替换所述第一实体，形成所述待扩写修改文本。