[发明专利]文本对话方法、装置及存储介质

说明书

本公开涉及一种文本对话方法、装置及存储介质，解决了相关技术在文本对话场景下，文本风格的转换依赖于使用大量不同语言风格平行语料进行模型训练的技术问题。本方法包括：取原始文本；将所述原始文本输入到文本模型中，得到所述文本模型输出的所述原始文本的答复文本，其中，所述文本模型经过无监督语料进行预训练，并通过对话语料进行训练得到的，所述无监督语料中包括相同语言风格的语料，所述对话语料包括询问语料和作为询问语料的标签的答复语料。经过无监督语料预训练文本模型实现文本风格转换，无需使用不同语言风格的平行语料，并且通过对话语料微调后的文本模型还可文本对话。

技术领域

本公开涉及机器学习技术领域，尤其涉及一种文本对话方法、装置及存储介质。

背景技术

在机器学习技术领域中，机器学习是人工智能技术的一个重要方向，但未实现通过机器学习完成文本的风格转换。

相关技术中通过构建大规模的平行语料数据集，从数据集中获取对齐语料，并通过对齐语料对seq2seq模型进行训练，以对seq2seq模型进行情感风格转换训练；根据应用场景获取目标文本，将所述目标文本输入已训练的seq2seq模型，seq2seq模型输出相应情感风格的转换语料。

发明内容

为克服相关技术中存在的问题，本公开提供一种文本对话方法、装置及存储介质。

根据本公开实施例的第一方面，提供一种文本对话方法，包括：

获取原始文本；

将所述原始文本输入到文本模型中，得到所述文本模型输出的所述原始文本的答复文本，其中，所述文本模型经过无监督语料进行预训练，并通过对话语料进行训练得到的，所述无监督语料中包括相同语言风格的语料，所述对话语料包括询问语料和作为询问语料的标签的答复语料。

可选的，所述文本模型训练过程包括：

获取所述无监督语料和所述对话语料；

通过所述无监督语料对文本模型进行无监督预训练；

在所述预训练完成后，通过所述对话语料对文本模型进行训练，直到所述文本模型具有捕捉对话的能力，得到训练完成的文本模型。

可选的，所述获取所述无监督语料和所述对话语料，包括：

获取具有相同语言风格的语料，并通过形式参数对所述获取到的语料中的上下句进行分隔，得到所述无监督语料；

获取所述询问语料和作为询问语料的标签的所述答复语料，并通过形式参数对所述询问语料和所述答复语料进行分隔，得到所述对话语料。

可选的，所述对话语料包括训练集以及验证集，所述通过所述对话语料对文本模型进行训练，直到所述文本模型具有捕捉对话的能力，得到训练完成的文本模型，包括：

通过所述训练集对所述文本模型训练预设次数，并通过所述验证集获取每一次训练后的文本模型的交叉熵；

将最小的所述交叉熵对应的文本模型作为所述训练完成的文本模型。

可选的，所述文本模型为GPT2模型。

根据本公开实施例的第二方面，提供一种文本对话装置，包括：

获取模块，被配置成获取原始文本；

执行模块，被配置成将所述原始文本输入到文本模型中，得到所述文本模型输出的所述原始文本的答复文本，其中，所述文本模型经过无监督语料进行预训练，并通过对话语料进行训练得到的，所述无监督语料包括目标风格语料，所述对话语料包括询问语料和作为询问语料的标签的答复语料。

可选的，所述装置还包括训练模型，所述训练模型被配置成获取所述无监督语料和所述对话语料；