[发明专利]一种基于元学习的个性化对话改写方法

说明书

本发明公开了一种基于元学习的个性化对话改写方法，属于自然语言处理领域。该方法的基本思想是通过元学习减轻个性化对话改写中的过拟合问题。该方法的步骤包括：基于不同用户画像数据构建多个相关的个性化对话改写任务，通过元学习在相关任务上进行联合训练，获得对新任务敏感的模型参数。当面向新任务时，使用此参数初始化的模型进行训练从而获得面向新任务的个性化对话改写模型。利用本发明实施例，可以使模型具有快速学习此类相关任务的能力。当模型用在新的任务数据上时，不需要从头学习，而是基于现有的快速学习此类任务的能力在新任务上快速拟合，减弱过拟合问题，从而提升个性化对话改写的效果，具有很大的实用价值。

技术领域

本发明涉及自然语言处理领域，特别是指一种基于元学习的个性化对话改写方法。

背景技术

随着对话生成技术的发展，人类不满足于让机器根据用户的输入简单生成对话，而是希望机器能拥有个性化的特征，比如性别，爱好，情感等等。现有方法通过将机器生成的回复与用户画像信息相结合，从而使机器生成的对话带有个性化特征。这需要针对用户画像信息人工构建原对话数据的改写数据，从而实现对机器生成对话的个性化改写。但是受限于人工成本，每个用户画像的改写数据量不足以充分训练深度模型，因此使用深度模型都会出现一定程度的过拟合问题。

与深度模型相比，人类可以明智地利用以往经验并采取行动以适应各种新的情况。对于一个新的任务，人类能够利用以往经验来解决，而不是通过海量数据从头学起。比如一个会骑自行车的人，学习骑摩托车会使用到骑自行车时的经验。元学习是朝这个方向发展的关键一步，它们可以在其生命周期内不断学习各种相关任务，当面向新任务时，可以通过少量监督样本快速拟合。

因此，本专利提出一种基于元学习的个性化对话改写方法。首先将多个带有用户画像信息的个性化对话改写任务视为多个相关任务，使用元学习算法对模型进行训练，获得对新任务敏感的模型初始化参数，当面向新任务时，模型可以在少量训练数据的情况下快速拟合，从而在一定程度上缓解过拟合问题。

发明内容

本专利提出一种基于元学习的个性化对话改写方法。模型在训练阶段学习多个相关任务，从而获得一个对新任务数据敏感的初始化参数，当面向新任务时，模型参数可以在少量监督信息的情况下快速拟合，从而用于基于新用户画像的对话改写任务。

一种基于元学习的个性化对话改写方法，包括以下步骤：

步骤S1：针对每个用户画像，构建对话改写数据，再划分为支撑集和查询集用于模型训练；

步骤S2：初始化编码器-解码器模型参数，模型输入为用户画像信息和原始对话，输出为改写的对话；

步骤S3：针对每个用户画像构建的改写数据，使用支撑集训练模型，更新模型参数，再使用查询集获得参数更新的梯度信息；

步骤S4：使用在每个任务的查询集上获得的梯度信息更新步骤2中初始化编码器-解码器模型的参数，获得用于下游任务的模型参数；

步骤S5：针对新的对话改写任务，使用步骤S4得到的初始化参数初始化模型，在新的改写数据上训练后即可用于基于新的用户画像信息的对话改写。

本发明的有益效果在于：通过构建多个相关任务，使用元学习算法进行多任务训练可以使模型学习到如何快速学习此类任务的能力，当模型用在新的任务数据上时，不需要从头学习，而是基于现有的快速学习此类任务的能力在新任务的训练数据上快速拟合。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于元学习的个性化对话改写方法的流程图。