[发明专利]一种对话语料库的扩容方法、装置、设备及存储介质

权利要求书

1.一种对话语料库的扩容方法，其特征在于，包括：

获取输入文本总集，其中，所述输入文本总集中包括至少一条输入文本；

从所述输入文本总集中滤除在当前的对话语料库中存在匹配回复文本的输入文本，剩余的输入文本组成的集合作为目标输入文本集；

利用预先建立的生成式对话生成模型，生成所述目标输入文本集中输入文本对应的回复文本，以得到第一对话语料集，其中，所述第一对话语料集中的每条对话语料由所述目标输入文本集中的一条输入文本和该条输入文本对应的回复文本组成；

将所述第一对话语料集中的对话语料加入当前的对话语料库；

其中，所述从所述输入文本总集中滤除在当前的对话语料库中存在匹配回复文本的输入文本，包括：

利用预先建立的检索式对话生成模型和当前的对话语料库，确定所述输入文本总集中每条输入文本对应的回复文本，以及每条输入文本对应的回复文本的置信度；

获取置信度小于所述置信度阈值的回复文本的质量标签，其中，一回复文本的质量标签能够指示该回复文本是否合格；

根据置信度小于所述置信度阈值的回复文本所对应的质量标签，将所述输入文本总集中不合格的回复文本所对应的输入文本滤除。

2.根据权利要求1所述的对话语料库的扩容方法，其特征在于，所述从所述输入文本总集中滤除在当前的对话语料库中存在匹配回复文本的输入文本，还包括：

将所述输入文本总集中置信度大于或等于置信度阈值的回复文本所对应的输入文本滤除。

3.根据权利要求2所述的对话语料库的扩容方法，其特征在于，确定所述置信度阈值的过程包括：

将所述输入文本总集中各输入文本分别对应的回复文本按置信度由高到低的顺序排序；

对排序后的回复文本分组，并获取每组回复文本对应的合格率；

将首个合格率小于预设的合格率阈值的回复文本组中最后一个回复文本对应的置信度确定为所述置信度阈值。

4.根据权利要求1所述的对话语料库的扩容方法，其特征在于，所述将所述第一对话语料集中的对话语料加入当前的对话语料库，包括：

评估所述第一对话语料集中每条对话语料对应的置信度，得到所述第一对话语料集中每条对话语料对应的置信度；

从所述第一对话语料集中选取置信度大于或等于预设的置信度阈值的对话语料加入当前的对话语料库。

5.根据权利要求4所述的对话语料库的扩容方法，其特征在于，所述将所述第一对话语料集中的对话语料加入当前的对话语料库，还包括：

获取置信度小于所述置信度阈值的每条对话语料对应的质量标签，其中，一条对话语料对应的质量标签为该对话语料中回复文本的质量标签，其能表征该对话语料中的回复文本是否合格；

根据置信度小于所述置信度阈值的每条对话语料对应的质量标签，从置信度小于所述置信度阈值的对话语料中选取具有合格的回复文本的对话语料加入当前的对话语料库。

6.根据权利要求4所述的对话语料库的扩容方法，其特征在于，还包括：

获取训练对话语料集和所述训练对话语料集中每条对话语料对应的质量标签，其中，所述训练对话语料集包括所述第一对话语料集中的所有对话语料，或者包括所述第一对话语料集中置信度小于所述置信度阈值的对话语料；

利用所述训练对话语料集中的对话语料以及所述训练对话语料集中对话语料对应的质量标签，训练所述检索式对话生成模型，以对所述检索式对话生成模型的性能进行优化。

7.根据权利要求6所述的对话语料库的扩容方法，其特征在于，所述利用所述训练对话语料集中的对话语料以及所述训练对话语料集中对话语料对应的质量标签，训练所述检索式对话生成模型，包括：

根据所述训练对话语料集中每条对话语料对应的质量标签和置信度，确定所述训练对话语料集中每条对话语料对应的样本难度；

根据所述训练对话语料集中每条对话语料对应的样本难度，确定采样概率分布；

根据所述采样概率分布，从所述训练对话语料集中采样对话语料；

利用采样的对话语料和采样的对话语料对应的质量标签训练所述检索式对话生成模型。