[发明专利]训练数据集构建方法、装置、电子设备及计算机可读介质

说明书

本公开提供了一种训练数据集构建方法、装置、电子设备及计算机可读介质，涉及数据处理的技术领域。该方法包括：获取基础数据集，根据训练数据的语义标识构建第一数据集，根据具有相同/不同语义标识的训练数据之间的语义相似度构建第二/三数据集，并构建目标数据集。本公开实施例通过对基础数据集中的数据按照数据之间的相似度以及数据语义标识按照预设的规则对数据进行重组，分别形成第一、第二、第三数据集，并将第二和/或第三数据集与第一数据集合并，构建目标数据集，目标数据集中数据复杂度高，数据集获取成本低，采用该数据集能够训练出高效准确的训练模型。

技术领域

本公开涉及数据处理的技术领域，具体而言，本公开涉及一种训练数据集构建方法、装置、电子设备及计算机可读介质。

背景技术

随着计算机技术的快速发展，算法模型在很多地方都有着重要的作用，特别是对于智能识别领域，算法模型更是常规且基础的工具，经常会用到。

现有的模型构建方案中，一般需要采用数据集对模型进行训练，以提高模型的质量，而数据集的好坏也会直接影响最终模型的质量看，所以对于数据集的选用十分关键，如文本分析领域，质量较高的数据集一般获取难度较高，并且成本很高，而质量较低的数据集虽然成本低，但是会导致训练出来的模型的鲁棒性不高，导致模型质量不够。

由此可见，现有技术中对于数据集的选用，无法低成本的获取高质量的数据集，导致训练的模型质量不高。

发明内容

本公开的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中对于数据集的选用，无法低成本的获取高质量的数据集，导致训练的模型质量不高的技术缺陷。

第一方面，提供了一种训练数据集构建方法，该方法包括：

获取基础数据集，所述基础数据集包括多条训练数据以及各条训练数据对应的语义标识；

根据所述训练数据的语义标识构建第一数据集，所述第一数据集包括具有第一标签的第一训练数据对以及具有第二标签的第二训练数据对，其中，第一标签表征了第一训练数据对所包含的两个训练数据的语义标识相同，第二标签表征了第二训练数据对所包含的两个训练数据的语义标识不同；

根据各所述基础数据集中各条训练数据的语义标识和数据间的文本相似度，构建第二数据集和/或第三数据集；其中，所述第二数据集包括具有第一标签且语义相似度低于第一预设阈值的第三训练数据对；所述第三数据集包括具有第二标签且语义相似度高于第二预设阈值的第四训练数据对；其中，所述第二预设阈值大于所述第一预设阈值；

根据所述第二数据集和/或所述第三数据集、以及所述第一数据集构建目标数据集，所述目标数据集用于被调用进行模型训练。

作为本公开实施例一种可能的实施方式，所述根据所述训练数据的语义标识构建第一数据集，包括：

对于任一所述训练数据，将所述基础数据集中与所述训练数据具有相同语义标识的第三预设数量的训练数据分别与所述训练数据构成所述第一训练数据对，并标记所述第一标签；

对于任一所述训练数据，将所述基础数据集中与所述训练数据具有不同语义标识的第四预设数量的训练数据分别与所述训练数据构成所述第二数据对，并标记所述第二标签。

作为本公开一种可能的实施方式，所述根据各条所述基础数据集中各条训练数据的语义标识和数据间的文本相似度，构建第二数据集，包括：

计算所述基础数据集中相同语义标识的各训练数据之间的第一语义相似度；

选取所述第一语义相似度小于所述第一设定值的训练数据对作为所述第三数据对，并标记所述第一标签；或者，

根据各所述第一语义相似度中的升序排序，选择排序靠前的第一预设数量个语义相似度训练数据对，作为所述第三数据对并标记所述第一标签。