[发明专利]训练数据集构建方法、装置、电子设备及计算机可读介质

权利要求书

1.一种训练数据集构建方法，其特征在于，包括：

获取基础数据集，所述基础数据集包括多条训练数据以及各条训练数据对应的语义标识；

根据所述训练数据的语义标识构建第一数据集，所述第一数据集包括具有第一标签的第一训练数据对以及具有第二标签的第二训练数据对，其中，第一标签表征了第一训练数据对所包含的两个训练数据的语义标识相同，第二标签表征了第二训练数据对所包含的两个训练数据的语义标识不同；

根据各所述基础数据集中各条训练数据的语义标识和数据间的文本相似度，构建第二数据集和/或第三数据集；其中，所述第二数据集包括具有第一标签且语义相似度低于第一预设阈值的第三训练数据对；所述第三数据集包括具有第二标签且语义相似度高于第二预设阈值的第四训练数据对；其中，所述第二预设阈值大于所述第一预设阈值；

根据所述第二数据集和/或所述第三数据集、以及所述第一数据集构建目标数据集，所述目标数据集用于被调用进行模型训练。

2.根据权利要求1所述的方法，其特征在于，所述根据所述训练数据的语义标识构建第一数据集，包括：

对于任一所述训练数据，将所述基础数据集中与所述训练数据具有相同语义标识的第三预设数量的训练数据分别与所述训练数据构成所述第一训练数据对，并标记所述第一标签；

对于任一所述训练数据，将所述基础数据集中与所述训练数据具有不同语义标识的第四预设数量的训练数据分别与所述训练数据构成所述第二数据对，并标记所述第二标签。

3.根据权利要求1所述的方法，其特征在于，所述根据各所述基础数据集中各条训练数据的语义标识和数据间的文本相似度，构建第二数据集，包括：

计算所述基础数据集中相同语义标识的各训练数据之间的第一语义相似度；

选取所述第一语义相似度小于所述第一设定值的训练数据对作为所述第三数据对，并标记所述第一标签；或者，

根据各所述第一语义相似度中的升序排序，选择排序靠前的第一预设数量个语义相似度训练数据对，作为所述第三数据对并标记所述第一标签。

4.根据权利要求1所述的方法，其特征在于，所述根据各条所述基础数据集中各条训练数据的语义标识和数据间的文本相似度，构建第三数据集，包括：

计算所述基础数据集中不同语义标识的各训练数据之间的第二语义相似度；

选取所述第二语义相似度大于所述第二设定值的训练数据对作为所述第四数据对，并标记所述第二标签；或者，

根据将各所述第二语义相似度的降序排序，选择排序靠前的第二预设数量个语义相似度训练数据对，作为所述第四数据对并标记所述第二标签。

5.根据权利要求1所述的方法，其特征在于，所述训练数据之间的语义相似度可以通过最佳匹配相似度算法计算得到。

6.一种训练数据集构建装置，其特征在于，包括：

基础数据集获取模块，用于获取基础数据集，所述基础数据集包括多条训练数据以及各条训练数据对应的语义标识；

第一数据集构建模块，用于根据所述训练数据的语义标识构建第一数据集，所述第一数据集包括具有第一标签的第一训练数据对以及具有第二标签的第二训练数据对，其中，第一标签表征了第一训练数据对所包含的两个训练数据的语义标识相同，第二标签表征了第二训练数据对所包含的两个训练数据的语义标识不同；

第二数据集和第三数据集构建模块，用于根据各条所述基础数据集中各条训练数据的语义标识和数据间的文本相似度，构建第二数据集和/或第三数据集；其中，所述第二数据集包括具有第一标签且语义相似度低于第一预设阈值的第三训练数据对；所述第三数据集包括具有第二标签且语义相似度高于第二预设阈值的第四训练数据对；其中，所述第二预设阈值大于所述第一预设阈值；

目标数据集构建模块，用于根据所述第二数据集和/或所述第三数据集、以及所述第一数据集构建目标数据集，所述目标数据集用于被调用进行模型训练。