[发明专利]数据分类方法、终端、装置及存储介质

权利要求书

1.一种数据分类方法，其特征在于，所述数据分类方法应用于分布式环境下的终端，各个终端内部分别储存有数据集，各个终端的数据集构成一个原始数据集，所述原始数据集需要被分成训练集、验证集和测试集用于深度机器模型学习，所述数据分类方法包括以下步骤：

在任意终端接收到数据分类指令时，获取目标特征标识，其中，所述目标特征标识用于标识一个特征；

基于所述目标特征标识在本终端内部将存储的所述数据集中的数据进行分块，得到多个数据块，其中，同一数据块内各个数据对应的所述目标特征标识所标识的特征的取值都相同；

基于预设分类规则将本终端内部的各个数据块分别进行分类得到子训练集数据、子验证集数据和子测试集数据，再将不同数据块的子训练集数据合并得到本终端内部的子训练集、将不同数据块的子验证集数据合并得到本终端内部的子验证集以及不同数据块的子测试集数据合并得到本终端内部的子测试集；

分别发送本终端内部的所述子训练集至所述训练集、所述子验证集至所述验证集以及发送所述子测试集至所述测试集。

2.如权利要求1所述数据分类方法，其特征在于，所述数据包括目标特征标识，所述目标特征标识对应的特征数据有m种取值，m为正整数，所述基于所述目标特征标识将数据集中的数据进行分块，得到多个数据块的步骤包括：

将所述数据集中目标特征标识对应的特征数据取值相同的数据，划分到一个数据块中，以得到m种取值各自对应的数据块。

3.如权利要求1所述数据分类方法，其特征在于，所述基于预设分类规则对各个数据块进行分类操作，以得到子训练集、子验证集以及子测试集的步骤包括：

获取子训练集、子验证集以及子测试集的比例数据；

遍历各个数据块，基于所述比例数据将各个数据块对应分配到所述子训练集、所述子验证集或所述子测试集中。

4.如权利要求1所述数据分类方法，其特征在于，所述数据集包括第一数据，所述在任意终端接收到数据分类指令时，获取目标特征标识的步骤之后，还包括：

在所述第一数据中目标特征标识对应的特征数据满足训练集准入条件时，确定所述第一数据为训练集数据，并发送所述训练集数据至所述训练集。

5.如权利要求4所述数据分类方法，其特征在于，所述在所述第一数据的目标特征标识对应的特征数据满足训练集准入条件时，确定所述第一数据为训练集数据的步骤包括：

在所述训练集所需数据的数量大于或等于阈值，且所需数据的特征数据中存在所述第一数据的特征数据时，确定所述第一数据为所述训练集数据，其中，所需数据包括目标特征标识对应的特征数据。

6.如权利要求1所述数据分类方法，其特征在于，所述数据集包括第二数据，所述在任意终端接收到数据分类指令时，获取目标特征标识的步骤之后，还包括：

在所述第二数据中目标特征标识对应的特征数据满足验证集准入条件时，确定所述第二数据为验证集数据，并发送所述验证集数据至所述验证集。

7.如权利要求1所述数据分类方法，其特征在于，所述数据集包括第三数据，所述在任意终端接收到数据分类指令时，获取目标特征标识的步骤之后，还包括：

在所述第三数据中目标特征标识对应的特征数据满足测试集准入条件时，确定所述第三数据为测试集数据，并发送所述测试集数据至所述测试集。