[发明专利]用于目标任务的机器学习模型训练方法、装置及设备

权利要求书

1.一种用于目标任务的机器学习模型训练方法，包括：

获取针对所述目标任务的样本数据集，其中，所述样本数据集中的每个样本数据包括多个子样本数据以及该样本数据对应的类别标签，所述多个子样本数据分别具有相应不同的多个模态，所述机器学习模型包括多个特征提取网络和分类网络，所述多个特征提取网络分别对应于所述多个模态；

对所述样本数据集中的每个样本数据，执行包括下述各项的操作：

针对该样本数据的所述多个子样本数据中的每个子样本数据，通过所述多个特征提取网络中对应于该子样本数据的模态的特征提取网络从该子样本数据中提取该子样本数据的特征向量；

基于该样本数据的所述多个子样本数据相应的特征向量，通过所述分类网络获取该样本数据的分类结果；以及

基于所述分类结果以及该样本数据的目标任务类别标签，调整所述分类网络的参数以及所述多个特征提取网络的参数。

2.根据权利要求1所述的方法，其中，所述获取针对所述目标任务的样本数据集包括：

获取多个第一样本数据，其中，所述多个第一样本数据中的每个第一样本数据包括未标注的多个第一子样本数据，其中，所述多个第一子样本数据分别具有所述多个模态；

对所述多个第一样本数据中的每个第一样本数据，执行包括下述各项的操作：

针对该第一样本数据中的所述多个第一子样本数据中的每个第一子样本数据，通过与该第一子样本数据的模态相对应的经过预训练的目标任务分类模型，获取该第一子样本数据的第一标注结果；以及

将该第一样本数据中的所述多个第一子样本数据相应的第一标注结果进行统一，以得到该第一样本数据对应的第一样本标签，其中，所述第一样本标签为多个预设标签中的一个；以及

基于所述多个第一样本数据以及所述多个第一样本数据分别对应的多个第一样本标签，生成所述样本数据集。

3.根据权利要求2所述的方法，其中，所述多个第一样本数据具有时间连续性并且按照时序排列，所述基于所述多个第一样本数据以及所述多个第一样本数据分别对应的多个第一样本标签，生成所述样本数据集包括：

基于预设滑动步长和预设时间滑动窗口，将所述多个第一样本数据划分为多个第一样本数据子集；

对所述多个第一样本数据子集中的每个第一样本数据子集，执行包括下述各项的操作：

基于该第一样本数据子集中每个模态下的多个第一子样本数据，生成该第一样本数据子集对应的、该模态下的第二子样本数据；以及

基于该第一样本数据子集中的多个第一样本数据分别对应的多个第一样本标签，确定该第一样本数据子集对应的第二样本标签；以及

基于所述多个第一样本数据子集中的每个第一样本数据子集对应的多个第二子样本数据以及所述多个第一样本数据子集分别对应的多个第二样本标签，生成所述样本数据集。

4.根据权利要求1至3中任一项所述的方法，其中，所述基于该样本数据的所述多个子样本数据相应的特征向量，通过所述分类网络获取该样本数据的分类结果包括：

获取所述相应的特征向量中的每个特征向量中的目标特征值；

基于所述相应的特征向量中的每个特征向量中的目标特征值，对该特征向量进行数值归一化；以及

将归一化后的所述相应的特征向量输入所述分类网络，以得到所述分类网络输出的该样本数据的所述分类结果。

5.根据权利要求1至3中任一项所述的方法，还包括：

基于所述样本数据集中每个模态下的样本数据量，确定每个模态对应的特征提取网络的学习率，

其中，所述基于所述分类结果以及该样本数据的目标任务类别标签，调整所述分类网络的参数以及所述多个特征提取网络的参数包括：

针对所述多个特征提取网络中的每个特征提取网络，基于所述分类结果、该样本数据的目标任务类别标签以及该特征提取网络的学习率，调整该特征提取网络的参数。

6.根据权利要求1至3中任一项所述的方法，其中，所述目标任务包括人员情绪识别、驾驶员驾驶状态识别、人员健康状态识别中的任一项。