[发明专利]通过迁移学习生成具有不同疲劳程度的视频数据集的系统和方法

权利要求书

1.一种用于训练应用程序以识别驾驶员疲劳的计算机实施的方法：

使用第一神经网络从多个第二面部表情图像生成多个第一面部表情图像，其中，根据从所述第一神经网络学习的所述多个第二面部表情图像的第一表示来重构所述多个第一面部表情图像；

基于所述第一表示，使用第二神经网络从表达当前疲劳程度之前的疲劳程度的第三面部表情图像和第二图像生成表达所述当前疲劳程度的第一图像，其中，根据所述第一表示以及从所述第二神经网络学习的所述第三面部表情图像的第二表示来重构所述第一图像和所述第二图像；

在相应的光流期间，从所述第一图像和所述第二图像生成内插视频数据的多个中间图像，其中，所述光流通过融合所述第一图像和所述第二图像来形成并且位于所述第一图像与所述第二图像之间的时间帧中；以及

至少使用所述第一图像和所述第二图像以及所述内插视频数据的所述多个中间图像来编译驾驶员的假疲劳状态视频，以在其中训练所述应用程序以检测所述驾驶员疲劳。

2.根据权利要求1所述的计算机实施的方法，其特征在于，所述第一神经网络执行以下步骤：

将所述多个第二面部表情图像映射到相应的第一表示；以及

将所述相应的第一表示映射到具有与所述多个第二面部表情图像相同的形状的所述多个第一面部表情图像。

3.根据权利要求1所述的计算机实施的方法，其特征在于，所述第二神经网络包括执行以下步骤的条件变分自动编码器：

对所述第三面部表情图像和所述第二图像进行编码，并且输出描述所述第二表示的每个维度的分布的参数；以及

通过计算每个参数相对于输出损失的关系对所述第二表示的每个维度的所述分布进行解码，以重构所述第三面部表情图像和所述第二图像。

4.根据权利要求1至3中任一项所述的计算机实施的方法，其特征在于，所述第二神经网络还包括执行以下步骤的生成式对抗网络：

将所述重构图像与所述第三面部表情图像进行比较，以生成鉴别器损失；

将所述重构图像与处于相同程度的地面真实图像进行比较，以生成重构损失；

基于所述鉴别器损失和所述重构损失，预测所述重构图像具有与所述第三面部表情图像相对应的外观的可能性；以及

当所述预测将所述第一图像分类为真实图像时，将所述重构图像作为表达当前疲劳程度的所述第一图像而输出、并且作为表达所述当前疲劳程度之前的疲劳程度的所述第二图像而输入到所述条件变分自动编码器。

5.根据权利要求1至4中任一项所述的计算机实施的方法，其特征在于，所述重构损失指示所述第三面部表情图像与所述重构图像之间的相异度，并且所述鉴别器损失指示生成不正确的预测的成本，所述预测是指所述重构图像具有所述第三面部表情图像的所述外观。

6.根据权利要求1至4中任一项所述的计算机实施的方法，其特征在于，还包括：根据在不同时间帧处的所述第一图像与所述第二图像之间的差异，以不同的疲劳程度迭代地生成所述第一图像，直到所述重构损失和所述鉴别器损失的总值满足预定标准。

7.根据权利要求1所述的计算机实施的方法，其特征在于，生成所述多个中间图像还包括：

在所述相应的光流期间，预测所述第一图像与所述第二图像之间的中间图像；以及

内插所述第一图像和所述第二图像，以生成所述相应的光流，以在其中生成所述驾驶员的所述假疲劳状态视频。

8.根据权利要求1所述的计算机实施的方法，其特征在于，生成所述多个中间图像还包括：

接收以输入顺序布置的中间图像的序列；

使用编码器处理中间图像的所述序列，以将中间图像的所述序列转换成中间图像的所述序列的替代性表示；以及

使用解码器处理中间图像的所述序列的所述替代性表示，以生成中间图像的所述序列的目标序列，所述目标序列包括根据输出顺序布置的多个输出。

9.根据权利要求1所述的计算机实施的方法，其特征在于，所述第一表示通过学习分布将所述多个第二面部表情图像映射到所述第一表示。