[发明专利]基于视频的非线性在线表情预检测方法及装置

摘要

本发明公开了一种基于视频的非线性在线表情预检测方法及装置，该方法包括：对视频数据进行预处理，提取每帧图像的特征信息；从训练样本中抽取不同长度的视频片断，构建片断与检测函数值的非线性映射；片断的表示基于多示例学习，充分挖掘有效的表情信息，并将每两个视频片段根据映射值的大小构建一个约束对，得到训练数据；在每个时刻，用当前样本的所有约束对更新模型OKMEFD，通过最小化在当前训练数据集上的经验损失和模型复杂度，采用随机梯度下降算法对模型进行优化，获得模型的在线更新准则，进一步获得各个时刻的非线性表情预检测函数。预检测方法为：对测试样本逐帧读取数据并输出相应的检测值，当该值大于设定的阈值时，即认为预检测到该表情事件。本发明实现了在表情视频结束之前的预检测；有效提高了表情识别的及时性。

主权项

1.一种基于视频的非线性在线表情预检测方法，其特征在于，包括：步骤(1)、对所有训练样本进行预处理，通过面部关键点检测及人脸对齐方法，分割出人脸面部区域；步骤(2)、提取每个样本视频中每帧图像的面部表情特征，得到视频中每帧图像的特征表示；步骤(3)、对训练样本进行扩展，把训练样本看作一个完整的表情视频，抽取视频中不同长度的视频片断，构建片断与检测函数值的非线性映射，使得包含检测事件的有用信息越多的片断对应的函数值越大；片断的表示基于多示例学习，并将每两个视频片段根据映射值的大小进行排序，构建一个约束对，将约束对作为模型的训练数据；通过最小化在当前训练数据集上的经验损失和模型复杂度，采用随机梯度下降算法对模型进行优化，获得模型的在线更新准则，进一步获得各个时刻的非线性表情预检测函数；步骤(4)、表情预检测：对测试样本预处理并提取每帧图像特征后，逐帧读取数据并根据表情预检测函数输出相应的预检测值，当该值大于设定的阈值时，即认为预检测到该表情事件。