[发明专利]视频多目标情感度预测方法

权利要求书

1.一种视频多目标情感度预测方法，其特征在于，包括以下步骤：

S1，视频中包含多个目标，经过多目标视频解析后，形成多个单目标视频；

S2，判断单目标视频时长是否小于x秒，若小于x秒则进入步骤S3，否则进入步骤S4；

S3，对单目标视频进行短视频情感度预测，然后进入步骤S5；

S4，对单目标视频进行长视频情感度预测，然后进入步骤S5；

S5，根据应用场景情感度预测的不同需求，计算综合情感度或者最大情感度；

步骤S1包括：

S11，通过设置滑动窗口长度和重叠窗口长度来将多目标视频切分为多个视频片段；

S12，对视频片段，通过多目标跟踪技术，追踪视频片段目标，得到目标的边框序列；

S13，对前后视频片段的目标的边框序列做对比，确认追踪的是否为同一目标，并且增加帧索引；

S14，根据目标边框序列的帧索引从多目标视频中读取对应的帧，分割出每个目标的图片，形成单目标视频；

步骤S3包括：

S31，读取单目标视频中的每张图片，提取6个视频跟踪属性和3个头部姿势属性，合并形成9维向量；

S32，计算短视频的属性，视频的视线跟踪属性采用偏差和，姿势属性采用标准方差，形成一个9维向量输入到神经网络模型；

S33，对短视频采用深度神经网络模型识别；

步骤S4包括：

S41，读取单目标视频中的每张图片，提取6个视频跟踪属性和3个头部姿势属性，合并形成9维向量；

S42，将长视频划分成10个视频片段，计算长视频的视频片段的属性，视频的视线跟踪属性采用偏差和，姿势属性采用标准方差，形成一个9维向量输入到神经网络模型；

S43，对长视频采用LSTM多实例学习模型识别。

2.根据权利要求1所述的一种视频多目标情感度预测方法，其特征在于，步骤S33包括：深度神经网络模型的输入是一个一维向量，经过三个全连接层后，转换到高维空间，最后一个全连接层采用Sigmoid函数，把情感度映射到[0,1]之间。

3.根据权利要求1所述的一种视频多目标情感度预测方法，其特征在于，步骤S43包括：长视频情感度模型的输入是一个二维向量，LSTM层计算10个视频片段的激活值，接下来的压平层转换向量到一维空间，接着三个全连接层进行空间转换，最后一个平均池化层取10个视频片段情感度的平均值。