[发明专利]一种基于深度学习的第一印象识别与回馈系统及方法

权利要求书

1.一种基于深度学习的第一印象识别与回馈系统，其特征在于，包括采集模块、模型建立模块、检测模块和反馈模块；

所述采集模块用于采集视频样本，并从视频样本中筛选目标影像进行数据清洗；还用于对数据清洗后的目标影像进行标注，并根据标注结果计算第一印象数值；

所述模型建立模块用于检测视频样本中脸部动作、手部动作和身体动作，根据检测结果建立影像特征学习模型和集成学习模型；

所述检测模块用于利用影像特征学习模型和集成学习模型对待检测视频进行识别；

所述反馈模块用于根据第一印象数值和预设的特定任务对经过检测模块识别得到的结果进行分析，输出反馈信息；

所述采集模块分别对目标影像中的每一帧影像进行多次标注，每个标注内容包括第一印象和印象分值；按照预设的分值过滤范围对标注内容进行头尾过滤，保留印象分值处于分值过滤范围内的标注；按照第一印象对过滤后的标注进行分类，并分别对每一类标注的印象分值求平均，得到每一类标注对应的所述第一印象数值；

所述第一印象包括富有责任感、聪明、老实、自信、不好相处和情绪性。

2.根据权利要求1所述基于深度学习的第一印象识别与回馈系统，其特征在于，所述采集模块中的视频样本包括从网络上下载的视频以及录制的视频。

3.根据权利要求1所述基于深度学习的第一印象识别与回馈系统，其特征在于，所述模型建立模块用于检测视频样本中脸部动作、手部动作和身体动作，根据检测结果与标注进行影像特征学习，建立多个模态各自独立的基于深度模型的影像特征学习模型，根据影像特征学习结果进行集成学习，建立集成学习模型。

4.根据权利要求3所述基于深度学习的第一印象识别与回馈系统，其特征在于，所述模型建立模块中影像特征学习失败时，其影像特征学习结果设置为零向量。

5.一种基于深度学习的第一印象识别与回馈方法，其特征在于，包括

采集步骤：采集视频样本，并从视频样本中筛选目标影像进行数据清洗；

标注步骤：对数据清洗后的目标影像进行标注，并根据标注结果计算第一印象数值；

模型建立步骤：检测视频样本中脸部动作、手部动作和身体动作，根据检测结果建立影像特征学习模型和集成学习模型；

识别步骤：利用影像特征学习模型和集成学习模型对待检测视频进行识别；

反馈步骤：根据第一印象数值和预设的特定任务对识别得到的结果进行分析，输出反馈信息；

所述标注步骤中，分别对目标影像中的每一帧影像进行多次标注，每个标注内容包括第一印象和印象分值；按照预设的分值过滤范围对标注内容进行头尾过滤，保留印象分值处于分值过滤范围内的标注；按照第一印象对过滤后的标注进行分类，并分别对每一类标注的印象分值求平均，得到每一类标注对应的所述第一印象数值；

所述第一印象包括富有责任感、聪明、老实、自信、不好相处和情绪性。

6.根据权利要求5所述基于深度学习的第一印象识别与回馈方法，其特征在于，所述模型建立步骤中，检测视频样本中脸部动作、手部动作和身体动作，根据检测结果与标注进行影像特征学习，建立多个模态各自独立的基于深度模型的影像特征学习模型，根据影像特征学习结果进行集成学习，建立集成学习模型。

7.根据权利要求6所述基于深度学习的第一印象识别与回馈方法，其特征在于，所述模型建立步骤中，影像特征学习失败时，其影像特征学习结果设置为零向量。