[发明专利]一种基于深度学习的第一印象识别与回馈系统及方法

说明书

本发明提供的一种基于深度学习的第一印象识别与回馈系统及方法，采集模块用于采集视频样本，并从视频样本中筛选目标影像进行数据清洗；还用于对数据清洗后的目标影像进行标注，并根据标注结果计算第一印象数值；模型建立模块用于检测视频样本中脸部动作、手部动作和身体动作，根据检测结果建立影像特征学习模型和集成学习模型；检测模块用于利用影像特征学习模型和集成学习模型对待检测视频进行识别；反馈模块用于根据第一印象数值和预设的特定任务对经过检测模块识别得到的结果进行分析，输出反馈信息，这样能够客观地判断得到初见之人带给人的第一印象。

技术领域

本发明属于电脑视觉与深度学习技术领域，具体涉及一种基于深度学习的第一印象识别与回馈系统及方法。

背景技术

现有的第一印象识别方法主要透过人在互动时观察对方的脸部特性、表情变化与身体仪态的表现，并根据社会风俗文化等教育来判断初见之人带给人的第一印象为何。且该方法是由人给予的文字回馈或经验判断得到，容易受判断人主观因素的影响，无法成为一个客观量化的标准。且该方法不能给用户提供可以透过演绎的方式(如需工作面试、演讲、相亲等)来达到良好第一印象的目的。

发明内容

针对现有技术中的缺陷，本发明提供一种基于深度学习的第一印象识别与回馈系统及方法，能够客观地判断得到初见之人带给人的第一印象。

一种基于深度学习的第一印象识别与回馈系统，包括采集模块、模型建立模块、检测模块和反馈模块；

所述采集模块用于采集视频样本，并从视频样本中筛选目标影像进行数据清洗；还用于对数据清洗后的目标影像进行标注，并根据标注结果计算第一印象数值；

所述模型建立模块用于检测视频样本中脸部动作、手部动作和身体动作，根据检测结果建立影像特征学习模型和集成学习模型；

所述检测模块用于利用影像特征学习模型和集成学习模型对待检测视频进行识别；

所述反馈模块用于根据第一印象数值和预设的特定任务对经过检测模块识别得到的结果进行分析，输出反馈信息。

优选地，所述采集模块中的视频样本包括从网络上下载的视频以及录制的视频。

优选地，所述采集模块分别对目标影像中的每一帧影像进行多次标注，每个标注内容包括第一印象和印象分值；按照预设的分值过滤范围对标注内容进行头尾过滤，保留印象分值处于分值过滤范围内的标注；按照第一印象对过滤后的标注进行分类，并分别对每一类标注的印象分值求平均，得到每一类标注对应的所述第一印象数值。

优选地，所述第一印象包括富有责任感、聪明、老实、自信、不好相处和情绪性。

优选地，所述模型建立模块用于检测视频样本中脸部动作、手部动作和身体动作，根据检测结果与标注进行影像特征学习，建立多个模态各自独立的基于深度模型的影像特征学习模型，根据影像特征学习结果进行集成学习，建立集成学习模型。

优选地，所述模型建立模块中影像特征学习失败时，其影像特征学习结果设置为零向量。

一种基于深度学习的第一印象识别与回馈方法，包括

采集步骤：采集视频样本，并从视频样本中筛选目标影像进行数据清洗；

标注步骤：对数据清洗后的目标影像进行标注，并根据标注结果计算第一印象数值；

模型建立步骤：检测视频样本中脸部动作、手部动作和身体动作，根据检测结果建立影像特征学习模型和集成学习模型；

识别步骤：利用影像特征学习模型和集成学习模型对待检测视频进行识别；

反馈步骤：根据第一印象数值和预设的特定任务对识别得到的结果进行分析，输出反馈信息。