[发明专利]用于识别人物情感的方法和装置

说明书

本公开的实施例公开了用于识别人物情感的方法和装置。该方法的一具体实施方式包括：从待处理的人物视频中提取出人脸图像集合；基于人脸图像之间的匹配关系，将人脸图像集合划分成至少一个人脸图像组，其中，不同的人脸图像组对应人物视频所显示的不同的人物；对于该至少一个人脸图像组中的每个人脸图像组，对该人脸图像组中的每张人脸图像进行表情识别，得到相应的表情识别结果，并基于该人脸图像组中的各张人脸图像分别对应的表情识别结果，确定该人脸图像组所对应的人物的情感信息。该实施方式实现了基于人脸表情的人物情感识别。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及用于识别人物情感的方法和装置。

背景技术

人物视频可以显示有一个或多个人物，每个人物一般具有相应的情感状态。例如，对应某部电视剧的人物视频可以显示有该电视剧中的一个或多个人物，每个人物在剧情当中的情感例如可以是仇恨、幸福、厌恶或悲愤等。

发明内容

本公开的实施例提出了用于识别人物情感的方法和装置。

第一方面，本公开的实施例提供了一种用于识别人物情感的方法，该方法包括：从待处理的人物视频中提取出人脸图像集合；基于人脸图像之间的匹配关系，将人脸图像集合划分成至少一个人脸图像组，其中，不同的人脸图像组对应人物视频所显示的不同的人物；对于该至少一个人脸图像组中的每个人脸图像组，对该人脸图像组中的每张人脸图像进行表情识别，得到相应的表情识别结果，并基于该人脸图像组中的各张人脸图像分别对应的表情识别结果，确定该人脸图像组所对应的人物的情感信息。

在一些实施例中，表情识别结果包括表情标签；以及基于该人脸图像组中的各张人脸图像分别对应的表情识别结果，确定该人脸图像组所对应的人物的情感信息，包括：将该人脸图像组中的各张人脸图像分别对应的表情识别结果中的出现次数最多的表情标签确定为目标表情标签，并基于目标表情标签，确定该人脸图像组所对应的人物的情感信息。

在一些实施例中，基于目标表情标签，确定该人脸图像组所对应的人物的情感信息，包括：确定该人脸图像组所对应的人物的情感信息包括目标表情标签。

在一些实施例中，目标表情标签预先关联情感状态；以及基于目标表情标签，确定该人脸图像组所对应的人物的情感信息，包括：确定该人脸图像组所对应的人物的情感信息包括情感状态。

在一些实施例中，从待处理的人物视频中提取出人脸图像集合，包括：对人物视频进行间隔抽帧，并将抽取出的图像组成图像集合；对图像集合中的各张图像分别进行人脸检测，得到人脸检测结果；基于人脸检测结果，从图像集合中提取出人脸图像集合。

在一些实施例中，基于人脸图像之间的匹配关系，将人脸图像集合划分成至少一个人脸图像组，包括：对人脸图像集合中的人脸图像进行聚类，以将人脸图像集合划分成至少一个人脸图像组。

在一些实施例中，对该人脸图像组中的每张人脸图像进行表情识别，得到相应的表情识别结果，包括：将该人脸图像组中的每张人脸图像输入预先训练的卷积神经网络，得到相应的表情识别结果，卷积神经网络用于进行表情识别。

第二方面，本公开的实施例提供了一种用于识别人物情感的装置，该装置包括：提取单元，被配置成从待处理的人物视频中提取出人脸图像集合；划分单元，被配置成基于人脸图像之间的匹配关系，将人脸图像集合划分成至少一个人脸图像组，其中，不同的人脸图像组对应人物视频所显示的不同的人物；识别单元，被配置成对于该至少一个人脸图像组中的每个人脸图像组，对该人脸图像组中的每张人脸图像进行表情识别，得到相应的表情识别结果，并基于该人脸图像组中的各张人脸图像分别对应的表情识别结果，确定该人脸图像组所对应的人物的情感信息。