[发明专利]图像处理方法、装置和电子设备

权利要求书

1.一种图像处理方法，其特征在于，所述方法包括：

获取从现实场景中采集的图像帧；

将获取的所述图像帧按照采集的时序逐帧播放；

获取识别所述图像帧中包括的人脸图像得到的人脸情感特征识别结果；

提取采集所述图像帧时录制的语音数据；

获取识别所述语音数据得到的语音情感特征识别结果；

当所述人脸情感特征识别结果与所述语音情感特征识别结果匹配时，在与所述人脸情感特征识别结果所包括的情感特征类型一致的情感特征图像集合中，选取情感特征图像；

当所述人脸情感特征识别结果与所述语音情感特征识别结果不匹配时，在与所述语音情感特征识别结果所包括的情感特征类型一致的情感特征图像集合中，选取情感特征图像；

追踪连续播放的图像帧中所述人脸图像的运动轨迹，根据追踪的运动轨迹，将所述情感特征图像展示在所述连续播放的图像帧中，以使所述情感特征图像跟随人脸图像进行移动显示。

2.根据权利要求1所述的方法，其特征在于，所述获取识别所述图像帧中包括的人脸图像得到的人脸情感特征识别结果，包括：

调整所述图像帧的尺寸至预设尺寸；

将调整后的所述图像帧的方向旋转至符合情感特征识别条件的方向；

发送旋转后的所述图像帧至服务器；

接收所述服务器返回的针对发送的所述图像帧的人脸情感特征识别结果。

3.根据权利要求1所述的方法，其特征在于，所述获取识别所述语音数据得到的语音情感特征识别结果，包括：

将提取的所述语音数据识别为文本；

查找所述文本所包括的情感特征关键字；

根据查找到的所述情感特征关键字，获取与所述语音数据相对应的语音情感特征识别结果。

4.根据权利要求1所述的方法，其特征在于，所述在与所述人脸情感特征识别结果所包括的情感特征类型一致的情感特征图像集合中，选取情感特征图像，包括：

提取所述人脸情感特征识别结果包括的情感特征类型和识别结果置信度；

在与所述人脸情感特征识别结果所包括的情感特征类型一致的情感特征图像集合中，挑选出与所述识别结果置信度相对应的情感特征图像。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据追踪的运动轨迹，将所述情感特征图像展示在所述连续播放的图像帧中，包括：

查询所述情感特征图像与所述人脸图像的相对位置；

根据追踪的运动轨迹和所述相对位置，将所述情感特征图像展示在所述连续播放的图像帧中，以使所述情感特征图像跟随人脸图像进行移动显示。

6.一种图像处理装置，其特征在于，所述装置包括：

图像帧获取模块，用于获取从现实场景中采集的图像帧；

播放模块，用于将获取的所述图像帧按照采集的时序逐帧播放；

识别结果获取模块，用于获取识别所述图像帧中包括的人脸图像得到的人脸情感特征识别结果；提取采集所述图像帧时录制的语音数据；获取识别所述语音数据得到的语音情感特征识别结果；

查找模块，用于当所述人脸情感特征识别结果与所述语音情感特征识别结果匹配时，在与所述人脸情感特征识别结果所包括的情感特征类型一致的情感特征图像集合中，选取情感特征图像；当所述人脸情感特征识别结果与所述语音情感特征识别结果不匹配时，在与所述语音情感特征识别结果所包括的情感特征类型一致的情感特征图像集合中，选取情感特征图像；

渲染模块，用于追踪连续播放的图像帧中所述人脸图像的运动轨迹，根据追踪的运动轨迹，将所述情感特征图像展示在所述连续播放的图像帧中，以使所述情感特征图像跟随人脸图像进行移动显示。

7.根据权利要求6所述的装置，其特征在于，所述识别结果获取模块还用于：调整所述图像帧的尺寸至预设尺寸；将调整后的所述图像帧的方向旋转至符合情感特征识别条件的方向；发送旋转后的所述图像帧至服务器；接收所述服务器返回的针对发送的所述图像帧的人脸情感特征识别结果。