[发明专利]基于影像数据的识别方法、装置、设备及介质

权利要求书

1.一种基于影像数据的识别方法，其特征在于，包括：

基于检测到的用户语音数据，通过摄像头获取目标图像数据；

依据所述目标图像数据，确定目标人脸图像数据和所述用户语音数据对应的目标表情动作信息；

依据所述目标表情动作信息，从预设的表情动作数据库中查找与所述目标人脸图像数据匹配的心理预测信息；

依据所述心理预测信息，生成所述用户语音数据对应的分析检测结果。

2.根据权利要求1所述的基于影像数据的识别方法，其特征在于，所述基于检测到的用户语音数据，通过摄像头采集所述用户语音数据对应的目标图像数据，包括：

从所述用户语音数据中提取语音特征信息；

依据所述语音特征信息确定目标用户；

从所述摄像头采集到的用户图像数据中提取所述目标用户的图像信息，并将提取到的图像数据确定为所述目标图像数据。

3.根据权利要求2所述的基于影像数据的识别方法，其特征在于，所述依据所述目标图像数据，确定目标人脸图像数据和所述用户语音数据对应的目标表情动作信息，包括：

依据所述目标图像数据进行人脸检测，得到目标人脸图像数据；

依据所述目标人脸图像数据进行表情动作识别，得到所述目标表情动作信息。

4.根据权利要求3所述的基于影像数据的识别方法，其特征在于，所述依据所述目标表情动作信息，从预设的表情动作数据库中查找与所述目标人脸图像数据匹配的心理预测信息，包括：

确定所述目标表情动作信息对应的表情动作标签；

在所述表情动作数据库中，查找与所述表情动作标签对应的心理活动信息；

基于查找到的心理活动信息，确定所述心理预测信息。

5.根据权利要求4所述的基于影像数据的识别方法，其特征在于，所述确定所述目标表情动作信息对应的表情动作标签，包括：

依据所述目标表情动作信息和所述目标用户对应预设的默认表情信息进行分析，得到表情变化信息；

若所述表情变化信息符合预设的表情变化条件，则将所述表情变化条件对应的动作标签确定为所述表情动作标签。

6.根据权利要求1至5任一所述的基于影像数据的识别方法，其特征在于，所述依据所述心理预测信息，生成所述用户语音数据对应的分析检测结果，包括：

对所述用户语音数据进行文本转换，得到语音文本信息；

结合所述心理预测信息对语音文本信息进行语义分析，得到所述分析检测结果。

7.一种基于影像数据的识别装置，其特征在于，包括：

图像数据获取模块，用于基于检测到的用户语音数据，通过摄像头获取目标图像数据；

目标人脸图像模块，用于依据所述目标图像数据，确定目标人脸图像数据和所述用户语音数据对应的目标表情动作信息；

查找模块，用于依据所述目标表情动作信息，从预设的表情动作数据库中查找与所述目标人脸图像数据匹配的心理预测信息；

分析检测结果模块，用于依据所述心理预测信息，生成所述用户语音数据对应的分析检测结果。

8.根据权利要求7所述的基于影像数据的识别装置，其特征在于，所述图像数据获取模块，包括：

语音特征提取子模块，用于从所述用户语音数据中提取语音特征信息；

目标用户确定子模块，用于依据所述语音特征信息确定目标用户；

图像数据提取子模块，用于从所述摄像头采集到的用户图像数据中提取所述目标用户的图像信息，并将提取到的图像数据确定为所述目标图像数据。

9.一种电子设备，其特征在于，包括：处理器，以及用于存储所述处理器的可执行指令的存储器；其中，所述处理器被配置为执行如权利要求1至6任一所述的基于影像数据的识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一所述的基于影像数据的识别方法。