[发明专利]一种状态检测方法、装置、设备和存储介质

说明书

本申请公开了一种状态检测方法、装置、设备和存储介质，该方法包括：获取关于目标对象的视频和音频；从视频中至少提取目标对象的第一面部特征，从音频中提取目标对象的第一语音特征，并基于音频得到音频对应的文本信息的语义完整度特征；至少基于第一面部特征、第一语音特征和语义完整度特征，得到关于目标对象的状态检测结果，状态检测结果用于确定目标对象是否存在预设状态。通过上述方式，本申请能够提高目标对象的状态检测的准确性。

技术领域

本申请涉及智能检测技术领域，特别是涉及一种状态检测方法、装置、设备和存储介质。

背景技术

目标对象(例如是人)在日常生活中，总会显现出各种各样的状态，一般会利用状态对目标对象的情况进行描述，但由于各种原因，目标对象虽然存在某种状态，但不自知，例如，状态对应的是帕金森患者表现出的状态，很多目标对象已经表现出了帕金森患者对应的状态，但由于自身知识不足或者状态表现程度等原因，不知道或者不确定自身所处的状态，从而延误制定有效应对措施的时机。

因此，如何通过对状态进行检测，得到对应的状态检测结果意义重大。

发明内容

本申请主要解决的技术问题是提供一种状态检测方法、装置、设备和存储介质，能够提高目标对象的状态检测的准确性。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种状态检测方法，该方法包括：获取关于目标对象的视频和音频；从视频中至少提取目标对象的第一面部特征，从音频中提取目标对象的第一语音特征，并基于音频得到音频对应的文本信息的语义完整度特征；至少基于第一面部特征、第一语音特征和语义完整度特征，得到关于目标对象的状态检测结果，状态检测结果用于确定目标对象是否存在预设状态。

其中，视频包含目标对象的多帧面部图像，从视频中提取目标对象的第一面部特征，包括：分别提取至少一帧面部图像中的第二面部特征，以得到第一面部特征；和/或，音频包含目标对象的多帧语音帧，从音频中提取目标对象的语音特征和语义完整度特征，包括：提取至少一帧语音帧的第二语音特征，以得到第一语音特征；和/或，提取各语音帧对应的第二语音特征，融合各第二语音特征，得到音频的语音融合特征；对语音融合特征进行语音识别，得到音频对应的文本信息；对文本信息进行处理，得到语义完整度特征。

其中，分别提取至少一帧面部图像中的第二面部特征，包括：对于各帧面部图像，从面部图像中提取多个面部关键点；分别获取第一线段和各第二线段间空间关系值，其中，第一线段由至少两个面部关键点的连线组成，各第二线段分别由第一线段其中一端对应的面部关键点和各面部关键点的连线组成；按照预设顺序将面部图像对应的各空间关系值排序，得到面部图像中的第二面部特征。

其中，至少基于第一面部特征、第一语音特征和语义完整度特征，得到关于目标对象的状态检测结果，包括：融合第一面部特征和第一语音特征，得到第一融合特征；融合第一融合特征和语义完整度特征，得到第二融合特征；对第二融合特征进行状态检测，得到关于目标对象的状态检测结果。

其中，视频包含目标对象的多帧面部图像，第一面部特征包括各帧面部图像的第二面部特征，音频包含目标对象的多帧语音帧，第一语音特征包括各帧语音帧的第二语音特征；融合所述第一面部特征和第一语音特征，得到第一融合特征，包括：融合各第二面部特征得到面部融合特征，并融合各第二语音特征，得到语音融合特征，其中，面部融合特征为第一面部特征，语音融合特征为第一语音特征；融合面部融合特征和语音融合特征，得到第三融合特征；利用处理模型对第三融合特征进行处理，得到第一融合特征；和/或，对第二融合特征进行状态检测，得到关于目标对象的状态检测结果，包括：利用分类模型对第二融合特征进行处理，得到关于目标对象的状态检测结果。

其中，关于目标对象的视频和音频有多组，状态检测结果包含目标对象存在预设状态的概率；在得到各组视频和音频对应的状态检测结果之后，状态检测方法还包括：基于各组视频和音频对应的状态检测结果中的概率，得到关于目标对象的最终状态检测结果。