[发明专利]基于多模态情绪与脸部属性识别的人机交互方法、系统

说明书

本发明属于人机交互技术领域，提供了一种基于多模态情绪与脸部属性识别的人机交互方法、系统。该方法包括获取用户的人脸图像和声音信息，将声音信息转换为文字信息，根据人脸图像、声音信息和文字信息，对情绪进行判别，确定情绪向量，根据人脸图像，确定人脸属性特征，根据回话策略，分析情绪向量、人脸属性特征和文字信息，输出回馈文字。本发明基于多模态情绪与脸部属性识别的人机交互方法、系统，能够全面识别人脸属性，提高多模态人脸情绪识别的准确性，将多模态情绪、脸部属性与自然语言交互信息相结合，提供更加自然与智能的人机交互体验。

技术领域

本发明涉及人机交互技术领域，具体涉及一种基于多模态情绪与脸部属性识别的人机交互方法、系统。

背景技术

现有技术中主要通过实时检测与机器交互的用户脸部情绪、脸部属性等，根据交互原则触发与该用户属性特征、情绪状态匹配的引导式回话策略，让机器能实时、主动提供与用户当前状态相符的对话反馈与服务内容。其中，脸部属性包括人脸客户物理特性和主观物理特性，人脸客户物理特性可以是性别、用户身份、是否戴眼镜、是否有无胡子、有无痘痘等，主观物理特性可以是年纪、颜值、情绪表现等。

但是，在实际应用过程中，现有技术也存在诸多弊端，具体如下：

第一，在传统人机交互系统中，通过两种不同的算法并决策机器视觉技术识别和自然语言交互的识别，在中枢控制系统中没有运算模组，能够将两种交互识别结果进行结合并作出决策；

第二，在传统人机交互系统中，机器对参与交互的用户必须借助外部操作唤醒，例如定制词汇的语音唤醒，而非主动交互的，并没有通过机器视觉技术实时而主动的侦测结果，定制令机器主动与用户交互的解决方案。

如何全面识别人脸属性，提高多模态人脸情绪识别的准确性，将多模态情绪、脸部属性与自然语言交互信息相结合，提供更加自然与智能的人机交互体验，是本领域技术人员亟需解决的问题。

发明内容

针对现有技术中的缺陷，本发明提供了一种基于多模态情绪与脸部属性识别的人机交互方法、系统，能够全面识别人脸属性，提高多模态人脸情绪识别的准确性，将多模态情绪、脸部属性与自然语言交互信息相结合，提供更加自然与智能的人机交互体验。

第一方面，本发明提供一种基于多模态情绪与脸部属性识别的人机交互方法，该方法包括：获取用户的人脸图像和声音信息；

将声音信息转换为文字信息；

根据人脸图像、声音信息和文字信息，对情绪进行判别，确定情绪向量；

根据人脸图像，确定人脸属性特征；

根据回话策略，分析情绪向量、人脸属性特征和文字信息，输出回馈文字。

进一步地，输出回馈文字之后，该方法还包括：

将回馈文字转换为语音信息。

基于上述任意基于多模态情绪与脸部属性识别的人机交互方法实施例，进一步地，分析情绪向量、人脸属性特征和文字信息之前，该方法还包括：

根据情绪向量的时间顺序和人脸属性特征，在语料库中确定对应的语料数据，进行输出。

基于上述任意基于多模态情绪与脸部属性识别的人机交互方法实施例，进一步地，根据人脸图像、声音信息和文字信息，对情绪进行判别，确定情绪向量，具体包括：

根据人脸图像、声音信息和文字信息，采用机器/深度学习算法，对情绪进行判别，确定情绪向量。

进一步地，情绪向量为四个。

基于上述任意基于多模态情绪与脸部属性识别的人机交互方法实施例，进一步地，将声音信息转换为文字信息之后，根据人脸图像、声音信息和文字信息，对情绪进行判别之前，该方法还包括：