[发明专利]一种应用于远程信息服务的人机交互识别系统

摘要

本发明属于计算机领域，特别是一种应用于远程信息服务的人机交互识别系统，其特征在于，提供网络信息服务的服务系统或其客户端至少具有一个人机交互识别装置；所述的人机交互识别装置包括：听觉采集模块，用于采集用户的语音信号；视觉采集模块，用于采集用户的人脸图像；第一预处理模块、人脸特征提取模块、人脸识别模块；第二预处理模块、语音特征提取模块、语音识别模块；第三预处理模块、人脸表情特征提取模块、人脸表情识别模块；第四预处理模块、语言情感特征提取模块、语言情感识别模块；显性识别融合模块，用于将人脸识别模块和语音识别模块的识别结果进行融合处理，形成综合了人脸特征和语音特征的识别结果；隐性识别融合模块，用于将人脸表情识别模块和语言情感识别模块的识别结果进行融合处理，形成综合了人脸表情特征和语音情感特征的识别结果。

主权项

一种应用于远程信息服务的人机交互识别系统，其特征在于，提供网络信息服务的服务系统或其客户端至少具有一个人机交互识别装置；所述的人机交互识别装置包括：听觉采集模块，用于采集用户的语音信号；视觉采集模块，用于采集用户的人脸图像；第一预处理模块，用于对视觉采集模块采集的图像进行预处理；人脸特征提取模块，用于通过对第一预处理模块的图像进行分析，实现对人脸整体或特征部位的识别、定位；人脸识别模块，用于根据人脸特征提取模块获得参数进行识别，输出人脸识别的结果；第二预处理模块，用于对听觉采集模块的语音信号进行预处理；语音特征提取模块，用于分析并获得语音参数；语音识别模块，用于根据语音特征提取模块获得的参数进行识别并获得该用户语音对应的请求或指令；第三预处理模块，用于对视觉采集模块采集的图像进行预处理，形成人脸表情图像序列；人脸表情特征提取模块，用于对第三预处理模块输入的图像序列进行分析处理，获得人脸表情参数；人脸表情识别模块，用于人脸表情参数进行处理、识别进而获得人脸表情的识别结果；第四预处理模块，用于对听觉采集模块的语音信号进行与语言情感相关的预处理；语言情感特征提取模块，用于从第四预处理模块输入的信号中获得语言情感特征的参数；语言情感识别模块，用于通过对语言情感特征的参数的分析处理，识别出该语音信号包含的情感信息并输出识别结果；显性识别融合模块，用于将人脸识别模块和语音识别模块的识别结果进行融合处理，形成综合了人脸特征和语音特征的识别结果；隐性识别融合模块，用于将人脸表情识别模块和语言情感识别模块的识别结果进行融合处理，形成综合了人脸表情特征和语音情感特征的识别结果。