[发明专利]多模态在线增量式来访识别系统及其识别方法

摘要

一种多模态在线增量式来访识别系统及其识别方法，包括电脑终端，所述的电脑终端同摄像头、声音传感器以及音响设备相连接，所述的电脑终端中设置有多模态在线增量式来访识别模块、OPENCV视觉库、第一配置文档、第二配置文档、用来存放人脸识别模型数据的文件和用于存放照片总数和照片的分类对象的属性的总数的文档。并结合其识别方法可有效避免现有技术中的当人脸识别分类器识别错误时无法通过其他传感途径的交互来修正分类器、导致人脸识别效果无法在线增量式改进，严重影响用户体验以及汉字姓名没有任何语法内容导致传统的语音识别效果极差的缺陷。

主权项

一种多模态在线增量式来访识别系统，其特征在于包括电脑终端，所述的电脑终端同摄像头、声音传感器以及音响设备相连接，所述的电脑终端中设置有多模态在线增量式来访识别模块、OPENCV视觉库、第一配置文档、第二配置文档、用来存放人脸识别模型数据的文件和用于存放照片总数和照片的分类对象的属性的总数的文档；多模态在线增量式来访识别系统的识别方法，步骤如下：步骤1：准备和初始化阶段，所述的准备和初始化阶段方法如下：电脑终端启动多模态在线增量式来访识别模块来调用用于训练的子模块，用于训练的子模块首先读取出第一配置文档中的照片的名字和照片的分类对象的属性，根据照片的名字和照片的分类对象的属性在OPENCV视觉库中进行人脸识别模型的训练，得到符合当前应用场景的人脸识别模型，并把照片总数和照片的分类对象的属性的总数存储到用于存放照片总数和照片的分类对象的属性的总数的文档以及把训练好的人脸识别模型数据保存在用来存放人脸识别模型数据的文件中；步骤2：进入初始化阶段，所述的初始化阶段包括启动人脸检测子模块，人脸识别子模块和姓名识别子模块分别进行人脸检测的初始化，人脸识别的初始化和姓名识别的初始化，具体如下：首先启动人脸检测子模块载入OPENCV视觉库中内置的Haar级联分类器，载入了Haar级联分类器后，然后在电脑终端的内存中开辟一段内存空间来保存人脸图像，这样就完成了人脸检测的初始化；接着启动人脸识别子模块把照片总数和照片的分类对象的属性的总数从用于存放照片总数和照片的分类对象的属性的总数的文档中提取出来，然后从第二配置文档中读取人脸所对应的姓名和人脸的分类对象的属性，人脸所对应的姓名和人脸的分类对象的属性也用分隔符分离，分隔符前为人脸所对应的姓名，分隔符后为人脸的分类对象的属性，人脸的分类对象的属性为自然数表示并作为该人脸的唯一标识，再接着向OPENCV视觉库中的LBPH人脸识别器中载入用来存放人脸识别模型数据的文件中的训练好的人脸识别模型数据，这样就完成了人脸识别的初始化；最后启动姓名识别子模块来实现姓名识别的初始化，具体说来为按照<名称，类别>的key‑value序列方式构造用户映射表，用户的名称为key，用户的类别为value，用户的名称和用户的类 别之间是一对一或者多对一的映射关系，接着依次通过初始化COM库、创建语音识别引擎Recognizer对象、通过Recognizer对象来创建一个上下文对象、设置能将RecoContext对象与相关的消息处理函数联系起来的消息通知机制、设置语音选项、创建默认的音频输入设备对象、将音频输入对象作为识别引擎对象的音频输入源、根据规则中定义的词来最大限度的匹配从音频输入设备输入的命令来编写语法规则、载入语法规则、将语法规则对象设置成激活状态以及别的命令通过ISpVoice接口输出相应的语音信息的步骤来初始化语音识别和合成模块，对于用户名字的识别和存储，通过对以<汉字，拼音>key‑value对为存储结构的表进行初始化，具体的内容是遍历原始码表Uni2Pinyin，分析原始码表Uni2Pinyin件中的信息，将其中的信息按照<汉字，拼音>的格式作为全局表存储起来，由此完成了姓名识别的初始化；步骤3：运行多模态在线增量式来访识别系统来让摄像头以及声音传感器处于工作状态，首先等待被识别对象的语音输入，即用户需要通过声音传感器传输“你好”这样的问候语句的语音信号数据来进入后续的识别阶段，所述的问候语句的语音信号数据被语音识别和合成子模块识别后，就依次执行设置激活听写状态、把识别后的问候语句的语音信号数据转化成对应的问候语句文字、把转化后的对应的问候语句文字存储在内存空间中；步骤4：启动摄像头不断采集环境的图片，把环境的图片送入电脑终端中启动人脸判断子模块来调用OPENCV视觉库中的Haar级联分类器来判断是否存在人脸图像，如果存在人脸图像，保存并返回人脸部分的图像，把返回人脸部分的图像转换为灰度图像，并放缩到设定的大小以及进行归一化处理来满足后续操作的要求，最后返回归一化后的人脸部分的图像；步骤5：人脸判断子模块继续利用保存在用来存放人脸识别模型数据的文件中的训练好的人脸识别模型数据进行人脸预测，如果预测成功，返回用户的类别所对应的用户的名称，如果预测失败，返回错误提示信息；步骤6：如果预测的结果同用户的真实名称一致，就对用户进行成功预测的语音提示，如果预测的结果同用户的真实名称不一致，就对用户进行错误预测的语音提示，并且提示用户继续通过声音传感器输入用户的真实名称的语音数据信号，然后将该输入用户的真实名称的语音数据信号转化成文字信息，把该文字信 息和用户的图像存入电脑终端，更新第一配置文档和第二配置文档，最后执行步骤1重新训练人脸识别模型；步骤7：接着电脑终端通过操纵音响设备来对用户发出“你找谁”这样的询问语音，然后当用户通过声音传感器回应的语音数据传输到电脑终端中时，把语音数据转化成语音文本，并通过该语音文本形成确认查找该语音文本对应的用户名称的语音信号数据，并把该语音信号数据通过音响设备播放，当用户确认要寻找该用户以后，电脑终端通过音响设备进行响应，而用户否认要寻找该用户以后，循环执行步骤7。