[发明专利]多模态在线增量式来访识别系统及其识别方法

说明书

技术领域

本发明属于电子地图的技术领域，具体涉及一种多模态在线增量式来访识别系统及其识别方法。

背景技术

目前需要重点开发多种新型传感器及先进条码自动识别、射频标签、基于多种传感信息的智能化信息处理技术，发展低成本的传感器网络和实时信息处理系统，提供更方便、功能更强大的信息服务平台和环境。”

随着传感器技术以及信息融合技术的发展，传统单传感器系统已经不能满足社会发展的需求，开发多传感器的实时信息融合系统成为科研技术人员的当务之急。

传统的人脸检测与识别系统在监控防盗、企业考勤、信息安全等多个方面发挥了重要的作用，但是由于摄像头单传感器交互的局限性，会产生如下问题：

当人脸识别分类器识别错误时，无法通过其他传感途径的交互来修正分类器，从而导致人脸识别效果无法在线增量式改进，严重影响用户体验。因此在传统的来访识别系统中，增加传感器进行信息融合是非常必要的。增加声音传感器(麦克风)，将人脸识别结果以语音的形式进行交互是最简单直接的做法，但是传统的语音识别存在如下问题：

语音识别需要语音输入包含足够多的语法信息，然而汉字姓名没有任何语法内容，导致传统的语音识别效果极差。

发明内容

本发明的目的提供一种多模态在线增量式来访识别系统及其识别方法，包括电脑终端，所述的电脑终端同摄像头、声音传感器以及音响设备相连接，所述的电脑终端中设置有多模态在线增量式来访识别模块、OPENCV视觉库、第一配置文档、第二配置文档、用来存放人脸识别模型数据的文件和用于存放照片总数和照片的分类对象的属性的总数的文档。并结合其识别方法可有效避免现有技术中的当人脸识别分类器识别错误时无法通过其他传感途径的交互来修正分类器、导致人脸识别效果无法在线增量式改进，严重影响用户体验以及汉字姓名没有任何语法内容导致传统的语音识别效果极差的缺陷。

为了克服现有技术中的不足，本发明提供了一种多模态在线增量式来访识别系统及其识别方法的解决方案，具体如下：

一种多模态在线增量式来访识别系统，包括电脑终端1，所述的电脑终端1同摄像头2、声音传感器3以及音响设备9相连接，所述的电脑终端1中设置有多模态在线增量式来访识别模块4、OPENCV视觉库7、第一配置文档5、第二配置文档6、用来存放人脸识别模型数据的文件8和用于存放照片总数和照片的分类对象的属性的总数的文档。

所述的第一配置文档5包括照片的名字和照片的分类对象的属性。

所述的第二配置文档6包括人脸所对应的姓名和人脸的分类对象的属性。

所述的声音传感器3也能被话筒或麦克风替代。

所述的多模态在线增量式来访识别模块4包括用于训练的子模块、人脸检测子模块，人脸识别子模块、语音识别和合成子模块、姓名识别子模块以及人脸判断子模块。

所述的用于训练的子模块能够读取出第一配置文档5中的照片的名字和照片的分类对象的属性，根据照片的名字和照片的分类对象的属性在OPENCV视觉库7中进行人脸识别模型的训练，得到符合当前应用场景的人脸识别模型；

所述的多模态在线增量式来访识别系统的识别方法，步骤如下：

步骤1：准备和初始化阶段，所述的准备和初始化阶段方法如下:

电脑终端1启动多模态在线增量式来访识别模块4来调用用于训练的子模块，用于训练的子模块首先读取出第一配置文档5中的照片的名字和照片的分类对象的属性，根据照片的名字和照片的分类对象的属性在OPENCV视觉库7中进行人脸识别模型的训练，得到符合当前应用场景的人脸识别模型，并把照片总数和照片的分类对象的属性的总数存储到用于存放照片总数和照片的分类对象的属性的总数的文档以及把训练好的人脸识别模型数据保存在用来存放人脸识别模型数据的文件中；

步骤2：进入初始化阶段，所述的初始化阶段包括启动人脸检测子模块，人脸识别子模块和姓名识别子模块分别进行人脸检测的初始化，人脸识别的初始化和姓名识别的初始化，具体如下：