[发明专利]一种基于音频及视频特征融合的会议系统接入方法及系统

说明书

本发明提供了一种基于音频及视频特征融合的会议系统接入方法及系统，所述方法包括：采集人脸图像，MCU对人脸图像进行非下采样的Contourlet变换，输入S‑PCNN模型进行处理，计算得到；进行语音采样，经处理获得去噪后的离散采样信号，进行离散傅里叶变换计算获取语谱图，输入S‑PCNN模型转化获得；将和进行融合处理得到存入TCM芯片进行保护，MCU绑定账户密码及；使用者录入人脸图像及语音信号，获得，MCU从TCM芯片中获取受保护的预存；对比及。本发明在保证系统良好鲁棒性基础上减少了计算量和计算时间，符合会议场景实时性要求；对及进行有效融合，大幅提高该系统可靠性；可存入TCM芯片中以保证安全性。

技术领域

本发明涉及信息安全技术领域，具体而言，涉及一种基于音频及视频特征融合的会议系统接入方法及系统。

背景技术

生物识别技术是信息安全领域一项前沿且重要的学科分支，该技术通过计算机与光学、声学、生物传感器和生物统计学原理等高科技手段密切融合，从而结合人类生物特征进行身份认证的一种技术。该技术通过指静脉、指纹、人脸、虹膜等人体固有生理特性，或者笔迹、声音、步态等行为特征来进行个人身份鉴定。生物识别技术相较于以身份标识物品（如智能卡等）和身份标识知识（如账户和密码）为代表的传统身份鉴定方法具有更高的安全性，但单模态生物特征身份认证方式在复杂环境下存在准确率低、应用范围受限等方面的问题。

单模态生物识别系统不仅受到生物特征本身特点缺陷的限制，同时受到采样方式、硬件水平和采样成功率等条件的制约，尤其在噪声干扰情况下可能出现分别率和可靠性大幅降低的情况，造成会议认证接入系统的错误识别或错误判定，使涉密信息泄露或者合法使用者无法正常登陆的风险急剧增加。

发明内容

鉴于此，本发明的目的在于有效防止会议保密领域的非法认证和涉密信息泄露，最大限度保证接入判定的准确性和关键信息的安全，提出了一种基于音频及视频特征融合的会议接入系统，采用S-PCNN模型实现人脸及语音特征值的提取，然后通过PCNN模型实现双方熵值的有效融合并将融合熵值存入TCM芯片进行保护，有效保证了会议接入人员的身份认证安全，同时，为其他信息行业的认证方案设计提供了可借鉴的参考案例。

本发明提供一种基于音频及视频特征融合的会议系统接入方法，包括以下步骤：

S1、会议装置的摄像头采集人脸图像，MCU对采集到的所述人脸图像进行非下采样的Contourlet变换，将所述Contourlet变换的各子带输入S-PCNN模型对所述人脸图像进行处理，处理完成的数据进行计算得到人脸熵值；

具体地，S-PCNN模型对所述人脸图像处理完成的数据通过熵值处理计算得到人脸熵值；

S2、会议装置的麦克风进行语音采样，录入语音信号经过处理获得去噪后的离散采样信号X(n)，对X(n)进行离散傅里叶变换并计算获取语谱图，将语谱图输入S-PCNN模型并通过转化获得语音信号的熵值；

S3、将获取的所述人脸熵值和所述语音熵值进行融合处理，采用脉冲耦合神经网络（Pulse Coupled Neural Network， PCNN）模型进行融合，融合的特征式为：=；

融合处理针对的是视频信号和语音信号关联性不强的问题；

S4、将融合熵值存入TCM芯片进行保护，同时，MCU绑定账户密码及该熵值；

S5、使用者录入人脸图像及语音信号，并获得新融合熵值，MCU从TCM芯片中获取受保护的预存的融合熵值；

所述会议装置作为会议发起端或会议客户端使用，使用时会议发起端具有最高权限；

S6、采用欧式距离的方案对比及，对比成功后启动会议设备的通信功能，若比对不成功，会议客户端将获取到的人脸图像及语音信号传输至会议发起端，会议发起端通过列表形式展示认证失败者照片及语音信号，并判断在认证不通过的情况下是否接入会议；