[发明专利]一种基于音频及视频特征融合的会议系统接入方法及系统

权利要求书

1.一种基于音频及视频特征融合的会议系统接入方法，其特征在于，包括以下步骤：

S1、会议装置的摄像头采集人脸图像，MCU对采集到的所述人脸图像进行非下采样的Contourlet变换，将所述Contourlet变换的各子带输入S-PCNN模型对所述人脸图像进行处理，处理完成的数据进行计算得到人脸熵值；

S2、会议装置的麦克风进行语音采样，录入语音信号经过处理获得去噪后的离散采样信号X(n)，对X(n)进行离散傅里叶变换并计算获取语谱图，将语谱图输入S-PCNN模型并通过转化获得语音信号的熵值；

S3、将获取的所述人脸熵值和所述语音熵值进行融合处理，采用PCNN模型进行融合，融合的特征式为：；

S4、将融合熵值存入TCM芯片进行保护，同时，MCU绑定账户密码及该熵值；

S5、使用者录入人脸图像及语音信号，并获得新融合熵值，MCU从TCM芯片中获取受保护的预存的融合熵值；

S6、采用欧式距离的方案对比及，对比成功后启动会议设备的通信功能，若比对不成功，会议客户端将获取到的人脸图像及语音信号传输至会议发起端，会议发起端通过列表形式展示认证失败者照片及语音信号，并判断在认证不通过的情况下是否接入会议。

2.根据权利要求1所述的会议系统接入方法，其特征在于，所述S-PCNN模型的表达式为：

表示被激活神经元的数量，为系统的脉冲输出。

3.根据权利要求1所述的会议系统接入方法，其特征在于，所述会议装置作为会议发起端或会议客户端使用的方法包括：

a、若会议装置作为会议客户端使用，会议发起端向会议客户端发送会议邀请，会议客户端的使用者启动会议装置后进行人脸图像及语音信号采样，若比对成功，会议客户端成功开启会议模式并向会议发起端反馈合法接入，并上传人脸图像及语音信号；若比对不成功，会议客户端无法接入会议，并向会议发起端反馈非法接入，同时将获取到的人脸图像及语音信号传输至会议发起端；

b、若会议装置作为会议发起端使用，通过人脸图像及语音信号识别认证后使用会议装置并向会议客户端发送会议邀请，会议发起端通过列表形式展示会议客户端合法与非法接入者，同时具有裁决会议客户端在认证不通过的情况下是否接入会议系统的权限。

4.根据权利要求1所述的会议系统接入方法，其特征在于，当所述会议系统具有账户删除的功能，所述账户删除的方法包括：

(1)、人脸图像及语音信号认证成功后进入会议系统，在所述会议系统的操作界面中的账户设置中进行删除，删除时需要输入所述账户对应的密码，同时在10s内再次录入人脸图像和语音信号，比对成功后完成账户删除；

(2)、若所述账户对应的密码输入错误，或者人脸图像以及语音信号录入错误，和/或录入时间超时均无法完成账户删除操作。

5.一种基于音频及视频特征融合的会议系统接入系统，使用权利要求1-4任一项所述的会议系统接入方法，其特征在于，包括：

图像处理模块：用于会议装置的摄像头采集人脸图像，MCU对处理后的所述人脸图像进行非下采样的Contourlet变换，将Contourlet变换的各子带输入S-PCNN模型对人脸图像进行处理，处理完成的数据进行计算得到人脸熵值；

语音采样模块：用于会议装置的麦克风进行语音采样，录入语音信号经过处理获得去噪后的离散采样信号X(n)，对X(n)进行离散傅里叶变换并计算获取语谱图，将语谱图输入S-PCNN模型并通过转化获得语音信号的熵值；

音视频特征融合模块：用于将获取的所述人脸熵值和所述语音熵值进行融合处理，采用PCNN模型进行融合，融合的特征式为：；

安全存储模块：用于将融合熵值存入TCM芯片进行保护，同时，MCU绑定账户密码及该熵值；

图像语音录入模块：用于使用者录入人脸图像及语音信号，并获得新融合熵值，MCU从TCM芯片中获取受保护的预存的融合熵值；

对比认证模块：用于采用欧式距离的方案对比及，对比成功后启动会议通信功能，若比对不成功，客户端将获取到的人脸图像及语音信号传输至会议发起端，会议发起端通过列表形式展示认证失败者照片及语音信号，会议发起者决定客户端在认证不通过的情况下是否接入会议。