[发明专利]基于智能终端的声音装置进行唇读的用户认证方法及系统

摘要

一种基于智能终端的声音装置进行唇读的用户认证方法，在注册阶段利用深度自编码器网络来提取不同层面的用户嘴唇运动特征用以表达用户的特异性，然后用提取出的特征训练多个分类器和模仿者检测器，再基于二叉树的认证框架组织训练后的分类器以及模仿者检测器；在登录阶段，利用基于二叉树的认证方式得到待测嘴唇运动特征对应的单个词下的认证结果，最后经融合多个认证结果后实现用户认证。本发明解决了基于声波唇读的用户认证问题，并通过成熟的声波信号处理技术及深度学习方法来对用户嘴唇运动的行为特异特征进行建模与预测。

主权项

1.一种基于智能终端的声音装置进行唇读的用户认证方法，其特征在于，在注册阶段利用深度自编码器网络来提取不同层面的用户嘴唇运动特征用以表达用户的特异性，然后用提取出的特征训练多个分类器和模仿者检测器，再基于二叉树的认证框架组织训练后的分类器以及模仿者检测器；在登录阶段，利用基于二叉树的认证方式得到待测嘴唇运动特征对应的单个词下的认证结果，最后经融合多个认证结果后实现用户认证；所述的深度自编码器网络包括：输入层、降噪层、隐藏层和输出层，其中：隐藏层由三层结构的自编码器组成，依次从粗粒度词层面、细粒度词层面以及用户层面进行编码，并最终由输出层输出嘴唇运动特征；所述的嘴唇运动特征具体是指：通过智能终端发出的声音信号经说话人嘴唇反射后构成的细微多普勒效应信号，通过深度自编码器网络编码后所得到的编码序列；所述的基于二叉树的认证方式是指：在n个注册用户的环境下，首先将嘴唇运动特征输入到第n个用户对应的分类器，即第n个分类器中，当：①第n个分类器将该嘴唇运动特征分类为第n个用户时，则进一步采用模仿者检测器判断该嘴唇运动特征是否属于模仿者；否则：②第n个分类器将该嘴唇运动特征分类为前n‑1个用户中的一个，则进一步由第n‑1个分类器进行分类；以此类推，当第i个分类器判断该嘴唇运动特征是第i个用户，则可以知道至少该嘴唇运动特征所属用户不会是前i‑1个用户中的任意一个；同时由于第i+1～n个分类器已经判断过该登录用户不是第i+1～n个用户中的任意一个，因此判断该嘴唇运动特征所属用户为第i个用户；否则就会不断地将该嘴唇运动特征通过之前的分类器进行判断，对第1个用户，则直接用模仿者检测器判断其嘴唇运动特征是属于用户还是模仿者；所述的融合，采用加权的投票机制实现；即以单个词下的认证精度作为权值，对每个注册用户和模仿者类都计算一个置信度，以登录用户视为置信度最大的用户类。