[发明专利]基于智能终端的声音装置进行唇读的用户认证方法及系统

权利要求书

1.一种基于智能终端的声音装置进行唇读的用户认证方法，其特征在于，在注册阶段利用深度自编码器网络来提取不同层面的用户嘴唇运动特征用以表达用户的特异性，然后用提取出的特征训练多个分类器和模仿者检测器，再基于二叉树的认证框架组织训练后的分类器以及模仿者检测器；在登录阶段，利用基于二叉树的认证方式得到待测嘴唇运动特征对应的单个词下的认证结果，最后经融合多个认证结果后实现用户认证；

所述的深度自编码器网络包括：输入层、降噪层、隐藏层和输出层，其中：隐藏层由三层结构的自编码器组成，依次从粗粒度词层面、细粒度词层面以及用户层面进行编码，并最终由输出层输出嘴唇运动特征；

所述的嘴唇运动特征具体是指：通过智能终端发出的声音信号经说话人嘴唇反射后构成的细微多普勒效应信号，通过深度自编码器网络编码后所得到的编码序列；

所述的基于二叉树的认证方式是指：在n个注册用户的环境下，首先将嘴唇运动特征输入到第n个用户对应的分类器，即第n个分类器中，当：

①第n个分类器将该嘴唇运动特征分类为第n个用户时，则进一步采用模仿者检测器判断该嘴唇运动特征是否属于模仿者；否则：

②第n个分类器将该嘴唇运动特征分类为前n-1个用户中的一个，则进一步由第n-1个分类器进行分类；

以此类推，当第i个分类器判断该嘴唇运动特征是第i个用户，则可以知道至少该嘴唇运动特征所属用户不会是前i-1个用户中的任意一个；同时由于第i+1～n个分类器已经判断过该登录用户不是第i+1～n个用户中的任意一个，因此判断该嘴唇运动特征所属用户为第i个用户；否则就会不断地将该嘴唇运动特征通过之前的分类器进行判断，对第1个用户，则直接用模仿者检测器判断其嘴唇运动特征是属于用户还是模仿者；

所述的融合，采用加权的投票机制实现；即以单个词下的认证精度作为权值，对每个注册用户和模仿者类都计算一个置信度，以登录用户视为置信度最大的用户类。

2.根据权利要求1所述的方法，其特征是，所述的分类器具体为支持向量机实现的二分类器；所述的模仿者检测器具体为支持向量描述域实现的单类分类器。

3.一种实现权利要求1或2所述方法的基于智能终端的声音装置进行唇读的用户认证系统，其特征在于，包括：声音感知模块、口令分段模块、基于深度学习的特征提取模块、分类器和监测器训练模块以及用户识别和模仿者检测模块，其中：声音感知模块与口令分段模块相连并传输采集到的由嘴唇运动发射到智能终端麦克风的原始声音信息，口令分段模块与基于深度学习的特征提取模块相连并传输一段口令对应声音信号的分段为单个词对应声音信号的信息，基于深度学习的特征提取模块与分类器和监测器训练模块以及用户识别和模仿者检测模块相连并传输单个词对应声音信号的编码特征信息，分类器和监测器训练模块与用户识别和模仿者检测模块相连并传输训练好的分类器模型。