[发明专利]基于多模识别的电网调度身份认证方法及系统

权利要求书

1.基于多模识别的电网调度身份认证方法，其特征是，包括：

服务器接收电网调度的第一客户端发送过来的登录请求，服务器完成第一客户端的登录认证，服务器向第一客户端发送登录认证通过指令；

服务器根据第一客户端的通讯连接指令，通过电话交换网向电网调度的第二客户端发送通讯连接建立请求，建立第二客户端与第一客户端之间的通讯连接；

在通话过程中，服务器接收第二客户端的通话认证请求，服务器完成第二客户端的通话认证；服务器接收第一客户端的通话认证请求，服务器完成第一客户端的通话认证；

服务器接收第一客户端的登出认证请求，服务器完成第一客户端的登出认证，服务器断开第一客户端与第二客户端之间的通讯连接；

所述登录认证、通话认证和登出认证，均通过多模态信号识别来完成；

所述服务器完成第一客户端的登录认证，具体步骤包括：

引导调度员跟读步骤：服务器从备选文本库中随机调取一条验证文本，将验证文本通过显示器进行显示，所述验证文本用于引导调度员跟读；服务器获取由摄像头捕获的跟读过程视频，服务器获取由麦克风捕获的跟读过程音频；

对跟读过程视频，利用人脸识别模型进行人脸特征提取，将提取的人脸特征与调度员人脸数据库中的人脸特征进行相似度匹配，从调度员人脸数据库中获取相似度最大的人脸特征对应的调度员编号k和第一人脸特征匹配相似度最大值；

对跟读过程视频，利用动作识别模型进行动作特征提取，获取发出语音动作的开始时间t₁和结束时间t₂；

对跟读过程音频，利用声纹识别模型进行声纹特征识别，将提取的声纹特征与调度员声纹数据库中的声纹特征进行相似度匹配，从调度员声纹数据库中获取相似度最大的声纹特征对应的调度员编号j和第一声纹特征匹配相似度最大值；

对跟读过程音频，利用语音识别模型进行语音特征识别，获取发出语音特征的开始时间t₃和结束时间t₄；

对跟读过程音频，转换成文字，将转换后的文字与验证文本进行相似度匹配，计算文本相似度匹配得分；

如果调度员编号k不等于调度员编号j，则判定为身份认证失败，结束身份登录认证流程，并拒绝用户登录请求；如果调度员编号k等于调度员编号j，则进入下一步；

如果|t₁-t₃|+|t₂-t₄|T，音频中语音的开始结束时间和视频中发出语音动作的开始结束时间之差大于预设的判定阈值T，则判定为疑似假冒录音，跳转至引导动作步骤；如果|t₁-t₃|+|t₂-t₄|T，则判定为正常，跳转至判断步骤；

引导动作步骤：服务器从备选动作库中随机选取一项头部动作，呈现于显示器，并引导用户做出该动作；服务器获取由摄像头捕获的动作过程视频；对动作过程视频，利用动作识别模型进行动作特征提取，如果提取的动作特征与指定的头部动作一致，则判定为非假冒录音；跳转至下一步；如果提取的动作特征与指定的头部动作不一致，则判定为假冒录音；结束身份登录认证流程，并拒绝用户登录请求；

判断步骤：如果第一人脸特征匹配相似度最大值、第一声纹特征匹配相似度最大值和文本相似度匹配得分均在设定的阈值范围内，则表示身份认证通过，结束身份认证流程；否则，表示身份认证不通过，返回引导调度员跟读步骤；

所述服务器完成第二客户端的通话认证，具体步骤包括：

服务器接收来自应答员的第二客户端的音频，服务器利用声纹识别模型对第二客户端的音频进行声纹特征提取，将提取的声纹特征与调度员声纹数据库中的声纹特征进行相似度匹配，从调度员声纹数据库中获取相似度最大的声纹特征对应的调度员编号i和第二声纹特征匹配相似度最大值；

如果第二声纹特征匹配相似度最大值小于第一设定阈值，则第二客户端的使用者的身份认证为非法，并进行声光告警；

如果第二声纹特征匹配相似度最大值大于第一设定阈值且小于第二设定阈值，则第二客户端的使用者的身份认证为疑似非法，进行声光提示；

如果第二声纹特征匹配相似度最大值大于第二设定阈值，则根据调度员编号i从调度员声纹数据库中获取第二客户端使用者的身份信息，进行显示。