[发明专利]人机交互的信息处理方法、人机交互设备以及存储介质

权利要求书

1.一种人机交互的信息处理方法，应用于人机交互设备，其特征在于，所述方法包括：

采集目标用户的指纹数据、声纹数据以及动态图像；

对所述指纹数据、声纹数据以及动态图像进行预处理，得到对应的指纹特征序列、声纹特征序列以及动态特征序列；

当所述指纹特征序列、声纹特征序列以及动态特征序列中每种序列的数据量满足预设计算条件时，对所述指纹特征序列、声纹特征序列以及动态特征序列与预先存储的目标用户特征数据分别进行相似度计算；当所述指纹特征序列、声纹特征序列以及动态特征序列中的任一特征与预先存储的目标用户特征数据的相似度低于第一阈值时，将对应的相似度与第二阈值比对，若所述相似度大于第二阈值，允许目标用户基于第一执行权限进行对应的操作，并向目标用户发送采集第三特征的提示；当所述第三特征与预先存储的目标用户特征数据匹配时，允许目标用户基于第二权限进行对应的操作，

当所述指纹特征序列、声纹特征序列以及动态特征序列中的至少一种序列的数据量不满足预设计算条件时，对所述指纹特征序列、声纹特征序列以及动态特征序列进行组合，将组合得到的特征与预先存储的目标用户特征数据进行相似度计算，当相似度大于第四阈值时，允许目标用户基于第二权限进行对应的操作。

2.根据权利要求1所述的方法，其特征在于，所述对所述指纹特征序列、声纹特征序列以及动态特征序列进行组合，将组合得到的特征与预先存储的目标用户特征数据进行相似度计算，包括：

对所述指纹特征序列中的目标区域进行多次提取，并对提取的多次结果取均值，得到待识别指纹特征序列a；

基于所述声纹特征序列训练GMM高斯混合模型，将获取GMM高斯混合模型的特征参数序列作为待识别声纹特征序列b；

对动态特征序列通过不同大小的分块法分别进行均分，每个分块法下得到多个大小相同的子图像，对同一大小分块法下得到的每个子图像分别进行空间结构处理，得到同一大小分块法下每个子图像的梯度值和每个子图像的像素均值；根据得到的同一大小分块法下的每个子图像的梯度值和像素均值，采用局部差分二进制来得到同一分块法下的待处理图像的二进制序列；将不同分块法下的待处理图像的二进制序列按照同样顺序进行排列得到待识别图像的特征序列c；

基于待识别声纹特征序列a、待识别声纹特征序列b、待识别图像的特征序列c组成待识别集合{待识别指纹特征序列a、待识别声纹特征序列b、待识别图像的特征序列c}；

将所述待识别集合{待识别指纹特征序列a、待识别声纹特征序列b、待识别图像的特征序列c}与预先存储的目标用户特征数据进行相似度计算。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述指纹特征序列与预先存储的目标用户特征数据的相似度低于第一阈值时，将声纹特征序列以及动态特征序列对应的相似度阈值提高至第三阈值，在声纹特征序列以及动态特征序列与预先存储的目标用户特征数据的相似度大于等于第三阈值的情况下，允许用户基于第二权限进行对应的操作；

当所述声纹特征序列与预先存储的目标用户特征数据的相似度低于第一阈值时，将指纹特征序列以及动态特征序列对应的相似度阈值提高至第三阈值，在指纹特征序列以及动态特征序列与预先存储的目标用户特征数据的相似度大于等于第三阈值的情况下，允许用户基于第二权限进行对应的操作；

当所述动态特征序列与预先存储的目标用户特征数据的相似度低于第一阈值时，将指纹特征序列以及声纹特征序列对应的相似度阈值提高至第三阈值，在指纹特征序列以及声纹特征序列与预先存储的目标用户特征数据的相似度大于等于第三阈值的情况下，允许用户基于第二权限进行对应的操作。

4.根据权利要求1所述的方法，其特征在于，所述目标用户的指纹数据是连续采集的多帧指纹图像，其中，每帧所述指纹图像内包含多个指纹像素；

所述对所述指纹特征序列与预先存储的目标用户特征数据分别进行相似度计算，包括：

检测每个所述指纹像素在相邻两帧指纹图像内位置的偏移向量，并根据所述偏移向量构成偏移矩阵；归一化所述偏移矩阵，得到特征矩阵，与预先存储的目标用户特征数据进行比对，确定指纹特征序列与预先存储的目标用户特征数据的相似度。