[发明专利]基于多媒体的住户认证方法和系统

权利要求书

1.基于多媒体的住户认证方法，其特征在于，其包括如下步骤：

步骤S1，对目标对象的脸部区域进行录像拍摄和声音采集，以此获得包括所述目标对象的脸部图像信息和语音信息的多媒体数据，并对所述多媒体数据进行预处理；

步骤S2，从所述预处理后的多媒体数据中提取得到关于所述目标对象的脸部特征信息、嘴部张合动作信息和语音信息，并根据所述脸部特征信息，确定所述目标对象的身份信息，从而初步判断所述目标对象的住户身份合法性；

步骤S3，根据所述嘴部张合动作信息与所述语音信息，判断所述目标对象的嘴部动作与说话发音之间的同步性，并根据所述同步性的判断结果，对所述目标对象的住户身份合法性进行二次判断，从而实现对所述目标对象的住户身份认证。

2.如权利要求1所述的基于多媒体的住户认证方法，其特征在于：

在所述步骤S1中，对目标对象的脸部区域进行录像拍摄和声音采集，以此获得包括所述目标对象的脸部图像信息和语音信息的多媒体数据，并对所述多媒体数据进行预处理具体包括：

步骤S101，对所述目标对象的脸部区域进行扫描录像拍摄和多角度方位声音采集以此获得包括所述目标对象的脸部动态图像信息和语音信息的多媒体数据，其中，所述扫描录像拍摄和所述多角度方位声音采集是同步进行的；

步骤S102，对所述脸部动态图像信息进行像素背景噪声降噪滤波预处理以及对所述语音信息进行环境背景噪声卡尔曼滤波预处理。

3.如权利要求2所述的基于多媒体的住户认证方法，其特征在于：

在所述步骤S2中，从所述预处理后的多媒体数据中提取得到关于所述目标对象的脸部特征信息、嘴部张合动作信息和语音信息，并根据所述脸部特征信息，确定所述目标对象的身份信息，从而初步判断所述目标对象的住户身份合法性具体包括：

步骤S201，从经过所述像素背景噪声降噪滤波预处理后的脸部动态图像信息中提取得到覆盖所述目标对象上侧脸部区域、下侧脸部区域、左侧脸部区域和右侧脸部区域的全景脸部图像，并对所述全景脸部图像依次进行像素灰度化转换处理和图像轮廓特征信息提取处理，从而得到所述目标对象的脸部轮廓特征信息；

步骤S202，从经过所述像素背景噪声降噪滤波预处理后的脸部动态图像信息中提取得到所述目标对象的嘴部张合动作信息，以及从经过所述环境背景噪声卡尔曼滤波预处理后的语音信息进行声纹识别处理，以此得到只包含所述目标对象声纹特征的专有语音信息；

步骤S203，将所述脸部轮廓特征信息与预设脸部轮廓特征数据库进行比对处理，以此确定所述目标对象的身份信息，再初步判断所述身份信息是否属于预设合法住户信息，若是，则确定所述目标对象的住户身份合法，否则，确定所述目标对象的住户身份非法。

4.如权利要求3所述的基于多媒体的住户认证方法，其特征在于：

在所述步骤S3中，根据所述嘴部张合动作信息与所述语音信息，判断所述目标对象的嘴部动作与说话发音之间的同步性，并根据所述同步性的判断结果，对所述目标对象的住户身份合法性进行二次判断，从而实现对所述目标对象的住户身份认证具体包括：

步骤S301，获取所述嘴部张合动作信息对应的嘴部张合变化频率和所述专有语音信息的语音停顿切换频率；

步骤S302，当所述嘴部张合变化频率与所述语音停顿切换频率之间的频率差值小于预设相差阈值，则确定所述目标对象的嘴部动作与说话发音之间具备时间同步性，否则，确定所述目标对象的嘴部动作与说话发音之间不具备时间同步性；

步骤S303，当初步判断确定所述目标对象的住户身份合法以及确定所述目标对象的嘴部动作与说话发音之间具备时间同步性，则认证所述目标对象的住户身份合格，否则，认证所述目标对象的住户身份不合格。