[发明专利]一种基于智能图像拼接和机器学习的识别惊恐表情的方法

说明书

本发明公开了一种基于智能图像拼接和机器学习的识别惊恐表情的方法，包括如下步骤：在fer2013表情图集或互联网中寻找惊恐表情有关图片，人工分类并加上标签，利用python3中的dlib库标记人脸最主要的68个特征点，提取坐标特征后降维，将数据导入sciki‑learn中朴素贝叶斯算法的机器学习模型中，建立数据库；利用openCV将不同摄像头拍摄到的人脸图片采用SIFT特征提取的方法进行匹配和矩阵变换，去掉重叠部分并智能融合，形成完整的人脸图片：提取上一步骤所得完整人脸图片中特征点的坐标位置并降维提取有效数据，将最终数据组带入第一步骤所得模型中预测结果，根据结果激发简单明确的指示。本发明有效解决了手握提速助动车驾驶者遇到危险时下意识握紧手把导致危险加倍的问题。

技术领域

本发明涉及图像处理和机器学习技术领域，尤其是一种基于智能图像拼接和机器学习的识别惊恐表情的方法。

背景技术

手握提速助动车近年来数量猛增，发展迅速。当手握提速助动车驾驶者遇到危险时，会其肌肉收缩，握紧手把，从而使动车加速，导致突发状况不能被及时、冷静的处理。此现象无法从人本身的角度解决，利用外界方法判断驾驶者表情从而给出提示可以有效的解决这一问题。

目前，基于SVM支持向量机和卷积神经网络等方法的人脸面部表情识别技术已经比较成熟；采用机器学习、深度学习、特征提取、降维等方法可以较准确的判断人脸表情，在测谎、危险预警等领域表情识别技术都可以发挥作用。但是，传统表情识别的前提是有包含整张人脸的照片，而在实际使用中，由于摄像头位置、距离等因素的影响，往往不能获得完整的人脸照片，从而导致人脸和表情均无法识别，因此相关研究只能作为部分技术支撑。

此类表情识别问题有如下特点：(1)摄像头获得图片不完整，需要将多张不完整的图片进一步处理；(2)不需要具体的分类表情，只需要判断人脸表情是否处于惊恐状态；(3)要求识别响应的时间快。

发明内容

本发明所要解决的技术问题在于，提供一种基于智能图像拼接和机器学习的识别惊恐表情的方法，有效解决了手握提速助动车驾驶者遇到危险时下意识握紧手把导致危险加倍的问题。

为解决上述技术问题，本发明提供一种基于智能图像拼接和机器学习的识别惊恐表情的方法，包括如下步骤：

(1)在fer2013表情图集或互联网中寻找人脸表情有关图片，将表情人工进行二分类：其中表示惊恐的表情图片特别提取出来归为一类，平静、开心、悲伤、愤怒其他表情归为非惊恐表情一大类，给予标签：惊恐表情标签为“1”，非惊恐表情标签为“0”；使用人脸识别工具python3中的dlib库，定位人脸位置，并且标记出人脸具有代表性的68个特征点；提取各个特征点在整个人脸定位框中的位置坐标特征后进行数据降维，作为训练集的数据，将训练集数据和标签一起导入sciki-learn中朴素贝叶斯算法机器学习模型中，建立数据库；

(2)利用openCV或matlab工具将不同摄像头拍摄到的人脸图片进行灰度转化，采用SIFT特征提取算法检测特征点计算描数子，之后将不同角度的图片的SIFT特征点进行匹配，根据各矩阵中匹配的结果进行矩阵变换，从而去掉重叠部分并智能融合，形成完整的人脸图片；

(3)以步骤(1)中相同方法提取步骤(2)所得完整人脸图片中特征点的坐标位置并降维提取有效数据，将最终数据组带入步骤(1)所得模型中预测结果，根据结果激发简单明确的指示。

优选的，步骤(1)中，68个特征点包含眼睛轮廓、眉毛轮廓、嘴巴轮廓。

优选的，步骤(1)中，提取坐标特征时采用横纵坐标除以人脸矩形框的长高的数学方法算出68个特征点在人脸矩形定位框中的相对坐标位置，避免因为图片像素大小和人脸矩形框大小不一致导致准确率下降；降维时将每个人脸图片中68个特征点的相对横纵坐标共136个数据进行简化，略去相关性小的数据，提取相关性大的数据，利用坐标关系，算出相对嘴高、嘴宽、眉毛斜率与高宽、眼睛高度，眼睛宽度作为降维后的生理特征数据，以此提高判断的准确率和速度。