[发明专利]用于儿童ADHD筛查评估系统的表情特征向量确定方法

说明书

一种用于儿童ADHD筛查评估系统的表情特征向量确定方法，包括以下步骤：步骤1使用级联卷积神经网络对儿童的面部表情图像进行分析识别，识别出面部关键特征点集合，然后根据这些关键特征点的位置P_L推得与表情运动单元相关的对应肌肉的位置P_AU，构建基于VGGNet的ROI Nets，通过裁剪出网络第12层得到的feature map，得到对应每个AU的特征表示，将所有特征向量拼接得到整体向量F_AU；步骤2利用一个多层LSTM结构对时序化的表情特征向量进行处理，完成对多AU的多任务二值分类问题，得出基于AU特征激活概率的表情特征序列表达F_exp。本发明准确性较好。

技术领域

本发明涉及一种儿童ADHD筛查评估系统，尤其是表情特征向量确定方法。

背景技术

注意缺陷多动障碍(ADHD)，俗称多动症，是儿童青少年期最常见的神经发育障碍，其临床表现是注意集中困难、活动过度、冲动，情绪不稳定、学习困难等。现有的ADHD医学影像的智能识别技术主要是基于脑部功能性核磁共振和脑电图等病理方面的研究，或者单独基于眼动或面部表情等观察患者的行为特征。

目前对于ADHD患者表情的研究还处于起步阶段，与我们的发明较为接近的是17年诺丁汉大学Shashank Jaiswal的研究。他们让测试者听了12个故事，并使用微软的Kinect记录了测试者的面部表情单元(Action Units,AU)并使用机器学习的方法加以分析。这种方法的缺陷有三点，1.每个人的长相并不相同，所以他们的基本AU也不一样，这会导致结果上的偏差；2.研究针对的是成人，出现面部表情异常(比如面部抽动等)的情况不是很多，加上样本量不大，所以特征识别的效果不太好；3.机器学习分类方法的结果好坏一定程度上取决于研究者选择的模型与数据是否适合，而且很难挖掘深层次的信息。

发明内容

为了克服已有ADHD儿童表情特征确定方式的准确性较差的不足，本发明提供了一种准确性较好的用于儿童ADHD筛查评估系统的表情特征向量确定方法。

本发明解决其技术问题所采用的技术方案是：

一种用于儿童ADHD筛查评估系统的表情特征向量确定方法，包括以下步骤：

步骤1使用级联卷积神经网络对儿童的面部表情图像进行分析识别，识别出面部关键特征点集合，然后根据这些关键特征点的位置P_L推得与表情运动单元相关的对应肌肉的位置P_AU，在此基础上，构建基于VGGNet的ROI Nets，通过裁剪出网络第12层得到的feature map，由此得到对应每个AU的特征表示，将所有特征向量拼接即得到表示该时刻表情特征的整体向量F_AU；

步骤2利用一个多层LSTM结构对时序化的表情特征向量进行处理，完成对多AU的多任务二值分类问题，得出基于AU特征激活概率的表情特征序列表达F_exp。

进一步，所述步骤2中，如果在表情特征序列中出现了一些可以被判定为异常动作的AU，相对应的帧会被标注为问题帧，再反推回视频得到表情异常的时段。

再进一步，所述步骤1中，放置在儿童面部正前方的摄像头来拍摄儿童的面部表情，得到一段视频V_Front，然后使用级联卷积神经网络对视频中的每一帧进行分析识别。

本发明的有益效果主要表现在：1、用于标定人脸数据库较大，标注精准，可以保证面部特征点识别结果的准确性；2、可以检测的AU种类多，而且包含多种异常面部行为，最后得到的视频问题时段与人工判别相比很少有遗漏；3、场地不受限制，成本较为低廉。

附图说明

图1是用于儿童ADHD筛查评估系统的表情特征向量确定方法的流程图。

图2是儿童ADHD筛查评估系统的示意图。