[发明专利]基于眼动轨迹和深度学习的认知分类和预测方法及系统

说明书

本发明属于眼动轨迹数据处理技术领域，公开了一种基于眼动轨迹和深度学习的认知分类和预测方法及系统，利用智能终端，如智能手机，上设置的摄像设备采集用户人脸图像，并对所述采集的用户人脸图像进行处理，生成眼动语言；利用预先训练好的基于深度学习的眼动语言模型基于生成的眼动语言进行眼动轨迹的分类与预测。本发明提供了一种使用深度学习的语言模型对眼动轨迹进行分析、分类、预测的系统，能够作为一种分析工具，为神经退行性疾病、自闭症、精神类疾病、脑震荡等脑部疾病的早期诊断、后期治疗跟踪提供客观、持续的标准，同时也可以广泛地应用于各种认知研究，如：自然语言认知、儿童认知、测谎等。

技术领域

本发明属于眼动轨迹数据处理技术领域，尤其涉及一种基于眼动轨迹和深度学习的认知分类和预测方法及系统。

背景技术

目前，笛卡尔说：“我思，故我在”，人脑认知功能是衡量人的基础维度。眼睛是心灵的窗口，有研究表明，在所有人脑所处理的信息中，由眼睛所采集的图像信息可达80％以上。从进化论的角度上看，眼睛的进化极大地促进了脑的发展。眼动轨迹(scanpath)是生物对外部世界进行图像采样的策略。在进化的压力下，这种采样策略高效且自发，是脑认知外部世界的基础。

当脑出现了认知减损或病变的情况下，会导致认知能力的减损。有理由相信，这也会导致眼动轨迹(scanpath)这种图像采样策略发生改变。这种图像采样策略的改变可大致分为两种：

第一种是眼动轨迹指标的改变，如在疲劳的情况下，人在执行跟踪任务时，就会出现指标较明显的偏差。

第二种为语义级的眼动轨迹策略变化，即：对所视图像中包含的语义信息进行采集策略的改变。

使用眼动轨迹对神经退行性疾病、精神疾病、自闭症、认知障碍、脑部损伤等疾病进行评估，近20年已经有较多论文。大量研究表明，眼动轨迹的变化与脑神经状态有关联。此种关联仅在脑震荡评估中成为生物指标，对于其它疾病并未能成为临床医学可以成熟应用的生物指标，作为一个参考指标是比较合适的，如：使用潜伏时间(latency time)作为筛查阿尔兹海默症的指标。导致这种弱因果关联的原因可以认为来源于两点：1)脑部疾病的机理是建立在高度复杂的大脑之上，单一指标可能很难表征这种复杂性；2)对于大脑这种高维度、非线性的系统，小数据量是分析脑部疾病的瓶颈。

由于神经网络是处理高维度和非线性问题的数学工具，所以使用深度学习这一工具对脑进行研究时，是一个非常合理的技术工具，甚至有可能是唯一的选择。

但深度学习的神经网络模型是需要大量数据进行训练的，是数据饥饿(datahungry)的一种数学工具，能够高效、大样本地采集眼动轨迹数据是解决问题的钥匙，手机APP则是最佳之选。

在近几年，随着可穿戴产品的长足发展和普及，数字生物指标(digitalbiomarker)的概念被提出和应用，如苹果公司使用iWatch对心跳信息的采集可以对心血管疾病进行评估和跟踪。针对脑部疾病，如神经退行性疾病的数字生物指标也在探索之中，有理由相信，深度学习模型和手机APP将会是这个探索过程的基本工具。

通过眼动轨迹来对认知进行测试、分类和预测，是一个年轻的领域。有两个领域的研究者为了相同的目标沿着相对的方向进行探索、交融：1)神经学领域：主要从神经学为基础，使用眼动轨迹来对人脑认知进行建模，进而探索人脑的机理；2)深度学习领域：由于深度学习的基本概念无一例外受到大脑神经学发展的启发，且其目标是达到类人的泛化智力，所以深度学习领域使用眼动轨迹来进行研究，理解、模拟人脑的认知，进而应用于认知任务中，如CT图像的自动识别。

来自神经学、深度学习两个领域的努力，向着破解大脑认知的秘密，互相交融、支持，取得了很好的进展。

眼睛会说话，且不说谎。这是每天都能体验到的一种常识。但眼动轨迹成为研究认知规律的有效手段，还较缺乏定量化的试验数据支持。