[发明专利]基于眼动轨迹和深度学习的认知分类和预测方法及系统

权利要求书

1.一种基于眼动轨迹和深度学习的认知分类和预测方法，其特征在于，所述基于眼动轨迹和深度学习的认知分类和预测方法包括：

步骤一，利用智能终端上设置的摄像设备采集用户人脸图像，并对所述采集的用户人脸图像进行处理，生成眼动语言；

步骤二，利用预先训练好的基于深度学习的眼动语言模型基于生成的眼动语言进行眼动轨迹的分类与预测。

2.如权利要求1所述基于眼动轨迹和深度学习的认知分类和预测方法，其特征在于，所述步骤一利用深度学习的开放接口对所述采集的用户人脸图像进行处理，生成眼动语言包括：

利用深度学习的开放接口对所述采集的用户人脸图像进行处理，确定用户在屏幕上的注视点；

采用自动语义分割方法将确定的用户在屏幕上注视点随时间所连接而成的眼动轨迹转化为眼动语言；

所述利用深度学习的开放接口对所述采集的用户人脸图像进行处理，确定用户在屏幕上的注视点包括：

利用基于深度学习的开放接口通过对采集的用户人脸图像进行区域，确定人脸各个区域的特征；并利用训练好的基于深度学习的注视点模型基于所述人脸各个区域的特征进行注视点的确定。

3.如权利要求1所述基于眼动轨迹和深度学习的认知分类和预测方法，其特征在于，所述步骤一利用智能终端上设置的摄像设备采集用户人脸图像，并对所述采集的用户人脸图像进行处理，生成眼动语言进一步包括：

1)人在注视某个空间位置的时候，面部的姿态和位置、两个眼睛的特征、眼球瞳孔部分的特征一同确定这个所注视的空间位置，使用深度学习的方法建模，确定用户在手机屏幕所注视的位置；使用手机注视智能终端，设置的摄像头获取上面所述的所有特征，以进行注视点的计算；

2)在用户自由观察或者执行某个观察任务的时候，用户在手机屏幕上的注视点变化中，每个注视点的位置都在手机所展示的图片或录像上有明确的语义信息，包括人脸、人的身体、自行车、山、飞盘；把这些具有语义信息的注视点沿时间轴连接起来生成眼动语言。

4.如权利要求1所述基于眼动轨迹和深度学习的认知分类和预测方法，其特征在于，所述步骤二基于深度学习的眼动语言模型训练包括：

将数据库中存储的同一用户在观察视觉图像时由智能终端采集的眼动语言以及由image2caption生成的对所观察图像的自然语言描述进行连接，利用分隔符将所述连接起来的眼动语言与自然语言描述进行分割，作为具有上下文的两句话输入至所述基于深度学习的眼动语言模型中进行基于深度学习的眼动语言模型的训练；

所述基于深度学习的眼动语言模型训练还包括：

将数据库中存储的同一用户在观察视觉图像时由智能终端采集的眼动语言以及人为添加的自然语言描述进行连接，利用分隔符将所述连接起来的眼动语言与自然语言描述进行分割，作为具有上下文的两句话输入至所述基于深度学习的眼动语言模型中进行基于深度学习的眼动语言模型的训练。

5.如权利要求1所述基于眼动轨迹和深度学习的认知分类和预测方法，其特征在于，所述步骤二利用预先训练好的基于深度学习的眼动语言模型基于生成的眼动语言进行眼动轨迹的分类与预测具体包括：

1)用户在手机上观察的图像或者视频，由image2caption子系统输出自然语言，与眼动语言一起作为输入，输入给大规模自然语言预训练模型；

2)由大规模自然语言预训练模型对输入进行分类或预测，所述分类包括：用户的认知水平为几级、此用户的认知损伤水平为几级。

6.如权利要求1所述基于眼动轨迹和深度学习的认知分类和预测方法，其特征在于，所述基于眼动轨迹和深度学习的认知分类和预测方法还包括：

利用智能终端上设置的摄像设备采集用户人脸图像，并对所述采集的用户人脸图像进行处理，生成眼动语言；利用预先训练好的基于深度学习的眼动语言模型基于生成的眼动语言以及针对当前用户注视图像的自然语言描述进行眼动轨迹的分类与预测。