[发明专利]一种基于长短时记忆网络扫视路径学习的人群识别方法

摘要

本发明涉及一种基于长短时记忆网络扫视路径学习的人群识别方法，采集不同人群组别的眼动数据构建训练样本集，利用LSTM网络来有监督地学习出不同类别扫视模式与人群组别标记之间的映射关系，根据训练后的网络来对待评估观察者的扫视序列进行得分判定，实现基于扫视路径学习的人群识别，与其他手段结合帮助提高人群识别的准确性，促进相关应用的发展。

主权项

1.一种基于长短时记忆网络扫视路径学习的人群识别方法，其特征在于步骤如下：步骤1：构建测试图像库首先根据具体人群识别问题来选择图像构建测试图像库；步骤2：采集不同人群组别扫视序列组织眼动实验分别采集不同组别观察者在测试图像库上的眼动数据，获取其中扫视路径序列；步骤3：提取扫视序列特征提取观察者在测试图像上扫视序列对应的特征，为下一步训练LSTM网络做准备；3a)图像过分割采用简单线性迭代聚类算法SLIC将图像分成多个过分割区域，其中每个过分割区域由相邻且具有相似特性的像素点组成；3b)提取扫视序列特征利用语义哈希算法来对采集的扫视路径进行特征提取：对于当前扫视路径上的每一个注视点，找到其所在图像过分割区域，提取该过分割区域中心大小为d×d×3的原始图像块，将其对应的向量输入到语义哈希编码特征提取网络中，提取中心层N_c维二值特征；即对于长度为m的扫视路径序列，得到其所对应的N_c×m扫视路径特征；步骤4：训练LSTM网络首先构建训练LSTM网络需要用到的训练样本集：训练样本集由扫视路径特征与对应的人群组别标记组成，LSTM网络的学习目标是建立由扫视路径特征到人群组别标记之间的映射关系；其次是利用训练样本集训练LSTM网络：依次将一个扫视路径上连续注视点对应的语义哈希编码特征作为网络输入，迭代得到最顶层回归层的人群组别预测得分，再使用基于时间的反向传播算法根据预测得分与对应标记的预测误差迭代调整网络参数，得到基于扫视路径的人群识别模型；步骤5：测试待评估观察者扫视序列利用眼动仪记录当前待评估观察者在测试图像上的扫视路径；采用同训练过程同样的方式提取各个扫视路径特征，即对于每一个扫视路径，找到其上每一个注视点所在的过分割区域，并提取该过分割中心对应的语义哈希编码，得到编码后的扫视序列，将该序列输入到训练后的人群识别模型中，得到该序列对应的回归层得分；步骤6：判断待评估观察者人群组别根据训练集上观察者的平均得分来依次计算两个相邻组别之间的平均得分划分阈值；对于每两个相邻组别，首先利用训练后LSTM网络预测该两个组别下各个观察者在所有测试图像上的平均得分，再利用最大类间方差法来对这两个相邻组别观察者的平均得分进行阈值划分；以此类推，对于n个组别的人群识别问题，得到n‑1个相邻组别划分阈值；最后计算待评估观察者扫视路径序列的平均得分，并判断该平均得分所在组别区间，完成人群识别判断。