[发明专利]一种基于EEG和计算机视觉的人脸图片检索方法

说明书

技术领域

本发明涉及人脸图片检索技术领域，具体涉及一种基于EEG和计算机视觉的人脸图片检索方法。

背景技术

人脸检索，是指在一个大图片库中，以人脸本身为内容对象，检索含有目标人脸的图片。人脸检索系统广泛地应用于社交网络、行政执法、金融等领域，具有很高的应用价值，很多研究者投身于人脸检索方法的研究。

目前，由于计算机计算速度快、存储容量大、吞吐量大，计算机视觉是实现人脸检索系统的主要方法，并已取得一定的成果。但是计算机视觉容易受到表情、光照、遮挡等变化的影响，所以基于计算机视觉的人脸识别系统在遇到表情、光照、遮挡变化大的人脸图片时，检索效果不太理想。

人具有很强的认知能力，对目标人脸识别具有鲁棒性，不受光照、遮挡等变化的影响，而且人脑在目标图片刺激后几百毫秒内会产生事件相关电位ERP(Event-Related Potential，ERP)。事件相关电位(参考文献：Steven J.Luck，事件相关电位基础，华东师范大学出版社，2009年)是一种与心理认知和记忆相关的脑电电位，反应了人类认知过程中大脑的状态。可以通过这种与特异性时间相关的电活动分析人是否看到他们感兴趣的目标人脸。

已有研究者提出用人强大的认知能力实现人脸识别系统。Cai等人在2013年实现了一个基于单次ERP分析的快速人脸图片识别系统，将目标人脸(即目标人脸图片)和非目标人脸(即非目标人脸图片)快速随机地呈现给用户，同时记录用户的EEG信号，通过分析一些特殊的ERP波形成分(如N200、P300)来判断目标和非目标人脸。

该方法能够有效地检索出目标人脸。但是当图库很大时，人需要看很多图片，由于受到人的情绪、人脑的抗疲劳能力、以及人脑处理速度和吞吐量等因素的影响，导致在图库很大的情况下，该方法不能得到有效应用。

已有研究者提出将人强大的认知能力和计算机的快速计算能力结合，来实现目标图片检索系统。P.Sajda等人在2011年实现了一个结合EEG和计算机视觉的大类图片(如老虎、大象的图片)检索闭环系统，系统先在被试面前快速呈现图片，同时记录被试的EEG信号，解码EEG信号判断目标图片，计算机视觉根据人脑检索到的目标图片在大图库中快速检索更多可能的目标图片，再呈现给被试看，如此循环，直到解码EEG信号得到的目标图片之间的相似度达到预设标准。

以上的研究事实说明，人对人脸的识别具有鲁棒性，且具有不受光照、遮挡影响等优点，而计算机计算速度快、存储容量大、吞吐量大，以及结合人强大的认知能力和计算机视觉实现目标图片检索的可行性。但是还未见到利用人强大的认知能力和计算机视觉对人脸图片进行检索的报道。因此，可以实现基于EEG和计算机视觉的人脸图片检索闭环系统，以实现人脸检索的功能。

发明内容

针对现有技术的不足，本发明提出了一种基于EEG和计算机视觉的人脸图片检索方法。

一种基于EEG和计算机视觉的人脸图片检索方法，通过迭代法进行搜索，每次迭代时执行如下步骤：

(1)向用户呈现目标人脸图片后继续向用户呈现人脸图片序列，并记录用户的脑电信号；

(2)对步骤(1)采集的脑电信号依次进行预处理、特征提取和解码，根据各人脸图片的解码结果选择若干候选人脸图片；

(3)利用计算机视觉计算各个所述候选人脸图片与目标人脸图片的相似度，并利用计算机视觉根据所述的解码结果和相似度从候选人脸图片中确定若干人脸图片作为目标样本集；

(4)利用计算机视觉计算人脸图片库中各人脸图片与目标样本集的平均相似度，并根据平均相似度从人脸图片库中选择若干人脸图片作为下一轮迭代要呈现的人脸图片序列；

直至当前轮与前一轮迭代得到的候选人脸图片中不相同的张数达到预设的阈值时停止，并从最后一次迭代得到的人脸图片序列中选择若干个作为最终检索结果。

为了确保首次迭代过程中呈现的人脸图片序列含有目标人脸，作为优选，通过如下方法选择首次迭代时所呈现的人脸图片序列：

向用户呈现一张待检索人脸的样本图片作为目标人脸，利用计算机视觉基于人脸相似度从人脸图库中检索出若干与目标人脸相近的人脸图片，作为首轮迭代要呈现的人脸图片序列。

本发明中利用计算机视觉从人脸图库中选出与目标人脸相似度最高的160张人脸图片作为首轮迭代要呈现的人脸图片序列。

本发明中根据最后一次迭代时形成的人脸图片序列中各个人脸图片与目标样本集的平均相似度选择平均相似度最高的前若干个作为最终检索结果。