[发明专利]具学习力的视觉注意预测系统及其方法

说明书

技术领域

本发明涉及一种有关视觉注意预测系统及其方法，特别是涉及一种对影片信号(video signal)具学习力(learning-based)的视觉注意预测系统及其方法。

背景技术

视觉注意是人类视觉系统的一个重要特征，它帮助我们的大脑过滤掉过多的视觉资讯，使我们的眼睛专注于特定有兴趣的区域。视觉注意一直是神经科学，生理学，心理学和人类视觉研究的课题，这些研究除了能让我们了解视觉注意的心理层面，也可应用于影片信号的处理。

通常影片中的注视点吸引最多的注意，若能预测到影片中被注意的区域，便可只对此区域的影片信号进行较精细的影像处理或较好的编码程序。传统视觉注意模型由两部分组成：特征撷取以及特征融合。从影片中撷取特征后会产生特征图，之后再利用非线性融合或线性融合的方式来融合特征图，以产生显著图。然而，由于在特征融合程序中不适当的权重分配，或是只撷取低层级的特征资讯，如颜色、方向等，都会使得预测出的显著图和实际人们注视位置之间在视觉上有无法配对的问题。

鉴于传统视觉注意模型无法有效预测视觉注意区域，因此亟需提出一种新颖的视觉注意预测系统及方法，以忠实地且简易地预测视觉注意区域。

由此可见，上述现有的有关视觉注意预测系统及其方法在方法及使用上，显然仍存在有不便与缺陷，而亟待加以进一步改进。为了解决上述存在的问题，相关厂商莫不费尽心思来谋求解决之道，但长久以来一直未见适用的设计被发展完成，而一般方法及方法又没有适切的方法能够解决上述问题，此显然是相关业者急欲解决的问题。因此如何能创设一种新的具学习力的视觉注意预测系统及其方法，实属当前重要研发课题之一，亦成为当前业界极需改进的目标。

发明内容

本发明的目的在于，克服现有的有关视觉注意预测系统及其方法存在的缺陷，而提供一种新的具学习力的视觉注意预测系统及其方法，所要解决的技术问题是使其用以有效预测视觉注意区域，非常适于实用。

本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出的其包含：一特征撷取单元(feature extraction unit)，用来接收一具有多个测试信息框(test frame)的一测试影片(test video sequence)，并基于至少一特征资讯(feature information)从每一所述测试信息框产生至少一测试特征图(tested feature map)；及一回归模型(regression model)，具有一注视密度(fixation density)和该特征资讯之间的相互关系(correlation relationship)，该回归模型根据该相互关系将该至少一测试特征图对应出一显著图(saliency map)，用来表示所对应的该测试信息框的注视强度(fixation strength)。

本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。

前述的具学习力的视觉注意预测系统，其中所述的其更包含：一训练单元(training unit)，用来训练该回归模型学习注视密度和该特征资讯之间的该相互关系。

前述的具学习力的视觉注意预测系统，其中所述的其更包含：一注视数据收集单元(fixation data collection unit)，用来侦测多个训练影片(training video sequence)中的每一训练信息框(training frame)所被注意的多个注视点(fixation point)，并收集所述注视点来对每一所述训练信息框产生一注视图(fixation map)；及一注视密度产生器(fixation density generator)，耦接于该注视数据收集单元，用来将每一所述注视图转成一注视密度图(fixation density map)，其记录所对应的该训练信息框中每一像素的一注视密度值(fixation density value)；其中，该特征撷取单元接收所述训练影片，并基于该至少一特征资讯从所述训练影片的每一所述训练信息框产生至少一训练特征图(training feature map)，而该训练单元根据所述注视密度图以及该训练特征图来训练该回归模型。

前述的具学习力的视觉注意预测系统，其中所述的其更包含：一训练样本选取单元(training sample selection unit)，耦接于该训练单元，用来从每一所述训练影片的所述训练信息框中选出至少一样本信息框，其中该样本信息框中的所述注视点的分布最为密集。