[发明专利]一种基于眼动和语音的自然图像共指目标定位系统及方法

摘要

本发明公开了一种基于眼动和语音的自然图像共指目标定位系统，包括自然图像共指目标定位系统、数据采集及预处理系统；自然图像共指目标定位系统包括图像特征提取模块、文本特征提取模块、眼动特征提取模块、特征融合模块、目标识别模块及置信度计算模块；数据采集及预处理系统包括图像采集模块、图像预处理模块、语音采集模块、语音预处理模块、眼动采集模块及眼动预处理模块；特征融合模块、目标识别模块及置信度计算模块依次连接；特征融合模块输入端分别与图像特征提取模块、文本特征提取模块和眼动特征提取模块的输出端相连。本发明同时获取了用户的眼动输入与语音输入，利用多种模态信息之间的优势互补，有助于达成高效的人机交互效果。