[发明专利]一种基于视觉语言Transformer的端到端视频时空视觉定位系统

摘要

本发明公开了一种基于视觉语言Transformer的端到端视频时空视觉定位系统，包括，视觉信息编码模块、文字嵌入模块、时空视觉定位模块和时空轨迹生成模块；视觉信息编码模块和文字嵌入模块与时空视觉定位模块连接；时空视觉定位模块与时空轨迹生成模块连接；视觉信息编码模块将视频模块从视频帧中获取视觉特征；文字嵌入模块从查询文本中提取文本编码；时空视觉定位模块用于学习视觉特征和文本编码间的交互特征，并对检测目标进行空间定位和时间定位，得到检测框信息和时间起始终止信息；时空轨迹生成模块用于生成时空轨迹预测结果；通过本发明能够同时完成时间和空间上的视觉定位可以学习更好的特征表征，以达到更优的定位效果。