[发明专利]一种基于进度预测的自监督视觉语言导航器及路径缩短方法

摘要

本发明公开了一种基于进度预测的自监督视觉语言导航器及缩短路径方法，涉及视觉语言导航、计算机视觉、自然语言处理和自监督学习领域，包括进度预测器、进度监视器、多信息导航器、自监督模块以及路径缩短模块。导航载体在得到视觉信息与语言指令后，通过进度预测器预测每个可导航方法的未来进度，然后将信息传入多信息导航器，随后得到每个可导航方向的动作概率分布，从而得到最优动作方向。自监督模块可根据进度预测器和额外的进度监视器找到当前和未来进度的关系，从而相互监督，在未知环境下进一步训练。路径缩短模块可根据进度预测器预测可导航方法最优概率的J个方向的未来进度，然后选择更加靠近目标的方向，从而降低路径长度。