[发明专利]一种用于人体视觉感知的多任务深度学习方法和系统

说明书

一种用于人体视觉感知的多任务深度学习方法和系统，该方法基于人体视觉感知系统，人体视觉感知系统包括若干个不同功能的子模块，包括以下步骤：开启摄像机对目标对象进行拍摄，获取摄像机当前拍摄帧序列；通过基础特征提取模块用的深度神经网络提取目标对象的基础特征，将当前拍摄帧序列作为各个子模块的统一的输入，从而将当前拍摄帧序列输入到共用基础特征提取模块；序列化训练，利用共用基础特征提取模块用的深度神经网络分别与各个子模块联合训练；控制各个子模块相互协合工作，使子模块获取到的信息在不同子模块之间相互传送；控制各个子模块的工作时间。本发明提升了整个系统的运行效果。

技术领域

本发明涉及一种用于人体视觉感知的多任务深度学习方法和系统。

背景技术

在面向无人摄像的人体视觉感知系统中，需要进行多个任务的分析处理，比如人体的位置、姿态、动作等等要素，将这些综合起来考虑才能决定下一步的拍摄内容。目前的视觉感知系统，往往是各个功能模块单独发挥作用，难以进行整合调节且消耗计算资源非常巨大，因此，在无人拍摄时，难以自动拍摄得到较佳的拍摄画面。

发明内容

本发明要解决的技术问题是提供一种用于人体视觉感知的多任务深度学习方法和系统，节省系统训练以及运行的时间和存储空间，通过多任务融合的思路来让几个子模块相互配合、协作从而提升各个子模块的工作能力，提升整个系统的运行效果。

为了解决上述技术问题，本发明采取以下技术方案：

一种用于人体视觉感知的多任务深度学习方法，该方法基于人体视觉感知系统，人体视觉感知系统包括若干个不同功能的子模块，包括以下步骤：

开启摄像机对目标对象进行拍摄，获取摄像机当前拍摄帧序列；

设置共用基础特征提取模块，通过基础特征提取模块用的深度神经网络提取目标对象的基础特征，将当前拍摄帧序列输入到共用基础特征提取模块，然后作为各个子模块的统一的输入；

序列化训练，利用共用基础特征提取模块用的深度神经网络分别与各个子模块联合训练，根据子模块的功能更新或者不更新该共用基础特征提取模块的深度神经网络参数；

控制各个子模块相互协合工作，使子模块获取到的信息在不同子模块之间相互传送；

控制各个子模块的工作时间。

所述共用基础特征提取模块在深度神经网络不同阶段输出多种不同的基础特征，各个子模块接收共用基础特征提取模块输出的基础特征。

所述各个子模块接收共用基础特征提取模块输出的部分基础特征。

所述序列化训练时，将各个子模块编排好顺序，利用迁移学习的方法，按照编排好的顺序通过共用基础特征提取模块用的深度神经网络分别与各个子模块联合训练。

所述功能不同的子模块的工作时间不相同。

一种用于人体视觉感知的多任务深度学习系统，该系统基于人体视觉感知系统，人体视觉感知系统包括若干个不同功能的子模块，所述系统包括：获取单元，用于获取当前拍摄帧序列；序列化训练单元，用于将共用基础特征提取模块用的深度神经网络分别与各个子模块联合训练，更新或更新共用基础特征提取模块用的深度神经网络参数；协作融合单元，用于控制各个子模块之间相互协作以及多任务融合工作；时间控制单元，用于控制各个子模块的具体工作时间。

本发明具有以下有益效果：

1、通过特征共用，节省了大量的运行时间和存储空间。

2、使用序列化训练各个子模块，与各个子模块单独训练相比，提高了各模块的鲁棒性和精确度。

3、多任务融合，相互协作，可以提升子模块的工作能力和效率，同时提升整个系统的整体效果，具备更鲁棒可靠的感知能力。

附图说明