[发明专利]多任务协同识别方法及系统

说明书

本发明提供了一种多任务协同识别方法和系统，属于人工智能的任务识别技术领域，该系统包括通用特征提取模块、协同特征学习模块、适境反馈评估识别模块；基于时间同步匹配机制，提取多源异构数据的通用特征，实现所述多源异构数据的通用特征描述；结合基于外部依赖的协同注意机制，将所述通用特征作为先验知识进行训练，生成通用特征间的关联记忆关系；提取多源异构数据的环境感知参数，结合所述关联记忆关系，实现多任务识别。本发明结合环境感知的适境计算理论，通过深度增强反馈判断出待识别任务的权重，自适应地根据环境变化调整待识别任务的优先级，实现多个视听觉感知识别结果同时输出的效果。

本申请要求2018年07月09日提交的申请号为201810746362.3的中国发明专利申请的优先权。

技术领域

本发明涉及人工智能的任务识别技术领域，具体涉及一种多任务协同识别方法和系统。

背景技术

人工智能在以深度神经网络算法为基础，以大数据、云计算、智能终端为支撑，即将进入全面爆发的新纪元。通信带宽的不断增长和传输速度的持续提升，使得海量音/视频数据获取的门槛迅速降低。面对海量数据在存储和处理上超高速、移动化和普适化的迫切需求，传统意义上基于单模态单任务处理的弱人工智能已经成为掣肘该领域发展的主要瓶颈。

所谓视听媒体多任务感知识别是指基于生物视听觉感知机理，提取多源异构视听觉信息的通用特征，结合持续性深度层次递归模型,学习出具备长时记忆的时空域共享语义关联信息，实现增强反馈机制下，对不同的视听觉任务的适境感知协同识别结果。例如，一段“小明蹦蹦跳跳到学校说‘老师好！’”的音视频数据中，实现类脑认知下的多种视听觉任务同时识别的效果，即同时识别出场景(学校)、目标(小明)、目标行为(蹦跳)、目标情感(高兴)和目标语言(老师好)，而不是传统方法中对每一个识别任务建立一套单独的识别框架，分别输出识别结果，既浪费计算资源，又难以处理海量数据。

大数据时代，来源于社交、信息和物理空间不同平台和终端的视听媒体数据呈现出海量异构性，传统基于人工选择特征的模式识别方法已不能满足多任务协同识别的需求。这些多源异构数据又共享着相同的语义信息，具有丰富的潜在关联。以“马”的主题为例，所有图像、视频、音频片段、立体图像和三维模型都可以从互补支撑的角度更好地描述“马”这个相同的语义概念。为了更好地满足当前通用化强人工智能发展的需要，寻找一种基于关联语义的、多源视听媒体数据的通用特征描述方法，成为进一步提高智能感知识别的处理速度、存储容量和鲁棒性的前提和基础，为视听媒体多任务协同感知识别提供有效的数据保证。

对于海量多源数据，随着用户规模、地域分布和时间演变，基于深度学习的特征学习方法又产生了一些新问题：

深度神经网络训练时需要大量训练数据，使其对小规模数据任务无能为力，面对海量数据的高昂训练标记成本，使其对持续数据流输入的真实识别任务性能欠佳。

深度神经网络模型复杂，参数数目巨大，训练过程需要强大的计算设施，同时在面对不同的识别任务时，采用不同的卷积层结构，难以实现网络资源迅速而均衡的配置。

面对复杂多样的场景变化无法根据已处理的数据时序信息，建立长时关联选择性记忆和遗忘机制，实现适境高效的自适应学习机制。例如目标从教学楼走向食堂的一段视频数据中，根据前期对教学楼和食堂两个场景的识别记忆可以将目标行为识别从学习推理为吃饭，相应的对话话题也会变化。

因此，视听觉感知识别中面向多任务的持续性深度协同学习和增强反馈，成为当前视听觉智能感知识别中亟待解决的核心问题之一。

发明内容

本发明的目的在于提供一种可结合环境感知的适境计算理论，通过深度增强反馈判断出待识别任务的权重，自适应地根据环境变化调整待识别任务的优先级，实现多个视听觉感知识别任务判别的融合视听觉感知的多任务协同识别方法和系统，以解决上述背景技术中存在的技术问题。

为了实现上述目的，本发明采取了如下技术方案：