[发明专利]一种多模态多标签预测模型的增量学习方法

说明书

本发明公开了一种多模态多标签预测模型的增量学习方法，首先基于概率模型的因子分解，把复杂的多模态多标签增量学习问题转化为一组输入维度不变的增量学习问题，即转化为多个子模型；然后采用参数正则化和具有遗忘机制的网络结构动态扩展方法，更新该些子模型；最后将更新后的子模型自适应集成输出，实现多模态多标签预测。本发明可以适应不同模态集和标签集的学习任务，以避免网络结构的过度膨胀和重复计算，使系统具有良好的可扩展性；能够解决各模态数据信噪比非平稳的多标签预测问题。

技术领域

本发明涉及预测模型增量学习的技术领域，尤其涉及到一种多模态多标签预测模型的增量学习方法。

背景技术

目前，研究增量学习问题的工作大致可分为以下三类：

(1)正则化法：通过约束参数的更新，保留旧任务学习模型的重要信息，例如：James等以费雪信息度量模型参数的重要性，提出了弹性权重固化(elastic weightconsolidation,EWC)增量学习方法；Zenke等依据权值路径积分度量模型参数的重要性，并提出了“智能突触”增量学习方法；Dhar等通过惩罚注意力蒸馏损失保护重要模型参数。但是，随着新任务的增加，模型参数不断迭代更新，对旧任务重要的参数还是会逐渐变迁。

(2)数据(或记忆)回放法：通过回顾旧任务重要数据信息，缓解灾难性遗忘，例如：Rebuffi等保留在特征空间中与各类均值最接近的旧任务数据，并将之与新任务数据合并，在分类误差和蒸馏损失引导下更新参数；Wu等在的基础上提出验证集偏置校正策略，解决了新旧数据规模不平衡的问题；Shin等采用生成对抗网络，间接保留旧任务数据的分布信息。但随着学习任务的增加，生成的数据分布会逐渐偏离原来的数据分布，同时，由于需要额外训练生成模型，此类方法的计算量较大。

(3)动态结构法：依据学习任务的变化，自适应调整模型结构，例如：Li和Hoiem提出一种多头架构，将学习模型分作任务共享层和任务各异层，前者网络结构固定，后者会随着新任务的增加而分支生长；为了避免网络规模的过快膨胀，Yoon等通过稀疏正则化减少模型参数，选择旧任务模型中与新任务相关的参数进行训练，若不能很好地拟合新数据，则扩展网络；若被选中的旧模型的参数在新任务的学习中变迁过大，则复制保留一份更新前的参数给旧任务，以缓解灾难性遗忘；Hung等采用逐步修剪法压缩模型结构，通过掩码参数重用，固定旧任务模型的网络连接，杜绝灾难性遗忘，并利用旧任务模型冗余的网络连接帮助新任务的学习，若有必要则扩展网络。

但上述增量学习方法主要针对多分类或多标签的增量学习任务，而在实际应用中，如多模态脑机接口系统，多参数监护系统，自动驾驶系统，多导睡眠图监护系统等都需要处理多模态多标签预测任务，若采用现有的方法，需要训练和保存的模型数将随模态集和标签集规模的扩大而成指数增长。

发明内容

本发明的目的在于克服现有技术的不足，提供一种能避免网络结构的过度膨胀和重复计算、解决各模态数据信噪比非平稳的多标签预测问题的多模态多标签预测模型的增量学习方法。

为实现上述目的，本发明所提供的技术方案为：

一种多模态多标签预测模型的增量学习方法，首先基于概率模型的因子分解，把复杂的多模态多标签增量学习问题转化为一组输入维度不变的增量学习问题，即转化为多个子模型；然后采用参数正则化和具有遗忘机制的网络结构动态扩展方法，更新该些子模型；最后将更新后的子模型自适应集成输出，实现多模态多标签预测。

进一步地，当数据集D₁,…,D_t依次到达时，多模态多标签增量学习方法所需解决的问题为：依据D_t和M_t-1的信息构建能够处理测试任务集合Test_t的模型集合M_t；

多模态多标签预测模型的目标函数J构建如下：