[发明专利]一种多模态多标签预测模型的增量学习方法

权利要求书

1.一种多模态多标签预测模型的增量学习方法，其特征在于，首先基于概率模型的因子分解，把复杂的多模态多标签增量学习问题转化为一组输入维度不变的增量学习问题，即转化为多个子模型；然后采用参数正则化和具有遗忘机制的网络结构动态扩展方法，更新该些子模型；最后将更新后的子模型自适应集成输出，实现多模态多标签预测。

2.根据权利要求1所述的一种多模态多标签预测模型的增量学习方法，其特征在于，当数据集D₁,…,D_t依次到达时，多模态多标签增量学习方法所需解决的问题为：依据D_t和M_t-1的信息构建能够处理测试任务集合Test_t的模型集合M_t；

多模态多标签预测模型的目标函数J构建如下：

该目标函数包含三部分，第一部分为L₁(·)表示各模态的重构误差；第二部分为L₂(·)表示多标签的预测误差；第三部分是L₃(·)用于衡量分布的构建误差；其中，α,β∈[0,1]为超参数，ω为网络参数。

3.根据权利要求2所述的一种多模态多标签预测模型的增量学习方法，其特征在于，所述把复杂的多模态多标签增量学习问题转化为一组输入维度不变的增量学习问题的具体过程如下：

多模态多标签增量学习任务在不同时刻到达的各批数据所包含的模态集合与标签集合都不尽相同，为了适应模态集合和标签集合的变化，避免海量数据的存储和大量的重复计算，对多模态多标签模型进行如下因子分解：

其中，表示从模态至隐含变量Z_f的映射，由代理网络学习得到，隐含变量Z_f则由基于t时刻的数据集D_t优化目标函数(1)得到；于是，多模态多标签模型被分解为一系列关于映射X_i→Z_f和Z_f→Y_j的子模型；针对以上映射，共建立和存储个子模型。