[发明专利]支持新模态在线学习的可扩展认知发育方法及系统

权利要求书

1.支持新模态在线学习的可扩展认知发育方法，其特征是，包括：学习阶段和应用阶段；所述学习阶段包括：

获取待识别感官刺激特征；

判断待识别感官刺激特征的模态是已有模态还是新模态；

如果待识别感官刺激特征的模态是新模态，则新增一个处理新模态的通道，所述处理新模态的通道，包括依次连接的样本层和符号层；对新增模态的通道中样本层和符号层进行节点更新或新建，通过关联层实现新增通道和原有通道的关联；

所述应用阶段，包括：获取新的待识别感官刺激特征，根据新的待识别感官刺激特征的模态输入到对应模态的通道中，对应模态通道的样本层将数据传输给符号层，符号层再传输给关联层，当有回调信号时，关联层处理后将处理结果再通过符号层传输给样本层，最后样本层给出与新的待识别感官刺激特征相关联的特征回调结果；

关联层在学习阶段中的节点激活过程，具体包括：

步骤(c1)：当关联层没有新模态加入时，关联层接收来自已有通道符号层的模态-类别符号集合f；检查模态-类别符号集合f是否激活关联节点

步骤(c11)：如果存在，说明网络已学习模态-类别符号集合f，则更新激活节点

步骤(c12)：如果不存在，说明输入中存在新特征或输入是已知特征的新组合，建立新节点，将新知识存储进关联层；

步骤(c2)：当关联层有新模态加入时，如果f＝(f_old,f_new)找到关联节点则关联层激活关联节点如果找不到关联节点继续寻找f_old和f_new分别激活的节点和其中，f_old和f_new分别为固有感知通道和新增感知通道中所有激活符号节点对应的“模态-类别”符号集合；

所述步骤(c2)寻找f_old和f_new分别激活的节点和包括：

(c21)如果存在，不存在，网络已通过固有通道学习f_old，而没有学习f_new；如果不曾通过新增通道获得过其他特征，即(12)成立，更新权重为w＝(w,f_new)，网络将获得的新模态信息与之前接收到的多模态信息结合起来；否则，说明已学习了新模态的特征f_new′，此时有三种可能：和f表示同一物体；和f表示部分特征相同的两个不同物体；和f表示样本层分类错误；

其中，f_new′为属于新模态而不同于f_new的特征，是节点的权重；

因此，关联层将首先询问用户：“输入f和是否正确”,然后接受来自用户的外部反馈信号来帮助做出判断；

如果输入f是错误的组合，正确，该输入被拒绝，激活次数加一；

如果输入f和都错误，网络拒绝此时的样本输入，并移除节点

如果输入f正确，错误，移除该节点，建立权重为f的新节点；

如果两个都正确，网络再次询问用户“和f是否表示同一物体”；

如果回答为是，激活次数加一，如果新通道输入的是名字，那么f_new是物体别名，更新权重为w＝(f_old,f_new)；

如果回答为否，新增通道中，该输入在样本层中的学习结果应该与中同模态特征的类别k相同，删除样本层和符号层中的新节点，创建k类样本层节点；

如果和f表示不同物体时，根据公式(13)创建新的关联节点；

w＝(f_old,f_new)，ins_num＝1 (13)

其中，w为新建节点权重，ins_num为节点激活次数；

(c22)如果都不存在，说明固有模态f_old和新模态f_new都没学过，网络根据公式(13)建立新节点，学习新的知识，将新的模态通道与原有网络关联起来；

(c23)如果不存在，存在，网络未学习过f_old，但是该网络学习过f_new；存在两种可能：样本层分类错误或新的组合；

因此，关联层将向用户询问：“该输入是否正确”；

如果该输入正确，关联层再次询问“输入和是否代表同一物体”；用户的反馈信号是正确时，当前输入和可能表示不同角度的一个物体，所以样本层的学习结果不同，根据(14)新建关联节点，即用f_old替代中的固有模态f_old′后的组合作为新节点的权重；否则，拒绝该输入；

其中，是节点的权重，f_old′表示中与f_old包含的所有特征同模态的特征集合，\表示去除，ins_num为节点激活次数；

(c24)如果和都存在，说明f_old和f_new都曾学习过，而(f_old,f_new)的组合与以前不一样；

若公式(12)成立，节点未学习新感知通道Y的特征，更新权重为w＝(w,f_new)；

否则，关联层询问：“输入是否正确”；

如果回答为错误，该输入将被拒绝；

否则，说明当前输入f＝(f_old,f_new)是一个预期的组合，关联层再次询问“输入是否与代表同一物体”；

若回答为是，则利用公式(15)创建新的节点来学习当前输入f；

若回答为不是，则继续询问，如果输入和代表同一物体，利用公式(14)建立新节点；如果都不相同，通过公式(13)建立新节点；

其中，是节点的权重，f_new′为通过新增通道学习过的特征，\表示去除，ins_num为节点激活次数。