[发明专利]基于增量式关联神经网络和动态视听融合的自主认知发育系统及方法

说明书

本发明公开了一种基于增量式关联神经网络和动态视听融合的自主认知发育系统及方法，包括：样本层、符号层和关联层三层网络结构；所述三层网络结构中包含视觉通路和听觉通路；所述视觉通路中：样本层，分别学习物体的原始形状和颜色特征，并进行自主聚类；符号层，接收形状和颜色样本层的自主聚类结果，并抽象为相应的符号；所述听觉通路中：样本层，学习名字的词向量；符号层，接收名字的词向量类别并简化为符号；所述关联层建立视觉通路和听觉通路中符号之间的关联关系，并根据已知的关联关系向低层网络反馈应答信号。基于自组织神经网络，能够自主发育物体概念和实现视听融合。

技术领域

本发明属于机器学习技术领域，尤其涉及一种基于增量式关联神经网络和动态视听融合的自主认知发育系统及方法。

背景技术

随着越来越多的机器人参与到人类的日常生活，认知发育目前已经成为了智能机器人领域的热点。机器人与人交流中需要具备识别和理解的能力，因此必须建立与人类共同的知识基础，比如物体概念。机器人通常由人类预先设计好内部的知识表示，无法适应未知的和动态的环境。为解决这个问题，机器人需要具备像人类婴儿一样自主发育认知的能力。

人类婴儿利用自身的认知原理和父母指导能够在两岁之前迅速发育对世界的表示，形成物体原始的样本表示，并逐渐发育出从简单到复杂的符号表示。整个过程都是多模态的，而且当几个模态同时出现时，大脑会建立模态间的内部关联。这促进了婴儿在认知过程中形成完善的物体概念。因此，婴儿能够根据一些简单的特征(比如形状和颜色)学习物体，并将这些视觉表示映射到父母告诉的名字上。

目前，一些研究已经将婴儿的认知发育理论或大脑机理应用到机器人的认识发育中。比如：利用SVM学习物体的样本和符号表示；一种Developmental Engagement-Reflection(Dev E-R)模型能够模拟人类的“同化-适应”调节过程；利用显著物体检测方法和遗传算法让机器人学习新知识。然而，这些方法存在如下缺点：

第一，大多数学习过程是线下的学习方式且需要花费大量时间训练模型；

第二，学习模型的参数或结构是预定义的，且每次遇见新的样本时都需要重新训练；

第三，机器人无法通过人机交互发育认知并建立与人类共同的知识基础。

因此，自主认知发育对于机器人而言仍然是一个巨大的挑战。但是，婴儿认知发育过程仍有借鉴之处。婴儿通过观察物体和听父母说的名字来逐渐认识世界，机器人可以模拟这个过程，通过人机交互学习物体概念，并提高自己的智力。这个过程主要涉及到视听融合和开放式的增量式学习。

对于已经提出的众多视听融合的研究，大多数是针对目标侦测和识别的，很少有关于认知发育的研究。例如，一些融合网络利用两个深度神经网络分支分别学习视觉图像和声音，并通过串联两种模态的特征向量来进行信息融合。但是这些计算模型是固定拓扑的，并需要线下用大量数据训练。这也暴露了多模态融合的另一个问题，即如何设计一个多模态通用的学习算法，使人不必为每种模态设计专门的结构。现有技术利用SOM学习视觉、听觉、姿势三种模态的信息，并将姿势分支作为各个模态之间的转换的桥梁，从而实现多模态间的融合。然而，SOM也是需要预定义节点数目的固定拓扑网络。这将大大限制机器人的学习能力。因此，机器人的认知算法不仅要能对多模态通用，还要能够随着学到的知识的增加而动态扩展网络。

尽管SOM不能满足所有提出的要求，但是增量式自组织神经网络可弥补SOM的不足。GNG能够以在线的方式学习新类别，并逐渐扩充网络节点，从而实现增量式学习。但它采用的固定迭代会导致网络对新输入反应太慢。GWR要比GNG学习速度快。当遇到新样本超出激活阈值且最匹配节点被多次激活时，GWR插入一个新节点。GWR的另一个优点是采用学习率调节性下降的策略，使节点最终的权重趋于稳定。SOINN也是一种很有效的增量式自组织神经网络。它与GWR最大的区别是新节点直接用输入向量表示。GWR则采用输入向量和最匹配节点权重的平均值表示，这将会破坏新样本的真实表示。