[发明专利]一种融合交互式强化学习的增量式认知发育系统及方法

权利要求书

1.一种融合交互式强化学习的增量式认知发育系统，其特征在于，包括：

第一级神经网络：用于处理视觉和听觉特征并生成相应的样本表示；其中，在视觉样本层中，通过动态阈值自组织增量神经网络实现形状和颜色的在线学习；在听觉样本层中，通过Levenshtein距离自组织增量神经网络学习单词向量；

第二级神经网络：通过基于符号自组织增量神经网络，分别将第一级神经网络中视觉样本层的形状和颜色在线学习结果以及听觉样本层的单词向量学习结果编码为符号，并实现对各种符号进解码；

第三级神经网络：基于关系自组织增量神经网络，建立视觉样本层和听觉样本层中符号之间的关联关系，并根据已知的关联关系向前两级神经网络反馈应答信号；

具有交互式强化学习的增量式认知发育系统参与学习和实践两个过程，所述学习和实践两个过程以交叉方式执行；

通过动态记忆模型在学习过程中更新动态阈值自组织增量神经网络的记忆，在实践过程中同时更新动态阈值自组织增量神经网络和关系自组织增量神经网络的记忆；

所述动态记忆模型具体为：

其中，t是学习时间,z为激活数目，t_z表示最近一次激活的时间；f_i(z)和v_i(z)表示节点i的遗忘因子，遗忘因子f_i(z)和v_i(z)分别控制存储在节点i中的记忆的衰减时间和幅度，M_i(0)为节点i的初始记忆强度，M_i(t)为节点i在t时刻的记忆强度。

2.如权利要求1所述的一种融合交互式强化学习的增量式认知发育系统，其特征在于，所述学习过程具体为：

在视觉路径中，如果接收到的物体的形状或颜色是新的，动态阈值自组织增量神经网络创建一个新的类节点来学习新知识；新节点的记忆强度和遗忘因子被设置为初始值；

如果收到已知的特征并激活了节点b，动态阈值自组织增量神经网络更新节点或创建一个同类节点并为其初始化动态记忆模型；节点b更新遗忘因子以降低其遗忘速度；

在学习之后，激活节点b的记忆强度被强化为1，而动态阈值自组织增量神经网络中的其他节点的记忆根据动态记忆模型衰减；一旦记忆强度低于设定的遗忘阈值M_min，该节点就被遗忘并从动态阈值自组织增量神经网络中删除；

如果动态阈值自组织增量神经网络中的类别由于遗忘而消失，则基于符号自组织增量神经网络中的相关符号和基于关系自组织增量神经网络中的相关关联也会被删除；

然后动态阈值自组织增量神经网络将识别的类别输出到第二级神经网络；

在听觉通路中，Levenshtein距离自组织增量神经网络学习物体的名称并将其类别输出到第二级神经网络；

基于符号自组织增量神经网络将类别编码为符号并发送到第三级神经网络；

基于关系自组织增量神经网络融合各种符号以建立视听关联。

3.如权利要求2所述的一种融合交互式强化学习的增量式认知发育系统，其特征在于，所述节点b的遗忘因子在学习阶段的更新策略，具体为：

f_b(z)＝f(0)·δ^z

v_b(z)＝v_b(z-1)+γ·z

其中，f_b(z)和v_b(z)分别表示节点b的遗忘因子，遗忘因子f_b(z)和v_b(z)分别控制存储在节点b中的记忆的衰减时间和幅度，δ和γ表示强化率，均为常数，z为激活数目，v_b(z-1)表示节点在z-1次激活后的遗忘因子v的值，f(0)为遗忘因子f的初值。

4.如权利要求3所述的一种融合交互式强化学习的增量式认知发育系统，其特征在于，所述遗忘因子在实践阶段的更新策略具体为：

其中，z_r和z_p分别表示奖励次数和惩罚次数，δ_r和δ_p表示奖励比率和惩罚比率，R(t)＝1表示给予系统奖励，R(t)＝-1表示给予系统惩罚，f(z-1)、v(z-1)分别表示节点在z-1次激活后的遗忘因子f、v的值。