[发明专利]一种基于强化学习的小脑模型建模方法

说明书

本发明属于神经工程与生物信息系统建模技术领域，一种基于强化学习的小脑模型建模方法，包括以下步骤：(1)建立小脑模型的基本结构，(2)根据效应器的状态信息，计算各个基本单元中的平行纤维状态，(3)计算各个基本单元的输出，从而得到小脑模块输出命令，(4)执行小脑模块学习功能。本发明以小脑自身的解剖学与生理学特性为出发点，在神经元水平上模拟、复制小脑的神经系统的结构与功能，解决了现有的许多小脑建模方法追求控制效果而忽略小脑本身特性的弊端。同时，将强化学习方法作为小脑学习过程所采取的机制能够很好地体现小脑学习过程中攀爬纤维放电的“全”或“无”的特点，使建立的小脑模型更具有生物的合理性。

技术领域

本发明渉及一种基于强化学习的小脑模型建模方法，属于神经工程与生物信息系统建模技术领域。

背景技术

人的小脑位于大脑半球后方，覆盖在脑桥及延髓之上，横跨在中脑和延髓之间，具有协调运动的功能。在协调运动过程中，小脑不仅会接收大脑皮层的运动命令并传递给脊髓肌肉系统，同时也会接收本体感受器的反馈信息，对部分运动命令进行实时的调整。凭借这种功能机理，哺乳动物能够实现对躯体以及四肢快速、稳定、准确地控制，其理想的控制效果一直是各种控制方法所追求的目标。因此，对于控制学领域而言，深入了解小脑的解剖学和生理学特性，探索其功能机理，并以此为基础建立小脑模型，无疑会为控制理论的发展提供新的思路。另一方面，小脑性共济失调因其病变部位和诱因的不同而种类繁多，对其的诊断与治疗一直是临床上的一大难题。建立小脑模型，在模型的基础上建立小脑性共济失调的表征，可以为临床提供新的参考，所得的结果也具有普适性和可移植性，在医学领域具有重大的价值。

基于以上目的，多年来医学与控制学相关领域的众多学者进行了相关的探索，建立了多种小脑模型，如Albus依据小脑皮层不同分区具有不同功能的特性及小脑所具有的学习功能，提出了小脑关联控制器模型；Kawato将小脑比作一种可模拟运动器官输入输出特性的系统，提出了小脑内部模型等。现有的建模方法主要集中在对健康小脑的功能表达方面，通常用以实现机器人系统或简单手臂的协调运动控制。这样的建模方法主要关心的是系统的可行性，实现的复杂程度和控制的效果等因素，因而在建模时会对小脑内部结构进行大量的简化甚至会忽略其内部生理学信息。此外，现有小脑模型的学习过程通常采用监督学习方式，认为攀爬纤维传递具有指导性的误差信号，与其放电的“全”或“无”特性不符。针对以上问题，需要从小脑解剖学和生理学角度出发，利用控制学相关原理，从微观结构与机制的角度，模拟和复制其功能，建立能够表达其自身特性的小脑模型。

发明内容

为了克服现有技术存在的不足，本发明目的是提供一种基于强化学习的小脑模型建模方法。本发明利用神经网络等相关控制方法，在神经元层次上对小脑的结构以及功能等进行表达以体现小脑的自身特性，同时，采用基于强化学习机制的学习过程比较符合攀爬纤维的放电特性，从而使建立的小脑模型更具有生物合理性。

为了实现上述发明目的，解决已有技术中所存在的问题，本发明采取的技术方案是：一种基于强化学习的小脑模型建模方法，包括以下步骤：

步骤A、建立小脑模型的基本结构，基于小脑皮层的匀质结构特性，使用具有相同结构的p个基本单元的阵列来建立小脑模型的总体结构，p表示基本单元的数量，每个基本单元接收相同的输入信息，随后进入步骤B；

步骤B、根据效应器的状态信息，计算各个基本单元中平行纤维的状态，具体包括以下子步骤：

子步骤B1、将效应器的状态空间进行均匀划分，划分的数量与每个基本单元中平行纤维的数量m相同，每条平行纤维对应一个状态空间区域；

子步骤B2、根据效应器所处的状态，确定第k个基本单元中的平行纤维的状态值x_ki，其值具有二值性，用“0”表示抑制状态，“1”表示激活状态，当效应器的状态位于第i条平行纤维对应的状态空间区域时，则x_ki赋值为1，其中，k＝1,2,…p，i＝1,2,…m，i表示第i条平行纤维，然后进入步骤C；