[发明专利]一种面向自然语言处理的基于循环学习单元的HTM设计方法

说明书

本发明公开了一种面向自然语言处理的基于循环学习单元的HTM设计方法，针对自然语言处理应用，在使用HTM分析自然语言时，提出使用面向自然语言处理的基于循环学习单元的HTM设计方法，利用具有循环学习能力的循环学习单元代替现有的HTM神经元，将HTM时间池和循环学习单元对序列数据的学习能力相互结合，实现对蕴含无规律时间跨度大关联的自然语言的更好的学习；通过循环学习单元的训练方法，使得循环学习单元能学习自然语言语料中包含的特性，实现HTM对蕴含无规律时间跨度大关联的自然语言更强的学习能力。本发明提高了HTM对蕴含无规律时间跨度大关联的自然语言的学习功能，从而保证了在处理蕴含无规律时间跨度大关联的自然语言时HTM的有效性和实用性。

技术领域

本发明涉及人工智能深度学习领域,尤其涉及一种面向自然语言处理的基于循环学习单元的HTM设计方法。

背景技术

自然语言所组成的序列包含了大量跨度较大的联系，其规律性很差，使得分析和预测的难度很大。

近年来，深度学习算法在图像处理、语音处理、自然语言处理等多个领域得到广泛的应用并产生巨大的影响，这在很大程度上归功于各种新型神经网络模型以及高效的模型训练方法。随着生物神经科学的进步，越来越多的新型神经网络正在被研究。HTM(Hierarchical Temporal Memory)是一种模仿人脑中处理高级认知功能的新皮质部分运作原理的新型人工神经网络，其将接受到的各种模式与记忆中的模式进行匹配，并对下一刻将会接收到的信息作出预测与反应，如此循环往复，从而体现时效性(Temporal)。

当前训练HTM的方法还比较简单，通常使用Hebbian规则修改前后两次激活神经元之间的连接值，以此训练HTM；这种方法在处理蕴含无规律时间跨度大关联的自然语言时难以获得理想的结果；因此需要针对自然语言中蕴含无规律时间跨度大关联的特点，提出新的HTM设计方法，提高HTM对自然语言的学习能力。

发明内容

本发明的目的在于提供一种面向自然语言处理的基于循环学习单元的HTM设计方法，以解决现有HTM对蕴含无规律时间跨度大关联的自然语言学习能力较差的问题。

一种面向自然语言处理的基于循环学习单元的HTM设计方法，包括以下步骤：

步骤1，针对自然语言处理应用，将自然语言语料转变为具有时序特性的数据流，作为基于HTM分析方法的输入；

步骤2，使用面向自然语言处理的基于循环学习单元的HTM设计方法，利用具有循环学习能力的循环学习单元代替现有的HTM神经元，将HTM时间池和循环学习单元学习序列数据的能力相互结合，加强HTM对蕴含无规律时间跨度大关联的自然语言的学习功能；

步骤3，通过循环学习单元的训练方法，使得循环学习单元能学习自然语言语料中包含的特性，实现HTM对蕴含时序跨度大规律的自然语言数据更强的学习能力；

步骤4，完成对自然语言语料的分析，输出在某种条件下对自然语言的处理结果。

进一步，所述步骤2中，使用面向自然语言处理的基于循环学习单元的HTM设计方法主要包括以下步骤：

步骤2.1，找出HTM时间池中t时刻处于激活状态的循环学习单元；

步骤2.2，使用这些循环学习单元与HTM时间池中t-1时刻激活态循环学习单元之间的树突连接值、以及循环学习单元中上一时刻的隐藏层作为当前循环学习单元的输入；

步骤2.3，计算循环学习单元在t时刻的隐藏层计算方法如下：