[发明专利]基于智能芯片的SOM神经网络算法处理方法

说明书

本发明提出了一种基于智能芯片的自组织特征映射神经网络(Self‑organizing Map,SOM)算法处理方法。SOM神经网络是无监督机器学习中一种经典的聚类算法，在图像处理、数据挖掘、深度学习有广泛的应用。本发明将SOM神经网络算法划分成不存在数据依赖的多个步骤，这个过程在下文中称为Kernel的划分。在保证每个步骤高并行度的情况下，将各个步骤在GPU上实现，对应下文里Kernel的分步骤实现与优化。在单个Kernel在GPU上完成高效的实现后，再将所有的步骤整合为一个Kernel。对整合后的Kernel进行深度优化，并将各个分步骤整合迭代的过程中，使用全局同步的方法，最终实现了一个可以在GPU端单次Kernel启动即可完成的高效的SOM神经网络算法。

技术领域

本发明属于计算机技术领域，更进一步设计计算机视觉和深度学习技术领域中的一种使用开放性计算语言OpenCL(Open Computing Language)的自组织映射神经网络并行处理方法。本发明可以实现对自组织映射神经网络的计算过程进行加速。

背景技术

自组织特征映射神经网络(Self-organizing Map,SOM)是一种聚类算法。它是人工神经网络的生物学合理模型，可以通过计算映射将任意维度的输入信号转换为一维或二维离散映射，并以自适应方式来实现该过程。它是在无监督的情况下自动对输入数据进行分类，对输入模式进行自组织学习，能够反复的调整连接权值，并最终在输出层将分类结果表示出来。

SOM神经网络算法在机器学习、图像处理和深度学习中有广泛的应用。在许多应用场景中，需要对数据进行实时的处理，因此对高效实现SOM神经网络算法提出了要求。传统的机器学习算法的主要计算工具是CPU，因为CPU具有良好的通透性并且硬件架构已经成熟。但是，当数据量增加时，尤其是SOM神经网络算法，CPU的执行效率不能满足需求。与此同时，随着GPU技术的发展，GPU提供大量的并行运算单元，并且可以并行处理大量数据，该架构正好可以应用于该算法。本发明研究了SOM神经网络算法在GPU上的有效实现，SOM神经网络算法的本质是一个通过多次迭代来求得最优解的过程。

在对SOM神经网络算法进行优化研究时发现，机器学习算法通常需要在一个大型数据集上进行多次迭代，这表示每次迭代都有大量的数据同步，并且每次数据同步都需要启动GPU上的内核函数。实际上，GPU上的数据同步和内核启动都是极其耗时的。本发明对SOM神经网络算法的实现过程中，GPU端启动一次内核函数便可以完成所以的迭代操作，消除了多次内核函数启动时间，同时也减少了不必要的全局同步，并对算法本身进行了深度的优化，获得了较好的优化效果。

发明内容

发明的目的：为了解决现有技术中存在的不足，传统的机器学习算法的主要计算工具是CPU，因为CPU具有良好的通透性并且硬件架构已经成熟。但是，当数据量增加时，尤其是SOM神经网络算法，CPU的执行效率不能满足需求。与此同时，随着GPU技术的发展，GPU提供大量的并行运算单元，并且可以并行处理大量数据，该架构正好可以应用于该算法。

技术方案：为实现上述目的，本发明采用的具体方案如下：

(1)初始化，归一化权值向量，建立初始优胜领域，学习率赋予初始值；

(2)输入归一化样本：

(2a)数据点集X被平均分为s份，s是计算X子集中所有数据点标记的处理器的个数，每个线程执行赋予X_i单独的处理器的坐标和计算范围；

(3)计算点积，并选出点积值最大的获胜节点：

(3a)确定每一个work-group的线程规模，在本发明优化中，设置work-group大小为128；

(3b)确定每一个thread可使用的寄存器规模，大小为m个float4类型的栈内存(float4 reg_Buffer[m])，并且加一个大小为m个int类型内存空间(int counter_Buffer[m])；