[发明专利]低算力要求的神经网络分块优化方法及分块优化器

摘要

本发明公开了低算力要求的神经网络分块优化方法及分块优化器，该方法包括：分解隐层拓扑，将隐层参数形成的向量排列组成超平面；在超平面的每个位置添加数据；将超平面平分为二分别训练，选择变化程度较高的区域判断是否满足系统算力要求，多次重复直到某次分块后满足系统算力要求；使用训练数据集对筛选出的区域进行训练，若loss function满足系统要求结束训练；反之则组成新的待训练空间继续训练。本发明实施例在算力不足的应用场景下，基于相对少量的样本数据，通过搜寻隐层参数超平面上对loss function影响较大的区域并对其进行针对性的调优，用较小的运算量来快速完成一套满足基本要求的神经网络，且样本数据可以多次利用。

主权项

1.一种低算力要求的神经网络分块优化方法，其特征在于，包括：步骤S1，分解隐层拓扑，完成隐层参数向量化；步骤S2，根据隐层链接结构，将隐层参数形成的向量排列组成超平面；步骤S3，在超平面的每个位置添加数据，作为超平面的初始态；步骤S4，将超平面平分为两块区域，分别使用相同的数据集进行训练，并分别分析训练前后两块区域的数据变化程度；步骤S5，留下变化程度较高的区域并判断该区域是否满足系统算力要求，若满足系统算力要求则进入步骤S6；否则继续重复步骤S4直至留下的变化程度较高的区域满足系统算力要求为止；步骤S6，使用训练数据集对筛选出的区域进行训练，完成训练后若loss function满足系统要求，结束训练；反之进入步骤S7；步骤S7，将步骤S6中满足系统算力要求的区域继续均分为两块区域，按步骤S4的方法挑选出变化较高的区域，然后从其他区域再选取相同大小的区域组成一个新的满足系统算力要求的待训练空间，继续按步骤S6的方法进行训练。