[发明专利]一种VGG网络的训练方法及装置

说明书

技术领域

本发明涉及VGG网络技术领域，更具体地说，涉及一种VGG网络的训练方法及装置。

背景技术

VGG网络是对AlexNet经典CNN模型的改进，现在也已经是经典的CNN模型，这个模型成为了近些年人们研究的热点。

VGG网络的结构用的都是特别小的3x3的卷积模版(stride：1，padding:1)以及5个2x2的池化层(stride：2)，并将卷积层的深度提升到了16-19层。现有的VGG网络虽然在训练精度上效果较好，但是它的参数量非常庞大，占用内存过多，无法移植到移动设备内。

综上所述，现有技术中的VGG网络存在由于参数量非常庞大导致占用内存过多的问题。

发明内容

本发明的目的是提供一种VGG网络的训练方法及装置，以解决现有技术中的VGG网络存在的由于参数量非常庞大导致占用内存过多的问题。

为了实现上述目的，本发明提供如下技术方案：

一种VGG网络的训练方法，包括：

生成包含有n个全连接层的VGG网络模型；

对所述VGG网络模型进行训练，并在每步训练后将每个所述全连接层的权重矩阵中最接近于零的元素置零，直至每个所述全连接层中为零的元素在该全连接层的全部元素中所占比例达到预设值为止。

优选的，生成包含有n个全连接层的VGG网络模型，包括：

生成包含有n个全连接层及m个卷积层的VGG网络模型，每个所述卷积层中均包含激励函数RELU且经过降采样处理。

优选的，对所述VGG网络模型进行训练，包括：

采取学习速率自适应的方法对所述VGG网络模型进行训练。

优选的，在每步训练后将每个所述全连接层的权重矩阵中最接近于零的元素置零，包括：

在每步训练后将每个所述全连接层的权重矩阵转化为与每个所述全连接层对应的一维数组；

对每个所述一维数组中元素的绝对值进行降序排列，并将每个所述一维数组中排在最后的不为零的元素置零。

一种VGG网络的训练装置，包括：

生成模块，用于：生成包含有n个全连接层的VGG网络模型；

训练模块，用于：对所述VGG网络模型进行训练，并在每步训练后将每个所述全连接层的权重矩阵中最接近于零的元素置零，直至每个所述全连接层中为零的元素在该全连接层的全部元素中所占比例达到预设值为止。

优选的，所述生成模块包括：

生成单元，用于：生成包含有n个全连接层及m个卷积层的VGG网络模型，每个所述卷积层中均包含激励函数RELU且经过降采样处理。

优选的，所述训练模块包括：

训练单元，用于：采取学习速率自适应的方法对所述VGG网络模型进行训练。

优选的，所述训练模块包括：

置零单元，用于：在每步训练后将每个所述全连接层的权重矩阵转化为与每个所述全连接层对应的一维数组；对每个所述一维数组中元素的绝对值进行降序排列，并将每个所述一维数组中排在最后的不为零的元素置零。

本发明提供了一种VGG网络的训练方法及装置，其中该方法包括：生成包含有n个全连接层的VGG网络模型；对所述VGG网络模型进行训练，并在每步训练后将每个所述全连接层的权重矩阵中最接近于零的元素置零，直至每个所述全连接层中为零的元素在该全连接层的全部元素中所占比例达到预设值为止。本申请公开的上述技术方案中，在对VGG网络模型的每步训练之后，则将每个全连接层中最接近于零的权重矩阵元素置零，直至每个全连接层中为零的权重矩阵元素在该全连接层中全部权重矩阵元素中所占比例达到预设值为止，从而实现对全连接层参数的逐步精简，每次精简只丢失表现最弱的那个权重元素，从而不仅能够有效的防止重要权重的丢失，有效防止精度下降，还可以使得VGG网络模型更加精简，使得训练得到的VGG网络模型所占内存较少，进而能够移植到移动设备中。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种VGG网络的训练方法的流程图；

图2为本发明实施例提供的一种VGG网络的训练方法中VGG网络模型的示例图；

图3为本发明实施例提供的一种VGG网络的训练装置的结构示意图。