[发明专利]数据处理装置、数据处理方法以及压缩数据

说明书

数据处理部(101)使用神经网络来处理输入数据。压缩控制部(102)生成定义了量化步长的量化信息。编码部(103)对网络结构信息和量化信息进行编码而生成压缩数据，网络结构信息包含以由压缩控制部(102)决定的量化步长量化后的参数数据。

技术领域

本发明涉及对与神经网络的结构相关的信息进行编码并压缩的数据处理装置、数据处理方法以及压缩数据。

背景技术

作为解决输入数据的分类问题以及回归问题的方法，具有机器学习。

机器学习具有对脑的神经回路(神经元)进行模拟的神经网络这样的手法。在神经网络中，利用通过神经元相互连接而成的网络来表现的概率模型(识别模型、生成模型)进行输入数据的分类(识别)或回归。

进而，在不仅具有全连接层(Fully-connected Layer)而且具有卷积层(Convolution Layer)和池化层(Pooling Layer)的神经网络即卷积神经网络(Convolutional Neural Network)中，能够生成实现数据的滤波处理的网络等实现分类以及回归以外的数据处理的网络。例如，能够将图像或声音作为输入，通过卷积神经网络实现如下处理：实现输入信号的噪声去除或高品质化等的图像或声音的滤波处理、压缩声音等失去高频的声音的高频复原处理、一部分区域缺损的图像的复原处理(inpainting)、图像的超分辨率处理等。

除此以外，近年来还发表了如下的对抗性生成网络(Generative AdversarialNetwork)这样的新神经网络：输入到判定通过生成模型生成的数据是否是真的数据(是否不是通过生成模型生成的数据)的识别模型来进行数据的真伪判定，将生成模型和识别模型组合起来构筑网络，以使生成模型不被识别模型识破生成数据是生成数据，且识别模型识破生成数据是生成数据的方式，对抗性地进行学习，从而高精度地生成生成模型。

在这些神经网络中，通过使用大量数据的学习而优化网络参数，从而能够实现高性能化。

但是，神经网络的数据大小存在大容量化的倾向，使用神经网络的计算机的计算负载也增加。

相对于此，在非专利文献1中，记载有对作为神经网络的参数的边的权重进行标量量化并编码的技术。通过对边的权重进行标量量化并编码，对与边相关的数据的数据大小进行压缩。

现有技术文献

专利文献

非专利文献2：Vincent Vanhoucke,Andrew Senior,Mark Z.Mao,“Improving thespeed of neural networks on CPUs”,Proc.Deep Learning and Unsuper visedFeature Learning NIPS Workshop,2011.

发明内容

发明要解决的课题

然而，对神经网络中的多个边分别赋予的权重的最优值根据网络的学习结果而不同，并非恒定。

因此，边的权重的压缩大小产生偏差，在非专利文献1记载的技术中，存在无法实现与神经网络的边相关的参数数据的高压缩这样的课题。

本发明用于解决上述课题，其目的在于，得到能够对神经网络的参数数据进行高压缩的数据处理装置、数据处理方法以及压缩数据。

用于解决课题的手段

本发明的数据处理装置具备数据处理部、压缩控制部以及编码部。数据处理部使用神经网络对输入数据进行处理。压缩控制部决定对神经网络的参数数据进行量化时的量化步长，生成定义了量化步长的量化信息。编码部对网络结构信息和量化信息进行编码而生成压缩数据，网络结构信息包含以由压缩控制部决定的量化步长量化后的参数数据。

发明效果