[发明专利]深层神经网络的学习方法及学习装置

说明书

本发明提供可缩短以属于多个范畴的数据使DNN进行学习的时间的DNN的学习方法。该方法包含对以日英的学习数据使语言独立的子网络(120)和依赖语言的子网络(122及124)进行学习的步骤。该步骤包含：以日文数据使将子网络(120)的输出层的神经元和子网络(122)的输入层的神经元连接而成的DNN进行学习的第1步骤；形成取代子网络(122)而将子网络(124)连接至子网络(120)而成的DNN，并以英文数据进行学习的步骤；交替地执行这些步骤直至学习数据结束为止的步骤；在完成后将第1子网络(120)与其他子网络分离开并作为范畴独立的子网络存储至存储介质的步骤。

技术领域

本发明涉及声音识别及图像识别等识别技术所采用的深层神经网络(以下为了使记载简略而称为“DNN”。)，尤其涉及使特定用途的DNN的学习高速化的技术。

背景技术

作为机器学习的1种方法，DNN正备受关注。DNN例如适用于图像识别及声音识别等，在以下的文献中报告了：发挥错误率较以前降低20～30％等优越的性能。

Y.Bengio，“Learning deep architectures for AI，”Foundations and Trendsin Machine Learning，Vol.2，No.1，pp.1-127，2009.

G.Hinton，L.Deng，D.Yu，G.Dahl，A.Mohamed，N.Jaitly，A.Senior，V.Vanhoucke，P.Nguyen，T.Sainath，and B.Kingsbury，“Deep Neural Networks for AcousticModeling in Speech Recognition：The Shared Views of Four Research Groups，”IEEESignal Processing Magazine，Vol.29，No.6，pp.82-97，2012.

A.Mohamed，G.Dahl，and G.Hinton，“AcousticModeling using Deep BeliefNetworks，”IEEE Transactions onAudio，Speech，and Language Processing，Vol.20，No.1，pp.14-22，2012.

DNN可以说是具有比以往更多的层的神经网络。具体是，参照图1，DNN30包含输入层40、输出层44、及设置在输入层40与输出层44之间的多个隐藏层42。输入层40具有多个输入节点(神经元)。输出层44具有与识别对象的数量相应的神经元。隐藏层42具有多个隐藏层(7层、9层、11层等)。各隐藏层分别具有多个神经元。

在DNN30中，不仅层的数量多，各层内的神经元数也多。因而，有时用于学习的计算量会成为庞大的量。以前进行这种计算几乎是不可能的，但随着计算机自身的高功能化、分布并行处理技术的发达及计算理论的发展，也能进行DNN的学习。可是，在为了学习而使用大量数据的情况下，为了学习依然需要长时间。例如，在某一实验中，作为学习数据而使用1千万个200像素×200像素的图像，使用了1，000台的16核的计算机的DNN的学习则需要3天(Quoc V.Le，Marc′Aurelio Ranzato，Rajat Monga，Matthieu Devin，Kai Chen，GregS.Corrado，Jeff Dean Andrew Y.Ng，″Building High-level FeaturesUsing LargeScale Unsupervised Learning，″Proc.ICML，2012.)。

发明内容

发明所要解决的技术问题