[发明专利]用于语言建模和预测的改进的人工神经网络方法、电子设备

说明书

本发明涉及改进的人工神经网络，其用于基于输入序列项目来预测项目序列中的一个或多个下一项目。改进的人工神经网络大大降低了存储器的需求，使其适用于诸如移动电话和平板电脑等电子设备。本发明包括改进的人工神经网络在其上操作的电子设备、以及使用改进的人工神经网络来对序列中的一个或多个下一项目进行预测的方法。

背景技术

诸如移动电话和平板电脑等现代移动电子设备通常经由软键盘来接收经键入的用户输入，除了简单地接收键盘输入之外，软键盘还包括各种附加功能。这些附加功能之一是能够在给出先前的单词或输入的(多个)单词的情况下预测用户将经由键盘输入的下一单词。该预测通常使用诸如在欧洲专利号2414915中所详细描述的基于n元语法(n-gram)的预测语言模型来生成。

基于n元语法的预测语言模型经常受到批评的缺点之一是它们仅依赖于先前几个单词的统计依赖关系。相比之下，本领域已经示出人工神经网络(ANN)和递归神经网络(RNN)语言模型在语言预测方面比n元语法模型表现更好(Recurrent Neural NetworkBased Language Model,Mikolov et al,2010；RNNLM-Recurrent Neural NetworkLanguage Modeling Toolkit,Mikolov et al,2011)。

人工神经网络是一种统计学习算法，其结构来源于在动物的中枢神经系统中找到的神经元和突触网络。ANN是用于对依赖于大量输入的未知函数进行逼近的有效工具。然而，在本上下文中，“函数”应当被赋予其最广泛的含义，即“将输入映射到输出的任何操作”。 ANN不仅可用于逼近数学函数，还可广泛用于分类器、数据处理和机器人学等。

为了逼近这些未知函数，ANN在已知输入和相关联的已知输出的大型数据集上被训练。已知输入被输入到ANN，并且ANN的各种内部属性的值被迭代地调节，直到ANN输出或逼近已知输入的已知输出。通过使用具有多组已知输入和输出的大型数据集来执行该训练过程，ANN被训练为逼近将已知输入映射到已知输出的基础函数。通常，用来逼近不同功能的ANN具有相同的人工神经元和突触的一般结构；这是一个提供期望行为的训练过程。

迄今为止，由于ANN的计算复杂性和存储需求，在移动设备上运行ANN是不实际的。现有技术中的神经网络，并且特别是神经网络语言模型已经被设计为在具有大量存储空间和处理能力的计算机或服务器上运行。与计算机或服务器相比，诸如移动电话和平板电脑等便携式设备通常具有少得多的随机存取存储器(RAM)和长期非易失性存储器。移动设备上可用资源的减少不仅阻止包括ANN的大型复杂应用以可接受的性能水平执行，而且它们的大的尺寸也会阻止最终用户将应用安装在其有限存储设备上。

因此，需要一种能够通过提供存储和存储器需求上的显著减少来在移动设备上有效运行的ANN预测性语言模型。

下面描述的实施例不限于解决已知的ANN或ANN预测语言模型的任何或全部缺点的实施方式。

发明内容

本发明的第一方面提供了一种电子设备，其包括处理器、至少一个输入接口和人工神经网络。人工神经网络包括输入层、输出层以及至少第一和第二隐藏层。第二隐藏层的单元的数目等于输入层的单元的数目。处理器被配置为通过以下方式基于在至少一个输入接口处接收的输入序列项目来生成项目序列中的一个或多个预测的下一项目：使用存储的数据来取回与输入序列项目对应的上下文向量；用人工神经网络来处理上下文向量；通过使用至少一些存储的数据来对人工神经网络的第二隐藏层的输出进行变换，来在人工神经网络的输出层处取回输出向量，其中输出向量对应于一个或多个预测的下一项目；以及输出输出向量。