[发明专利]具有用于语言建模和预测的副输入的人工神经网络

权利要求书

1.一种电子设备，包括：

处理器，以及

至少一个输入接口，其被配置为接收一个或多个输入序列项目；

其中，所述处理器被配置为：

实现人工神经网络；并且

通过以下方式使用所述人工神经网络来生成项目的序列中的一个或多个经预测的接下来的项目：将在所述至少一个输入接口处接收的输入序列项目以及副输入作为输入提供至所述人工神经网络，其中，所述副输入被配置为保存在所述输入接口处接收的输入序列项目的记录。

2.根据权利要求1所述的电子设备，其中，所述处理器被配置为通过以下方式来生成所述项目的序列中的所述一个或多个经预测的接下来的项目：将所述输入序列项目和所述副输入作为输入提供至所述人工神经网络的输入层。

3.根据权利要求2所述的电子设备，其中，所述处理器被配置为生成所述序列中的一个或多个经预测的后续的项目。

4.根据权利要求3所述的电子设备，其中，所述处理器被配置为通过以下方式来生成所述序列中的所述一个或多个经预测的后续的项目：将第二输入序列项目和所述副输入作为输入提供至所述人工神经网络的输入层。

5.根据权利要求4所述的电子设备，其中，所述第二输入序列项目是由所述人工神经网络输出的、所述序列中先前预测的接下来的项目。

6.根据权利要求1至5中任何一项所述的电子设备，其中，所述人工神经网络是固定上下文神经网络。

7.根据权利要求1至6中任何一项所述的电子设备，其中，所述处理器被配置为通过以下方式来生成项目的序列中的所述一个或多个经预测的接下来的项目：将一个或多个额外的输入序列项目作为输入另外提供至所述人工神经网络。

8.根据权利要求7所述的电子设备，其中，所述输入序列项目和一个或多个额外的序列项目是连续的先前的序列项目。

9.根据任何前述权利要求所述的电子设备，其中，所述输入序列项目和所述副输入被连结以形成被提供至所述人工神经网络的输入层的输入向量。

10.根据权利要求1至5中任何一项所述的电子设备，其中，所述人工神经网络是循环神经网络。

11.根据权利要求10所述的电子设备，其中，所述处理器被配置为通过以下步骤来生成所述序列中的一个或多个经预测的接下来的项目：

a、首先，通过将所述副输入提供至所述人工神经网络的输入层来利用所述人工神经网络处理所述副输入以将所述人工神经网络初始化；

b、随后，通过将所述输入序列项目提供至所述人工神经网络的所述输入层来利用所述人工神经网络处理所述输入序列项目，以生成所述项目的序列中的一个项目或经预测的接下来的项目。

12.根据权利要求10或11中任何一项所述的电子设备，其中，所述处理器被配置为生成所述序列中的一个或多个经预测的后续的项目。

13.根据权利要求12所述的电子设备，其中，所述处理器被配置为通过将第二输入序列项目作为输入提供至所述人工神经网络的输入层来生成所述序列中的所述一个或多个经预测的后续的项目。

14.根据权利要求13所述的电子设备，其中，所述第二输入序列项目是由所述人工神经网络输出的、所述序列中所述先前预测的接下来的项目。

15.一种电子设备，包括：

处理器，以及

至少一个输入接口，其被配置为接收一个或多个输入序列项目；

其中，所述处理器被配置为：

实现人工神经网络；

基于副输入来估计所述人工神经网络的初始状态，其中，所述副输入被配置为保存在所述输入接口处接收的输入序列项目的记录；以及

通过以下方式使用所述人工神经网络来生成项目的序列中的一个或多个经预测的接下来的项目：将在所述至少一个输入接口处接收的输入序列项目作为输入提供至所述人工神经网络。