[发明专利]信号处理系统

说明书

我们描述了一种信号处理器，所述信号处理器包括：概率向量生成系统，其中，所述概率向量生成系统具有用于为输出示例的类别接收类别向量的输入端以及用于为输出示例的所述类别提供概率向量的输出端，其中，所述输出示例包括数据点的集合，并且其中，所述概率向量针对输出示例的所述类别定义数据点的所述集合中的每一个的概率；存储器，所述存储器存储多个所述类别向量，输出示例的多个所述类别中的每一个各一个；以及随机选择器，所述随机选择器用于选择输出示例的所存储的类别以用于将所对应的类别向量呈现给所述概率向量生成系统；其中，所述信号处理器被配置成针对与所述选择的存储的类别相对应的输出示例来输出数据。

技术领域

本发明一般地涉及用于信号处理的电子硬件、软件以及相关方法，具体地涉及生成依赖于并且表示先前学习的示例数据的数据的信号处理系统。

背景技术

我们将主要描述采用神经网络和其它技术来生成和先前所学习的那些匹配的输出数据示例的信号处理器。例如，信号处理器可以利用从零至九的手写数字的许多不同示例训练并且然后可以被采用来从所学习的类别中的一个随机地生成新的示例。因此可以从(训练示例的)学习的分布的集合生成输出，并且一般而言，还可以学习训练示例的类别。我们还将描述不通过精确地指定类别而是替代地通过提供为训练示例定义“场境(context)”的数据来使用外部输入来选择所生成的输出示例的类别的技术。信号处理器使用示例及其场境来训练，并且之后场境数据能够被用来偏置输出示例的生成。

此通用类型的信号处理器具有一应用范围。例如它们能够被用于利用或利用场境的预测，并且因此在许多类型的图像和音频信号处理中以及在控制应用(例如预测机器人手臂的位置)中以及在其它应用(例如针对假定药物发现的调优搜索技术)中有应用。信号处理器/系统的实施例可以处理包括但不限于下列的数据：音频数据、视频数据、图像数据、游戏数据、传感器数据、致动器数据、控制(包括电机控制)数据、生物数据、物理数据、化学数据、空间数据、文本数据、搜索数据以及其它数据。

已知使用波尔兹曼(Boltzmann)机来提供如例如在2009年人工智能和统计国际会议会刊第5卷第448-455页Salakhutdinov和Hinton的“Deep Boltzmann Machine”(http://www.cs.utoronto.ca/～rsalakhu/papers/dbm.pdf)中描述的所谓的再生模型。然而，深度波尔兹曼机需要大量处理能力来实现。

还能够采用Helmholtz机来提供再生模型，但是同时这样的机器具有在实践中它们非常慢地学习的一些有趣特征并且它们生成的输出示例是差的。

我们将描述解决这两个问题的改进的信号处理器和相关架构。

发明内容

根据本发明的第一方面，因此提供了信号处理器，所述信号处理器包括：概率向量生成系统，其中，所述概率向量生成系统具有用于为输出示例的类别接收类别向量的输入端以及用于为输出示例的所述类别提供概率向量的输出端，其中，所述输出示例包括数据点的集合，并且其中，所述概率向量针对输出示例的所述类别定义数据点的所述集合中的每一个的概率；存储器，所述存储器存储多个所述类别向量，输出示例的多个所述类别中的每一个各一个；以及随机选择器，所述随机选择器用于选择输出示例的所述存储的类别以用于将所对应的类别向量呈现给所述概率向量生成系统；其中，所述信号处理器被配置成针对与所选择的存储的类别相对应的输出示例来输出数据。

在实施例中，已经通过使用一组示例来训练信号处理器而学习类别向量与概率向量以及所存储的类别向量本身之间的关系，如在下面进一步描述的。训练系统可以包括信号处理器的一部分，或者可以在创建信号处理器的实例时训练信号处理器中的变量参数，并且之后信号处理器可以独立于训练模块/系统操作。在一些优选实施方式中，概率向量生成系统操作来在定义输出数据点的集合的概率的概率向量(输出向量)与作为类别向量的概率向量的压缩表示之间转化。因此在实施例中，类别向量是概率向量的压缩表示。