[发明专利]利用硬性注意力的准确且可解释的分类

权利要求书

1.一种计算机系统，其利用硬性注意力执行分类，该计算机系统包括：

机器学习分类模型，包括：

表示模型，其被配置为接收和处理包括多个部分的输入，以分别为所述输入的多个部分生成多组特征；

分类模型，其被配置为接收和处理所述多组特征，以为所述输入的多个部分中的每个部分生成相应的分类数据；和

注意力模型，其被配置为接收和处理所述多组特征，以在一个或多个迭代中的每一个处选择所述输入的多个部分中的被注意部分；

其中，在一个或多个迭代的每一个处，所述机器学习分类模型被配置为输出相应的预测，该预测包括在这样迭代处由所述注意力模型选择的所述输入的被注意部分的相应分类数据；

一个或多个处理器；和

一个或多个非暂时性计算机可读介质，其存储指令，所述指令在由所述一个或多个处理器执行时使计算机系统执行操作，其中，这些操作包括：

获得包括多个部分的所述输入；

将所述输入输入到所述机器学习分类模型中；以及

在一个或多个迭代的每一个处，接收相应的预测作为所述机器学习分类模型的输出。

2.根据任一前述权利要求所述的计算机系统，其中，所述操作还包括：

生成最终分类，其中，生成最终分类包括：

对针对一个或多个迭代所接收的各个预测取平均，以获得平均预测；以及

从所述平均预测中选择得分最高的类别作为最终分类。

3.根据任一前述权利要求所述的计算机系统，其中，所述操作还包括：

提供硬性注意力数据以显示给用户，其中所述硬性注意力数据标识在一个或多个迭代的每一个处选择的所述输入的被注意部分。

4.根据任一前述权利要求所述的计算机系统，其中所述注意力模型包括：

注意力网络，其被配置为接收和处理所述多组特征以产生中间注意力表示；和

扫视器单元，其被配置为在一个或多个迭代的每一个处：

获得所述中间注意力表示；

获得与最近迭代相关联的单元状态，其中，所述单元状态标识在先前迭代中已被选择为被注意部分的部分；

组合所述中间注意力表示和与先前迭代相关联的单元状态，以产生在所述输入的多个部分上的位置概率分布；

基于所述位置概率分布选择被注意部分；以及

基于所述被注意部分更新单元状态以用于下一次迭代。

5.根据权利要求4所述的计算机系统，其中，所述注意力网络被配置为：

接收由所述分类模型产生的中间分类表示；以及

至少部分地基于所述多组特征和所述中间分类表示来产生中间注意力表示。

6.根据权利要求4或5所述的计算机系统，其中，所述扫视器单元被配置为组合所述中间注意力表示和与先前迭代相关联的单元状态，使得对于在先前的迭代中已经被选择为被注意部分的部分，所述位置概率分布实际上为零。

7.根据任一前述权利要求所述的计算机系统，其中，所述输入包括图像，并且其中，所述输入的多个部分包括所述图像的多个块。

8.根据权利要求7所述的计算机系统，其中，所述图像的多个块至少部分地重叠。

9.根据任一前述权利要求所述的计算机系统，其中，所述输入包括描述文本的文本输入、描述音频的音频输入或者描述由一个或多个传感器生成的数据的传感器数据输入。

10.根据任一前述权利要求所述的计算机系统，其中，所述表示模型包括第一卷积神经网络，所述分类模型包括第二卷积神经网络，并且所述注意力模型包括第三卷积神经网络。

11.根据任一前述权利要求所述的计算机系统，其中，由所述分类模型为所述输入的多个部分中的每一个产生的相应分类数据包括为多个候选分类标签中的每一个提供值的对数几率矢量。