[发明专利]用于信息取回系统的多模态表格编码

权利要求书

1.一种方法，包括，自动地：

接收包含表格的电子文档，其中：

所述表格包括：多个行、多个列以及包括列标签或行标签的模式，并且

所述电子文档包括位于所述表格外部的所述表格的描述；

操作单独的机器学习编码器以分别单独地对所述表格的所述描述、所述表格的所述模式、所述表格的所述行中的每一行以及所述表格的所述列中的每一列进行编码，其中：

所述表格的所述模式与分别标记所述列标签或所述行标签中的每一个的末端的列末端令牌或行末端令牌一起被编码，

所述表格的所述行中的每一行与标记相应行的每个数据单元的末端的列末端令牌并且与标记相应行的末端的行末端令牌一起被编码，并且

所述表格的所述列中的每一列与标记相应列的每个数据单元的末端的行末端令牌并且与标记相应列的末端的列末端令牌一起被编码；

将机器学习门控机制应用于经编码的所述描述、经编码的所述模式、经编码的所述行以及经编码的所述列，以产生所述表格的融合编码，其中所述融合编码表示所述表格的结构和所述表格的内容两者；以及

在计算机化信息取回系统的索引中存储所述表格的所述融合编码。

2.根据权利要求1所述的方法，其中所述单独的机器学习编码器包括对所述表格的所述描述进行编码的递归卷积神经网络(RCNN)。

3.根据权利要求1所述的方法，其中所述单独的机器学习编码器包括对所述表格的所述模式进行编码的多层感知器(MLP)、或者对所述表格的所述模式进行编码的变换器。

4.根据权利要求1所述的方法，其中所述单独的机器学习编码器包括：

第一三维卷积神经网络(3D-CNN)，所述第一3D-CNN对所述表格的所述行进行编码；以及

第二3D-CNN，所述第二3D-CNN对所述表格的所述列进行编码。

5.根据权利要求1所述的方法，其中所述机器学习门控机制包括门控多模态单元(GMU)。

6.根据权利要求1所述的方法，还包括，在对所述描述、所述模式、所述行以及所述列的所述编码之前：

将所述描述、所述模式、所述行以及所述列自动地变换成令牌嵌入。

7.根据权利要求1所述的方法，还包括，自动地：

接收搜索查询；

操作对所述描述进行编码的所述机器学习编码器以对所述搜索查询进行编码；以及

操作所述计算机化信息取回系统，以基于所编码的所述搜索查询来搜索所述索引，并且返回所述表格中的至少一些部分作为搜索结果。

8.根据权利要求7所述的方法，还包括，在对所述搜索查询进行编码之前：

将所述搜索查询自动地变换成一个或多个令牌嵌入。