[发明专利]使用深度学习技术确定文档中的上下文阅读顺序

摘要

公开了使用深度学习技术确定文档中的上下文阅读顺序。生成标记为当前的文本运行(R1)、“右侧”文本运行(R1)和“下方”文本运行(R3)。R1标记的文本运行由第一LSTM处理，R2标记的文本运行由第二LSTM处理，并且R3标记的文本运行由第三LSTM处理，其中每个LSTM生成相应的内部表示(R1'、R2'和R3')。如将理解的，可以使用除了LSTM之外的深度学习工具。相应的内部表示R1'、R2'和R3'被级联或以其他方式组合成矢量或张量表示，并且被提供给分类器网络，分类器网络生成用于下一文本运行、作为按照文档的阅读顺序的“右侧”、“下方”或EOS的预测标签。

主权项

1.一种用于确定文档中的阅读顺序的方法，所述方法包括：通过第一网络处理当前文本运行，以生成所述当前文本运行的第一表示，所述第一表示包括使用有状态的字符级模型来训练的递归神经网络(“RNN”)的隐藏状态，其中所述第一网络的所述隐藏状态在训练过程中没有重置；通过相应的第二网络和第三网络来处理在所述当前文本运行的右侧的第二文本运行和在所述当前文本运行的下方的第三文本运行，以生成相应的第二表示和第三表示，其中所述第二表示和所述第三表示包括使用无状态的字符级模型来训练的RNN的相应隐藏状态，其中所述第二网络和所述第三网络的所述隐藏状态在训练过程中被周期性重置；级联所述第一表示、所述第二表示和所述第三表示以生成级联表示；通过分类器处理所述级联表示，以生成预测的下一文本运行标签；基于所述预测的下一文本运行标签来生成文本块，所述文本块包括按照阅读顺序序列的至少一个文本运行；以及基于所述预测的下一文本运行标签来更新所述当前文本运行，使得所述当前文本运行是在所述当前文本运行的右侧的文本运行和在所述当前文本运行的下方的文本运行中的一项。