[发明专利]具有颗粒化注意力的层次神经网络

说明书

本文所公开的技术涉及生成并且应用颗粒注意力层次神经网络模型以分类文档。在各种实施例中，指示所述文档的数据可以被获得(102)并且使用双粒度注意力机构处理(104)到层次网络模型的两个或更多个层中的第一层中以生成第一层输出数据，其中，双粒度注意力机构更重地加权指示所述文档的数据的一些部分。指示所述文档的数据的一些部分在所述双粒度注意力机构的训练期间被集成到所述层次网络模型中。第一层输出数据可以在所述层次网络模型的两个或更多个层中的第二层中被处理(106)以生成第二层输出数据。分类标签可以根据第二层输出数据来生成(108)。

技术领域

本文所描述的各种实施例总体上涉及自然语言处理。更具体地，但是非专有地，本文中所公开的各种方法和装置涉及具有多粒度注意力机构的层次网络模型。

背景技术

在用于自由文本文档(诸如放射学报告)的分类的常规机器学习方法中，可以执行领域特异性特征工程学以考虑面向任务的关键特征。包括卷积神经网络(“CNN”)和/或递归神经网络(“RNN”)的深度学习技术已经示出针对文本分类的优于常规机器学习方法的经改进的性能。然而，深度神经网络模型通常从纯原始文本数据获悉任务特异性特征并且不基于文档的多个粒度强调重要特征。

发明内容

本公开涉及用于具有用于文档分类的多粒度注意力机构的层次网络模型的方法和装置。在各种实施例中，在各种领域中的文档中发现的固有结构可以使用在层次结构模型中。字符、词语、短语、句子、章节(即，在单个标题下的群组、段落等)等可以基于其相关性被分配不同的权重以准确地分类文档。在一些实施例中，使用具有使用本文所描述的技术学习的权重的层次模型执行文档分类可以促进跨不同粒度的广泛的权重可视化和分析。在各种实施例中，基于颗粒化注意力的层次神经网络(“HNN”-GA)可以使用在文档分类中(例如，放射学报告文档分类、其他文档领域内的分类、模型可以搜索若干粒度水平处的文档的搜索工具等)。HNN-GA可以具有表示不同水平和/或粒度的文档的层次结构。文档水平可以包括字符、词语、短语、句子、章节等。额外地或者备选地，基于词语、短语、句子、段落等的注意力机构可以强调可以在使用HNN-GA的准确分类中扮演角色的信息。

文档的不同粒度水平中的固有结构(诸如字符、词语、句子和章节)具有可以由神经网络分类模型考虑和学习以进一步改进语义丰富的文档(诸如放射学报告)的分类的重要的背景特征。包括深度学习网络模型的许多神经网络模型可以利用注意力机构。通常，注意力机构可以允许网络模型学习以聚焦于模型的特定输入数据。通常，注意力机构是通过参数公式化以聚焦于局部和/或全局特征的接口并且可以通过使用一个或多个表达的计算系统评价。

计算系统可以将本文所描述的技术用于文本处理工作流程中的重复性任务。例如，在放射学工作流程中，本文所描述的技术可以被用于自动生成放射学报告分类以过滤应当被带到放射科医师的注意力的文本放射学报告中的必要信息。这可以使得放射科医师能够将更多努力和认知能力专用于更困难的诊断推理任务。现有的自然语言处理(“NLP”)系统可以使用来自放射学报告分类的词汇线索和背景。这些现有的NLP系统可以提供次优的准确度并且可以具有适于新数据集的困难。另外，基于多粒度的固有文档结构未用在现有框架中。

在许多实施例中，HNN-GA可以包括RNN。额外地或者备选地，HNN-GA可以包括可以用于文本文档分类的一个或多个长短期记忆(“LSTM”)网络(或者在一些情况下，门控递归单元或“GRU”)。在各种实施例中，文档可以作为一组字符提供给HNN-GA。HNN-GA可以经由LSTM网络中的隐藏单元编码字符。字符层处的LSTM网络的输出可以继而使用在HNN-GA中以随后以类似的方式编码词语、句子、章节和文档表示。标记化的词语、短语、句子、章节等可以经由注意力层附接。例如，词语注意力层可以包括在HNN-GA的词语层中以学习权重以理解哪些词语对下层的任务领域更重要。