[发明专利]应用于句子嵌入的文本表示方法和装置

说明书

本发明公开了一种应用于句子嵌入的文本表示方法和装置，其中的方法包括：确定父节点词和与此父节点词对应的孩子节点词集合，基于所有孩子节点状态的隐交互状态获得父节点词的隐交互状态；获得与父节点词对应的父节点词序列，并根据父节点词的隐藏状态获得隐藏状态序列；基于隐藏状态序列获得各父节点词与其它父节点词的交互表示序列，生成句子嵌入。本发明的方法和装置，提出了通过两层次交互表示实现句子的嵌入，两层次交互表示分别为局部交互表示和全局交互表示，并结合这两种表示生成混合交互表示，能够提高句子嵌入和效率和精度，在精度方面明显优于Tree‑LSTM等模型。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种应用于句子嵌入的文本表示方法和装置以及存储介质。

背景技术

句子嵌入将文本空间映射为实值向量或矩阵，这在文本的机器理解方面发挥了十分重要的作用，其应用包含了情感分类，问答系统和文本摘要。关于句子嵌入的工作可以归为以下三类，即统计性，序列化和结构化嵌入。统计性嵌入模型是根据统计指标进行估计的，例如，共现词的频率、共现词对频率，以及在不同文本中词的权重(在TF-IDF模型中)。序列化嵌入模型主要依赖于神经网络结构来学习文本表示，基于单层隐藏层，一种卷积神经网络或者递归神经网络(RNN)。结构化嵌入模型考虑了句法结构来反映文本的语义，例如，递归神经网络和树结构的长短记忆网络(Tree-LSTM)。目前的句子嵌入模型在文本分类任务上取得了不错的效果。然而，在现有的嵌入模型中，句子嵌入的生成过程通常遵循着一种称之为单向作用。也就是说，为先前文本生成的表示作为背景来决定接下来文本的表示，受限于单向作用会造成部分语义缺失。

发明内容

有鉴于此，本发明要解决的一个技术问题是提供一种应用于句子嵌入的文本表示方法和装置以及存储介质。

根据本发明的一个方面，提供一种应用于句子嵌入的文本表示方法，包括：获得需要处理的文件，从所述文件中提取句子；其中，所述文件包括：文本文件、网页文件；获得与句子中的n个词对应的n个父节点词；确定所述父节点词和与此父节点词对应的孩子节点词集合C(p)，对所述C(p)中的每个孩子节点词分别设置隐藏状态h_k和记忆单元c_k，其中k∈{1,2,...,|C(p)|}；基于所述C(p)中的所有孩子节点状态的隐交互状态获得所述父节点词的隐交互状态将所述和所述父节点词输入LSTM模型，获得所述父节点词的记忆单元和隐藏状态；获得与n个父节点词对应的父节点词序列{x₁,x₂,...,x_n}，并根据所述父节点词的隐藏状态获得与所述{x₁,x₂,...,x_n}对应的隐藏状态序列{h₁,h₂,...,h_n}；基于{h₁,h₂,...,h_n}获得{x₁,x₂,...,x_n}中的各父节点词与其它父节点词的交互表示序列{r₁,r₂,...,r_n}，并基于所述{r₁,r₂,...,r_n}生成句子嵌入。

可选地，所述获得所述父节点词的记忆单元和隐藏状态包括：将父节点词x_p表示为隐向量其中，W^(h)和b^h分别是权重矩阵和偏置量；连接父节点词x_p和父节点词x_p对应的第k个孩子节点词，获得其中，α_k是和h_k的连接表示，W_α是连接矩阵；

计算父节点词x_p的第k个孩子节点的词权重