[发明专利]应用于句子嵌入的文本表示方法和装置

权利要求书

1.一种应用于句子嵌入的文本表示方法，其特征在于，包括：

获得需要处理的文件，从所述文件中提取句子；其中，所述文件包括：文本文件、网页文件；

获得与句子中的n个词对应的n个父节点词；

确定所述父节点词和与此父节点词对应的孩子节点词集合C(p)，对所述C(p)中的每个孩子节点词分别设置隐藏状态h_k和记忆单元c_k，其中k∈{1,2,...,|C(p)|}，|C(p)|为所述C(p)中孩子节点词的数量；

基于所述C(p)中的所有孩子节点状态的隐交互状态获得所述父节点词的隐交互状态

将所述和所述父节点词输入LSTM模型，获得所述父节点词的记忆单元和隐藏状态；

获得与n个父节点词对应的父节点词序列{x₁,x₂,...,x_n}，并根据所述父节点词的隐藏状态获得与所述{x₁,x₂,...,x_n}对应的隐藏状态序列{h₁,h₂,...,h_n}；

基于{h₁,h₂,...,h_n}获得{x₁,x₂,...,x_n}中的各父节点词与其它父节点词的交互表示序列{r₁,r₂,...,r_n}，并基于所述{r₁,r₂,...,r_n}生成句子嵌入。

2.如权利要求1所述的方法，其特征在于，所述获得所述父节点词的记忆单元和隐藏状态包括：

将父节点词x_p表示为隐向量其中，W^(h)和b^h分别是权重矩阵和偏置量；

连接父节点词x_p和父节点词x_p对应的第k个孩子节点词，获得其中，α_k是和h_k的连接表示，W_α是连接矩阵；

计算父节点词x_p的第k个孩子节点的词权重

获得父节点词x_p的隐交互状态

将所述和所述父节点词x_p输入LSTM模型，获得所述父节点词x_p的记忆单元和隐藏状态。

3.如权利要求2所述的方法，其特征在于，所述将所述和所述父节点词x_p输入LSTM模型，获得所述父节点词x_p的记忆单元和隐藏状态包括：

使用隐交互状态和父节点词x_p作为LSTM模型的输入得到：

f_kp＝σ(U^(f)x_p+W^(f)h_k+b^(f))；

其中，i_p，o_p和f_kp分别是输入门，输出门和遗忘门；u_p是x_p的候选隐藏状态；x_p的对应矩阵为U⁽ⁱ⁾，U^(o)，U^(u)和U^(f)，或者h_k的对应权重矩阵为W⁽ⁱ⁾，W^(o)，W^(u)和W^(f))，偏置量为b⁽ⁱ⁾，b^(o)，b^(u)和b^(f)；

获得父节点词x_p的记忆单元为：

获得父节点词x_p的隐藏状态为：

h_P＝o_P⊙tanh(c_P)。