[发明专利]文本编码方法及系统

权利要求书

1.一种文本编码方法，其特征在于，包括：

预先构建基于依存句法树的文本编码模型，所述文本编码模型用于描述不同依存关系对应的转换矩阵和偏置项、以及每个词向量映射到隐藏层的转换矩阵和偏置项，相同依存关系对应相同的转换矩阵和偏置项，不同依存关系对应的转换矩阵和/或偏置项不同；

接收待编码文本；

以句为单位，对所述待编码文本进行依存句法分析，得到待编码文本中各句文本的依存句法树；

利用所述文本编码模型及待编码文本中各句文本的依存句法树对待编码文本进行编码，得到编码后的文本。

2.根据权利要求1所述的方法，其特征在于，所述构建基于依存句法树的文本编码模型包括：

收集文本数据；

以句为单位，对所述文本数据进行依存句法分析，得到每句文本的依存句法树，所述依存句法树中包括句中词与词之间的依存关系；

根据所有依存句法树训练基于依存句法树的文本编码模型。

3.根据权利要求2所述的方法，其特征在于，对各句文本进行依存句法分析，得到各句文本的依存句法树包括：

对各句文本进行分词，得到各句文本中的各词；

对各词进行词性标注；

对各词和词性标注后的文本进行依存句法分析，得到各句文本的依存句法树。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在所述对各词和词性标注后的文本进行依存句法分析之前，去除每句文本中的无意义字符及非法字符。

5.根据权利要求2所述的方法，其特征在于，所述根据所有依存句法树训练基于依存句法树的文本编码模型包括：

将各依存句法树中每个词初始化为词向量；

前向计算过程：根据所述依存句法树中每个词的词向量及依存关系对应的转换矩阵和偏置项计算出各节点映射到隐藏层的值；

后向预测过程：根据所述依存句法树中根节点隐藏层的值及依存关系预测出各子节点隐藏层的值；

参数更新过程：通过迭代执行所述前向计算过程和后向预测过程更新模型参数，并且当前向计算出的所有节点隐藏层的值与后向预测出的对应节点隐藏层的值之间的误差小于设定阈值时，结束参数更新过程，得到基于依存句法树的文本编码模型的模型参数。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述利用所述文本编码模型及待编码文本中各句文本的依存句法树对待编码文本进行编码，得到编码后的文本包括：

依次将待编码文本中各句文本的依存句法树作为文本编码的结构，根据文本编码模型的参数，从叶子节点开始递归向上计算每个节点映射到隐藏层的值，直到根节点，将计算得到的根节点映射到隐藏层的值作为该句文本的编码。

7.一种文本编码系统，其特征在于，包括：

模型构建模块，用于预先构建基于依存句法树的文本编码模型，所述文本编码模型用于描述不同依存关系对应的转换矩阵和偏置项、以及每个词向量映射到隐藏层的转换矩阵和偏置项，相同依存关系对应相同的转换矩阵和偏置项，不同依存关系对应的转换矩阵和/或偏置项不同；

文本接收模块，用于接收待编码文本；

句法分析模块，用于以句为单位，对所述待编码文本进行依存句法分析，得到待编码文本中各句文本的依存句法树；

编码模块，用于利用所述文本编码模型及待编码文本中各句文本的依存句法树对待编码文本进行编码，得到编码后的文本。

8.根据权利要求7所述的系统，其特征在于，所述模型构建模块包括：

数据收集单元，用于收集文本数据；

句法分析单元，用于以句为单位，对所述文本数据进行依存句法分析，得到每句文本的依存句法树，所述依存句法树中包括句中词与词之间的依存关系；

模型训练单元，用于根据所有依存句法树训练基于依存句法树的文本编码模型。