[发明专利]一种为中英文单词对预测义原树的方法及系统

说明书

本发明实施例提供一种为中英文单词对预测义原树的方法及系统，包括：获取待预测单词对，以及所述待预测单词对应的类别义原；基于已知的预设义原集合和语义关系集合，和所述待预测单词对应的类别义原，采用预设义原树生成算法为所述待预测单词对预测生成义原树。本发明实施例通过已知的义原知识库，给定单词对的类别义原信息，为给定单词对预测义原树，实现了自动预测义原树，相比人工手动标注义原树需要花费大量的时间和成本，具有更高效和更准确的特点。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种为中英文单词对预测义原树的方法及系统。

背景技术

句子由词汇构成，而不同的词汇之间有共性和差异性。HowNet是一个被广泛使用的人工标注数据库，用来刻画不同词汇的语义，它将词汇标注为一系列义原所组成的结构，而义原是比词更细小的、不可分割的语义集合，表示了比词汇更加基本的意义。HowNet以及其标注的义原信息可以被用于词汇消歧、情感分析、跨语言词汇相似度以及词向量生成等自然语言处理任务中。

虽然义原在自然语言分析和处理中具有重要作用，但义原的人工标注是一项费时费力的工作，且不免存在不一致问题等偏差。随着信息技术的发展，新的词汇层出不穷，特别是新的中英文词汇都在急剧增长，已有词汇的含义也在不停地发生着变化，中英文单词对的义原标注目前还没有很好的处理办法。

发明内容

本发明实施例提供一种为中英文单词对预测义原树的方法及系统，用以解决现有技术中只能通过人工进行单词对类别义原标注的缺陷。

第一方面，本发明实施例提供一种为中英文单词对预测义原树的方法，包括：

获取待预测单词对，以及所述待预测单词对应的类别义原；

基于已知的预设义原集合和语义关系集合，和所述待预测单词对应的类别义原，采用预设义原树生成算法为所述待预测单词对预测生成义原树。

进一步地，所述预设义原树生成算法包括路径生成算法或标签传播算法。

进一步地，所述路径生成算法具体包括：

构建义原树边生成器，获取义原树中以每个节点为头节点的边；

构建义原树节点生成器，获取义原树中以给定头节点出发的尾结点；

构建树生成器，获取整棵义原树。

进一步地，所述构建义原树边生成器，获取义原树中以每个节点为头节点的边，具体包括：

将根节点到当前节点的路径、单词对词义和所述类别义原作为所述义原树边生成器的输入；

采用RNN进行路径信息建模，将义原和语义关系建模为独热向量，预训练的英文词向量和中文词向量级联表示词义；

获取第一预设分类器，在所述第一预设分类器中输入所述RNN最后一个状态，任一节点和词义，输出所有语义关系得分；

通过L1范数对所述所有语义关系得分进行归一化，得到所有语义关系归一化得分；

将所述所有语义关系归一化得分按照从高到低进行降序排列，若判断获知第一预设个数加1的累计得分超过第一预设阈值时，则停止遍历，取所述第一预设个数的语义关系归一化得分作为第一输出结果。

进一步地，所述构建义原树节点生成器，获取义原树中以给定头节点出发的尾结点，具体包括：

将根节点到任一边的路径、单词对词义和所述类别义原作为所述义原树节点生成器的输入；

采用RNN进行节点信息建模，将义原和语义关系建模为独热向量，预训练的英文词向量和中文词向量级联表示词义；