[发明专利]基于非监督学习的图书概念前后序关系抽取方法

摘要

本发明公开了一种基于非监督学习的图书概念前后序关系抽取方法：以同领域的海量图书和百度百科网页为语料，构建概念前后序关系分类模型和概念前后序关系发现模型，并进行迭代抽取；在概念前后序关系分类模型中，利用概念在图书中的分布规律、概念在百科中的分布规律抽取特征、概念词向量相似性，训练分类模型；在概念前后序关系发现模型中，利用概念前后序的性质，基于非自反性约束、位置前后约束、内容相关约束等约束，来发现概念之间的前后序关系；最后迭代执行概念前后序关系分类模型和概念前后序关系发现模型，直到达到最大迭代次数或者收敛为止；本发明可以自动从图书中抽取概念的前后序关系，在知识推荐、学习路径规划等方面均有重要应用。

主权项

1.一种基于非监督学习的图书概念前后序关系抽取方法，其特征在于，包括以下步骤：1)预处理数据：对同领域中海量的图书进行OCR识别，获取同领域中的百度百科网页，根据全体百度百科正文进行词向量训练；2)利用概念在图书中的分布规律、概念在百科中的分布规律抽取特征、概念词向量相似性，将抽取的特征和概念前后序关系的标记作为输入，使用随机森林算法作为分类器，训练得到概念前后序关系分类模型；所述概念前后序关系的标记第一次迭代时随机初始化；3)利用概念前后序关系之间的特性，包括非自反性约束、位置前后约束、内容相关约束、章节前后关联约束、范围大小约束，建立如下目标函数：其中，A是概念前后序关系矩阵，ξ是章节前后关联约束的松弛项，λ₁和λ₂均表示系数，N表示概念的总数量，F表示概念前后序关系分类模型的输出，W(i，j)是概念i和概念j的相似度距离，根据词向量的cosine距离排序获得，||A(i，：)‑A(j，：)||₂表示概念i和概念j在全局前后序关系的差异；将概念前后序关系分类模型的输出F作为输入，结合约束条件对目标函数进行凸优化运算，训练得到概念前后序关系发现模型，对模型的输出矩阵A的元素进行排序，从而得到概念前后序关系的标记，并作为概念前后序关系分类模型的输入；4)迭代执行概念前后序关系分类模型和概念前后序关系发现模型，直到达到最大迭代次数或者收敛为止。