[发明专利]一种基于因子图的金融公报文本知识提取方法

说明书

本发明公开了一种基于因子图的金融公报文本知识提取方法，包括：(1)从金融数据库上获取满足预设特定关系的文本数据，并对其预处理，得到数据A；(2)对数据A进行弱监督学习得到数据A₁；(3)对数据A₁进行候选实体识别，构建得到候选实体对集B₁；(4)根据建立的正则表达式在金融公报文本中匹配得到满足特定预设关系的候选实体对集B₂；(5)分别对候选实体对集B₁、B₂中候选实体对的进行特征提取，得到特征向量集C₁与C₂；(6)利用C₁、C₂对因子图模型进行训练，得到金融文本知识抽取模型；(7)将预测样本输入至金融文本知识抽取模型中，将输出概率值大于阈值的实体对作为抽取结果。

技术领域

本发明涉及计算机文本抽取技术，具体涉及一种基于因子图的金融公报文本知识提取方法。

背景技术

随着网络技术的不断发展，互联网上的信息量也在爆炸性的增长。据统计每天互联网上流通的信息量超过1000PB。如何从海量信息中快速有效的提取出需要的信息和知识，成为了非常重要的研究方向。随着互联网上一些大规模知识库在扮演着越来越重要的角色，知识库的构建工作也越来越成为研究高点，传统的文本知识抽取方法基于各领域专家的人工整合，已经无法处理如此大规模的信息抽取，因此基于机器学习的信息抽取方法成为了大数据时代的主流方法。

近几年来，基于机器学习的文本挖掘算法逐步完善起来，各大互联网公司出现了一些实用的技术和相关产品，例如google通过多种提取技术融合构建了超大规模的Knowledge Vault，它可以自主学习互联网上网页、图表、文本等多种来源的数据从而生成知识库。但是相关领域一些开源的实用文本知识提取方法还非常少见，尤其是面向中文文本的工具更是十分缺乏。另一方面，因子图模型具有很强的计算和表达能力，能在概率推理过程中表达各种模型，例如贝叶斯网络、无向图等，近几年来在信息抽取方面取得了很好的效果，不仅在多个垂直领域得到广泛应用，同时也在各种英文信息抽取竞赛中取得了很好的成绩。因此可以考虑借助因子图模型来完成中文文本知识的抽取。而金融公报中包含了很多有意义的知识信息，这些结构化的信息对于金融人员进行金融数据的分析有着非常重要的作用，如何使用一种自动化的知识提取方法对于实现金融智能有着重大的意义。

发明内容

鉴于上述，本发明提供了一种基于因子图的金融公报文本知识提取方法，用于提取金融公报中的有关股权交易相关的知识。

一种基于因子图的金融公报文本知识提取方法，包括以下步骤：

(1)从金融数据库上获取满足预设特定关系的文本数据，并对这些文本数据进行预处理，得到预处理数据A；

(2)以预处理数据A作为弱监督学习的正样本，以通过负抽样方法建立的数据作为弱监督学习的负样本，进行弱监督学习，得到数据A₁；

(3)对数据A₁进行候选实体(mention)识别，构建得到候选实体对集B₁；

(4)建立一个正则表达式，并根据正则表达式在金融公报文本中匹配得到满足特定预设关系的文本数据，并对该些文本数据进行预处理，得到候选实体对集B₂；

(5)分别对候选实体对集B₁、B₂中候选实体对的进行特征提取，得到候选实体对集B₁的特征向量集C₁与候选实体对集B₂的特征向量集C₂，并将特征向量集C₁、C₂存储到数据库中；