[发明专利]一种大规模并行政策数据知识抽取方法及系统

说明书

本发明提供了一种大规模并行政策数据知识抽取方法及系统，本发明通过对政策数据进行正文内容解析，获得政策正文数据列表，分别进行政策发文机构、发布日期知识抽取、政策申报截止日期知识抽取以及政策事件知识抽取，从而实现政策数据的知识抽取。本发明实现依存句法分析模型预加载，达到模型加载一次，多次使用的效果，提高知识抽取的效率，无需使用人工对知识进行抽取，节省人力成本，提高效率，适用于信息量巨大的网络信息获取。

技术领域

本发明涉及知识抽取领域，特别是一种大规模并行政策数据知识抽取方法及系统。

背景技术

随着互联网技术的迅速发展，网络上信息资源的不断增加，人们对信息获取的准确度也有着更高的要求。在信息量巨大的网络中，检索到符合用户预期的结果信息是亟待解决的问题，为了让用户更精准更快速的获取到自己想要的政策信息，这就需要构建政策知识图谱，基于政策知识图谱建立自动问答系统。而构建政策知识图谱，需要先有知识，而现有技术中缺少快速准确的知识获取方法。

发明内容

本发明的目的是提供一种大规模并行政策数据知识抽取方法及系统，旨在解决现有技术中缺少从网络中快速获取政策知识信息的问题，实现提高知识抽取的效率及准确度。

为达到上述技术目的，本发明提供了一种大规模并行政策数据知识抽取方法，所述方法包括以下操作：

采集政策信息数据，对政策信息数据进行正文内容解析，生成政策正文数据列表；

对政策正文数据列表进行倒序遍历，根据当前列表元素与下一列表元素的内容，判断是否为发布日期，进行发布日期知识抽取；

对发布日期后的列表元素，根据列表元素是否含有发文机构关键词作为结尾，进行发文机构知识抽取；

根据截止日期规则对政策正文数据列表进行截止日期知识抽取；

对政策标题通过依存句法分析模型进行分析，根据得到的依存句法分析结果进行政策事件知识抽取。

优选地，所述当前列表元素为日期且下一列表元素含有发文机构关键词作为结尾，则当前列表元素为发布日期。

优选地，所述根据得到的依存句法分析结果进行政策事件知识抽取具体为：

根据得到的依存句法分析结果，获取标题中的谓词及其索引，判断谓词索引的位置，如果谓词索引位置大于等于句子长度的1/4，则对标题句子进行处理，否则不处理；对获取的标题句子进行分析，获取谓词、主语、谓词修饰语以及宾语，并根据分析结果抽取事件：

如果宾语的长度大于4，则事件为宾语；否则如果谓词修饰语与宾语拼接后的长度大于4，则事件为谓词修饰语与宾语拼接后的结果；否则如果主语的长度大于4，则事件为主语；如果均不符合，则将事件赋值为标题句子。

优选地，所述依存句法分析模型为预加载。

本发明还提供了一种大规模并行政策数据知识抽取系统，所述系统包括：

政策信息采集模块，用于采集政策信息数据，对政策信息数据进行正文内容解析，生成政策正文数据列表；

发布日期抽取模块，用于对政策正文数据列表进行倒序遍历，根据当前列表元素与下一列表元素的内容，判断是否为发布日期，进行发布日期知识抽取；

发文机构抽取模块，用于对发布日期后的列表元素，根据列表元素是否含有发文机构关键词作为结尾，进行发文机构知识抽取；

截止日期抽取模块，用于根据截止日期规则对政策正文数据列表进行截止日期知识抽取；

政策事件抽取模块，用于对政策标题通过依存句法分析模型进行分析，根据得到的依存句法分析结果进行政策事件知识抽取。