[发明专利]一种从文章中获取结构化标签的方法

说明书

本发明公开了一种从文章中获取结构化标签的方法，通过创立多个单独的特征库，每个特征库中的特征词任意两个或多个自由组合形成特征词集合圈；先从文章的全文中截取文章的标题以及首尾段，并提取剩余的关键词；将该新的特征库中的所有关键词组合形成若干个特征词集合圈；与特征库进行类比，找到相同和相邻的所有特征词集合圈，优选交集和相差的关键词组合成文章预选的结构化标签；将文章除了首尾部分提取关键词形成新的特征库，形成文章预选的结构化标签；交、差集形成结构化标签和附加补充的结构化标签。本发明可以快速从文件中提取出需要的文章结构化标签，无需对全部的文章内容进行结构化标签提取，提高了文章结构化标签的处理速度。

技术领域

本发明属于结构化标签获取技术领域，具体涉及一种从文章中获取结构化标签的方法。

背景技术

如今随着互联网数据量的指数式增长，如何在海量数据中精准的获得用户需求已经成为所有互联网公司避不开的一个问题，所以近几年的新兴互联网技术，包括数据挖掘，人工智能，机器学习都是为处理海量数据而出现的，互联网已经进入了大数据时代，而NLP在大数据时代占据有举足轻重的地位，在日常业务当中，可以应用于各个领域例如文章推送，用户画像，内容审核，情感倾向分析，AI客服等等，具有相当广泛的使用价值和应用前景。自然语言处理(NPL)是人工智能领域最困难的问题之一，结合公私的大量浏览数据，通过分析文章关键词情感倾向，通过神经网络算法推测出用户标签，再根据用户喜好进行文章推送，同时会根据近期的用户浏览记录进行相应更新，提高用户使用体验。

在高速发达的现代社会，很多网络服务或推荐需要了解客户或用户的习惯、爱好等问题，而如何准确快速获得用户的喜好成为了最为需要的技术，现有的多采用NPL技术和神经网络算法根据用户阅读的文章推测出用户标签，这种用户标签的仅仅通过高频的关键词进行提取，而很多关键词并不一定符合用户的喜好，无法准确体现用户需求。且现有的很多文章的篇幅过多，如果全文进行篇幅提取，数据量处理速度过大，处理速度过慢。因此，我们提出一种快速准确地从文章中获取结构化标签的方法。

发明内容

本发明的目的在于提供一种从文章中获取结构化标签的方法，以解决上述背景技术中提出现有技术中无法准确提取出文章中结构化标签，且处理量过大的问题。

为实现上述目的，本发明采用了如下技术方案：

一种从文章中获取结构化标签的方法，包括以下步骤：

S1、依据数据源以及文章信息标签库，按照领域、地域以及时间，创立多个分类，并在每个分类下创立多个单独的特征库，每个特征库包括单独的一个或多个特征词，每个特征库中的特征词任意两个或多个自由组合形成特征词集合圈；

S2、先从文章的全文中截取文章的标题以及首尾段，利用分词法将文章的标题以及首尾段进行分词处理，参考去词库，并利用去词法排除分词后无用的词语，并提取剩余的关键词；

S3、将S2中提出的所有关键词去重后作为一个新的特征库，并在去重前计算出每个关键词出现的词频，将该新的特征库中的所有关键词进行任意自由组合，形成若干个特征词集合圈；

S4、将S3中形成的特征词集合圈与S1中的特征词集合圈进行类比，找到相同和相邻的所有特征词集合圈，优选其中的交集和相差的关键词描述进行组合，形成文章预选的结构化标签；

S5、将文章除了首尾部分的其他部分内容截取出来或分成多个部分随机截取两到三个部分，通过分词系统对于截取的文章内容进行分析后，提取关键词形成新的特征库，按照S3和S4的步骤进行去重、计算词频、形成特征词集合圈、优选关键词、最后形成另一文章预选的结构化标签；

S6、将S4和S5形成的预选的结构化标签进行交集提取，构建成准确的较窄范围的结构化标签，并将S4和S5形成的预选结构化标签进行差集提取，差集提出的结构化标签作为附加补充的结构化标签，便于结构化标签优化及更新。