[发明专利]基于序列化学习、关系挖掘、时序分析的新概念挖掘方法

说明书

本发明公开了一种基于序列化学习、关系挖掘、时序分析的新概念挖掘方法，可以通过句法依赖分析以及POS标注，将文本中可能出现的“概念”进行语义提取，通过时间序列的分析，判断识别“概念”在时间维度上，是否有从少到多，从无到有的变化过程，通过不同概念之间相互关系构建知识图谱，达到快速联想查询的效果，大幅度降低了传统产品研发需要人工查看原始数据量文本数据的需求；“新概念”的识别能够有效的帮助企业在生产过程中发现新的机会点，从而快速发觉竞争对手的研发动态和产品开发相关热门概念。

技术领域

本发明涉及计算机文本处理技术领域，特别是一种基于文本序列化学习(Part ofSpeech Tagging，下文简称POS)、关系挖掘、时间序列分析的新概念挖掘方法。

背景技术

随着互联网的深入发展，企业能够更加容易接触到用户，聆听用户的心声，了解用户的 兴趣点，已经是企业产品开发及创新的重要支撑点。如何从海量的文本中找寻出有意义的用 户关注“概念”点，就显得尤为迫切，也是现在的研究重点。

在传统的新概念挖掘的过程中，使用人工抽样查看互联网海量数据，总结关键点的方式， 但是由于文本信息数据量巨大，人工逐条耗时耗力，并且容易遗漏重要的“概念”点，而往 往只能看到目前最热门的“概念”，而不是最有希望最新的概念。本专利公布的方法中，将 “概念”定义为：原材料、成分、功效、产品、国家、明星等几个型类，覆盖了绝大多数的 消费品开发场景。并且对识别出来的概念进行知识图谱化，从而方面终端使用者能够快速找 到最有潜力的概念。

发明内容

本发明上述问题，提供一种基于序列化学习、关系挖掘、时序分析的新概念挖掘方法。 本发明的技术方案为：

一种基于序列化学习、关系挖掘、时序分析的新概念挖掘方法，包括以下步骤：

步骤1)，获取文本，并将所述文本划分为若干个一定长度的词语串。

步骤2)，对文本进行POS算法的序列化标注，通过既定的序列化标注将所述词语串分 为若干个不同性质的实体。

步骤3)，将上述步骤2中的实体向量化，并对所述词语串中成对同时出现的实体进行 关系类型判断处理。

步骤4)，将上述步骤3中产生的关系对进行存储。

步骤5)，对上述步骤4中的实体进行第二标注并拟合时间序列，判断是否给该标注赋 予一个供用户查看的标签。

作为本发明进一步地说明，所述步骤1中包括对所述文本的消噪处理，去除不需要的超 链及广告等信息。

更进一步地，所述序列化标注采用标准IOB结构。

更进一步地，所述序列化标注的类型为两种以上。

更进一步地，所述序列化标注的类型包括原材料、成分、产品、功效、国家/地区、明星。

更进一步地，所述关系类型为<实体1，关系类型，实体2>。

更进一步地，所述关系类型包括<原材料，包含，成分>、<成分，拥有，功效>、<产品，使用，原材料>、<国家/地区，生产，产品>、<明星，推广，产品>、<国家/地区，富含，原 材料>。

更进一步地，所述步骤4中关系对存储前通过实体对齐将所述实体以及实体之间的关系 知识图谱化，存储至Neo4j图数据库中。

更进一步地，所述第二标注包括第一类标注和第二类标注，所述实体的第二标注为第一 类标注时不赋予所述标签；所述实体的第二标注为第二类标注时赋予所述标签。具体地，第 二标注为“普通”和“从非热门变为热门”两个类别，通过对历史数据中大量的实体进行的 第二标注，将实体在连续时间片段(一般为一个月)上出现的频次作为时间序列模型的输入。