[发明专利]文本数据的处理方法、装置和计算机可读存储介质

说明书

本公开涉及一种文本数据的处理方法、装置和计算机可读存储介质，涉及自然语言处理技术领域。该方法包括：获取文本数据中包含的关键词和实体；根据关键词和实体，确定文本数据的分类信息；根据关键词、实体和分类信息，创建文本数据的文本索引；根据文本数据中各句子包含的关键词和实体，创建各句子的句子索引；利用文本索引，确定目标事件的相关文本数据；利用句子索引，在相关文本数据中确定目标事件的匹配句子；计算匹配句子中与目标事件匹配的关键词的匹配权重；根据匹配权重和第一阈值，确定与目标事件相关的关键词。本公开的技术方案能够提高事件查询准确性。

技术领域

本公开涉及自然语言处理技术领域，特别涉及一种文本数据的处理方法、文本数据的装置和计算机可读存储介质。

背景技术

随着互联网的高速发展、网络数据的不断增加和信息高速公路的兴起，大量的信息以电子文本的形式呈现在人们面前。对于每篇电子文本的舆情分析已经是一种必需的技术。基于事件信息的实时查询也是势在必行的。

在相关技术中，首先通过爬虫抓取各网络媒体的文本数据并存入搜索引擎，然后舆情监控人员在舆情网站上根据目标事件通过搜索引擎搜索相关数据，最后通过搜索结果展示目标事件的相关文章。

发明内容

本公开的发明人发现上述相关技术中存在如下问题：依靠人工通过搜索引擎确定相关数据，导致查询到的相关数据准确性低。针对上述问题，本公开提出了一种查询准确性高的文本数据的处理技术方案。

根据本公开的一些实施例，提供了一种文本数据的处理方法，包括：获取文本数据中包含的关键词和实体；根据所述关键词和所述实体，确定所述文本数据的分类信息；根据所述关键词、所述实体和所述分类信息，创建所述文本数据的文本索引；根据所述文本数据中各句子包含的所述关键词和所述实体，创建所述各句子的句子索引；利用所述文本索引，确定目标事件的相关文本数据；利用所述句子索引，在所述相关文本数据中确定所述目标事件的匹配句子；计算所述匹配句子中与所述目标事件匹配的关键词的匹配权重；根据所述匹配权重和第一阈值，确定与所述目标事件相关的关键词。

可选地，根据所述关键词、所述实体和所述分类信息中的至少一个，确定所述目标事件的相关文本数据。

可选地，获取所述匹配的关键词与所述目标事件的匹配程度，作为第一权重；获取与所述匹配的关键词相关的实体与所述目标事件的匹配程度，作为第二权重；将所述第一权重和所述第二权重的加权和，作为相应关键词的匹配权重。

可选地，根据所述第二权重，对所述相关文档的各匹配句子中的各实体进行聚合处理；将聚合结果中所述第二权重大于第二阈值的实体确定为事件相关实体。

可选地，根据所述文本数据中的各单词在所述文本数据中出现的频率，和所述各单词出现在其它文本数据中的频率，估计所述各单词在所述文本数据中的重要程度；根据所述重要程度，在所述各单词中确定所述关键词。

可选地，利用机器学习方法确定所述文本数据的分类信息，所述分类信息包括与所述文本数据相关的分类和所述分类在所述文本数据中的重要程度。

可选地，所述文本索引中包括态度信息，所述态度信息根据所述文本数据中的情感词利用机器学习方法确定。