[发明专利]一种数据处理方法、装置、终端及可读存储介质

说明书

本发明实施例公开了一种数据处理方法，包括：获取待处理文本，所述待处理文本包括至少一个第一分词；调用关键词预测模型和词典数据库对所述待处理文本中的第一分词进行编码及关键词预测，得到所述待处理文本对应的关键词集合，所述关键词集合中的关键词为所述至少一个第一分词中的分词，和/或根据词典数据库学习得到的；利用所述关键词集合对所述词典数据库进行更新，得到更新后的词典数据库；当检测到局部检索词时，利用所述更新后的词典数据库确定出与所述局部检索词匹配的检索结果。采用本发明实施例，所述关键词预测模型可基于词典数据库进行关键词的主动学习，提高关键词的提取质量。

技术领域

本发明涉及深度学习领域，尤其涉及一种数据处理方法、装置、终端及可读存储介质。

背景技术

随着人工智能技术的不断发展，深度学习逐渐出现在人们的视野范围内，深度学习在搜索技术，数据挖掘，机器学习，自然语言处理等多个领域都取得了很多成果。其中，在自然语言处理中，通过自动对文本关键词进行识别提取在各个搜索引擎的作用也越来越大。

目前，提取关键词一般采用无监督的学习方法，利用文档中词语的统计信息抽取文档的候选关键词，然后对文档的候选关键词进行评分，将评分高的N个候选关键词作为最终的关键词。然而上述无监督的关键词提取方法所提取的关键词往往质量不高，提取效果较差。

发明内容

本发明实施例提供了一种数据处理方法、装置、终端及可读存储介质，所述关键词预测模型可基于词典数据库进行关键词的主动学习，提高关键词的提取质量。

一方面，本发明实施例提供了一种数据处理方法，包括：

获取待处理文本，所述待处理文本包括至少一个第一分词；

调用关键词预测模型和词典数据库对所述待处理文本中的第一分词进行编码及关键词预测，得到所述待处理文本对应的关键词集合，所述关键词集合中的关键词为所述至少一个第一分词中的分词，和/或根据所述词典数据库学习得到的；利用所述关键词集合对所述词典数据库进行更新，得到更新后的词典数据库；当检测到局部检索词时，利用所述更新后的词典数据库确定出与所述局部检索词匹配的检索结果。

另一方面，本发明实施例还提供了一种数据处理装置，包括：

获取模块，用于获取待处理文本，所述待处理文本包括至少一个第一分词；

处理模块，用于调用关键词预测模型和词典数据库对所述待处理文本中的第一分词进行编码及关键词预测，得到所述待处理文本对应的关键词集合，所述关键词集合中的关键词为所述至少一个第一分词中的分词，和/或根据词典数据库学习得到的；

更新模块，用于利用所述关键词集合对所述词典数据库进行更新，得到更新后的词典数据库；

匹配模块，用于当检测到局部检索词时，利用所述更新后的词典数据库确定出与所述局部检索词匹配的检索结果。

又一方面，本发明实施例提供了一种计算机设备，该计算机设备包括：

存储器，该存储器包括计算机可读指令；

与存储器相连的处理器，该处理器用于执行所述计算机可读指令，从而使得计算机设备执行上述所涉及的数据处理方法。

再一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行上述所涉及的数据处理方法。