[发明专利]文本分析方法和装置

说明书

本发明公开了一种文本分析方法和装置。其中，该方法包括：获取待分析文本；基于预设语义字典对待分析文本中所包含的字进行聚合，得到至少一个词；根据待分析文本中的提示词从至少一个词中确定指定类型词的语义，其中，指定类型词为预设词库中未包含的词；根据预设语法规则以及指定类型词的语义对至少一个词进行聚合，得到待分析文本对应的框架语义；基于框架语义对待分析文本进行语义分析，得到分析结果。本发明解决了现有技术无法对文本中包含的新词进行准确分析所导致的文本分析不准确的技术问题。

技术领域

本发明涉及互联网领域，具体而言，涉及一种文本分析方法和装置。

背景技术

在众多的互联网应用场景，尤其是移动互联网的应用场景中，对文本进行语义分析是一项基本且意义重大的任务。准确的语义分析能力能极大地提升下游任务的效果。例如，在信息流场景中，对用户阅读的文章做语义分析能提高推荐的相关性；在智能问答场景中，对用户的发言做语义分析有助于生成更人性化的回答。

文本的语义表示方法有多重，其中，框架语义为文本的语义表示方法中的一种。现有的框架语义分析器基于传统的Pipeline模型，依次对文本进行切词、词性标注、依存分析，最后在依存分析的基础上做框架语义分析。

然而，Pipeline模型会对语义分析的精度造成损失。在实际使用中，尤其是中文场景中，也需要一个前导的切词工具首先对文本切词。而且，现有技术没有充分利用先验的语法知识和知识图谱。另外，Pipeline模型的灵活性和泛化性也不高。在真实文本中，存在大量的新词。现有的技术方案均未能很好解决新词发现问题；而使用深度学习模型的技术方案，无法确定新词对应的词向量，其必须设计某种机制为它们赋予词向量模型才能工作。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种文本分析方法和装置，以至少解决现有技术无法对文本中包含的新词进行准确分析所导致的文本分析不准确的技术问题。

根据本发明实施例的一个方面，提供了一种文本分析方法，包括：获取待分析文本；基于预设语义字典对待分析文本中所包含的字进行聚合，得到至少一个词；根据待分析文本中的提示词从至少一个词中确定指定类型词的语义，其中，指定类型词为预设词库中未包含的词；根据预设语法规则以及指定类型词的语义对至少一个词进行聚合，得到待分析文本对应的框架语义；基于框架语义对待分析文本进行语义分析，得到分析结果。

进一步地，待分析文本中的每个动词对应一个框架语义，其中，框架语义包含多个框架元素，每个框架元素对应的属性值为待分析文本中的词。

进一步地，文本分析方法还包括：在基于预设语义字典对待分析文本中所包含的字进行聚合，得到至少一个词之前，获取核心词，其中，核心词至少包括虚词以及动词；基于预设词典确定核心词对应的语法；基于核心词以及语法得到第一语义词典；基于互联网对第一语义词典进行名词扩充，得到第二语义词典；对第二语义词典中的名词进行聚类，得到聚类结果；基于聚类结果生成预设语义字典。

进一步地，文本分析方法还包括：检测至少一个词中是否存在预设词库未包含的词；在检测到至少一个词中存在预设词库未包含的词的情况下，确定预设词库未包含的词为指定类型词；根据指定类型词在待分析文本中的位置从至少一个词中确定提示词；根据提示词与指定类型词在待分析文本中的位置关系确定指定类型词的语义。

进一步地，文本分析方法还包括：步骤1：根据预设语法规则以及指定类型词的语义对至少一个词进行聚合，得到第一聚合词以及第一聚合词对应的概率；步骤2：对第一聚合词再次进行聚合，得到第二聚合词以及第二聚合词对应的概率；步骤3：重复执行步骤1至步骤2，直至完成对待分析文本所包含的全部词进行聚合，得到框架语义。

进一步地，文本分析方法还包括：在待分析文本对应的框架语义为多个的情况下，获取每个框架语义对应的概率；根据每个框架语义对应的概率从多个框架语义中确定目标框架语义。