[发明专利]一种语义识别方法、装置、介质及电子设备

说明书

本发明实施例提供了一种语义识别方法，该语义识别方法包括：对所获取的短文本数据进行分词，确定出所述短文本数据中的特征词项；根据所述特征词项的属性，确定出所述特征词项的权重；根据所述特征词项的权重，提取目标词项并生成目标词项列表；基于所述目标词项列表实现语义识别。本发明实施例的技术方案提高了短文本数据的分词效果，提取出符合实际需求的关键词，并对关键词进行综合权重计算，结合语义识别模型，可以更多的覆盖对用户输入信息进行模糊意图理解，进而关联出相对应的实体，提升了对模糊语料的识别准确率。

技术领域

本发明涉及自然语言处理技术领域，具体而言，涉及一种语义识别方法、装置、介质及电子设备。

背景技术

随着大数据和人工智能应用的发展，网络上产生的文本、语音等非结构化数据量大幅度的增长，面对这些海量的数据，如何让计算机学会像人一样自动地提取数据的信息，进一步提高计算机处理信息的能力，是当前自然语言处理的重要课题。在电商领域，越来越多的用户喜欢通过与智能机器人聊天进行网购，用户话语虽然文本长度相对较短，但是其中夹杂着噪声，如何让机器人正确快速地理解用户语义，显得非常重要。基于以上背景，本发明提出一种基于TextRank4zh改进的短文本语义识别算法，可以让计算机在给定文本中挖掘出有意义且重要的词语，从而协助机器人提高自然语言理解能力。

现有技术中，关键词提取主要有三种方法：(1)基于词频-逆文档频率(TF-IDF，Term Frequency–Inverse Document Frequency)的统计特征提取；(2)基于(LDA，LatentDirichlet Allocation)文档主题模型的关键词提取；(3)基于TextRank的关键词提取。

但是，上述的三种现有技术存在以下缺点：

(1)基于TF-IDF方法的关键词抽取比较简单，虽然考虑了词语出现的频率，却忽略了有些出现的次数较少，但有相对较大的权重的词语，提取准确率不高；

(2)基于图模型的文档关键词提取方法，把文档中的每个词看成有关系的网络图，每个词语作为一个点，词与词之间的连接作为边，并且每个点的权重按照与之相连接的边进行传播，直到整个网络趋于稳定，LDA算法模型是关于多篇文本的建模，适用于大规模语料建模，并不适用于短文本数据的处理；

(3)经典TextRank算法考虑文档本身的信息，抽取到的候选关键字的权重会按照出度传递给相邻的节点，并不受到文本数据量的限制，该算法将两个词语的顶点权重初始化为1，却忽略了词语本身的属性，而且对中文支持的效果较差。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例的目的在于提供一种语义识别方法，进而至少在一定程度上克服传统方案无法对模糊语义进行准确识别的问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的第一方面，提供了一种语义识别方法，包括：

对所获取的短文本数据进行分词，确定出所述短文本数据中的特征词项；

根据所述特征词项的属性，确定出所述特征词项的权重；

根据所述特征词项的权重，提取目标词项并生成目标词项列表；

基于所述目标词项列表实现语义识别。

在本发明的一些实施例中，基于前述方案，所述对所获取的短文本数据进行分词之前，所述方法还包括：

获取实体描述数据库表和语料，其中，所述实体数据库表至少包括以下字段：实体标题、实体功能描述、实体品类以及实体品牌；