[发明专利]一种命名实体归一化方法、系统及相关装置

说明书

本申请提供一种命名实体归一化方法，包括：获取用户问句；对所述用户问句进行分词和命名实体识别，得到通用命名实体集；对所述通用命名实体集利用CYK算法生成句法树集合；对所述句法树集合遍历得到最大树组合；遍历所述最大树组合，按照预设语法顺序转化为固定表达式。本申请能够有效提高对于复杂问句的解析匹配能力，进一步提高智能设备的人机交互能力。本申请还提供一种命名实体归一化系统、计算机可读存储介质和语音识别终端，具有上述有益效果。

技术领域

本申请涉及人工智能领域，特别涉及一种命名实体归一化方法、系统及相关装置。

背景技术

随着NLP(Natural Language Processing，自然语音处理)任务的不断扩充，命名实体识别的内容不再局限于传统的三大类(实体类、时间类和数字类)和七小类(人名、地名、组织名、机构名、时间、日期、货币和百分比)，在特定领域还出现了很多特定的类别，例如医药领域中，药名、疾病等类别；股票领域中，股票、基金、指标术语等类别。也可以将命名实体识别的内容按照领域分为通用领域和限定领域。对于QA场景(question and answer，即问答场景)而言，命名实体识别是服务于问答的，理解问句，方便进行后续数据查询，给出答案。这个过程需要将用户问句中识别到的内容与数据库中的内容联系对等起来，才能实现正确的召回。对于例如地名、商品名称等实体类的实体，因为对于此类业务场景而言，其数量有限，限定在一定范围内的，因此，可以建立候选实体库，然后通过各种实体链接手段，将识别的命名实体与真实数据实体联系起来；但是对于时间类、数字类等命名实体，由于其数字特性，存在多种多样的情况，并不能直接穷举，并不适用于构建候选库的方式来做归一化。所谓归一化包含符号化和标准化两个过程，符号化指将文本转化为计算机可以识别的特定标记的过程，而标准化指的是将相同表述的文本利用统一形式或格式表述，减少词汇量，便于进行批处理。

发明内容

本申请的目的是提供一种命名实体归一化方法、系统、计算机可读存储介质和语音识别终端，能够解析用户问句并转化为数据库查询所需的固定表达式形式。

为解决上述技术问题，本申请提供一种命名实体归一化方法，具体技术方案如下：

获取用户问句；

对所述用户问句进行分词和命名实体识别，得到通用命名实体集；

对所述通用命名实体集利用CYK算法生成句法树集合；

对所述句法树集合遍历得到最大树组合；

遍历所述最大树组合，按照预设语法顺序转化为固定表达式；所述固定表达式用于作为数据库查询条件查找所述用户问句对应的回答。

可选的，对所述用户问句进行分词和命名实体识别，得到通用命名实体集包括：

利用预设模板匹配、正则匹配和机器学习算法匹配中的一种或任意几种对所述用户问句进行分词和命名实体识别，得到通用命名实体集。

可选的，对所述通用命名实体集利用CYK算法生成句法树集合时，还包括：

通过中间节点利用所述CYK算法将非CNF形式语法转化为对应的句法树，并在转化结束后删除所述中间节点。

可选的，对所述句法树集合遍历得到最大树组合包括：

按照自顶向下、自左向右的方式遍历所述句法树集合，得到最大树组合；

其中，横向遍历优先级高于纵向遍历优先级。

本申请还提供一种命名实体归一化系统，具体技术方案如下：

获取模块，用于获取用户问句；

识别模块，用于对所述用户问句进行分词和命名实体识别，得到通用命名实体集；