[发明专利]一种提供分布式NLP能力服务的装置及方法

说明书

本发明提出的一种提供分布式NLP能力服务的装置，包括：解码实体构建模块、业务模块和业务路由模块；解码实体构建模块，用于获取NLP模型，并根据NLP模型构建用于对待测语句进行解码的解码实体；业务模块与解码实体构建模块连接；业务模块内构建有多个对应不同业务领域的业务进程；业务路由模块与业务模块连接，用于根据各业务进程的心跳信息识别其解码能力，并用于将待测语句分发到对应的业务进程进行解码并返回解码结果。本发明提出的一种提供分布式NLP能力服务的装置，采用统一接口格式接入不同类型的NLP模型构建解码实体，同时通过业务进程和路由进程实现整个NLP能力的平台化，能支持各类NLP模型能力的横向扩展，保证解码能力。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种提供分布式NLP能力服务的装置及方法。

背景技术

人工智能技术近年来蓬勃发展，NLP自然语言理解属于人工智能中十分热门的研究方向，已经广泛应用于智能客服中的快递、餐饮、金融等行业。在NLP(Natural LanguageProcessing,自然语言处理)能力层面，意图理解、命名实体识别、主题提取和关键词匹配等能力模型被用于实际生产中以解决客户对话的语义理解需求。但在实际应用中对每一个能力模型做单独的集成会导致极大的工作量，且难以便捷的实现模型功能的横向扩展

发明内容

基于背景技术存在的技术问题，本发明提出了一种提供分布式NLP能力服务的装置。

本发明提出的一种提供分布式NLP能力服务的装置，包括：解码实体构建模块、业务模块和业务路由模块；

解码实体构建模块，用于获取NLP模型，并根据NLP模型构建用于对待测语句进行解码的解码实体；NLP模型通过数据训练获得，用于识别待测语句的信息；各解码实体均根据对应的NLP模型关联有对应的类型和业务领域，类型为NLP模型识别信息的分类，业务领域为NLP模型训练所用样本的归属领域；

业务模块与解码实体构建模块连接；业务模块内构建有多个对应不同业务领域的业务进程，每一个业务进程加载一个或多个解码实体，业务进程与加载的解码实体之间保持心跳；

业务路由模块与业务模块连接，用于根据各业务进程的心跳信息识别其解码能力，并用于将待测语句分发到对应的业务进程进行解码并返回解码结果。

优选的，每一个业务进程均加载多个不同类型的解码实体。

优选的，每一个业务进程加载的多个解码实体均属于不同的业务领域。

优选的，业务模块中，每一个解码实体均关联有对应的节点信息；业务模块通过对外接口获取待测语句以及节点请求信息，业务模块根据节点信息将待测语句分发给对应的业务进程下对应的解码实体进行解码。

优选的，业务路由模块中设有NLP能力表，用于存储各业务进程关联的业务领域以及解码实体的类型；路由进程用于根据节点信息检索NLP能力表，并根据检索结果将待测语句分发给对应的业务进程。

优选的，业务模块中，业务进程集群化分布形成多个业务进程集群；业务路由模块中设置有多个路由进程，每一个路由进程均关联每一个业务进程组；路由进程根据待测语句的节点信息检索NLP能力表，并根据检索结果将待测语句路由至对应的业务进程。

优选的，NLP模型的类型包括：意图识别模型、命名实体识别模型、主题提取模型和关键词识别模型。

优选的，还包括模型训练模块，其内部对应每一个模型类型均设有一个或多个对应的基础模型，模型训练模块用于接入训练样本库，并用于根据训练样本库提供的训练样本和对应的基础模型训练获得对应的NLP模型，NLP模型关联基础模型的类型以及训练所用样本的业务领域；解码实体构建模块与模型训练模块连接，用于获取NLP模型。

一种提供分布式NLP能力服务的方法，包括以下步骤：