[发明专利]一种多模态客服自动回复方法及系统

说明书

本发明公开了一种多模态客服自动回复方法及系统，所述方法包括以下步骤：接收话语并进行编码，得到上下文向量；基于上下文向量，基于预训练的意图类别识别模型确定其相应的意图类别；基于设定规则确定该意图所对应的回复类别；根据所述回复类别，将所述上下文向量作为输入，采用预训练的回复模型生成对应回复。本发明充分能够根据用户的话语自动识别其意图，自适应的生成形式多样的回复。

技术领域

本发明属于人工智能技术领域，尤其涉及一种多模态客服自动回复方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

多模态对话系统建立在在文本对话系统的基础上，最近在不同领域特别是零售领域，受到了越来越多的关注。尽管现有的面向任务的多模态对话系统已经显示出有前途的性能，但它们仍然存在以下问题：

聊天机器人的回复使用不同的媒体形式表达各种信息，像商品展示、商品介绍、日常问候等，往往是通过在文本或文本图像组合来进行表述。现有的方法将多模态对话系统中的文本生成和图像选择视为两个独立的任务，并通过手动选择性地组装文本和图像来生成回复；

图像选择任务本质上是商品推荐问题。推荐模型根据用户在上下文中传达的偏好对商品进行排名，并返回排名最靠前的商品。现有方法仅在选择期间考虑视觉图像，却完全忽略了与商品相关的丰富的属性信息，比如价格，材料，尺寸和样式等；

买家和聊天机器人之间的对话通常涉及多方面多类型的知识，包括风格搭配，商品属性和商品在名人中的流行度等等。尽管如此，现仅有一种方法在多模态对话系统中考虑了风格搭配，而其他方法根本不会引用任何类型的知识。

发明内容

为克服上述现有技术的不足，本发明提供了一种多模态客服自动回复方法及系统，首先利用上下文编码器将多模态上下文嵌入到上下文向量中，然后通过意图理解模块的分类模型分类用户的意图，针对不同的用户意图生成多形式的回复。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种多模态客服自动回复方法，包括以下步骤：

接收话语并进行编码，得到上下文向量；

基于上下文向量，基于预训练的意图类别识别模型确定其相应的意图类别；

基于设定规则确定该意图所对应的回复类别；

根据所述回复类别，将所述上下文向量作为输入，采用预训练的回复模型生成对应回复。

一个或多个实施例提供了一种多模态客服自动回复系统，包括以下步骤：

上下文编码器，接收话语并进行编码，得到上下文向量；

意图类型识别模块，基于上下文向量，基于预训练的意图类别识别模型确定其相应的意图类别；

回复类别确定模块，基于设定规则确定该意图所对应的回复类别；

回复生成模块，根据所述回复类别，将所述上下文向量作为输入，采用预训练的回复模型生成对应回复。

一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的多模态客服自动回复方法。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的多模态客服自动回复方法。

以上一个或多个技术方案存在以下有益效果：

本发明充分考虑了用户的意图，对用户输入的话语进行意图识别，即区分是哪种类型的话语(例如打招呼、需求商品要满足的要求、确定购买等)，基于意图生成多种形式的回复，使得回复能够最大限度的满足用户意愿。