[发明专利]结合关键词和语义理解表征的检索式回复对话方法及系统

说明书

本发明公开了结合关键词和语义理解表征的检索式回复对话方法及系统，系统结合了两种层次粒度的向量表征，分别是词袋向量表征和语义理解表征，结合过程中不只考虑了对话中关键词的信息，还考虑了基于上下文的语义理解，极大地提升了检索式回复模型的性能。本发明中采取了中文预训练模型Bert网络模型获取句向量表征，不仅理解句意，并且排除了词向量加权引起的误差。该系统采取了Bert网络模型在自己的单轮对话上训练分类任务——对话是否匹配的任务，通过微调，学习到了Bert中线性层和激活函数的权重。该系统使用了精排模型LGMRanker，可以直接预测与query相关的回复相对顺序，返回一个排好序的列表回来。

技术领域

本发明涉及人工智能检索式回复对话领域，尤其是涉及一种结合关键词和语义理解表征的检索式回复对话方法及系统。

背景技术

当前，对话系统在各个领域越来越引起人们的重视，主要是通过对话的形式让机器理解并处理人类语言的系统，其核心是模仿及抽象人与人之间沟通的方式，将对话抽象成可以建模的对话过程。而对话建模不是一个简单的任务，这是一个涉及理解、生成、交互等多个方向技术的综合实体。其对话场景的复杂性，比如客服、语音助手、闲聊等，也造就了对话系统的复杂性。

检索式对话是一种经典的解决方案，把一个对话问题抽象为一个搜索问题，早期的对话系统都是采用这种解决方案来实现的，直到现在，工业界首先会采用检索式对话实现一些简单的对话任务。

检索式回复模型的核心是其所使用的语义匹配算法。在目前的技术中，获取对话文本的语义表征时，往往采取RNN-based模型获取，当文本过长时，往往捕捉不到关键信息，且无法过滤掉自身冗余的信息，检索的相关回复质量不高。而单纯的使用关键词表征检索相关匹配回复，在语义上达不到流畅自然的回复效果。

发明内容

为解决现有技术的不足，基于关键词和语义理解两种不同粒度的表征，检索匹配回复，实现有效丰富检索回复的内容和质量的目的，本发明采用如下的技术方案：

结合关键词和语义理解表征的检索式回复对话方法，包括如下步骤：

S1，根据对话文本语料，得到单句对话文本和单句对话分词信息；

采集中文对话文本语料[ ]，拆分为单句对话文本[[ ]]和分词信息，用于训练word2vec模型；

预处理对话文本，分别将对话文本语料[]处理成单轮对话文本，获取单句对话分词信息；单轮对话文本，是以相邻的两句对话[ ]作为单轮的对话，其中i和j的关系满足i+1 = j，使用结巴分词将单轮对话的两句对话分词]。

S2，分别获取单句对话文本和单句对话分词信息的句向量表示；

单句对话分词信息 ]通过训练好的word2vec模型，获取其向量表示 ；

计算单句对话分词信息 ]与所有单句对话文本的TF-IDF向量表示 ；

根据单句对话的向量表示 与其对应的TF-IDF向量表示 ，得到该句对话的句向量表示 ，emded_size表示word2vec模型的词向量维度。

S3，根据句向量表示，分别构建第一、第二高速通道模型；

通过S2得到的句向量表示 ，基于关键词表征学习的句向量表示，构建分层的高速通道模型HNSW_1；通过S2得到的句向量表示 ，构建分层的高速通道模型HNSW_2；获取的单句对话[[ ]]，分别将每句对话utterance_i按照S2步骤计算每句的句向量表示sen_i，拼接在一起形成corpus_embedding=[[]]。