[发明专利]智能问答数据处理系统

权利要求书

1.一种智能问答数据处理系统，其特征在于：

包括预设数据库，预设模型库{第一模型,第二模型,…第G模型}、处理器和存储有计算机程序的存储器，G为预设模型库中模型总数量，所述预设数据库包括FAQ库和基于用户query实时通过预设查询接口获取的问答信息，当所述处理器执行所述计算机程序时，实现以下步骤：

步骤S1、获取用户query，并对所述用户query进行预处理，得到用户query的分词特征；

步骤S2、调用第i模型从所述数据库中召回与所述用户query相似度排在前N_i的第i预选query集合和相似度排在第N_i至第M_i的第i候选query集合，所述第i预选query集合包括第i预选query和对应相似度，所述第i候选query包括第i候选query和对应相似度, 所述第i模型表示所述预设模型库中第i个模型，i的取值为1到G-1；

步骤S3、调用第G模型从所有第i候选query集合中获取与所述用户query存在相同意图的第G预选query集合，所述第G预选query集合包括第S预选query、对应的相似度和相同意图对应的概率；

所述步骤S3包括：

步骤S31、基于用户query的分词特征转换为第G模型对应的输入特征，得到用户query的意图标签和每一意图标签的概率；

步骤S32、将所有第i候选query集合中每一候选query转换为第G模型对应的输入特征，得到候选query的意图标签和每一意图标签的概率；

步骤S33、将每一候选query的意图标签与所述用户query的意图标签进行对比，若存在相同意图标签，则将该候选query确定为第G预选query，并将该候选query、对应的相似度和相同意图对应的概率存储至所述第G预选query集合中；

步骤S4、基于所有第i预选query集合、第G预选query集合和每一模型对应的预设权重确定目标query，基于所述目标query生成回答信息。

2.根据权利要求1所述的系统，其特征在于，

还包括第一样本训练集合、第二样本训练集合和意图标签库，G取值为4，所述第一模型用于执行BM25算法；第二模型为将BERT模型的倒数第二层作为输出的模型；第三模型为基于预设的第一样本训练集合对BERT模型进行调整训练后，将倒数第二层作为输出的模型；第四模型为基于预设的意图标签库和第二样本训练集训练得到的文本多标签分类模型；

当所述处理器执行所述计算机程序时，还实现以下步骤：

步骤S10、构建第一样本query集合，相似度大于预设相似度阈值的样本query标注有相同的标签；

步骤S20、从所述第一样本query集合中选取预设第一数量的具有相同标签的样本query对，作为第一正样本集合；

步骤S30、从所述样本query集合中随机抽取预设第二数量的具有不同标签的样本query对，加入第一负样本集合中；

步骤S40、基于BM25算法从所述样本query集合中召回相似度位于前R的query，从所述前R的query中抽取预设第三数量的具有不同标签的样本query对，加入第一负样本集合中，所述第二数量和第三数量之和与所述第一数量的比值大于预设比例值，所述第一正样本集合和所述第一负样本集合构成所述第一样本训练集合；

步骤S50、将BERT模型倒数第一层作为输出，将第一正样本的样本query对基于预设的间隔符进行拼接，生成第一正样本输入数据，第一正样本的实际输出值设置为1，将第一负样本的样本query对基于预设的间隔符进行拼接，生成第一负样本输入数据，第一负样本的实际输出值设置为0，将第一正样本输入数据和第二负样本数据分别输入所述BERT模型中，得到输出预测值，基于样本输出预测值和实际输出值调整所述BERT模型，直至达到预设的模型精度需求；

步骤S60、将达到预设的模型精度需求的BERT模型的倒数第二层作为输出，得到所述第三模型；

当所述处理器执行所述计算机程序时，还实现以下步骤：

步骤S100、构建第二样本query集合，所述第二样本query集合中存储有每一第二样本输入特征和意图标签，所述第二样本输入特征包括字嵌入、位置嵌入和分割嵌入；

步骤S200、将所述第二样本输入特征输入BERT模型中，输出维度为批量大小，序列长度，隐向量大小的三维输出向量；

步骤S300、将所述三维输出向量输入到TextCNN模型，得到维度为批量大小，len（卷积核大小）*卷积核个数的中间输出向量，其中，Len函数表示得到字符串的长度；

步骤S400、将所述中间输出向量输入到全连接层，将所述中间输出向量映射到意图标签库的所有标签上，训练得到文本多标签分类模型。