[发明专利]一种基于相似度确定标准问题的方法及系统

权利要求书

1.一种基于相似度确定标准问题的方法，其特征在于，包括以下步骤：

S1:获取用户问句信息，根据相似度模型推算用户问句与已有训练数据的相似度，并将相似度低于指定阈值的问句存储为待处理数据，确定与已有标准问题特征不符的生疏数据；

S2:对待处理数据中的用户问句执行聚类分析，提取每个类别的特征为热点词，对热点词从高到低进行排序，将排序最靠前的热点问题储存于待标注数据库，扩展用于智能问答系统中的标准问题。

2.如权利要求1所述的基于相似度确定标准问题的方法，其特征在于，步骤S1还包括以下步骤：

S1.1：使用分词模型对用户问句进行中文分词，并使用停用词过滤；

S1.2：获得用户问句的词粒度数据，在词袋检索库中检索，得到该用户问句需要对比的数据；

S1.3：将用户问句与得到的每个对比数据执行语义相似度计算，并进行排序；

S1.4：将低于指定阈值的用户问句确定为生疏数据。

3.如权利要求1所述的基于相似度确定标准问题的方法，其特征在于，所述相似度模型采用Simnet文本语义匹配模型，包括输入层、表示层和匹配层；所述输入层通过检索词表将文本词序列转换为词嵌入向量序列；所述表示层将词嵌入向量序列转换为语义向量；所述匹配层利用语义向量进行交互计算，获取匹配得分。

4.如权利要求3所述的基于相似度确定标准问题的方法，其特征在于，采用pair-wiseRanking Loss函数对Simnet模型进行训练，其训练优化目标是使得S(Q,D+)S(Q,D-)，其中Q表示搜索查询文本，D+表示相关的一篇文档，D-表示不相关的一篇文档，S(Q,D+)表示文档D+与Q的匹配度得分，S(Q,D-)表示文档D-与Q的匹配度得分。

5.如权利要求3所述的基于相似度确定标准问题的方法，其特征在于，采用字粒度和词粒度进行融合互补训练，输入混合粒度词序列到输入层，或同时使用不同粒度切词，分别输入不同粒度词序列到输入层。

6.如权利要求1所述的基于相似度确定标准问题的方法，其特征在于，步骤S2还包括以下步骤：

S2.1:获取未处理的生疏数据；

S2.2:对上述生疏数据进行交叉相似度计算，进行文本聚类处理；

S2.3:将聚类类别高于设定数量的用户问句数据进行平均相似度计算；

S2.4:推荐最接近的分类问句为所扩展标准问题。

7.一种基于相似度确定标准问题的系统，其特征在于，包括：

确定装置，所述确定装置确定与已有标准问题特征不符的生疏数据，包含：

训练模块，从预设的标准问题数据与其已获取的标注数据中获取相关联的特征，用于训练相似度模型；

推理模块，获取用户问句信息，根据相似度模型推算用户问句与已有训练数据的相似度，并将相似度低于指定阈值的问句存储为待处理数据；

扩展装置，扩展用于智能问答系统中的标准问题，包含：

聚类模块，对待处理数据中的用户问句执行聚类分析，提取每个类别的特征为热点词，对热点词从高到低进行排序，将排序最靠前的热点问题储存于待标注数据库；

人机协作模块，将待标注数据使用平均相似度算法计算，推荐最接近的分类问句为所扩展标准问题。

8.如权利要求7所述的基于相似度确定标准问题的系统，其特征在于，所述推理模块通过以下步骤确定生疏数据：

S1.1：使用分词模型对用户问句进行中文分词，并使用停用词过滤；

S1.2：获得用户问句的词粒度数据，在词袋检索库中检索，得到该用户问句需要对比的数据；

S1.3：将用户问句与得到的每个对比数据执行语义相似度计算，并进行排序；

S1.4：将低于指定阈值的用户问句确定为生疏数据。