[发明专利]一种多模型融合的语料生成方法及装置

权利要求书

1.一种多模型融合的语料生成方法及装置，其特征在于：包括以下步骤：

S1、采集待处理问题的训练文本集；

S2、构建unilm预训练数据集；

S3、通过Bert-encoder获取sentence embedding计算相似度，并把相似度最高的前300个问题的提供给人工标注，标注待扩充问题的对应的相似问题，所述相似问题作为待补充问题的对应的扩充语料；

S4、对人工标注数据集使用随机采样、分层采样，基于Transformer和unilm调整参数；

S5、接收的用户输入的问题并对预测出待扩充语料，根据模型的效果BLEAURT，取BLEAURT大于预设数值的前30个的语料，获得待扩充的语料；

S6、根据待扩充的语料生成对应的多样性的扩充语料，获得最终语料扩充结果。

2.如权利要求1所述的一种多模型融合的语料生成方法，其特征在于：所述unilm预训练数据集包括1/3的Bidirection LM、1/3的L-to-R或R-to-L LM，1/3的Seq-to-Seq LM。

3.如权利要求1所述的一种多模型融合的语料生成方法，其特征在于：所述预设数值为0.7。

4.一种多模型融合的语料生成装置，其特征在于：包括：

理财教育语料数据库，其用于储存预输入的FAQ语料数据，并生成训练文本集，根据训练文本集构建可用于unilm预训练的数据集；

相似度计算模块，其用于通过Bert-encoder获取sentence embedding计算相似度，并把相似度最高的300条问题输出；

人工标注模块，其用于人工标注300条问题中的待扩充问题，并标注待扩充问题的对应的相似问题，所述相似问题作为待补充问题的对应的扩充语料；

预测模块，其用于对人工标注数据集使用随机采样、分层采样，基于Transformer和unilm调整参数，还用于接收的用户输入的问题并对预测出待扩充语料，根据模型的效果BLEAURT，取BLEAURT大于预设数值的前30个的语料，获得待扩充的语料，其用于生成多样性的扩充语料，获得最终语料扩充结果。

5.如权利要求4所述的一种多模型融合的语料生成装置，其特征在于：所述unilm预训练数据集包括1/3的Bidirection LM、1/3的L-to-R或R-to-L LM，1/3的Seq-to-Seq LM。

6.如权利要求4所述的一种多模型融合的语料生成装置，其特征在于：所述预设数值为0.7。