[发明专利]基于多模态混合模型的业务数据处理方法及装置

权利要求书

1.一种基于多模态混合模型的业务数据处理方法，其特征在于，包括：

解析保单业务信息中的图像数据、以及文本数据；

基于完成训练的多模态混合模型对所述图像数据、所述文本数据进行多模态混合识别处理，得到多模态混合处理结果，所述多模态混合模型为基于多模态输入参数的个数分别配置模态替换对象进行构建，并以混合模态方式确定损失函数完成模型训练得到的；

根据所述多模态混合处理结果对所述保单业务信息进行标签分类，并解析标签分类后各标签分类的保单业务需求以及承保启动触发事件；

当检测到所述承保启动触发事件，则启动对所述保单业务信息的承保操作。

2.根据权利要求1所述的方法，其特征在于，所述基于完成训练的多模态混合模型对所述图像数据、所述文本数据进行多模态混合识别处理，得到多模态混合处理结果之前，所述方法还包括：

获取多模态训练样本集，所述多模态训练样本集中包含至少两个单模态训练样本组；

构建多模态混合网络结构，并获取所述多模态混合网络结构中替换至少一个单模态输入参数的模态替换对象，所述单模态输入参数的个数之和小于或等于多模态输入参数个数；

基于所述模态替换对象、所述单模态训练样本组对多模态混合网络结构进行模型训练，得到多模态混合模型，所述多模态混合模型的损失函数为基于混合模态方式确定的。

3.根据权利要求2所述的方法，其特征在于，所述基于所述模态替换对象、所述单模态训练样本组对多模态混合网络结构进行模型训练，得到多模态混合模型之前，所述方法还包括：

对所述多模态训练样本集进行单模态训练样本组类别个数划分；

根据划分的类别个数之间的比值配置各模态替换对象的替换权重值；

所述获取所述多模态混合网络结构中替换至少一个单模态输入参数的模态替换对象包括：

确定与所述单模态输入参数匹配的至少一个模态替换对象，按照所述替换权重值从所述模态替换对象中筛选唯一匹配所述单模态输入参数的模态替换对象。

4.根据权利要求3所述的方法，其特征在于，所述对所述多模态训练样本集进行单模态训练样本组类别个数划分之前，所述方法还包括：

按照预设时间间隔、保单业务更新状态对所述多模态训练样本集中单模态训练样本组进行更新，以更新各模态替换对象的替换权重值。

5.根据权利要求1所述的方法，其特征在于，所述所述标签分类用于表征标记不同保单业务信息所对应的保单产品、时间、主体对象，所述根据所述多模态混合处理结果对所述保单业务信息进行标签分类，并解析标签分类后各标签分类的保单业务需求以及承保启动触发事件包括：

将对所述多模态混合处理结果标记的保单产品标识、时间标识、主体对象标识与所述保单业务需求中的核保需求、状态追踪需求、抽样评估需求进行匹配；

若匹配，则将承保启动触发事件配置于所述保单业务信息执行核保操作、状态追踪操作、抽样评估操作完成后，以执行所述承保启动触发事件的触发操作。

6.根据权利要求5所述的方法，其特征在于，所述启动对所述保单业务信息的承保操作包括：

调取承保线程，并解析所述保单业务信息中的承保参数，所述承保参数用于标识不同承保时间段、不同承保业务阶段的承保状态；

将所述承保参数引入所述承保线程中的承保操作执行指令中，以使按照所述承保操作执行指令执行承保业务。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述解析保单业务信息中的图像数据、以及文本数据之后，所述方法还包括：

按照图像清晰度、图像像素配比、图像大小对所述图像数据进行筛选，确定待进行多模态混合识别处理的图像数据；

根据自然语言处理数据库对所述文本数据进行异常词语筛选，确定待进行多模态混合识别处理的文本数据。