[发明专利]基于多模态深度迁移学习机制的多源异构数据融合系统

摘要

本发明公开了一种基于多模态深度迁移学习机制的多源异构数据融合系统，包括：信号采集器、处理器以及结果输出模块；所述信号采集器：用于获取检测对象的多源异构信息；所述处理器：包括用于分别提取源信息和目标信息的深度特征学习模块，参数传递模块，以及预先训练好的分类器或回归器，通过所述分类器检测对象类别或通过所述回归器检测对象数值；所述结果输出模块：用于输出分类器或回归器的判断结果。本发明提供的一种基于多模态深度迁移学习机制的多源异构数据融合系统，检测过程采用分类器或回归器，可以融合多源异构数据，有效解决样本少的问题，自动提取目标高层多模态特征，精度高，而且使用方便。

主权项

1.一种基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于包括：信号采集器、处理器以及结果输出模块；所述信号采集器：用于获取检测对象的多源异构信息，包括多个模态的源信息和目标信息；所述处理器：分别针对每一种模态建立对应的单模态源深度迁移学习模型和目标深度迁移学习模型，其中单模态源深度迁移学习模型是通过源数据集预先训练得到的，所述目标深度迁移学习模型是通过目标数据集训练得到的，且单模态源深度迁移学习模型中未完全连接的层和参数被迁移至目标深度迁移学习模型中的对应层次中；处理器还将多个目标深度迁移学习模型输出的特征进行选择和融合，然后得到多模态特征并采用分类器或回归器进行分类或回归操作；所述结果输出模块：用于输出分类器或回归器的判断结果。