[发明专利]基于图像及分子数据的多模态实蝇识别系统及方法

权利要求书

1.一种基于世界有害实蝇图像及分子数据库的自动和交互实蝇识别方法，包括：

1)融合实蝇图像识别及分子识别于同一系统框架，分别进行图像及分子识别或二者任意组合的融合识别，以及在上述自动识别基础之上的人工交互识别。

2)实蝇图像识别基于Discriminative Deep Metric Learning原理及世界有害实蝇7属82种大数据集图像数据库，训练实蝇翅及中胸背板的Mask-R-CNN模型以提高识别率。

3)实蝇分子识别基于嵌入主系统框架的BLAST+程序，进行基于BLAST+的多源分子序列比对和自动鉴定，给出根据相似度排序的分子识别结果；分子识别结果与实蝇图像相关联，可同步显示分子识别结果前12个物种的特征图像。

2.一种基于世界有害实蝇图像及分子数据库的多模态实蝇识别系统，包括：

1)建立世界有害实蝇多源图像及分子序列库及识别标准7属82种，包括果实蝇属37种、寡鬃实蝇属11种、小条实蝇属10种、按实蝇属11种、绕实蝇属8种、咔实蝇属4种和长尾实蝇属1种；分子序列含28S rDNA核基因，c oxidase I(COI)线粒体基因、c oxidase II(COII)线粒体基因和16S ribosomal(16S rDNA)线粒体基因，图像含整体背面及侧面观、头部、中胸背板、翅和腹部等。

2)针对口岸检疫及害虫监测等应用场景，设计和研发镶嵌实蝇翅、中胸背板、腹部图像及分子序列自动识别模块的多模态识别系统，其核心为自动识别、分类器加权融合及交互复核的实蝇识别方法，系统首先载入图像或分子序列或两者同时加载，然后分别进行依据翅、中胸背板、腹部特征或分子序列的自动识别，或上述任何组合的融合自动识别，必要时在自动识别基础上进行人工交互识别，人工交互识别时采用待鉴定图像与模板库代表图像同屏显示并直接比对的方式，自动识别结果可选择前3、5、8和12相似物种进行显示；系统基于在线网络环境，可选择基于不同算法的自动识别模型，预留多个服务器、图像采集和预处理入口，对接文字数据库进行物种信息查询，以中、英文两种显示方式。

3.根据权利要求1所述的融合实蝇图像及分子识别方法于一体，其特征在于：依据固定比例权重融合图像及分子识别结果，首先分别进行图像及分子识别，然后基于各自识别出最相似物种列表中的共同种类，按相似度各占50％计算融合相似度，并依据融合相似度高低从高到低进行显示。

4.根据权利要求1所述的实蝇图像自动识别，其特征在于：依据实蝇翅及中胸背板形态特点，训练Mask-R-CNN模型对图像进行自动分割校准，必要时兼用ASM模型及矩形轮廓选取工具提取自动识别区域；基于Discriminative Deep Metric Learning原理，训练AlexNet模型提取有效的翅、中胸背板及腹部图像特征，采用模板特征匹配方法进行图像分类鉴别，给出根据相似度排序的自动鉴定结果。

5.根据权利要求1所述的建立分子自动识别模块，其特征在于：深度集成BLAST+工具，利用数据库工具makeblastdb将多源分子序列读入并创建序列比对模板数据库，使用blastn对待鉴别序列与模板库中序列进行比对，对鉴定结果重解析，给出按相似度排序的从高到低的分子识别结果。