[发明专利]一种包含RGBDT信息的鸡只三维重建方法

说明书

本发明公开了一种包含RGBDT信息的鸡只三维重建方法。方法包括：建立鸡只图像采集系统，根据张正友平面标定法标定获得鸡只图像采集系统的相机参数；对相机进行立体标定，得到两个可见光相机之间的旋转矩阵和平移向量；采集鸡只的三张原始图像，对鸡只的三张原始图像分别进行去畸变操作后获得对应的三张去畸变图像，对三张去畸变图像处理后分别获得第一校正可见光图像、校正后的热红外图像和深度图像；构建场景三维颜色点云和场景三维温度场点云，处理后获得包含RGBDT信息的鸡只点云模型。本发明首次构建包含RGBDT信息的鸡只点云模型，能够直观反映鸡只羽毛的颜色、各部位的温度及体型体况，实现养殖过程自动化和智能化管理。

技术领域

本发明涉及畜禽智能感知技术领域的一种鸡只三维重建方法，具体涉及了一种包含RGBDT信息的鸡只三维重建方法。

背景技术

畜禽养殖业是支撑我国国民经济的重大产业，高品质的消费需求和紧缺的劳动力资源促使畜禽养殖业向信息化、精细化与智能化方向转型，对于畜禽生理健康状况智能监测技术的需求尤为迫切，畜禽的多源图像融合至关重要。

传统二维图像由于缺少真实的三维数据，难以反映畜禽的体型及体况信息，近年来，越来越多的学者使用三维重建技术来估测动物的体型和体重(Mortensen A K,Lisouski P,Ahrendt P.Weight prediction of broiler chickens using 3D computervision[J].ComputersElectronics in Agriculture,2016,123:319-326.)。然而这种方法只能获取到动物的颜色和深度信息，对于鸡只而言，体表温度信息至关重要，它能直观反映鸡只的生理健康状况，如环境温度过高时，鸡只将难以散热、温度升高，处于热应激状态，从而导致其生理不适、福利低下(Souza-Junior J B F,El-Sabrout K,Arruda A M V D,etal.Estimating sensible heat loss in laying hens through thermal imaging[J].Computers and Electronics in Agriculture,2019,166:105038.)。随着热成像技术的发展，红外热成像被证明在评估动物的热生理状态方面具有显著优势，若能将鸡只的颜色、温度及三维数据进行多源融合，则可以直观地观察并判断出鸡只的健康福利状况，有利于提升畜禽监测的智能化水平。

双目立体视觉是计算机视觉领域的重要分支，通过双目图像进行立体匹配可以获得场景的深度图像，重建出三维几何信息。考虑到直接用两个热像仪进行三维重建，由于热红外图像分辨率低、细节模糊，会导致重建得到的三维数据误差较大，因此采用双目可见光相机进行三维几何数据的获取较为合适。立体匹配是双目重建中最为关键的一步，传统的立体匹配算法往往受光照影响大、难以克服图像中弱纹理区域，导致图像匹配误差大；受深度学习浪潮影响，越来越多学者使用深度学习方法应用到立体匹配研究，并取得了较好的效果，如自适应聚合网络AANet+(Xu H,Zhang J.AANet:Adaptive Aggregation Networkfor Efficient Stereo Matching.In:Proceedings of the IEEE/CVF Conference onComputer Vision and Pattern Recognition,2020,1959-1968.)。

考虑到上述提到的不宜直接用两个热像仪进行三维重建，要使可见光图像、热红外图像以及深度图像达到像素级对应，需要对可见光图像与热红外图像进行图像配准。而通常可见光图像具有较高空间分辨率和图像对比度，热红外图像分辨率较低、图像细节表现较差，传统的基于特征的图像配准方法，如SIFT、SURF等特征检测算法，难以检测到正确的匹配对，无法保障异源数据的融合。

发明内容