[发明专利]一种基于视频图像的叶类蔬菜三维表型测量方法

说明书

本发明公开了一种基于视频图像的叶类蔬菜三维表型测量方法，包括以下步骤：通过数据获取装置获取叶类蔬菜的视频图像数据；对视频图像数据进行去除模糊图像帧处理，并使用基于植被指数和尺度不变特征变换匹配方法，获取视频图像数据中包含叶类蔬菜区域的关键帧；将关键帧图像重建为三维点云模型，通过三维点云模型进行三维空间的后处理，得到后处理点云模型；对后处理点云模型提取点云骨架并进行点云分割，进而对叶类蔬菜表型参数进行计算，得到叶类蔬菜三维表型测量结果；本发明提供了一种方便、低成本的三维表型测量手段，不需要繁琐的图像拍摄过程，可通过直接录制绿叶蔬菜的视频来得到表型参数，进一步的，可将该方法扩展应用于其他叶类蔬菜的分析。

技术领域

本发明涉及计算机视觉技术与农业植物表型交叉的研究领域，特别涉及一种基于视频图像的叶类蔬菜三维表型测量方法。

背景技术

叶类蔬菜是人们日常生活中的所需各类营养的重要来源。蔬菜表型的量化和产量估计是其基因品种的选择和种植方式改进的前提，传统方式通过手工测量来完成，这是耗时而且繁琐的，同时改变了作物的生长状态，是破坏性的。因此，需要有高效便捷的原位蔬菜表型鉴定方法，以给育种研究和叶类蔬菜产量监测提供数据支持，从而改进提高蔬菜产量。

在过去的十几年，研究者广泛应用二维成像技术获取叶类蔬菜的表型。一些研究者使用CCD相机采集油菜数据，实现用于油菜表型二维参数的自动测量方法及装置。近些年，相关研究者将机器视觉与深度相结合，利用深度神经网络进行产量估计等。与此同时，一些研究者探索手机在农业生产中的应用，开发了基于手机拍摄图像的树木直径计算方法。然而由于二维世界缺乏深度信息，很难解决遮挡问题，尤其是在田间条件下这种情况非常普遍，从而难以获得研究对象精准的结构信息。

近些年，使用三维数据生成技术进行植物表型化的趋势不断增加。为了采集植物的三维数据，不同领域的研究者使用多种不同的基于三维传感器的技术，其主要可以分为两类：主动式和被动式。主动式传感器发射独立的光源，如手持激光扫描，结构光，地面激光扫描和飞行时间。LiDAR是用于表型分析的最广泛使用的主动传感器之一。除此之外，微软公司的Kinect是一种常见的主动传感器，它可以采集RGB-D数据，同时价格相对便宜，然而由于其分辨率较低，在室外场景下难以准确采集有效的数据。

基于被动方法的三维重建近些年受到关注。通过相机在不同角度采集感兴趣区域的图像，然后通过三角测量原理计算目标的深度信息。从运动中重建结构(SFM)方法由于其使用简单、鲁棒性等特点用于植物表型结构的测量、产量估计、良品预测中。目前由于SFM相关的工作针对单一的作物往往需要拍摄30到50张图像，拍摄过程复杂繁琐，且相机快门、ISO的参数的调整需要一定的经验。同时由于田间现场环境的复杂，如植物件的遮挡，风对植物抖动的影响，以及光照条件等都给这项工作带来了挑战。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于视频图像的叶类蔬菜三维表型测量方法，首先获取拍摄视频的关键帧，其后通过三维重建算法获得植物点云模型，通过点云骨架提取和点云分割获取叶类蔬菜的表型参数，最终实现基于手机视频数据的叶类蔬菜三维表型自动测量和分析。

本发明的目的通过以下的技术方案实现：

一种基于视频图像的叶类蔬菜三维表型测量方法，包括以下步骤：

通过数据获取装置获取叶类蔬菜的视频图像数据；

对视频图像数据进行去除模糊图像帧处理，并使用基于植被指数和尺度不变特征变换匹配方法，获取视频图像数据中包含叶类蔬菜区域的关键帧；

将关键帧图像重建为三维点云模型，通过三维点云模型进行三维空间的后处理，得到后处理点云模型；

对后处理点云模型提取点云骨架并进行点云分割，进而对叶类蔬菜表型参数进行计算，得到叶类蔬菜三维表型测量结果。