[发明专利]使用图像数据的自动植物检测

说明书

当植物处理平台穿过田间时，植物处理平台使用植物检测模型来检测植物。植物处理平台从摄像装置接收图像数据，该摄像装置捕获田间生长的植物(例如，农作物或杂草)的图像。植物处理平台将预处理功能应用于图像数据，以准备图像数据供植物检测模型进行处理。例如，植物处理平台可以重新格式化图像数据、调整分辨率或纵横比、或者裁剪图像数据。植物处理平台将植物检测模型应用于预处理的图像数据，以生成植物的边界框。然后，植物处理平台可以基于机器学习模型的输出对植物应用处理。

相关申请的交叉引用

本申请要求2017年5月9日提交的美国临时专利申请第62/503,770号和2017年11月1日提交的美国临时专利申请第62/580,290号的权益，上述申请中的每一个的内容通过引用整体并入本文。

背景技术

用于处理田间农作物的传统系统广泛地将处理应用于田间的所有植物，或者田间内的植物的整个区域。例如，植物处理系统可以使用喷雾器，该喷雾器以相同的处理方式均匀地处理田间或者区域中的所有植物，而无需考虑单个植物。这些系统具有明显的缺点。在喷雾型处理的情况下的一个主要缺点是，在整个区域或者田间内传统地自由施加处理液会导致明显浪费。特别是对于肥料处理，含氮肥料的过量处理总体上对环境是有害的。此外，在这样的系统中，除非在处理之前花费了额外的精力来去除杂草，否则农作物和杂草都用肥料或者其他有益物平等地加以处理。这样的手工操作既昂贵又费时，并且不一定得到清除所有杂草的结果。

为了实现植物处理的精确应用，农民可以手工地对植物应用处理。然而，这些方法都是劳动密集型的，并且因此成本很高，特别是对于大规模进行的任何形式的现代农业而言。

发明内容

一种移动处理平台在平台穿过农田时使用植物检测模型对由移动处理平台上的摄像装置捕获到的图像数据中的植物进行检测和识别。具体地，该模型通常能够区分农作物和杂草，并且更具体地能够区分多种植物和多种杂草。移动处理平台从摄像装置接收图像数据，并对图像数据应用预处理功能。预处理功能可以执行多种功能中的任何一种，例如，使图像数据适应性调整以与用于训练植物检测模型的图像数据一致，以及/或者提高植物检测模型的最终特异性、灵敏度和/或效率。可以执行的预处理的示例包括但不限于去拜耳化、裁剪、白平衡、调整大小、曝光控制或者值归一化。

在一个实施方式中，植物检测模型被配置成生成包围该模型已经识别出的表示不同植物的图像数据部分的边界框。该模型将边界框与预测的植物种类(在本文中也称为植物的“类型”)和置信度度量相关联。

植物检测模型还可以用于检测移动处理平台已经处理过植物的区域。例如，如果移动处理平台将液体处理应用于植物，则植物检测模型可以生成边界框，该边界框描述图像数据中表示已经由移动处理平台处理过的区域和/或尚未处理过的区域的部分。

植物检测模型可以使用多种机器学习工具来生成，这些机器学习工具包括但不限于神经网络、支持向量机和决策树。在一个实施方式中，植物检测模型是单次多框检测器(SSD)神经网络的修改版本。在该实施方式中，根据“基线”SSD神经网络修改植物检测模型以提高植物检测模型的特异性、灵敏度和/或效率。在各种实施方式中，修改的SSD模型可以包括但不限于以下处理技术的任何一种：批量归一化、泄漏修正线性单元、残差神经网络、自定义锚框、清理标记数据、增加特征图的空间分辨率、空间变换器、训练损失优化、柔性最大值传递函数(softmax)、特征图融合、背景挖掘、训练增强以及基于不确定性的再训练。

在移动处理平台穿过田间时，移动处理平台使用植物检测模型的输出来控制对田间植物的处理。例如，移动处理平台可以使用识别图像数据内的各个农作物的边界框的位置来将肥料施用于那些农作物。类似地，移动处理平台可以使用识别图像数据内的各个杂草植物的边界框的位置来将除草剂施用于那些杂草植物。为了实现这种植物级别的特异性，移动处理平台可以包括适当的机载硬件以存储处理材料并且以植物特定的粒度级别应用它们。