[发明专利]一种基于计算机视觉的苹果线上线下采摘交互系统及方法

说明书

本发明为一种基于计算机视觉的苹果线上线下采摘交互系统及方法，系统由线上子系统和线下基地系统组成。线上子系统包括用户管理模块、机器学习模块、苹果数字化采摘模块，线下基地系统包括苹果种植基地、拍照设备、唯一标识码及配送模块。苹果种植基地首先对处于采摘期的苹果制作唯一标识码，并对整个苹果基地进行立体三维建模，用户在苹果数字化采摘模块通过三维建模后的苹果基地进行苹果采摘，机器学习模块通过图像识别技术将用户采摘到苹果自动存入采摘篮，采摘结束系统将苹果根据标识码进行线下采摘并通过配送模块邮寄到用户手中。让用户更直观的体验苹果采摘的乐趣，了解所购买苹果的生长环境，所见即所得，进而提高苹果的销量。

技术领域

本发明涉及农业信息化技术领域，具体为一种基于计算机视觉的苹果线上线下采摘交互系统及方法。

背景技术

苹果的生产过程中，在现在产量和质量均已达到较高水平的情况下，如何拓宽苹果的销售渠道，提升苹果的附加值，增加苹果的经济效益，是当前地方政府和果农所重点考虑的问题。

传统的苹果交易都是市场和水果店进行的线下交易，这种模式较为普通，很难提高经济效益。近两年诞生了自助式的采摘果园，这种采摘方式不仅能够采摘到新鲜的苹果，而且体验感较好，但是缺点是果园一般较为偏远，需要人到现场进行采摘，费时费力。现有技术中的网上农场能够在一定程度上模拟线下采摘，但是也只是制作了一个动画效果让人们进行模拟采摘，互动性不强，没有实体果实对应，很难产生经济价值。

随着信息技术的飞速发展，特别是计算机视觉技术和三维实景建模的逐步应用，人们已经不仅仅满足于虚拟的体验，线上的体验与线下实物的结合成为一种新体验方式，同时在体验的过程中更加注重交互性和真实性。

发明内容

为克服现有技术中存在的上述问题，本发明提供了一种基于计算机视觉的苹果线上线下采摘交互系统及方法，采用真实种植基地与线上子系统相结合，利用计算机视觉技术，结合三维实景建模，让用户更直观的体验苹果采摘的乐趣，了解所购买苹果的生长环境，所见即所得，同时能将新鲜的苹果及时送到用户手中。

本发明是通过如下技术方案实现的：

一种基于计算机视觉的苹果线上线下采摘方法，包括如下步骤：

a. 对处于采摘期的苹果基地内的每个苹果制作唯一标识码，所述唯一标识码悬挂于对应的苹果一侧；

b. 通过全景摄像机对所述苹果基地进行360立体三维建模，并将立体三维模型发布到苹果数字化采摘模块；

c. 苹果数字化采摘模块识别立体三维模型中的苹果并对苹果图像进行图像分割划块处理；

d．接收用户对某个分割后的苹果图像的输入信息，并通过机器学习识别出该苹果图像对应的唯一标识码；

e. 对用户选择的苹果进行结算，同时线下获取用户的信息，将对应唯一标识码的苹果人工打包发货。

优选的，步骤d中，所述机器学习包括以下步骤：

S1：使用Lableme标注工具对收集到的唯一标识码图像进行标注，标注唯一标识码的号码牌作为1类，唯一标识码上的数字标识作为2类，得到数据集样本；

S2：将S1中的号码牌和数字标识作为标注数据，把其中数据集的75%作为训练数据，25%作为测试数据；

S3：构造faster RCNN图像检测网络包括，以深度卷积神经网络作为特征提取层，生成候选框的区域提取网络，收集候选框的感兴趣区域池化层，分类和回归网络判断目标图像和回归检测框；

S4：faster RCNN首先使用一组基础的卷积层、relu激活函数、pooling池化层提取图像的特征图（feature maps），该feature maps用于后续的候选框提取网络（RegionProposal Networks）和全连接层；

S5：候选框提取网络用于生成候选框（region proposals）；