[发明专利]图像对象识别

说明书

包括在计算机存储介质上编码的计算机程序的方法、系统和装置，用于识别图像中的对象子类型。这些方法中的一种方法包括：接收训练数据；选择图像的训练数据；确定是否随机置换选定图像的特性的值；向深度神经网络提供特定训练数据或经随机置换的特定训练数据；从深度神经网络接收输出数据，该输出数据指示选定图像中描绘的对象的对象子类型的预测标签、以及表示对象具有对象子类型的可能性的置信度分数；使用期望输出值、预测标签和置信度分数，来更新深度神经网络中的一个或多个权重；以及向移动设备提供深度神经网络，以用于检测一个或多个图像是否描绘具有特定对象子类型的对象。

相关申请的交叉应用

本申请要求于2017年6月28日提交的美国临时申请号62/526,082的权益，其内容通过引用并入本文。

背景技术

一些移动设备包括集成相机。这些移动设备允许用户使用集成相机来捕获图像。例如，移动设备可以允许用户捕获景观或城市街道的图像。

一些图像分析系统(例如，在服务器上执行的)可以对图像执行对象识别以检测图像中描绘的对象。例如，图像分析系统可以确定图像中描绘的对象是人、树、还是狗。

发明内容

移动设备可以识别图像中描绘的特定对象，诸如特定类型的苏打瓶、特定类型的瓶装水、或特定类型的树。移动设备使用深度神经网络，可能无需从另一台计算机请求数据，以分析图像并且确定图像中描绘的特定对象。比如，移动设备可以确定图像中描绘的特定苏打瓶是否是一瓶可口可乐或健怡可乐。在另一示例中，移动设备可以确定图像中描绘的特定树是欧亚槭(即，美国梧桐)或者是挪威槭(即，挪威枫树)。

移动设备可以使用深度神经网络例如以使深度神经网络对于在不同环境中捕获的图像更加鲁棒，该深度神经网络使用输入数据集的随机变换来训练。例如，训练系统可以使用三百到五百个训练图像，这些训练图像描绘了将要训练深度神经网络的特定类型的对象。训练系统可以将监督学习与训练图像的随机变换一起用来训练深度神经网络。随机变换可以包括对图像中的光的改变、图像中描绘的光或者对象的抖动、图像中的颜色、图像的方位、图像中描绘的对象的大小、或者这些项中的两项或更多项的组合。训练系统可以通过调整图像中描绘的环境光量(例如，从晴天到阴天)或基于另一光量来改变照明。训练系统可以改变对象的颜色，诸如树叶的黑暗、例如由处于阴影中的苏打瓶引起的苏打瓶上的红色的深度或阴影、或者包括在图像中的另一种颜色。训练系统可以通过旋转图像来改变对象的方位，例如，五度或十度。训练系统可以通过裁剪图像以减小对象的大小与图像中描绘的总内容之间的比例来调整图像中描绘的对象的大小。训练系统可以向图像添加附加内容以增加对象的大小与图像中描绘的总内容之间的比例。

移动设备可以使用深度神经网络来确定特定类型的对象的名称，确定图像中的特定类型的对象的位置、或两者。比如，移动设备可以从深度神经网络接收附加信息并且提供用于呈现的附加信息。附加信息可以指示所描绘的对象的特定类型，诸如对象子类型的名称、关于所描绘对象的特定类型的其他信息(例如，产品信息)、或两者。在一些示例中，移动设备可以向服务器提供关于特定类型的对象、特定类型的对象的位置、或两者的数据。服务器可以使用该数据来确定库存信息、库存顺从性信息(例如，用于对象放置)、或二者。

在一些示例中，移动设备在不使用条形码的情况下确定特定类型的对象。比如，移动设备不需要捕获包括对象上的条形码的图像，以使用深度神经网络来确定对象子类型。