[发明专利]在线训练的场景描述机器人系统及方法

说明书

本申请实施例公开了一种在线训练的场景描述机器人系统及方法。所述方法包括：A1、接收新的图像‑文本对数据；A2、根据所述新的图像‑文本对数据构建训练集；A3、使用所述训练集对训练状态的图像‑文本模型进行训练，得到训练好的训练模型；A4、根据所述训练好的训练模型对用于服务的测试状态的图像‑文本模型进行更新。所述系统包括导盲机器人和服务器。本申请实施例的测试状态的图像‑文本模型可随着环境在更新和变化，可大大提高系统对真实场景的适应性，可保证预测效果。

技术领域

本申请涉及人工智能技术领域，特别涉及一种在线训练的场景描述机器人系统及方法。

背景技术

现存的保障盲人出行的设施或设备主要有：无障碍设施、导盲犬和导盲手杖。由于盲人的生活不便，导盲犬以及导盲手杖逐渐成为帮助盲人出行的工具。然而，导盲犬不易训练且成本较高；导盲手杖的探测范围有限。盲文的学习也需要时间成本，盲人理解现实世界的需求十分迫切。

国内外的研究团队开始致力于研究一种更智能可靠的导盲机器人。例如一种基于嵌入式技术的导盲机器人，能够识别障碍物与交通标志；又例如一种人机交互式导盲机器人，其能够通过传感器探测外界环境，并以语音的形式传递给盲人；又例如基于CNN-LSTM(CNN，Convolutional Neural Networks，卷积神经网络；LSTM，Long Short-Term Memory，长短期记忆网络)的场景描述系统，将训练好的模型下载到嵌入式设备中，实现图像翻译文字的功能。

大多数帮助盲人理解现实世界的产品或系统，在实现上，首先使用公开的图像转文字数据集(例如MicrosoftCOCO等)，在CNN-LSTM模型的深度学习模型上进行训练，经过模型压缩等环节，然后烧写到嵌入式设备中进行使用。由于深度学习的性能好坏很大程度上取决于数据的分布；公开数据集中的图像大多具有较高质量和较为确定的场景；真正应用在盲人所处的生活场景中，摄像机采集的图像很容易出现模糊、曝光不足等状况，且场景内容也与数据集中的有较大不同，因此容易导致测试时效果较差，且受摄像头质量与拍摄角度等因素的影响较大。这是现有的场景描述系统在产品化的过程中面临的困境。

以上背景技术内容的公开仅用于辅助理解本申请的发明构思及技术方案，其并不必然属于本申请的现有技术，在没有明确的证据表明上述内容在本申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本申请提出一种在线训练的场景描述机器人系统及方法，可解决图像描述过程中，训练模型所使用的数据集的分布与从使用环境中采集的数据的分布不同所造成的预测效果不高的技术问题。

在第一方面，本申请提供一种场景描述机器人的在线训练方法：A1、接收新的图像-文本对数据；A2、根据所述新的图像-文本对数据构建训练集；A3、使用所述训练集对训练状态的图像-文本模型进行训练，得到训练好的训练模型；A4、根据所述训练好的训练模型对用于服务的测试状态的图像-文本模型进行更新。

在一些优选的实施方式中，所述A2包括：

对每一条所述新的图像-文本对数据均赋予一个样本权重；其中，所述样本权重随着所述新的图像-文本对数据上传的时间与当前时间的间隔成负相关；

基于所述样本权重将所述新的图像-文本对数据采集到所述训练集中。

在一些优选的实施方式中，所述A2还包括：

提取每一个所述新的图像-文本对数据的全局特征；

将所述新的图像-文本对数据的全局特征与全部数据集中的所有样本进行比对排序，选出相似度最高的N个样本与相似度最低的N个样本一同加入所述训练集；其中，N为整数。

在一些优选的实施方式中，使用所述训练集对训练状态的图像-文本模型进行训练包括：使用所述训练集，通过神经网络结构搜索方法搜索训练模型的网络结构和参数。