[发明专利]使用生成式对抗模型修改传感器数据

说明书

包括编码在计算机存储介质上的计算机程序的方法、系统和装置，其使用生成式对抗模型以将由第一环境传感器生成的传感器数据的质量提高到类似于由具有比第一环境传感器更高质量的另一传感器生成的传感器数据的质量。接收分别由具有第一质量的第一环境传感器和具有目标质量的第二传感器生成的第一训练数据集合和第二训练数据的集合。使用第一训练数据集合和第二训练数据集合训练生成式对抗模型，以通过减小由第一环境传感器生成的传感器数据与由目标环境传感器生成的传感器数据之间的质量的差异来修改来自第一环境传感器的传感器数据。

背景技术

本说明书涉及使用生成式对抗模型以将由第一环境传感器生成的传感器数据的质量提高到类似于由具有比第一环境传感器更高质量的另一传感器生成的传感器数据的质量。

环境传感器(例如，音频传感器、视频传感器和图像传感器)有不同的分辨率。作为结果，一些环境传感器具有比其他传感器更高的分辨率。例如，现代无反相机中的图像传感器通常具有比袖珍傻瓜相机中的图像传感器更高的分辨率。与具有较低分辨率环境传感器的设备相比，具有较高分辨率环境传感器的设备通常生成较高分辨率的媒体。

发明内容

总的来说，本说明书中描述的主题的一个创新方面可以体现在能够包括以下操作的方法中：接收由具有第一质量的第一环境传感器生成的第一训练数据集合，第一训练数据集合具有第一质量；接收由具有目标质量的目标环境传感器生成的第二训练数据集合，第二训练数据集合具有目标质量，并且第一质量与目标质量不同；使用第一训练数据集合和第二训练数据集合来训练生成式对抗模型，以通过减小由第一环境传感器生成的传感器数据与由目标环境传感器生成的传感器数据之间的质量差异来修改来自第一环境传感器的传感器数据，其中训练包括：从生成式对抗模型的生成器模型中并且使用第一训练数据集合中的一个或多个数据项，获得具有不同于第一质量的质量的经修改的传感器数据集合；将包括第二训练传感器数据集合和经修改的第一传感器数据集合中的一个或多个数据项的数据项集合输入到生成式对抗模型的鉴别器模型中；由鉴别器模型并且使用数据项集合来确定数据项集合中的每个数据项是否具有目标质量；当鉴别器模型确定由生成器模型生成的数据项集合中的数据项具有目标质量时，调整鉴别器模型和生成器模型；以及当鉴别器模型确定数据项集合中的由生成器模型生成的数据项不具有目标质量时，调整鉴别器模型和生成器模型。该方面的其他实施例包括被配置为执行方法的动作的相应系统、设备、装置和计算机程序。计算机程序(例如，指令)可以被编码在计算机存储设备上。这些和其他实施例可以各自可选地包括一个或多个以下特征。

在一些实施方式中，第一环境传感器和第二环境传感器中的每个可以获取声音、图像或视频中的一个。

在一些实施方式中，方法可以包括以下操作：接收由具有第一质量的第一环境传感器生成的第一传感器数据；将第一传感器数据输入到生成式对抗模型中；以及使用生成式对抗模型的生成器模型，基于输入的第一传感器数据获得经修改的传感器数据。

在一些实施方式中，方法可以包括：接收由具有第一质量的第一环境传感器生成的第一传感器数据；将关于第一环境传感器的信息输入到存储不同环境传感器的已知缺陷的已知缺陷数据结构中；从已知缺陷数据结构中获得第一环境传感器的已知缺陷；基于第一环境传感器的已知缺陷来调整第一传感器数据；将调整后的第一传感器数据输入到生成式对抗模型中；以及使用生成式对抗模型的生成器模型，基于调整后的第一传感器数据获得经修改的传感器数据。