[发明专利]使用生物统计数据训练感知任务的机器学习模型

说明书

一般而言，本公开涉及训练机器学习模型(例如人工神经网络)以基于当活体正执行感知或认知任务的同时，从活体收集的生物统计数据(例如脑电波记录)执行感知或认知任务的系统和方法。特别地，本公开的方面涉及新的监督范式，通过该范式，使用在生物体感知的那些示例(例如，查看图像、收听语音等)的同时，与从活体(例如人类)收集的诸如神经活动记录的伴随生物统计数据(例如脑电图数据、皮层电图数据、功能性近红外光谱和/或脑磁图数据)配对的示例刺激来训练机器学习特征提取模型。

相关申请的交叉引用

本公开要求于2019年2月6日提交的美国临时专利申请No.62/801,831的优先权，其全部内容通过引用并入本文。

技术领域

本公开一般涉及机器学习。更具体地，本公开涉及使用生物统计数据(诸如，神经活动记录(例如，脑电波记录))来训练机器学习模型以例如经由多模态学习技术执行感知任务。

背景技术

人类擅长各种感知和认知任务，其中包括视觉对象识别、声学事件识别和语音识别等。训练机器学习模型以执行这些任务的一种典型方式是在训练数据上训练模型，该训练数据包括已经由人类贴标签员明确标记的训练示例。例如，为了生成这样的训练数据，计算系统可以向人类呈现逼真的训练示例(例如，对象的图片、口语句子)，并且征求作为人类应用其内在感知和认知能力的结果的明确的类别标签。人类在感知训练示例时执行的内在人类感知活动编码经验和专业知识的生命周期，并且允许人类毫不费力地执行注释。然后，研究人员或工程师使用这些配对的示例和标签来训练模型以模仿人类感知能力。

作为示例，可以向人类呈现猫的图片，并要求人类识别(例如，分类)图片中的动物。人类可以应用她的内在感知能力来识别猫，并且可以用猫的显式标签进行响应(例如，通过将数据手动输入到计算设备中)。例如，用户可以手动键入标签或者可以从所显示的一组可用选项中选择“猫”标签。然后，显式标签可以与(例如，数据库中的)图像相关联(例如，对图像做注释)以包括在训练数据集中。

然而，上述标记过程既耗时又昂贵。特别地，由人类贴标签员手动输入标签可能要求不期望的时间量和其他资源。因此，获得可以被用于产生可以执行特定感知任务的机器学习模型的训练数据是具有挑战性的。

因此，在过去几年中已经为许多应用领域开发了无监督学习过程，其允许仅使用未标记的数据来训练这些网络的大部分。虽然这些无监督方法可以减少构建新模型所需的标记数据量，但是所得到的模型的性能始终达不到仅用中等量的人类注释的训练示例变得可能的性能。

发明内容

本公开的实施例的方面和优点将部分地在下述说明书中阐述，或者可以从说明书中学习到，或者可以通过实施实施例来学习。