[发明专利]一种计算机视觉能力迁移方法、装置、设备及存储介质

说明书

本申请公开了一种计算机视觉能力迁移方法、装置、设备及存储介质，涉及神经网络技术领域。该方法包括：分别利用RGB图片集对RGB相机模型和事件图片集对事件相机模型进行同步训练，以得到各自对应的特征值；对所述特征值进行矩阵运算，以得到与所述RGB相机模型对应的第一传递参数和与所述事件相机模型对应的第二传递参数；基于所述第一传递参数与所述第二传递参数，利用预设损失值确定公式确定出总损失值，以通过知识蒸馏进行反向传播获得目标事件相机模型。通过本申请的技术方案，可以通过知识蒸馏将RGB相机的关键点检测匹配能力转移到事件相机，解决传统RGB相机在夜间或光线较暗环境中关键点检测模型性能较差的问题。

技术领域

本发明涉及神经网络技术领域，特别涉及一种计算机视觉能力迁移方法、装置、设备及存储介质。

背景技术

在人工智能时代，随着计算机视觉技术的发展，研发人员越来越倾向于使用摄像头、相机和海量数据去训练一个优秀的关键点检测匹配模型。基于高清晰度RGB相机训练出来的模型在处理实际业务的过程中，往往有着令人满意的表现。但受制于相机本身性质的影响，这些在光照条件下表现优异的模型可能在低光照或者无光照条件下变得低效甚至失效。同时，随着计算机视觉的应用场景的增多，一款能够适应各种天气、光线、环境的摄像头逐渐进入大众视野，也即是，事件相机。

事件相机作为一款高帧率相机，其工作方法是判断像素点的光强是否发生变化。当光强发生变化，并且达到阈值，则会被判定为事件。不同于传统RGB相机通过曝光获得图像，事件相机生成图片依靠光强变化，因此在昏暗条件下，事件相机获取关键点的能力要远远优于普通RGB相机。

综上，如何利用在夜间或光线较暗环境下性能更加优秀的事件相机，进行关键点检测匹配，是目前有待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种计算机视觉能力迁移方法、装置、设备及存储介质，能够解决关键点检测匹配模型应用在传统RGB相机时，夜间性能不良的问题。其具体方案如下：

第一方面，本申请公开了一种计算机视觉能力迁移方法，包括：

分别利用RGB图片集对RGB相机模型和事件图片集对事件相机模型进行同步训练，以得到各自对应的特征值；其中，所述RGB图片集为利用RGB相机采集得到的图片集；所述事件图片集为利用事件相机采集得到的图片集；

对所述特征值进行矩阵运算，以得到与所述RGB相机模型对应的第一传递参数和与所述事件相机模型对应的第二传递参数；

基于所述第一传递参数与所述第二传递参数，利用预设损失值确定公式确定出总损失值，以通过知识蒸馏进行反向传播获得目标事件相机模型。

可选的，所述分别利用RGB图片集对RGB相机模型和事件图片集对事件相机模型进行同步训练，以得到各自对应的特征值，包括：

获取RGB图片集和事件图片集，并按照预设比例分别对所述RGB图片集和所述事件图片集进行分配，以得到相应数量的训练数据和测试数据；

将与所述RGB图片集对应的训练数据输入到所述RGB相机模型，以得到第一特征值；

将与所述事件图片集对应的训练数据输入到所述事件相机模型，以得到第二特征值。

可选的，所述基于所述第一传递参数与所述第二传递参数，利用预设损失值确定公式确定出总损失值，以通过知识蒸馏进行反向传播获得目标事件相机模型之后，还包括：

将与所述RGB图片集对应的测试数据输入到所述RGB相机模型，以得到第一测试结果；

将与所述事件图片集对应的测试数据输入到所述目标事件相机模型，以得到第二测试结果；

将所述第一测试结果与所述第二测试结果进行对比，以评估所述目标事件相机模型。