[发明专利]一种钢琴键盘图像的形变恢复方法及系统

说明书

本发明公开了一种钢琴键盘图像的形变恢复方法及系统。该方法包括：以样本图像为输入，以样本图像中黑键的像素坐标以及设定白键的角点的像素坐标为标签，训练神经网络，得到角点检测模型；将标定图像输入角点检测模型，得到输出结果，标定图像为与待恢复形变图像同一摄像机拍摄的、已知设定白键的角点的现实坐标的图像；删除输出结果中识别错误的白键角点的像素坐标；根据白键角点的像素坐标以及标定图像中设定白键的角点的现实坐标，求解摄像机的内外参数和畸变参数；根据待恢复形变图像上各像素点的像素坐标，结合摄像机的内外参数和畸变参数，计算待恢复形变图像上各像素点的现实坐标。本发明能够简便快捷的实现对钢琴键盘图像的形变恢复。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种钢琴键盘图像的形变恢复方法及系统。

背景技术

广角摄像机能够捕捉到大视角的景物图像信息，可应用于较近距离录制钢琴教学视频。然而，广角摄像机成像后的图像存在畸变，不利于视频的视觉体验，所以需要通过摄像机标定技术，对图像的几何畸变进行修正。传统广角摄像机的修正，需要依赖特定材料的图像(如黑白棋盘纸的畸变图像)，检测出其中的网格角点，方可进一步计算出摄像机的内外参数及畸变参数并进行畸形图像修正。但是，特定材料的图像这一要求对于修正钢琴教学视频的图像畸变是极其不便的。

发明内容

本发明的目的是提供一种简便的钢琴键盘图像形变恢复方法及系统。

为实现上述目的，本发明提供了如下方案：

一种钢琴键盘图像的形变恢复方法，包括：

以样本图像为输入，以样本图像中黑键的像素坐标以及设定白键的角点的像素坐标为标签，训练神经网络，得到角点检测模型，所述样本图像为钢琴键盘图像，所述设定白键为与黑键具有设定位置关系的白键；

将标定图像输入所述角点检测模型，得到输出结果，所述标定图像为与待恢复形变图像同一摄像机拍摄的、已知设定白键的角点的现实坐标的图像；

根据所述输出结果中的黑键的像素坐标以及黑键与设定白键的所述设定位置关系，删除所述输出结果中识别错误的白键角点的像素坐标，得到去误差后的白键角点的像素坐标；

根据去误差后的白键角点的像素坐标以及标定图像中设定白键的角点的现实坐标，求解拍摄所述标定图像的摄像机的内外参数和畸变参数；

根据所述待恢复形变图像上各像素点的像素坐标，结合所述摄像机的内外参数和畸变参数，计算待恢复形变图像上各像素点的现实坐标。

可选的，所述内外参数包括体现像素坐标系与相机坐标系变换的内参数和体现相机坐标系与世界坐标系变换的外参数；所述畸变参数包括径向畸变参数和切向畸变参数。

可选的，所述根据去误差后的白键角点的像素坐标以及标定图像中设定白键的角点的现实坐标，求解拍摄所述标定图像的摄像机的内外参数和畸变参数，具体包括：

对去误差后的白键角点的像素坐标进行线性回归，得到线性回归线；

从所述线性回归线的一端到另一端，结合黑键与白键的位置关系，依次确定去误差后的白键角点对应的所述现实坐标；

根据像素坐标、现实坐标以及摄像机内外参数、畸变参数之间的关系式以及白键角点的像素坐标和现实坐标，计算所述摄像机的内外参数、畸变参数。

可选的，所述根据所述待恢复形变图像上各像素点的像素坐标，结合所述摄像机的内外参数和畸变参数，计算待恢复形变图像上各像素点的现实坐标，具体包括：

将所述待恢复形变图像上像素点的像素坐标以及所述摄像机的内外参数和畸变参数代入像素坐标、现实坐标以及摄像机内外参数、畸变参数之间的关系式，得到待恢复形变图像上像素点的现实坐标。

可选的，所述设定白键为相邻两组黑键之间的白键。