[发明专利]一种黑板笔迹自动合成方法

摘要

本发明公开了一种黑板笔迹自动合成方法，属于数据处理技术领域，包括采用一种黑板笔迹自动合成方法，包括如下步骤：通过摄像机实时采集包含黑板区域的图像，并在图像中检测黑板外框，对黑板进行定位；在检测出黑板位置后，根据图像中的黑板区域进行背景建模，得到背景图像；将摄像机当前采集到的图像与背景图像进行逐像素比对，得到前景像素；利用线条提取算法，对前景像素进行处理，以从当前采集到的图像中提取出文字笔迹；将连续多帧图像笔迹内容进行叠加，得到黑板上的笔记。本发明能自动检测到老师板书时新书写的内容，提取黑板中的文字信息，极大的提高了教学质量。

主权项

1.一种黑板笔迹自动合成方法，其特征在于，包括：

通过摄像机实时采集包含黑板区域的图像，并在图像中检测黑板外框，对黑板进行定位；

在检测出黑板位置后，根据图像中的黑板区域进行背景建模，得到背景图像；

将摄像机当前采集到的图像与背景图像进行逐像素比对，得到前景像素；

利用线条提取算法，对前景像素进行处理，以从当前采集到的图像中提取出文字笔迹；

将连续多帧图像笔迹内容进行叠加，得到黑板上的笔记。

2.如权利要求1所述的黑板笔迹自动合成方法，其特征在于，所述通过摄像机实时采集包含黑板区域的图像，并在图像中检测黑板外框，对黑板进行定位，具体包括：

利用Canny边缘检测算子，提取黑板区域图像的边缘；

遍历所有边缘的像素，并利用Hough直线检测方法，得到直线以及直线对应的方程；

对长度大于预设个数像素的直线进行分析，得到共线的两条直线；

对于两条共线的直线，计算该两条直线对应的边缘像素的最短距离；

在该最短距离小于预设个数像素时，将该两条直线融合为一条直线作为边界线；

对得到的所有边界线进行分析，在边界线构成四边形时则确定黑板定位。

3.如权利要求1所述的黑板笔迹自动合成方法，其特征在于，所述在检测出黑板位置后，根据图像中的黑板区域进行背景建模，得到背景图像，具体包括：

在确定黑板位置后，从图像中提取出黑板区域；

将黑板区域等间隔分割成6×6个子区域图像；

检测每个子区域图像内部是否存在笔迹；

对于不存在笔迹的子区域图像，直接更新到背景图像中该子区域对应的位置以得到背景图像。

4.如权利要求1所述的黑板笔迹自动合成方法，其特征在于，所述将摄像机当前采集到的图像与背景图像进行逐像素比对，得到前景像素，具体包括：

将摄像机当前采集的图像与所述背景图像进行逐像素对比；

若在某个像素位置，当前采集的图像与背景图像之间的亮度差值大于设定的亮度值，则将该像素检测出来；

对检测出的像素进行中值滤波处理，得到准确的前景像素。

5.如权利要求1所述的黑板笔迹自动合成方法，其特征在于，所述利用线条提取算法，对前景像素进行处理，以从当前采集到的图像中提取出文字笔迹，具体包括：

对所述前景像素进行逐行水平扫描，并记录线条的左右边界；

在同一行中，若线条左、右边界的距离小于3个像素，则保留下这两个边界的位置；

对所有行的线条的左、右边界进行分析，得到平滑的线条；

将当前采集图像中所有连续的、平滑的边界线条提取出来；

在所有连续的、平滑的边界线条中，将对应的左右边界线条形成连通域，得到对应的文字笔迹。

6.如权利要求1所述的黑板笔迹自动合成方法，其特征在于，所述将连续多帧图像笔迹内容进行叠加，得到黑板上的笔记，具体包括：

将连续的每一帧笔迹像素内容，逐个叠加到一张全黑的图像中，得到累加图像；

采用中值滤波对累加图像进行噪声过滤处理，并对处理后的图像进行连通域提取；

将距离小于2个像素的连通域连接起来，成为完整的文字作为笔迹。

7.如权利要求6所述的黑板笔迹自动合成方法，其特征在于，在所述将连续多帧图像笔迹内容进行叠加，得到黑板上的笔记之前，还包括：

根据前后帧黑板区域图像的文字笔迹内容变化，判断是否发生擦除动作；

若发生擦除动作，则将发生擦除动作前的连续多帧图像笔迹内容进行叠加，得到黑板上的笔记。

8.如权利要求1所述的黑板笔迹自动合成方法，其特征在于，还包括对所述黑板上的笔记进行识别，将其转录成数字内容，其具体包括：

对黑板上的文字进行文字行定位，得到多个文字行；

在每个文字行内，对单个的文字进行分割，对每个文字定位；

将每一个文字对应的图像块进行归一化处理，缩放至同样的尺寸；

采用事先训练好的深度卷积神经网络对文字图片进行特征提取、字符分类操作，得到对应的数字文字识别结果。

9.如权利要求8所述的黑板笔迹自动合成方法，其特征在于，所述对黑板上的文字进行文字行定位，得到多个文字行，具体包括：

A1）根据设定的文字行高数值对黑板上的文字版面进行二值化处理，得到笔迹图；

A2）将得到的笔迹图进行行投影，得到一条投影曲线；

A3）根据预先建立的波谷高斯模型，在投影曲线上检测出波谷的位置；

A4）将所有检测到的波谷位置提取出来，将两个相邻波谷之间作为一个文字行；

A5）重复执行步骤A1）至A4），得到所述黑板上所有文字的文字行位置。

10.如权利要求8所述的黑板笔迹自动合成方法，其特征在于，所述在每个文字行内，对单个的文字进行分割，对每个文字定位，具体包括：

B1）根据设定的文字宽度数值，对每个文字行进行二值化处理，得到当前文字行的二值化图像；

B2）将得到的文字行的二值化图像进行投影，得到文字行的投影曲线；

B3）基于预先建立的波谷高斯模型，在文字行的投影曲线上，检测波谷的位置；

B4）将所有检测到的波谷位置提取出来，将两个相邻的波谷之间作为一个文字；

B5）重复执行步骤B1）至B4），得到每一个文字行中文字的位置。