[发明专利]一种基于手机摄像头的幻灯片自动拍摄及智能剪辑方法

权利要求书

1.一种基于手机摄像头的幻灯片自动拍摄及智能剪辑方法，其特征在于：包括如下步骤：

1) 自动拍摄过程：

(1)基于图像内容理解和图像处理的幻灯片区域多候选推荐；

(2)融入用户反馈信息的幻灯片区域精准推荐；

(3)幻灯片区域的图像质量提升，包括：几何校准、颜色校准、对比度校准；

2) 智能剪辑过程：

(4)幻灯片冗余判定，包括：新幻灯片判定、同一张幻灯片中的动态局部区域判定；

(5)智能整合，包括：多张幻灯片的连续拼接，同一张幻灯片中的动态局部区域的动画合成。

2.如权利要求1所述的一种基于手机摄像头的幻灯片自动拍摄及智能剪辑方法，其特征在于，所述步骤(1)基于图像内容理解和图像处理的幻灯片区域多候选推荐，具体包括如下步骤：

(21) 构建基于深度神经网络的端到端学习的幻灯片检测模型，模型输出幻灯片区域的预测位置框；

(22)在步骤(21)输出的预测位置框基础之上，放大1.2倍，在放大后的区域内，设定梯度较大的点作为边缘提取的主要参照获取边缘特征图；

(23)筛选出图片中所有的闭合轮廓图；

(24)排除掉轮廓图中非四边形以及图像大小不符合预设的闭合轮廓图；

(25)进行最小外包矩形计算，保留包含幻灯片内容的最小矩形图片；

(26)对图片进行几何校正，得到正方向的多个候选图片，并推荐给用户。

3.如权利要求1所述的一种基于手机摄像头的幻灯片自动拍摄及智能剪辑方法，其特征在于，所述步骤 (2) 中融入用户反馈信息的幻灯片区域精准推荐，具体包括如下步骤：

(31) 采用模板匹配的方法，把用户调整后的幻灯片区域框作为基本模板；

(32)提取该框周围稳定特征的较小邻域作为精准模板，假定用户个性化标定的框临近背景和幻灯片内部的两个方向上的较小邻域内的特征比较稳定；

(33)在后续拍摄图像帧中，基于基本模板进行幻灯片框的粗筛选，基于精确模板进行精准筛选与推荐。

4.如权利要求1所述的一种基于手机摄像头的幻灯片自动拍摄及智能剪辑方法，其特征在于，所述步骤 (4) 中幻灯片冗余判定，包括：新幻灯片判定、同一张幻灯片中的动态局部区域判定，具体包括如下步骤：

(41) 幻灯片的差异分析：对比前后两帧图像中幻灯片区域的差异，预测差异区域；差异分析可以通过两种方式：基于一定的相似度指标的计算方式，以及基于深度神经网络模型的端到端的学习方式，即，在大量的幻灯片图像上学习出的特征空间中进行差异分析，输出幻灯片内容区域及内容新增区域的坐标；

(42)如果相似度达到70%，则认为是一张新的幻灯片；

(43)同时判定内容新增区域是否与前序内容区域是否有交叠，如果有交叠，则认为是同一张幻灯片。

5.如权利要求1所述的一种基于手机摄像头的幻灯片自动拍摄及智能剪辑方法，其特征在于，所述步骤 (5) 中智能整合，包括：多张幻灯片的连续拼接，同一张幻灯片中的动态局部区域的动画合成，其基于步骤（4）的判断结果可分为以下情况：

(51)若为不同页幻灯片，则直接对两张幻灯图片整页拼接；

(52)若为同一页幻灯片的多区域间断动态展示，则利用LaTeX排版，将步骤（4）保存的差异区域拼接到同页幻灯片中。