[发明专利]基于关键行为识别的移动端短视频高光时刻剪辑方法

说明书

本发明公开了一种基于关键行为识别的移动端短视频高光时刻剪辑方法，主要解决现有智能剪辑方法存在的高光时刻素材识别不准确、剪辑结果观感生硬、剪辑步骤繁琐的问题。其方案为：1)获取输入的视频和图片素材；2)对输入视频素材构建抽帧序列；3)对抽帧序列进行关键行为检测4)根据检测结果结果分割视频素材；5)对输入的图片素材和4)中分割的非关键行为视频切片进行场景分割；6)对分割后的场景进行高光图像帧筛选；7)对高光图像帧和4)中得到的关键行为视频切片按照时间顺序剪辑，得到高光时刻视频。本发明可准确识别输入剪辑素材中的关键行为和高光帧，剪辑结果观感流畅，剪辑步骤简单，可用于手机、平板、智能相机等移动端设备。

技术领域

本发明属于网络媒体的视频处理领域，更进一步涉及一种移动端短视频高光时刻智能剪辑方法，可用于对用户使用移动设备拍摄短视频中的关键行为进行识别，并根据识别结果剪辑高光时刻视频。

背景技术

随着社交媒体的飞速发展和移动设备的大规模普及，拍摄短视频并在社交网络中分享和记录的人数呈爆炸式增长。高光时刻视频以丰富的内容和精妙的剪辑手法在社交媒体中备受欢迎。但对于普通用户而言剪辑并分享生活中的高光时刻门槛极高，其中用户关键行为识别、定位与剪辑过程十分耗时耗力，剪辑效率低，而且人工剪辑的过程容易造成误差，导致剪辑后的高光行为片段不够精准。因此利用人工智能技术对用户拍摄视频中的关键行为片段进行识别和素材推荐，辅助用户轻松剪辑出具有完整关键行为片段的高光时刻，可以显著降低用户剪辑过程中的工作量，增强用户剪辑产品的灵活性和质量。

近年来人工智能技术和计算机视觉技术在短视频智能剪辑领域逐渐开始应用，华为技术有限公司在其申请号为CN202010090350.7的专利申请文献中公开了一种“视频处理方法和视频处理的设备、存储介质”，其实现方案是：第一步：通过计算帧间图像的相似性和时间序列上音频的频率分布，定位可用于视频分割的时间点；第二步：根据分割点将视频分割成多个子视频，并从每个子视频中选择一个关键帧以及一个关键音频节点作为真正的分割点；第三步：通过图像模糊度以及对移动物体的跟踪识别出包含物体的整个运动过程；第四步：对音频片段进行识别，判断当前片段所属的场景，如打电话，交谈等；第五步：根据三四步的结果为用户提供视频主体的独立有意义的视频片段用于用户筛选。该方法由于仅通过画面和音频的清晰度判断素材是否有意义而忽视了画面中最有意义的用户行为，因而不适用于拍摄画面复杂且环境音嘈杂的剪辑素材，且该方法仅能实现对视频素材的分割，其剪辑还需用户手动进行。

腾讯科技(深圳)有限公司在其申请号为CN202110852101.1的专利申请文献中公开了一种“视频剪辑方法、装置、电子设备以及存储介质”。其实现方案是：第一步：对待剪辑视频进行抽帧处理，得到视频帧序列；第二步：识别该视频序列中每一个视频帧的场景类别序列；第三步：基于场景类别序列对原始视频进行切分，得到多个第一视频片段；第四步：按时间顺序拼接多个第一视频片段，以得到该待剪辑视频的视频集锦。该方法由于仅通过场景指标进行剪辑素材的切分，无法突出创作者想表达的视频主题活动，最终导致剪辑结果每个场景中仅包含离散化、碎片化行为片段，视频观感过于生硬，不符合人类审美。

秒影工场(北京)科技有限公司在其申请号为CN202111077438.6的专利申请文献中公开了一种“基于模板拍摄和自动剪辑的短视频制作方法及装置”。其实现方案是：第一步：在后台为待拍摄目标设置拍摄模板和剪辑规则；第二步：用户使用APP根据拍摄模板将视频的每个关键行为片段拍摄完成；第三步：将所拍摄片段编号后上传到智能剪辑云平台，智能剪辑云平台根据所述剪辑规则识别每个拍摄片段中的关键行为并设置转场；第四步：以剪辑顺序完成短视频剪辑并发回给用户。该方法由于用户必须按照固定的剪辑模板进行拍摄指定动作，因而用户创作空间较小、完全受制于剪辑模板，整个剪辑步骤繁琐，无法捕捉生活中转瞬即逝的高光时刻。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于关键行为识别的移动端短视频高光时刻剪辑方法，以解决用户在移动端短视频剪辑过程中存在的高光时刻素材识别不准确、剪辑结果观感生硬、剪辑步骤繁琐的问题。