[发明专利]用户行为自动检测智能屏幕抓屏系统

说明书

本发明公开了用户行为自动检测智能屏幕抓屏系统，通过采用计算机程序开发的图像识别分析技术、键盘鼠标钩子检测技术、USB信号检测技术，通过对各种技术的综合应用，研发了更为完全的系统用户行为检测技术，将用户检测放在采集端实现，通过网络信号传递用户行为判定结果给录播系统，减少录播系统的CPU计算资源消耗。同时对用户电脑屏幕的信息采集通过流媒体技术实现，摒弃了传统的物理视频线采集的方法。

技术领域

本发明涉及录播系统，具体涉及用户行为自动检测智能屏幕抓屏系统。

背景技术

近年来，录播系统应用越来越广泛，各行各业活动现场实时录制、直播、后期点播等需求快速增长，录制下来的视频文件用于记录、学习、分享。尤其在学校、教育培训行业，优质视频资源建设是学校教育信息化建设的重点方向，如优课，微课，精品课程等视频资源的的视频录制。因此，能简单生成一部具有高观赏性，效果好的视频课程资源是各行各业非常迫切的愿望。然而，当前整个视频录播行业对这个需求的产品化应用支撑一直没能达到用户的期望。尤其是自动跟踪和自动导播功能更是行业应用的痛点。

传统的屏幕录制和导播的方式是通过物理的视频线进行信号采集、如VGA 线，HDMI线，DVI线等，在采集到屏幕信号后还需进行人工导播切换，即由专人执守进行判断是否需要将屏幕画面切换为直播和录制画面作，由于场景中人物角色活动的不确定性，及场景变化的迅速，在人工导播录制操作时，很容易出现误操作，如漏切、误切等不准确的情况，会导致拍摄的视频出现精彩镜头丢失，增加人工投入，因此还需进行后期的人工视频编辑工作，也是非常的耗时耗力，错过的精彩片段无法弥补。本算法就是为解决此类行业应用的痛点问题而专门研发的。

发明内容

为解决上述技术问题，本发明目的在于提供用户行为自动检测智能屏幕抓屏系统，以克服现有技术的不足。

为达到上述目的，本发明的技术方案如下：用户行为自动检测智能屏幕抓屏系统，包括与计算机系统的硬件连接的用户行为检测识别模块和与录播系统连接的屏幕抓取编码推流模块，

所述用户行为检测识别模块包括，

图像识别单元，实现视频画面中运动物体的行为识别应用算法；

键盘鼠标钩子检测单元，判断是否用户有点击鼠标或按下键盘的按键；

USB信号检测单元，判断是否有其他外部设备在进行系统操作；

计算机系统的硬件包括显卡、键盘、鼠标和USB接口，所述显卡通过将计算机的数字信号转换成模拟信号传输至图像识别单元，所述键盘和鼠标通过数字信号连接所述键盘鼠标钩子检测单元，所述USB接口通过将对USB设备的信号监测发送到所述USB信号检测单元；

所述屏幕抓取编码推流模块通过对计算机系统的连接显卡的屏幕进行连续抓屏并对画面帧进行编码形成网络流，将网络流进行推流，推送到指定的录播系统网络流采集端。

进一步地，所述录播系统包括录影机和录屏模块，通过录影机对讲解人员的录播以及录屏模块对操作系统的屏幕抓屏进行数据采集，并发送到综合数据包。

进一步地，所述图像识别单元所用到的算法涉及到的主要图像分析计算算法为帧差法，通过计算采集的相邻两帧画面之间是否存在变化，可判断屏幕是否有变化。

进一步地，所述USB设备的信号监测包括设备插入和拔出以及设备信号截取，通过对开发的程序调用的RegisterDeviceNotification和 UnregisterDeviceNotification两个系统函数，函数执行成功后，则有硬件变化时操作系统就会发消息通知该程序，在程序收到系统通知后，便可以继续通过钩子技术截取USB设备的通信消息。