[发明专利]视频会议系统、处理装置及视频会议方法

说明书

技术领域

本发明涉及视频会议领域，尤其涉及一种视频会议系统、处理装置及视 频会议方法。

背景技术

传统的视频会议系统中，当多方进行会议时，尤其是当一个会议室里有 多人参加会议，并发言时，实际的会议画面无法在聚焦于实际的发言人身上， 其他与会各方无法实时、清晰的看到发言人的举止和表情。而与会各方通常 都有与发言人进行沟通、交流和对话需求，并且通常都希望能将画面聚焦到 发言人身上，并有一种面对面的感觉。

在这样的需求下，各种手动、自动的发言人跟踪、定位的系统与方法也 应运而生。然而现有的一些系统在整套会议系统的部署上通常存在诸多问题， 如：需要为每个人设置一个预置位，讲话前必须按发言键，话筒的位置需要 固定等等。这都为整个系统的设置和最终会议的进行带来了各种各样的约束 和限制，甚至极大的降低和损失了视频会议的友善性，交互性和体验度。

另有其他一些现有技术，利用一个摄像头来对整个会议场所内的发言人 进行定位和跟踪，但在系统实际运行的过程中常常会因仅关注于小范围内的 画面，都无法及时顾及整个会议场所内的一些情景及变化，从而易导致对一 些特殊场景下的变化无法作出必要的反应或者反应不够及时。

发明内容

本发明为了克服上述现有技术存在的缺陷，提供了一种视频会议系统、 处理装置及视频会议方法，其能够顾及整个视频会议场所中的情景变化。

根据本发明的一个方面，提供一种处理装置，应用于视频会议系统。所 述视频会议系统包括第一摄像机、第二摄像机以及麦克风矩阵，所述处理装 置包括：音源定位模块，用于根据所述麦克风矩阵所采集的音频确定第一音 源以及至少一个第二音源所在方向，所述第一音源为持续音源，所述第二音 源为动态音源；第一控制模块，用于控制所述第一摄像机转向第一音源所在 方向，并指示所述第一摄像机采集第一音源所在方向的第一视频数据；第一 截取模块，用于获取所述第二摄像机采集的全景视频数据，并根据所述第二 音源所在方向在所述全景视频数据中截取对应于至少一个所述第二音源所在 方向的至少一个第二视频数据；合成模块，用于将所述第一视频数据和至少 一个所述第二视频数据合成到合成画面中。

优选地，所述处理装置还包括：语音识别模块，用于根据所述麦克风矩 阵所采集的音频识别来自不同发言人的所述第一音源以及至少一个所述第二 音源。

优选地，所述处理装置还包括：切换模块，用于：当所述语音识别模块 未识别到所述第一音源和所述第二音源时，指示所述处理装置输出全景视频 数据；当所述语音识别模块识别到所述第一音源但未识别到所述第二音源时， 指示所述处理装置输出第一视频数据；当所述语音识别模块识别到所述第一 音源和至少一个所述第二音源时，指示所述处理装置输出所述合成画面。

优选地，所述合成模块还用于根据所述第二视频数据的数量将所述第一 视频数据和所述第二视频数据布局在所述合成画面中。

优选地，所述第一视频数据在所述合成画面中所占比例大于任一个所述 第二视频数据在所述合成画面中所占比例。

优选地，所述第一音源的音量大于第一阈值，并且所述第一音源大于第 一阈值的持续时间大于第二阈值；以及所述第二音源在所述第一音源大于第 一阈值的持续时间内大于第三阈值，并且所述第二音源大于第三阈值的持续 时间小于第四阈值。

优选地，所述处理装置还包括：人脸识别模块，用于对所述第一视频数 据及所述全景视频数据进行人脸识别，并根据所述第一视频数据获取与所述 第一音源对应的第一发言人的位置。

优选地，所述处理装置还包括：定位校正模块，用于根据所述全景视频 数据对所述第一视频数据中的所述第一发言人的位置进行校正。

优选地，所述处理装置还包括：运动跟踪模块，用于对所述第一视频数 据中的所述第一发言人进行运动检测跟踪；所述第一控制模块还用于根据所 述运动跟踪模块控制所述第一摄像机追踪所述第一发言人。

优选地，所述处理装置还包括：运动检测模块，用于对所述全景视频数 据中的除所述第一发言人外的人员进行运动检测；以及第二截取模块，用于 获取所述第二摄像机采集的全景视频数据，并在所述全景视频数据截取第三 视频数据，所述第三视频数据包括除所述第一发言人外的人员移动的图像。