[发明专利]基于流媒体技术的协作平台系统架构下的视频综合系统

说明书

技术领域

本系统是一种基于流媒体技术的视频综合性平台，主要用于视频会议、远程协助、远程心理辅导等功能。并基于流媒体协作平台的灵活、方便的工作空间感知处理方法和保护协作者人物特征的方法，及实现具有隐私保护的远程音视频综合协作平台，具有重大的理论意义和实际应用价值。 

背景技术

现有的视频会议系统大致可以分为教学型的双向视频会议系统、会议型双向视频会议系统、商务型视频会议系统(即桌面型视频会议系统)、软件视频会议系统、软件专业版高清视频会议多种类型。但其会议系统在通用技术上差别不大，效果主要受网络带宽限制和电脑配置制约。由于其技术方案原因，对于用户的软硬件要求较高，通常需配置相应的视频卡；加上未考虑到用户隐私保护，给用户带来了心理负担，不利于参与者的大胆工作。 

本系统将采用基于肤色和脸部特征的视频序列中实时人脸检测与跟踪方法；采用基于PLAR(PseudoLogAreaRatio)系数曲线变换方法和基于线性预测的基音同步叠加(LP-PSOLA)算法分别对语音信号的谱参数和韵律参数进行修改。 

基于以上技术方案，本系统开发的基于流媒体的视频综合平台将具有特有的技术竞争优势。基于此平台，还可以方便的构建诸如远程心理诊疗系统、咨询系统、企业商务管理系统、教学系统等应用。 

发明内容

本系统基于浏览器/服务器模式架构，用户通过访问网页的形式进行视频协作，在语音处理技术中采用高效的回音消除、自动增益、背景降噪、静音检测，带来比电话还清晰、接近CD播放音质的语音通话效果；并采用先进的视频编码技术，以及视频优化技术、先进的带宽自适应机制、视频多码率支持、误码掩盖技术、前向纠错编码技术，使视频更流畅，更清晰。基于矢量成像技术的文档共享使得文档大小缩放不失真；其结构组成： 

(1)基于Web的流媒体协作管理子系统 

包括基于Web的协作会议的组织、协作会议的控制、会议安全管理、访问权限管理等关键技术，同时开发相关模块，从而构成基于Web的流媒体协作管理子系统。 

(2)高效的流媒体与共享文档的传输方式 

实时协作系统中必须保证音视频信息的高效、实时采集、处理和传输，研究开发包括多路视频、多人混音、屏幕广播、实时录制、点播等技术和功能的实现方法。 

(3)研究灵活的多模式交互方式 

集音频、视频、文档、文字、邮件、短信等多种模式的协作交互方式，以保证在音视频会议的同时能方便地实现电子白板、资料共享、协同浏览、远程辅导、网页同步、文字讨论、系统消息、程序共享等功能。 

(4)视频信息隐私保护处理方法 

视频信息隐私保护处理方法，该方法可根据协作用户的不同要求，在视频图像序列中始终检测跟踪待保护的隐私区域，并对此区域进行模糊化处理以隐藏用户个人生物特征。 

(5)音频信息隐私保护处理方法 

音频信息隐私保护处理方法，该方法在进行语音交流时，可根据协作用户的要求，实时改变说话人语音、语调，从而能隐藏说话人身份。 

(6)基于流媒体的协作综合平台的集成开发 

在各个子功能模块设计实现的基础上，利用基于浏览器/服务器模式的方法架构实现整个系统，从而构建基于流媒体的协作综合平台。系统技术路线描述： 

(1)语音处理中采用高效的回音消除、自动增益、背景降噪、静音检测技术，提高语音通话质量；视频图像处理中采用视频优化技术、先进的带宽自适应机制、误码掩盖技术、前向纠错编码技术，使视频更流畅，更清晰。 

(2)以先进且流行的硬件环境作为基础支撑，集.net环境和.net公共模块、基础信息模块、FMS公共模块、音频视频处理和传输模块、PPT转换SWF模块、白板功能、系统通知模块、短信通知模块和ActiveX开发接口为一体的软件集成开发思路，设计实现整个平台软件。 

(3)各子系统及模块采用面向对象的方式设计开发可重用和易继承的构件，系统采用先进的软件构架支撑技术进行集成开发实现。 

(4)自主研究开发视频信息隐私保护处理方法 

采用模糊化和初略化对保护视频信息进行过滤处理，模糊化算法可采用周边象素灰度插值法，而初略化则是在一定密度的网格中，用其内象素灰度的均值代替该网格内的灰度值，从而实现具有马赛克状的图像效果。 

提供用户选择隐私保护区域，可综合采用基于神经网络的学习法和基于区域特征(如：颜色、形状、渐变等特征)，自动跟踪该区域，进行隐私保护。 

(5)自主研究开发音频信息隐私保护处理方法 

研制音频信息过滤器，通过对特征信号进行分析，结合声学原理，加入白噪声，再与原声在能量上相当的情况下，生成新的音频信息，使原音频信息失真，实现音频信息隐私保护，同时也针对用户对音频感知的需求情形，进行柔和化处理。