[发明专利]一种3G网络环境下的移动音视频实时通信方法

说明书

技术领域

本发明涉及通信领域，特别针对移动多媒体通信的特殊需求，具体而言，就是一种3G网络环境下低延时、鲁棒性移动音视频通信方法。

背景技术

随着移动通信技术的飞跃发展，移动通信已全面迈入了3G时代，开创了高速率移动通信的新阶段。3G时代的技术进步使得移动通信的环境条件得到明显改善，驱动移动通信业进入新一轮增长高峰，这其中，移动音视频通信业务最具发展前景，应用需求也最为迫切，已在移动安防应急、移动指挥调度、移动视频会议、移动娱乐等领域取得一定的成就。但是，由于无线信道固有的特点，如可靠性不高、容易丢包，带宽随时可能变化等，在一定程度上限制了移动音视频业务的发展和推广。同时，移动终端的异构性也加大了移动音视频的实现难度。目前，严重影响用户体验的两个主要问题是“延时”和“质量差”，如何保障移动音视频业务的服务质量已成为当前多媒体领域与移动通信领域的研究热点。

移动终端大都基于ARM平台，而多数ARM处理器对于多媒体处理的能力都较弱，因此一种简单的，不提高编解码复杂度，又能对无线网络有着良好适应性的方法，将成为移动音视频应用的强大助推器。

发明内容

本发明的目的在于提供一种3G网络环境下低延时、鲁棒性的移动音视频通信方法。该方法在对音视频数据包的收发与处理上最大限度地与无线网络的固有特点相适应，可以在保证低延时的前提下，显著提高音视频业务的服务质量。

本发明的技术方案为一种3G网络环境下的移动音视频实时通信方法，在音频发送端进行音频采集、音频编码、码流封装和数据包发送，在视频发送端进行视频采集、视频编码、码流封装和数据包发送，在音频接收端进行数据包接收、排序及码流拆分、音频解码和语音播放，在视频接收端进行数据包接收、排序及码流拼接、视频解码和视频显示，

在视频发送端进行视频编码时，对移动终端实时采集得到的视频图像采用分片机制进行压缩编码，且分片时仅指定数据片中宏块的最大数目；在视频发送端进行码流封装时，把含剧烈运动信息的数据片单独封装成数据包，对于属于一帧但不含剧烈运动信息的连续多个数据片合并封装成一个数据包；

在视频发送端进行数据包发送时，对一帧码流封装后所得到的多个数据包进行有间隔的发送，实现方式为，计算出要发送的当前数据包和下一个数据包的间隔时间，然后将当前数据包发出，等待间隔时间后，将下一个数据包作为要发送的当前数据包，计算间隔时间并发送，直到通信终止；所述间隔时间根据要发送的当前数据包的尺寸、所属帧封装成数据包的数目、网络上限带宽、处理时延及编码帧率计算得到；

在视频接收端进行排序及码流拼接时，若在对移动终端接收到的数据包进行排序的过程中发现有数据包丢失，则在码流拼接过程中计算有数据包丢失的这帧码流中是否存在含剧烈运动信息的数据片，若存在则这帧码流经解码后得到的图像不予显示；

在音频接收端使用三个并行的过程，其中一个过程进行数据包接收，一个过程进行排序及码流拆分，一个过程进行音频解码和语音播放。

而且，视频发送端进行码流封装时，对每一帧码流的具体处理包括以下步骤，

步骤1.1，设当前帧码流的尺寸记为size，当前帧码流中所包含的数据片数目记为n，将要封装成数据包的码流数据记为pack，将要封装成数据包的码流数据pack的尺寸记为packSize，连续多个不含剧烈运动信息的数据片合并之后的上限尺寸记为maxPackSize，第i个数据片中的码流数据记为slice[i]，第i个数据片的尺寸记为length[i]，测试的经验阈值记为Th1；

步骤1.2，令i＝1，pack＝slice[i]，packSize＝length[i]，若length[i]＞size/n且length[i]-size/n＞Th1，则认为第i个数据片为含剧烈运动信息的数据片，转到步骤1.4；否则，进行步骤1.3；

步骤1.3，若i＜n，length[i+1]-size/n＜Th1且packSize＜＝maxPackSize-length[i+1]，则令pack＝pack+slice[i+1]，packSize＝packSize+length[i+1]，i＝i+1，转到步骤1.3；否则，进入步骤1.4；

步骤1.4，把要封装成数据包的码流数据pack封装成一个数据包；

步骤1.5，若i＜n，转到步骤1.2；否则，当前帧码流处理完成。

而且，在视频发送端进行数据包发送时，对每一帧码流的具体处理包括以下步骤，

步骤2.1，通过测试获取处理时延