[发明专利]为基于P2P网络的直播节目添加实时字幕和手语服务的方法及系统

说明书

技术领域

本发明实施例涉及一种为基于P2P网络的直播节目添加实时字幕和手语服务的方法及系统。具体可应用于为网络直播节目添加实时字幕和实时手语服务，并同步显示。 

背景技术

据资料统计，我国聋哑人占中国人口总数的1.67％。这样的一个群体，他们有着正常人的智力和感情，却无法用耳朵去聆听这世界的美，用声音去表达心灵；无法欣赏到精彩的文娱节目，更无法体会到晚会给人带来的欢乐。虽然目前点播的视频节目，部分已经有了同步的字幕显示，但是直播节目，尤其是体育直播节目，娱乐直播，文艺晚会直播等，在直播时仍然无法为聋哑人提供实时的字幕和手语服务，因此聋哑人无法和我们一起享受观赏直播节目的欢乐。 

字幕是社会“信息无障碍”环境建设的重要组成部分。对于聋哑人来说，在没有声音的情况下，视觉是他们认识社会，获取知识和信息的主要途径。同时对于一些年龄较小的聋哑人小朋友，可能还未认识全部的文字，即使有了字幕，他们也未必能很好的欣赏节目，因此针对这部分人群，除了为直播节目添加字幕外，还可以加配手语服务。 

我们的目标是为更多的网络直播节目添加实时字幕和手语服务，使得聋哑人在观看直播节目时能有更好的用户体验，从而帮助聋哑人也能够“观看”实时的直播节目。 

发明内容

为克服现有技术的聋哑人无法欣赏直播节目的缺点，本发明提供了一种为基于P2P网络的直播节目添加实时字幕和手语方法及系统，以实现了网络直播节目和字幕、网络直播节目和手语服务的实时性，准确性，使得聋哑人能够更好地观看直播节目。 

本发明提供了一种为基于P2P网络的直播节目添加实时字幕和手语的方法，包括以下步骤： 

1)根据节目的电视直播或现场，制作得到相应的实时字幕。 

2)根据节目的电视直播或现场，制作得到相应的实时手语。 

3)获取网络直播视频流，实时字幕和实时手语流，保存至各自的缓冲区。 

进一步，步骤1)所述的制作实时字幕，具体步骤为： 

1)根据节目的电视直播或现场，速录人员实时录入字幕内容。 

2)速录人员对已经录入的字幕内容进行审核。 

3)为字幕内容添加同步信息，主要包括时间戳，顺序号，误差偏移量。 

4)将处理后的字幕推送至字幕服务器。 

进一步，步骤2)所述的制作实时手语，具体步骤为： 

1)根据节目的电视直播或现场，手语翻译人员实时翻译节目内容； 

2)实时录制手语翻译人员的翻译内容，并且为手语视频添加同步信息，主要包括时间戳，误差偏移量； 

3)将处理后的手语视频推送至手语流媒体服务器。 

进一步，步骤3)所述的网络直播节目分别与字幕和手语同步并播放，具体步骤为： 

1)获取网络直播视频流，实时字幕流和实时手语流，保存至各自的缓冲区； 

2)解析缓冲区中直播节目视频帧、手语视频帧以及字幕的时间戳 

3)根据直播节目视频帧的时间戳，分别到字幕缓冲区和手语视频缓冲区匹配到相应的手语视频帧和字幕，如果有则显示直播视频的同时显示字幕与手语视频；没有，则只显示直播视频。 

本发明还提供了一种为实现上述方法的系统，包括： 

1)实时字幕模块，用于为直播节目产生实时字幕； 

2)实时手语模块，用于为直播节目，产生实时的手语视频； 

3)网络直播客户端模块，负责节目的网络直播、网络直播节目与实时字幕的同步、网络直播节目与手语的同步、字幕的显示和手语的显示。 

进一步，实时字幕模块还包括：字幕录入模块、字幕监控模块、字幕审核模块、字幕处理模块、字幕推送模块和字幕服务器模块。 

进一步，实时手语模块还包括手语录入模块、手语监控模块、手语处理模块、手语推送模块和手语服务器模块。接收到直播视频信息、实时字幕信息和实时手语信息，通过解析上述三种信息，得到每种信息的时间戳。播放每帧视频时，到字幕缓存区匹配与该直播节目视频帧时间戳接近(误差在100ms)的字幕信息，如果匹配到，则同步显示视频和字幕，否则只显示直播视频；播放每帧视频时，到手语缓存区匹配与直播节目视频帧时间戳接近(误差在100ms)的手语帧，如果匹配到，则同步显示视频和手语，否则只显示直播视频。同时需要判断直播视频与字幕，直播视频与手语的同步效果，如果同步准确性超出可接受的范围内(用户无法根据字幕或者手语理解直播视频)，则动态调整字幕和手语的时间偏移量，直至同步实现实时性和准确性。