[发明专利]实时字幕的处理方法和装置

权利要求书

1.实时字幕的处理方法，其特征在于，包括：

基于WebSocket协议获取实时采集的视频流和音频流，其中，所述视频流和所述音频流均携带有起始时间戳；

基于WebSocket协议将所述音频流发送给外部的语音识别器进行语音识别处理；

基于WebSocket协议接收由所述语音识别器发来的与所述音频流对应的字幕，其中，所述字幕携带有所述字幕的时间轴，所述时间轴包括所述字幕相对于所述起始时间戳的起始时间和结束时间；

根据所述起始时间戳和所述时间轴，将所述视频流、所述音频流和所述字幕进行合成。

2.根据权利要求1所述的方法，其特征在于，所述根据所述起始时间戳和所述时间轴，将所述视频流、所述音频流和所述字幕进行合成，包括：

根据预设的定制化处理规则对所述字幕进行处理，得到目标字幕；

将所述视频流、所述音频流和所述目标字幕进行合成。

3.根据权利要求2所述的方法，其特征在于，所述定制化处理规则，包括：字幕过滤规则、字幕替换规则和/或字幕修饰规则；

所述字幕过滤规则包括对所述字幕中第一目标词语进行过滤；

所述字幕替换规则包括对所述字幕中第二目标词语进行替换；

所述字幕修饰规则包括对所述字幕中第三目标词语进行修饰。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述基于WebSocket协议将所述音频流发送给外部的语音识别器进行语音识别处理，包括：

基于WebSocket协议将除所述起始时间戳外的音频流进行数据转换，得到第一音频数据，其中，所述数据转换包括数据大小转换和数据格式转换；

将所述第一音频数据按照按照预设的编码类型进行编码，得到第二音频数据；

将所述第二音频数据输入到内存队列中；

基于WebSocket协议将位于所述内存队列中的第二音频数据发送给外部的语音识别器进行语音识别处理。

5.实时字幕的处理装置，其特征在于，包括：

获取模块，用于基于WebSocket协议获取实时采集的视频流和音频流，其中，所述视频流和所述音频流均携带有起始时间戳；

发送模块，用于基于WebSocket协议将所述音频流发送给外部的语音识别器进行语音识别处理；

接收模块，用于基于WebSocket协议接收由所述语音识别器发来的与所述音频流对应的字幕，其中，所述字幕携带有所述字幕的时间轴，所述时间轴包括所述字幕相对于所述起始时间戳的起始时间和结束时间；

合成模块，用于根据所述起始时间戳和所述时间轴，将所述视频流、所述音频流和所述字幕进行合成。

6.根据权利要求5所述的装置，其特征在于，所述合成模块，用于执行如下操作：

根据预设的定制化处理规则对所述字幕进行处理，得到目标字幕；

将所述视频流、所述音频流和所述目标字幕进行合成。

7.根据权利要求6所述的装置，其特征在于，所述定制化处理规则，包括：字幕过滤规则、字幕替换规则和/或字幕修饰规则；

所述字幕过滤规则包括对所述字幕中第一目标词语进行过滤；

所述字幕替换规则包括对所述字幕中第二目标词语进行替换；

所述字幕修饰规则包括对所述字幕中第三目标词语进行修饰。

8.根据权利要求5-7中任一项所述的装置，其特征在于，所述发送模块，用于执行如下操作：

基于WebSocket协议将除所述起始时间戳外的音频流进行数据转换，得到第一音频数据，其中，所述数据转换包括数据大小转换和数据格式转换；

将所述第一音频数据按照按照预设的编码类型进行编码，得到第二音频数据；

将所述第二音频数据输入到内存队列中；

基于WebSocket协议将位于所述内存队列中的第二音频数据发送给外部的语音识别器进行语音识别处理。