[发明专利]视频混流方法、视频混流装置及存储介质

说明书

本发明提供一种视频混流方法，其包括：接收视频混流请求；从第一视频终端和/或第二视频终端，获取第一视频画面和第二视频画面的对齐帧信息；从第一视频终端获取第一视频画面，从第二视频终端获取第二视频画面；根据对齐帧信息，对第一视频画面和第二视频画面进行画面帧对齐操作；对对齐操作后的第一视频画面以及第二视频画面进行视频混流操作。本发明还提供一种视频混流装置，本发明的视频混流方法及视频混流装置通过第一视频画面和第二视频画面的对齐帧信息对混流后的视频画面进行对齐操作，避免了第一视频画面和第二视频画面的顺序错误。

技术领域

本发明涉及视频处理领域，特别是涉及一种视频混流方法、视频混流装置及存储介质。

背景技术

随着科技的发展，视频直播应用得到越来越多的用户青睐，其中互动直播为视频直播中的一种重要应用。互动直播中，主播终端和连麦观众终端会进行互联操作，如第三方观众想要看到连麦的场景，则需要对主播终端的视频画面以及连麦观众终端的视频画面进行混流操作。

现有的视频混流方式一般为服务器端对主播终端的视频画面和连麦观众终端的视频画面进行混流操作。这种混流操作不额外增加第三方观众对应终端的宽带资源和计算资源，有利于第三方观众对混流后的视频画面进行观看。

但是主播视频画面和连麦观众视频画面是由两个独立的客户端能生成的，没有一致的参照时间，主播视频画面和连麦观众视频画面的网络耗时不同和互不相关视频的GOP(group of picture，图像群组)大小不同，使得服务器端进行视频画面混流操作时，会遇到主播视频画面和连麦观众视频画面的视频画面对齐问题，即服务器端进行画面混流操作时会出现主播视频画面和连麦观众视频画面的顺序错误，如主播的对话和观众的对话对应不上，这样导致观众无法理解混流操作后的视频画面内容，影响第三方观众对混流后的视频画面的观看。

发明内容

本发明实施例提供一种可对混流视频画面中的主播视频画面和连麦观众视频画面进行自动对齐操作的视频混流方法以及视频混流装置；以解决现有的视频混流方法以及视频混流装置中主播视频画面和连麦观众视频画面的顺序错误，影响第三方观众对混流后的视频画面的观看的技术问题。

本发明实施例提供一种视频混流方法，其包括：

接收视频混流请求，其中所述视频混流请求为对第一视频终端的第一视频画面和第二视频终端的第二视频画面进行视频混流操作的请求；

从所述第一视频终端和/或所述第二视频终端，获取第一视频画面和第二视频画面的对齐帧信息；

从所述第一视频终端获取第一视频画面，从所述第二视频终端获取第二视频画面；

根据所述对齐帧信息，对所述第一视频画面和所述第二视频画面进行画面帧对齐操作；以及

对所述对齐操作后的第一视频画面以及第二视频画面进行视频混流操作。

本发明实施例还提供一种视频混流装置，其包括：

视频混流请求接收模块，用于接收视频混流请求，其中所述视频混流请求为对第一视频终端的第一视频画面和第二视频终端的第二视频画面进行视频混流操作的请求；

对齐帧信息获取模块，用于从所述第一视频终端和/或所述第二视频终端，获取第一视频画面和第二视频画面的对齐帧信息；

视频画面获取模块，用于从所述第一视频终端获取第一视频画面，从所述第二视频终端获取第二视频画面；

画面帧对齐模块，用于根据所述对齐帧信息，对所述第一视频画面和所述第二视频画面进行画面帧对齐操作；以及

视频混流模块，用于对所述对齐操作后的第一视频画面以及第二视频画面进行视频混流操作。