[发明专利]基于视频会议场景下的远程桌面控制方法、装置和介质

说明书

本发明公开了一种基于视频会议场景下的远程桌面控制方法，包括：当第一用户端需要远程协助时，发送请求至第二用户端；当第二用户端接受请求时，第一用户端和第二用户端连接并注册到长连接服务；第一用户端捕获系统桌面得到视频流并获取麦克风音频信息，将音视频流封装后发送到流媒体服务器；第二用户端从所述流媒体服务器接收所述音视频流，然后将视频画面展现在第一窗口上；第二用户端捕获系统的鼠标操作和键盘操作，将操作指令封装然后发送至所述长连接服务；第一用户端从所述长连接服务获取操作指令，然后转化为对本地系统的操作。本发明实施例实现了控制指令和音视频流的同时传输，从而在进行视频会议的同时实现远程协助。

技术领域

本发明涉及远程协助技术领域，特别涉及一种基于视频会议场景下的远程桌面控制方法、装置和介质。

背景技术

随着技术的发展和社会化沟通需求的增加，用户对视频业务的融合性需求不断增长。视频应用呈现的趋势主要体现在随着互联网宽带用户的不断增加，用户对视频通信的需求也越来越旺盛。视频会议能够通过实时传输声音和图像数据，已经成为了协同办公的有效沟通工具。

在现有技术中，在进行视频会议时，若一方的操作系统出现问题，本地无法解决需要远程协助时，通常需要退出视频会议，采用远程协助工具进行。而远程协助工具通常是将被控制端的系统桌面通过截图的方式发送到协助端，无法同时传输音频，当双方需要进行交流时，需要通过其它的方式进行通话。

发明内容

本发明要解决的技术问题，在于提供一种基于视频会议场景下的远程桌面控制方法、装置和介质，实现控制指令和音视频流的同时传输，从而在进行视频会议的同时实现远程协助。

第一方面，本发明提供了一种基于视频会议场景下的远程桌面控制方法，包括：

当第一用户端需要远程协助时，发送请求至第二用户端；当第二用户端接受请求时，第一用户端和第二用户端连接并注册到长连接服务；

当第一用户端捕获系统桌面得到视频流并获取麦克风音频信息时，将音视频流封装后发送到流媒体服务器；第二用户端从所述流媒体服务器接收所述音视频流，然后将视频画面展现在第一窗口上；

当第二用户端捕获到对第一用户端的鼠标操作和键盘操作时，将操作指令封装然后发送至所述长连接服务；第一用户端从所述长连接服务获取操作指令，然后转化为对本地系统的操作。

进一步地，第二用户端捕获系统的鼠标操作和键盘操作，具体为：第二用户端实现一第二窗口覆盖在所述第一窗口音视频流窗口上，所述第二窗口为一透明窗体，当所述第二窗口为置顶时，捕获系统鼠标操作和键盘操作。

进一步地，通过调用系统API捕获系统桌面得到视频流；将操作指令转化为对本地系统的操作通过调用系统API实现。

进一步地，所述系统包括Window系统、Linux系统、Android系统以及IOS系统。

第二方面，本发明提供了一种基于视频会议场景下的远程桌面控制装置，包括：长连接服务注册模块、流媒体交互模块以及远程控制模块；

所述长连接服务注册模块，用于当第一用户端需要远程协助时，发送请求至第二用户端；当第二用户端接受请求时，第一用户端和第二用户端连接并注册到长连接服务；

所述流媒体交互模块，用于当第一用户端捕获系统桌面得到视频流并获取麦克风音频信息时，将音视频流封装后发送到流媒体服务器；第二用户端从所述流媒体服务器接收所述音视频流，然后将视频画面展现在第一窗口上；

所述远程控制模块，用于当第二用户端捕获到对第一用户端的鼠标操作和键盘操作时，将操作指令封装然后发送至所述长连接服务；第一用户端从所述长连接服务获取操作指令，然后转化为对本地系统的操作。