[发明专利]用于Cloud XR的音视频及控制信息的私有传输方法及装置

权利要求书

1.一种用于Cloud XR的音视频及控制信息的私有传输方法，其特征在于，用于XR客户端，所述方法包括：

与服务端握手成功之后，启动流媒体传输；

接收所述流媒体传输过程中按照传输协议规则传输的音视频文件数据包以及控制信息数据包；

根据所述音视频文件数据包以及控制信息数据包，进行执行显示和/或动作。

2.根据权利要求1所述的方法，其特征在于，包括接收所述流媒体传输过程中按照传输协议规则传输的传感器数据包，所述方法还包括：

根据所述流媒体传输数据包单包的大小进行数据分块传输，以满足音视频数据、控制信息数据、传感器数据的实时性传输。

3.根据权利要求2所述的方法，其特征在于，所述数据分块传输包括基本头、消息头以及分块数据，在所述分块数据中储存对应的分块消息，

所述基本头至少包括：分块数据的类型和分块数据ID；

所述消息头至少包括：消息类型、分块数据ID下的种类ID、消息时间戳、数据块长度。

4.根据权利要求1所述的方法，其特征在于，所述与服务端握手包括：

在客户端与服务端建立TCP连接后发起握手，并向所述服务端发起携带有当前协议版本、应用版本以及客户端类型的消息；

经过比对满足条件之后，与服务端握手成功。

5.根据权利要求1所述的方法，其特征在于，所述启动流媒体传输，包括：

启动流媒体传输之后，接收所述服务端返回的响应状态，其中所述响应状态中至少包括如下之一的参数：成功或失败、分辨率宽、分辨率高、编码格式、比特率、刷新率、帧率。

6.根据权利要求4所述的方法，其特征在于，所述接收所述流媒体传输过程中按照传输协议规则传输的音视频文件数据包以及控制信息数据包，包括：

在请求关键帧之后，接收所述服务端返回的视频传输数据、第一音频传输数据、第二音频传输数据，其中，所述视频传输数据通过输入帧索引、H.264/HEVC进行视频数据传输，所述第一音频传输数据以及所述第一音频传输数据通过输入pcm裸数据进行扬声器音频传输；

以及

在流媒体传输异常的情况下，断开链接。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收所述流媒体传输过程获取设置传输参数以及视频参数，其中所述传输参数至少包括如下之一：分辨率宽、分辨率高、编码格式、比特率、刷新率、帧率参数，所述视频参数至少包括如下之一：可设置比特率Mbp/s、刷新率/帧率参数。

8.根据权利要求1所述的方法，其特征在于，所述根据所述音视频文件数据包以及控制信息数据包，进行执行显示和/或动作：

根据所述音视频文件数据包以及控制信息数据包的头显状态同步数据、控制信号同步，进行执行显示和/或动作，其中，所述头显状态同步至少包括如下之一：追踪数据同步、设备电量同步、视场角FOV同步、瞳距同步，所述控制信号同步至少包括重启信号。

9.一种用于Cloud XR的音视频及控制信息的私有传输装置，其特征在于，用于XR客户端，所述装置包括：

握手模块，用于与服务端握手成功之后，启动流媒体传输；

传输模块，用于接收所述流媒体传输过程中按照传输协议传输的音视频文件数据包以及控制信息数据包；

处理模块，根据所述音视频文件数据包以及控制信息数据包，进行执行显示和/或动作。

10.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～8之任一所述方法。