[发明专利]一种视联网技术

权利要求书

1.一种视联网技术，包括摄像头、处理器、视频协议处理器、外围扩展芯片、电源模块、无线传输模块、模拟视频输入模块、数字视频输入模块、视频采集模块、编码器、传输控制协议处理模块、通信网络、解码器、高带宽视频传输模块和视频AI分析、视频交互系统。

2.根据权利要求1所述的一种视联网技术，其特征在于：所述处理器、视频协议处理器、外围扩展芯片为视频处理模块，所述摄像头的输出端与视频处理模块的输入端为单向电连接，所述视频处理模块的输出端与无线传输模块的输入端为单向电连接，所述电源模块的输入端与视频处理模块的输入端为单向电连接。

3.根据权利要求1所述的一种视联网技术，其特征在于：所述视频处理模块采用TI的达芬奇高性能多媒体处理器完成超级视频大数据的处理和视频AI计算，音视频的压缩处理及传输通信，通过外接的以太网物理层芯片实现有线网络接口，利用WIFI芯片实现无线网络通信，支持TCP/IP网络协议，处理器延续了达芬奇家族中的处理器构架，集成了一颗内核，一个H.264，H.265高清编解码协处理器和一个高清编解码协处理器，可以支持H.264，H.265/MPEG-4的高清视频编解码。同时包含增强型H.265高清编解码协处理器,真正意义上解决低带宽下实现双流高清视频的强大处理功能。

4.根据权利要求1所述的一种视联网技术，其特征在于：所述视频流的处理、传输流程如下:在视频发送端，对模拟视频进行采样，转换成数字视频并进行视频编码，或者直接对输入的数字视频进行编码，生成适用于网络传输协议的面向网络通信的视频码流；根据反馈信息，预估网络的可用传输带宽，自适应地调整编码器的编码输出速率(包括信源码率的调整与信道码率的调整)，使得视频码流能够满足当前网络传输可用带宽的限制；在接收端，对接收的视频流进行解码、重构视频信号、计算当前网络传输参数(如传输中的丢包率等)并发送反馈控制信息。

5.根据权利要求1所述的一种视联网技术，其特征在于：所述视频AI分析包括视频数据模块、视频特征、音频特征、3D CNN模型、Vggish模型、多任务学习模型和结果输出模块。

6.根据权利要求1所述的一种视联网技术，其特征在于：所述3D CNN模型包括曝光度、饱和度和白平衡调节。

7.根据权利要求1所述的一种视联网技术，所述视频交互系统包括以下步骤：

S1：按照系统服务器/客户机的网络传输模型，在服务器端建立了以SOCKET为类型的监听套接字、控制套接字:在客户端建立了SOCKET类型的请求套接字、控制套接字；

S2：在服务器和客户机两端都用到了一个组播类，它是专门为视频传输而封装的类，其中定义以SOCKET类型的收发视频数据的套接字和组套接字，从而实现了用组播通信方式来传输UDP协议封装的视频数据包；

S3：视频数据组播发送功能由于实时组播的视频流来自于视频采集压缩卡，所以首先要从视频采集压缩卡中获得视频数据，设置一定的缓冲区来存放采集的视频数据,为此我们设计了一个视频流缓冲区。该视频流缓冲区类的重要作用是设置一个缓冲区队列，对采集的数据进行数据的压入和弹出工作。从视频采集压缩卡采集的视频流数据不断地压入程序设置的缓冲区队列。该缓冲区队列有一定的大小限制，同时在此等待发送的视频数据流受到带宽自适应系统的控制；

S3：根据带宽情况用不同的速率将缓冲区的视频流数据以IP组播的方式发送出去，同时再将缓冲队列清空，以接收新的数据。重复上述过程，直到停止压缩采集或图像发送过程，缓冲区同时会有读和写两个操作，因此可以设置成-一个环形的缓冲区。就是通过变量来标识现在缓冲区写操作和读操作的进程，如果超过读写最大值则自动回到开始，这样设置的目的是避免写和读的速度不同步，而导致数据丢失。如果采用直接写缓冲区，直到写满缓冲区再发送，然后等待发送完毕再写，就很可能数据丢失了；对于组播发送端来说，在程序实现的时候并不需要加入一个IP组播组，因为向组播组发送数据的时候，网络中的数据包与普通UDP包大致相同，只是目的地址换成一个特殊的组播地址而已。因此发送端比接收端在网络处理方面稍微简单。