[发明专利]对人工智能算法友好的TS流处理方法及应用

说明书

本发明涉及视频流的处理，尤其是涉及对人工智能算法友好的TS流处理方法及应用。所述方法包括：（1）接收TS流；（2）判断是否需要添加结构化数据和/或业务规则的数据包；若否，则继续接收TS流；若是，则进行步骤（3）的操作；（3）将结构化数据和/或业务规则的数据包切分为至少一个Null Packets形式的数据包，并连续插入至当前TS流之前。本发明保证了封装数据后的TS流完全符合标准，第三方播放器或者浏览器按照TS标准要求必须丢弃Null Packets包，因此，增加Null Packets包并不会影响播放器的播放效果。同时，TS标准中Null Packets保证了其可以封装任意长度的数据，这就使得本发明的应用不受具体项目需求的限制，可以把任意长度的数据封装在Null Packets包中以供人工智能算法使用。

技术领域

本发明涉及视频流的处理，尤其是涉及对人工智能算法友好的TS流处理方法及应用。

背景技术

目前人工智能视觉算法越来越多地被应用于“智慧城市”和“城市大脑”等大型项目。在这些大型项目中，往往会有多家算法公司涉及不同层次或者业务的视觉算法处理。来自前端摄像头的视频流被推送到公司A的算法服务器，从视频中分析出各种结构化数据，例如车的位置、行人位置、车型、车牌，然后把这些结构化数据再封装到视频流，继续推送给公司B的算法服务器，以此类推。

同时，业务规则也会被封装在视频流中，供各家算法公司使用。例如，某个摄像头对应的画面的人工智能算法处理，在8:00-10:00上班高峰期需要识别“拥堵”、“占公交车道”、“机动车逆行”。 怎么算是“拥堵”，是否为特殊原因而产生的拥堵（例如交通管制）以及“拥堵”后触发什么逻辑。这些都是业务规则。业务规则不是一层不变，而是实时调整的。

目前阶段人工智能视觉算法在很多方面远远不如人类，仍然需要人类给它明确的指令，告诉它当前是什么场景，需要进行什么类型的识别，识别时候需要注意什么，我们把这些指令集合称为业务规则。同时，人工智能视觉算法目前极其消耗GPU算力，因此，如果之前已经有算法服务器对视频流进行过处理，并得出一些结构化数据，那么后续的算法服务器只要利用这些结构化数据，可以极大地节省GPU算力。无论业务规则还是结构化数据，我们都统称为数据。

大型项目需要对人工智能算法更加友好的视频流，如果人工智能算法在处理每个视频帧的时候，都能够准确知道该视频帧对应的数据，人工智能算法的效率和准确性会有大幅度提升。

现有的解决方案有两种：（1）采用私有协议进行封装；（2）视频和数据分离。

（1）针对结构化数据采用私有协议进行封装

目前绝大多数安防厂商，都是支持视频和结构化数据合二为一，但是，采用私有协议进行封装，把结构化数据采用自定义格式封装在视频流里，这种模式主要存在以下两个缺点：

（a）第三方播放器无法播放

因为采用了私有协议进行封装，第三方采用标准协议的流播放器和各种浏览器无法播放，例如VLC和web flash。

为了解决该问题，在项目中不得不为每个前端摄像头同时推送至少两个视频流，一个是标准协议视频流，另一个是私有协议封装了结构化数据的视频流。标准协议流播放器接收标准协议视频流，算法服务器接收封装了结构化数据的视频流。这种解决方案以浪费带宽为代价，假设项目中有1万路高清视频流，额外多推送一个视频流会浪费带宽20Gbps。

（b）其他公司无法识别

这种私有格式封装的数据，往往只能被自己公司的算法服务器支持。一方面，为了保护自身利益，大多数公司不愿意公开私有格式；另一方面，每家公司都有自己的私有协议，相互之间兼容的成本很高。

（2）针对业务规则进行视频流和数据分离