[发明专利]一种动态视频流和静态图像处理显示方法、系统

说明书

本发明公开了一种动态视频流和静态图像处理显示方法、系统、电子设备及存储介质，涉及人工智能技术领域，所述方法包括：根据动态视频流得到抽帧图像，抽帧预测后，将带有预测结果的视频流生成视频流数据，并将所述视频流数据存储或播放显示；根据所述抽帧图像对对病灶进行分类和检出、分割得到静态图片数据，并将所述静态图片数据存储或播放显示，由于动态视频流和静态图片来源一致，ai预测结果相同，产生的检出和分割的坐标点相同，因此当前动态视频抽帧图像和静态图像在图像上标注的位置相同，保存成静态图像，发送到客户端显示图片和病灶可疑位置，此时客户端显示的图像和ai结果是正确的，和动态视频中的ai结果是相同的。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种动态视频流和静态图像处理显示方法、系统、电子设备及存储介质。

背景技术

DICOM(Digital Imaging and Communications in Medicine)即医学数字成像和通信，是医学图像和相关信息的国际标准。它定义了质量能满足临床需要的可用于数据交换的医学图像格式。检查医生操作探头在扫描部位移动，进行实时动态成像检查，探头扫描到可疑位置时，冻结图像，仔细观察图像，并给出诊断意见，由报告医生写入诊断报告中。即超声医生既要观察动态的视频流图像，也要观察静态的图片图像。目前在图像识别领域的人工智能技术，都是基于图像像素来处理。

目前通过视频采集卡采集超声设备视频流方式可以满足动态模式和静态模式。但存在两个问题：

动态视频ai识别结果和静态图像ai识别结果不一致

医生的工作流是先通过动态视频流查找可疑位置，再进行静态图片进行进一步的病灶判断。在动态视频上ai会实时的识别抽帧图像，在画面上实时绘制识别结果，医生此时从实时视频流中截取一张图像，存在图像识别结果和动态视频识别结果不一致问题。

目前的视频推拉流技术为保证实时效果，在网络阻塞等情况下，允许一定的丢包率，显示效果就是视频是实时显示的，但可能会有一点马赛克。因此linux服务端接收的视频流可能会有丢包，导致抽帧的图像不是完成图像。

Windows客户端由于从采集卡直接获取视频流，截取的图像是完整的。

linux动态视频抽帧图像和windows截取的静态图像像素是不同的，因此ai识别结果不同

以上会导致产品不稳定，给医生带来困扰，甚至是误导医生，导致医疗事故。

实时性不高

两次rtsp推流和拉流，rtsp推流需要先完成视频流编码，再网络发送，rtsp拉流需要先网络接收，再对视频流解码。其中编解码对cpu占用很高，网络带宽占用大。每个环节都会导致一定的延迟，最终带ai预测结果的视频流相对超声设备原始画面有较大的延迟，用户体验差，给医生增加工作量。

发明内容

本发明的目的在于提供一种动态视频流和静态图像处理显示方法、系统、电子设备及存储介质以至少解决一个背景技术中提到的技术问题。

第一方面，本发明实施例提供了一种动态视频流和静态图像处理显示方法，用于辅助医生诊断，包括以下步骤：

根据动态视频流得到抽帧图像，抽帧预测后，将带有检出、分割的坐标点和分类结果的视频流生成视频流数据，并将所述视频流数据存储或播放显示；

根据所述抽帧图像对对病灶进行分类和检出、分割得到静态图片数据，并将所述静态图片数据存储或播放显示。

可选地，根据动态视频流得到抽帧图像，抽帧预测后，将带有预测结果的视频流生成视频流数据，并将所述视频流数据存储或播放显示包括：

通过ai模型对原始视频流解码，获取每帧图像，然后按系统硬件可用资源来间隔预定数量的图像帧抽帧得到抽帧图像及未抽帧的第一图像；