[发明专利]显微镜视频流处理方法、系统、计算机设备和存储介质

权利要求书

1.一种显微镜视频流处理系统，所述系统包括：采集装置、显微镜、网络接口以及智能芯片；

所述采集装置，用于采集所述显微镜视野下的视频数据得到医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；

所述显微镜，用于提取所述医学影像视频流的所述视频帧；提取所述视频帧的单帧图像特征，并将所述单帧图像特征映射为单帧分类结果；获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列；并通过所述网络接口获取所述视频流对应的患者信息，并基于所述患者信息确定患者序列；

所述智能芯片，用于基于所述操作序列、所述患者序列及视频流特征序列，采用预设映射规则进行分类映射，得到目标分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧分类结果；所述预设映射规则为训练得到的神经网络模型，基于所述操作序列、所述患者序列及视频流特征序列，采用预设映射规则进行分类映射时，所述患者序列输入所述神经网络模型的全连接层。

2.根据权利要求1所述的系统，其特征在于，包括下述两项中的至少一项：

第一项：

所述系统还包括：显示模块，用于展示所述医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息；所述目标分类结果包括：所述医学影像视频流对应的分类结果以及关键帧信息；

第二项：

所述采集装置、所述网络接口以及所述智能芯片中的至少一个集成在所述显微镜中。

3.根据权利要求2所述的系统，其特征在于，包括下述两项中的至少一项：

第一项：

所述显示模块，还用于在展示所述医学影像视频流的过程中，在播放关键帧时，对应显示所述关键帧的热点图；所述目标分类结果还包括：所述医学影像视频流对应的关键帧的热点图；

第二项：

所述显微镜集成有语音交互接口，所述显微镜通过所述语音交互接口接收病历导出指令，并导出与所述病历导出指令对应的病历报告，所述病历报告的内容包括：所述智能芯片得到的病理报告、关键帧图片或序号、以及关键帧上的热点图。

4.一种显微镜视频流处理方法，所述方法包括：

获取医学影像视频流，所述医学影像视频流包括：显微镜视野下的不少于两帧基于病理切片的视频帧；

提取所述医学影像视频流的所述视频帧；

提取所述视频帧的单帧图像特征，将所述单帧图像特征映射为单帧分类结果；

获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列；

获取所述视频流对应的患者信息，并基于所述患者信息确定患者序列；

基于所述操作序列、所述患者序列及视频流特征序列，采用预设映射规则进行分类映射，得到目标分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧分类结果；所述预设映射规则为训练得到的神经网络模型，基于所述操作序列、所述患者序列及视频流特征序列，采用预设映射规则进行分类映射时，所述患者序列输入所述神经网络模型的全连接层。

5.根据权利要求4所述的方法，其特征在于，所述提取所述医学影像视频流的所述视频帧，包括：

提取所述医学影像视频流的待定视频帧；

对所述待定视频帧进行清晰化处理，得到所述视频帧。

6.根据权利要求4所述的方法，其特征在于，所述单帧分类结果包括所述视频帧对应的分类结果及热点图。

7.根据权利要求6所述的方法，其特征在于，所述热点图的获得方式包括：

在单帧图像的分类映射过程中，输入的单帧图像特征经过激活函数映射得到映射结果；

对所述映射结果池化后，与预设的类别权重进行乘积运算，得到热点图。

8.根据权利要求4所述的方法，其特征在于，所述获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列，包括：

根据所述医学影像视频流的所述视频帧之间的帧间差异，确定所述视频流对应的操作信息，并基于所述操作信息确定操作序列。