[发明专利]对医学影像AI运行结果进行监测的系统及其方法

说明书

本发明提供了一种对医学影像AI运行结果进行监测的系统，包括AI诊断结果记录模块记录医生对诊断结果运用的标记，运用的标记为使用标记、修改标记和拒绝使用标记；当接收使用标记时处理模块判断诊断结果为正确数据；当接收修改标记或拒绝使用标记时判断该诊断结果为错误数据；错误率计算模块基于正确数据和错误数据，计算指定时间段内诊断结果的错误率和错误率升高值；当错误率大于等于第一预设阈值或错误率升高值大于等于第二预设阈值时，分析模块自动将AI诊断模块停用，发送提醒信号到管理员终端。本发明还公开了一种对医学影像AI运行结果进行监测的方法。本发明能自动将错误率高的AI诊断系统停用，减少医生诊断时间，提高监测效率。

技术领域

本发明涉及医疗信息领域，更具体地，涉及一种对医学影像AI运行结果进行监测的系统及其方法。

背景技术

随着信息技术的发展和医疗信息化的建设，目前已经有很多医疗机构影像科室已经安装部署了医学影像结构化报告系统以及医学影像AI(人工智能)诊断系统，例如肺结节AI诊断系统、骨龄测量AI诊断系统、前列腺AI诊断系统等。目前，这些系统在使用过程中存在以下问题：对AI运行结果无法监测，比如对运行错误的AI诊断结果，医生对错误的结果修改后返回给AI诊断系统，此时，AI诊断系统基于医生的修改做持续改进，改进一段时间后，该AI诊断系统的诊断结果错误率如何，还需要管理员计算对比，把错误率高的AI诊断系统手动停用，这样会导致检测时间延长，AI诊断系统还会不断的发送错误的诊断结果给医生，消耗医生的诊断时间，降低了管理员的工作效率。

发明内容

有鉴于此，本发明的主要目的在于提供一种对医学影像AI运行结果进行监测的系统及其方法，能够解决现有技术中存在的无法对AI运行结果进行监测，需要管理员手动计算对比来决定是否停用AI诊断系统而导致的延长医生的诊断时间、降低管理员工作效率的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一方面，本发明提供了一种对医学影像AI运行结果进行监测的系统，包括人工智能AI诊断结果记录模块、处理模块、错误率计算模块和分析模块，其中，AI诊断结果记录模块，与处理模块相连，用于存储AI诊断模块的诊断结果以及记录医生对诊断结果运用的标记，并将运用的标记发送给处理模块，其中，运用的标记为使用标记、修改标记和拒绝使用标记；处理模块，分别与AI诊断结果记录模块和错误率计算模块相连，用于当接收使用标记时，则判断诊断结果为正确数据；当接收修改标记或拒绝使用标记时，则判断该诊断结果为错误数据，并将正确数据和错误数据发送给错误率计算模块；错误率计算模块，分别与处理模块和分析模块相连，用于基于正确数据和错误数据，计算指定时间段内诊断结果的错误率和错误率升高值，并将错误率和错误率升高值实时发送给分析模块；分析模块，与错误率计算模块相连，用于当错误率大于等于第一预设阈值或错误率升高值大于等于第二预设阈值时，自动将AI诊断模块停用，并设置提醒信号，将提醒信号发送到管理员终端。

优选地，该系统还包括图表生成模块，与错误率计算模块相连，用于获取错误率和错误率升高值，基于错误率和错误率升高值，自动生成图表发送到管理员终端以供管理员查看。

另一方面，本发明还提供了一种对医学影像AI运行结果进行监测的方法，包括：AI诊断结果记录模块存储AI诊断模块的诊断结果以及记录医生对诊断结果运用的标记，并将运用的标记发送给处理模块，其中，运用的标记为使用标记、修改标记和拒绝使用标记；当处理模块接收使用标记时，则判断诊断结果为正确数据；当接收修改标记或拒绝使用标记时，则判断该诊断结果为错误数据，并将正确数据和错误数据发送给错误率计算模块；错误率计算模块基于正确数据和错误数据，计算指定时间段内诊断结果的错误率和错误率升高值，并将错误率和错误率升高值实时发送给分析模块；当错误率大于等于第一预设阈值或错误率升高值大于等于第二预设阈值时，分析模块自动将AI诊断模块停用，并设置提醒信号，将提醒信号发送到管理员终端。