[发明专利]一种医疗行为多模态数据标注方法和系统

权利要求书

1.一种医疗行为多模态数据标注方法，其特征在于，包括以下步骤：

数据采集步骤：采集医疗行为多模态数据；

初始化步骤：对所述医疗行为多模态数据进行数据清洗，获取未标注空白数据，并初始化预先建立的多模态数据自动标注模型；

模型训练步骤：包括以下子步骤：

1)基于所述未标注空白数据构建待标注多模态数据，并载入所述多模态数据自动标注模型中，获得自动标注数据；

2)基于所述自动标注数据构建待检验标注数据，对该待检验标注数据进行复核检验，获得已标注多模态数据；

3)采用所述已标注多模态数据对所述多模态数据自动标注模型进行训练，判断所述多模态数据自动标注模型是否满足预设的训练要求，若否，则返回步骤1)，若是则进行结果获取步骤；

结果获取步骤：采用训练后的所述多模态数据自动标注模型对待标注多模态数据进行自动标注，输出结果作为所述已标注多模态数据，直至所有所述医疗行为多模态数据均生成对应的所述已标注多模态数据；

所述步骤1)中，所述基于所述未标注空白数据构建待标注多模态数据具体为，基于所述未标注空白数据和所述自动标注数据，构建所述待标注多模态数据；

所述步骤2)中，所述基于所述自动标注数据构建待检验标注数据具体为，基于所述自动标注数据和未标注空白数据，构建所述待检验标注数据。

2.根据权利要求1所述的一种医疗行为多模态数据标注方法，其特征在于，所述数据采集步骤还包括，按照时间序列和文件类型，对所述医疗行为多模态数据进行分类存储。

3.根据权利要求1所述的一种医疗行为多模态数据标注方法，其特征在于，所述步骤2)中，通过专家法，对所述待检验标注数据进行复核检验。

4.根据权利要求1所述的一种医疗行为多模态数据标注方法，其特征在于，所述结果获取步骤中，基于所述已标注多模态数据的多模态信息，对所述已标注多模态数据进行数据融合后输出。

5.一种医疗行为多模态数据标注系统，其特征在于，包括传感器数据采集模块、Web后端服务器、云计算服务器和多台复核检验计算机，所述Web后端服务器分别连接所述传感器数据采集模块、云计算服务器和多台复核检验计算机，

所述云计算服务器用于运行所述多模态数据自动标注模型，以及进行迭代训练；

所述多台复核检验计算机用于对所述待检验标注数据进行复核检验。

所述Web后端服务器用于调用所述传感器数据采集模块、云计算服务器和多台复核检验计算机，运行如权利要求1所述的一种医疗行为多模态数据标注方法。

6.根据权利要求5所述的一种医疗行为多模态数据标注系统，其特征在于，所述Web后端服务器包括分布式交互单元、多模态数据存储单元和后端数据逻辑单元，

所述分布式交互单元，用于为所述多台复核检验计算机构建待检验标注数据；

所述多模态数据存储单元，用于进行数据存储；

所述后端数据逻辑单元，用于运行如权利要求1所述的一种医疗行为多模态数据标注方法。

7.根据权利要求5所述的一种医疗行为多模态数据标注系统，其特征在于，所述传感器数据采集模块用于采集医疗行为多模态数据，所述医疗行为多模态数据包括摄像头数据、声学设备数据、毫米波雷达数据和医疗仪器数据。

8.根据权利要求5所述的一种医疗行为多模态数据标注系统，其特征在于，所述云计算服务器为GPU服务器。