[发明专利]基于多模态数据的医患风险评估方法

权利要求书

1.基于多模态数据的医患风险评估方法，包括医患关键词库、医患人员数据库和医患记录数据库；其特征在于，方法包括；

信号采集，采集诊间过程中的语音信号和院内监控的视频信号；

信号特征提取，对采集的信号通过冲突评估模型提取医患特征；

医患特征的拼接，对提取的医患特征进行拼接；

医患风险的评估，针对提取的医患特征对比医患关键词库、医患人员数据库和医患记录数据库中的医患等级，通过医患风险评估模型更新医患等级；

医患人员数据库的更新，依据医患等级进行医患人员数据库的更新。

2.根据权利要求1所述的基于多模态数据的医患风险评估方法，其特征在于，还包括医患风险预警，对于医患人员数据库内的医患等级与医患记录数据库设置的阈值进行比较，达到了设置的阈值则进行医患风险预警。

3.根据权利要求1所述的基于多模态数据的医患风险评估方法，其特征在于，冲突评估模型包括对话冲突评估模型、语音识别模型和关键词匹配；对于采集的信号进行实时降噪处理；并将实时降噪处理后的信号传送至对话冲突评估模型、语音识别模型；对话冲突评估模型输出医患冲突等级，语音识别模型输出对话文本，关键词匹配结合对话文本与医患关键词库确定关键词匹配的结果。

4.根据权利要求3所述的基于多模态数据的医患风险评估方法，其特征在于，关键词匹配，以语言文本为输入，采用N-gram语言模型对文本进行中文分词，随后对分词后的文本与医患关键词库进行匹配，确定关键词匹配的结果。

5.根据权利要求1所述的基于多模态数据的医患风险评估方法，其特征在于，医患风险评估模型的输入由语音冲突等级、关键词匹配向量、肢体威胁值以及医患人员数据库中的医患等级拼接组成。

6.根据权利要求1所述的基于多模态数据的医患风险评估方法，其特征在于，医患风险评估模型通过t-SNE算法对输入特征进行降维，然后利用mean-shift聚类，计算聚类中心及输入样本到聚类中心的距离，并利用核密度估计计算样本置信度，将该置信度作为该人员的医患等级。

7.根据权利要求1所述的基于多模态数据的医患风险评估方法，其特征在于，

医患人员数据库以关系数据库的形式储存涉及医患矛盾的非院内人员，医患人员数据库包括：人员ID、姓名、性别、年龄、户籍所在地、人脸数据、已存在的高风险事件ID，关联医患记录数据库、医患等级。其中，医患等级随人员医患相关行为进行更新；

医患记录数据库，以关系数据库的形式存储涉及医患矛盾的高风险记录，医患记录数据库包括：事件ID、参与的医患人员ID关联医患人员数据库、涉及的医务人员工号、关键证据的设备编号列表、关键证据文件地址、事件威胁等级、诊间语音冲突记录的医患关键词匹配结果；

医患关键词库储存大量包含暴力、威胁、愤怒情绪的口语常见词。

8.根据权利要求1所述的基于多模态数据的医患风险评估方法，其特征在于，信号的采集通过诊间语音冲突评估模型、院内人脸识别模型和院内肢体动作模型获得信号。

9.根据权利要求1所述的基于多模态数据的医患风险评估方法，其特征在于，诊间语音冲突评估模型输入诊间采集的语音信号，对数据进行预处理，利用声音信号模型提取发音、音素、对话内容的特征，并判断患者和医务人员的情绪状态及对话内容是否包含强烈的冲突。

10.根据权利要求1所述的基于多模态数据的医患风险评估方法，其特征在于，院内人脸识别模型：从院内监控摄像头采集图像，并采集镜头下的人脸图像，通过人脸识别技术，比对人脸数据库，确认目标身份，并比对医患人员数据库，明确该人员的医患等级；

院内肢体动作模型针对需要追踪的目标，在其进入医院后对其进行监控追踪，从院内监控摄像头采集视频，对视频数据预处理，输入视频人体动作分析模型，提取动作特征并评估肢体动作的威胁值。