[发明专利]基于多模态关键信息匹配的食品安全风险识别方法及系统

说明书

本发明涉及一种基于多模态关键信息匹配的食品安全风险识别方法及系统，该方法包括：建立风险信息数据库，形成食品关键信息溯源图谱，将风险信息数据库与食品关键信息溯源图谱进行匹配；预训练风险信息数据库和食品关键信息溯源图谱中的单模态编码器和多模态交互编码器，得到风险信息交互表示向量和食品关键信息表示向量；通过计算风险信息交互表示向量和食品关键信息表示向量的匹配概率，利用标签信息微调模型；将风险信息交互表示向量按风险发生频率和重要性分级存储，建立风险信息交互表示分级库，通过风险信息交互表示分级库查询待识别食品是否存在风险；可缓解目前技术无法对食品全过程监管和多模态风险动态更新的问题。

技术领域

本发明涉及食品安全管理技术领域，尤其涉及一种基于多模态关键信息匹配的食品安全风险识别方法及系统。

背景技术

随着经济全球化的深入发展，世界各国的经济联系日益紧密，食品贸易规模不断扩大。作为一种特殊商品，食品的安全问题关系人类健康，受到世界各国的广泛关注。为了维护食品安全，各个国家和地区都设立了相关的监管机构，建立食品风险监察机制，对市场上的食品进行核查，比对风险，并面向社会发布风险公告。同时，食品链条上的企业为增加产品的信任，也会积极配合监管机构，提供原材料种养殖、食品加工、运输、检测等关键环节的信息，确保信息透明、可追溯。

然而，目前的监管状况存在人民日益增长的食品安全需要与食品监管任务繁重的矛盾。这种矛盾产生的原因主要有：1)消费者所接触到的食品从原材料到产品需要经过一系列错综复杂的环节及流程，监管人员任务繁重，难以分析整个流程并判定风险，通常只能聚焦最终产品的抽检信息；2)从多种渠道收集的食品风险信息，数据量巨大，多种数据模态共现，且不定期动态更新，进行信息比对的成本巨大。

为了保障食品安全，及时发现潜在风险，减少人力成本，机器学习已成为提升传统食品监督手段的有效途径之一。中国专利202010622308.5和202011558703.8都公开了一种基于食品安全图谱的风险评估方法。然而，这类方法都是通过将最终产品的图谱信息输入含有固定风险知识的模型来预测风险等级，无法满足食品过程数据的监管及多模态风险知识动态更新的需求。

发明内容

本发明针对现有技术中存在的技术问题，提供一种基于多模态关键信息匹配的食品安全风险识别方法及系统，基于深度学习、表示学习及信息检索等技术，提出一种针对食品关键过程数据和多模态风险信息匹配的食品安全风险智能识别方法及系统，首先通过表示学习技术，分别获取多模态风险和食品关键过程的表示向量，进一步通过风险匹配的方式识别食品安全风险，可缓解目前技术无法对食品全过程监管和多模态风险动态更新的问题。

根据本发明的第一方面，提供了一种基于多模态关键信息匹配的食品安全风险识别方法，包括：步骤1，采集多种数据模态的食品风险信息，建立包含多种数据模态组合的风险信息数据库；

步骤2，收集食品溯源链条中各个环节的食品关键过程信息，形成带标签的食品关键信息溯源图谱，将所述风险信息数据库与所述食品关键信息溯源图谱进行匹配；所述标签由人工根据风险信息数据库中的公告和/或舆情信息添加，表示该食品关键信息溯源图谱是否与任意一条风险信息匹配；

步骤3，通过表示学习技术，预训练风险信息数据库和食品关键信息溯源图谱中的单模态编码器和多模态交互编码器，得到风险信息交互表示向量和食品关键信息表示向量；

步骤4，通过计算风险信息交互表示向量和食品关键信息表示向量的匹配概率，利用标签信息微调模型；

步骤5，将风险信息交互表示向量按风险发生频率和重要性分级存储，建立风险信息交互表示分级库，通过所述风险信息交互表示分级库查询待识别食品是否存在风险。

在上述技术方案的基础上，本发明还可以作出如下改进。

可选的，所述步骤1包括：