[发明专利]一种语音交互的施工日志管理系统及实现方法

权利要求书

1.一种语音交互的施工日志管理系统，包括硬件设备和软件平台两部分，其特征在于：

所述硬件设备包括服务器端和客户端，所述服务器端由若干台数据库服务器和应用服务器构成，所述客户端包含若干台安装有移动应用软件的移动终端以及若干台能够访问互联网的计算机；所述数据库服务器上均安装MySql数据库软件，安装Nginx服务器软件、Keepalived服务程序，使用MyCat集群构建分片数据库，将同一数据库中的数据分散存放到若干个数据库服务器上，实现单台设备最佳负载的效果；所述应用服务器间采用Nginx+Keepalived实现双机热备，所有应用服务器上部署有JRE、JDK、Python开发环境，搭建Tomcat服务器，并安装施工日志管理系统服务器端程序；所述移动终端设备自带音频输入和输出模块、网络传输(4G/5G/WIFI)模块、摄像模块、显示模块；

所述软件平台包括信息数据库、施工日志录入子系统和统计分析子系统三部分；所述信息数据库包含用户信息数据库、工程信息数据库、知识库和模型库；所述施工日志录入子系统通过OpenCV 4.0实现操作者身份验证，使用GMM-HMM构建声学模型，结合语言模型实现对用户语音的识别和转换，再通过字典校对后将文字信息填写至电子版施工日志对应字段中；所述统计分析子系统包括统计施工日志录入情况、分析工程整体质量安全管理情况以及分析工程进度计划偏差情况三部分。

2.根据权利要求1所述的一种语音交互的施工日志管理系统，其特征在于：所述用户信息数据库主要存储内容包括用户个人情况、照片、电子签名信息；所述工程信息数据库存储内容包括工程项目名称、工程进度计划、检查问题清单信息；所述知识库中存储内容包括工程质量/安全管理情况判断规则、工程进度计划分段告警规则内容；所述模型库包含声学模型、语言模型、图像数据训练模型。

3.根据权利要求1所述的一种语音交互的施工日志管理系统，其特征在于：所述统计施工日志录入情况每月月末，系统自动统计本月施工日志录入情况，生成施工日志录入情况统计表，并推送至管理人员处；所述分析工程整体质量安全管理情况通过提取每日的施工日志中质量、安全检查情况数据，结合数据分析技术深入分析得出当前工程整体管理情况，提供给管理者参考；所述分析工程进度计划偏差情况通过提取近五日施工日志中的每日进度信息与存储在工程信息库中的工程进度计划进行比对，经数据分析计算得出当前进度与进度计划之间的差距，并反馈给全体项目管理人员，当进度偏差超过系统设定的阈值时，将向项目经理发出告警。

4.一种语音交互的施工日志管理系统的实现方法，其特征在于：包括施工日志录入流程，具体包括以下步骤：

步骤S1：系统于每日凌晨初始化生成本日施工日志空表，提取工程信息数据库的“检查问题”清单中的数据，以列表形式显示在“近期检查问题闭合情况”字段处，并标记日志状态为“未录入”；

步骤S2：用户通过移动应用访问系统，系统调用设备前置摄像头捕捉画面，通过OpenCV4.0的DNN模块支持的人脸检测模型检测人脸，通过Openface的预训练模型提取人脸区域的128个特征向量值，基于余弦相似度与用户信息库中的人员照片进行特征值比对，若比对验证成功，则执行步骤S3，否则重复执行步骤S2；

步骤S3：移动应用显示欢迎界面，提供“录入本日施工日志”和“补录历史施工日志”选项供用户选择。若用户选择补录历史日志，则执行步骤S4；若用户选择录入本日施工日志，则执行步骤S5；

步骤S4：显示未录入施工日志的日期，引导用户选择并进入施工日志录入页面，按顺序执行步骤S5；

步骤S5：系统跳转至施工日志录入页面，并通过屏幕显示语音录入的规则，等待用户说话；

步骤S6：用户通过语音与系统进行交互，系统提取信息填充相应字段，并校验语法正确性后，提交施工日志；

步骤S7：系统存储施工日志记录，并修改当前施工日志状态为“已录入”。