[发明专利]一种图像处理跟踪系统及其图像跟踪方法

摘要

本发明公开了一种图像处理跟踪系统及其图像跟踪方法，图像跟踪领域，包括：智能手环实时探测智能书本当前页上射频芯片的射频信号，并将所述射频信号发送给语音播报器；图像跟踪器实时跟踪拍摄阅读者的眼球图像，并将所述眼球图像发送给所述语音播报器；所述语音播报器基于所述射频信号和所述眼球图像获取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报。由此，本申请提供的图像跟踪方法及装置使用方便，无需任何操作即可自动分析儿童正在阅读的书本内容，并对其进行自动语音播报，大大提高了学习效果，趣味性强，利于学前启蒙教育。

主权项

1.一种图像处理跟踪系统，其特征在于：包含智能手环、语音播报器、图像跟踪器、图像处理装置、电源模块、智能书本以及设置在所述智能书本中的每一页上的射频芯片，所述射频芯片与智能手环连接，所述智能手环与语音播报器连接，所述图像跟踪器通过图像处理装置与语音播报器连接；所述电源模块分别与语音播报器、图像跟踪器、图像处理装置连接；其中，所述图像处理装置包括图像数据接收模块、任务调度模块、处理线程模块、视频解码器、FPGA芯片、双门RAM、DSP芯片、图像缩放模块、VGA编码芯片、SD卡、FLASH模块、第一SDRAM和第二SDRAM，所述图像数据接收模块、任务调度模块、处理线程模块、视频解码器、FPGA芯片依次连接，所述FPGA芯片分别连接第一SDRAM、VGA编码芯片和SD卡，所述VGA编码芯片上设有VGA接口，所述DSP芯片分别连接图像缩放模块、FLASH模块和第二SDRAM，所述双门RAM分别连接FPGA芯片和DSP芯片；所述图像数据接收模块用于接收图像数据；任务调度模块用以传递接收的图像数据；处理线程模块包括多个处理线程用以接收的图像数据，并对接收的图像数据进行处理；所述视频解码器用于将接收的图像信号进行A/D转换，形成标准的数字视频格式并输入到FPGA芯片；所述FPGA芯片包括预处理模块和高速处理模块；所述预处理模块用于对接收的数字图像数据进行预处理；所述高速处理模块用于对预处理后的数字图像数据进行高速处理；通过FPGA芯片的控制使其缓存在片外的第一SDRAM中，之后VGA编码芯片做到了对图像的实时显示，如果用户通过外部控制，选择了压缩模式，则原始的图像数据将由帧存模块移至高速缓冲模块中，DSP芯片通过EMIF接口外扩存储器的方式，高效的读取双门RAM中的图像数据；图像数据在DSP芯片内部做好JPEG压缩后，以相同的方式通过高速缓冲模块，把数据传给FPGA芯片进行存储控制，做到压缩图像数据的存储和备份；VGA编码芯片主要作用是将FPGA芯片采集到的数字图像，实时地转换成模拟图像数据，并输出到带VGA接口的显示器上；所述VGA编码芯片包括图像编码电路和VGA接口电路；所述语音播报器，包括播报器本体，所述播报器本体的顶端安装有摄像头，所述播报器本体上设置有话筒、扬声器和时间显示屏，所述播报器本体的内部设置有控制模块、存储模块、信号发射器、信号接收器、蓝牙模块、4G通信模块、计时器、录音器和屏蔽仪，所述控制模块通过数据导线电连接摄像头、存储模块、话筒、扬声器、信号发射器、信号接收器、蓝牙模块、4G通信模块、计时器、录音器和屏蔽仪，所述控制模块包括PLC控制器、与PLC控制器电连接的A/D转换器和继电器，所述蓝牙模块通过蓝牙连接个人终端；通过设置录音器和话筒，能够使该语音播报器通过话筒达到录音的效果，然后再将该录音的内容存储在存储模块内，便于在需要时，通过扬声器播放出来；然后再设置屏蔽仪，能够达到屏蔽的作用，能够避免学生在考试时作弊；然后再设置4G通信模块和蓝牙模块，能够通过4G通信模块连接终端设备，通过蓝牙模块与个人终端相连接，进而使人们能够通过该播放器播放个人终端内的内容；然后再设置计时器，并在播报器上设置时间显示屏，能够实时的将时间显示在时间显示屏上供学生查看，同时，还能够选择恰当的时间通过扬声器播放出来，以提醒学生考试进度；然后再设置摄像头2，能够在考试时，通过摄像头2将考场内的情况拍摄下来，进而能够达到监考的效果；所述A/D转换器包含反激式变压器、整流滤波模块、启动电路、启动控制和低压锁定模块、峰值电流检测、采样保持模块、误差放大器、CV控制模块、退磁时间检测模块、CC控制模块、PFM逻辑控制模块、驱动模块、功率开关管M1；所述启动电路包含一功率开关管Q1，所述反激式变压器的原边绕组Np的上端连接外部输入电压Vin端，原边绕组Np的下端连接启动电路；所述反激式变压器的次边绕组Ns连接外部整流滤波模块；所述变压器的辅助绕组Naux经电阻分压分别连接采样保持模块和退磁时间检测模块的输入端，所述反激式变压器的辅助绕组Naux经二极管送入VDD端连接启动控制和低压锁定模块；所述启动电路的一端也送入VDD端连接启动控制和低压锁定模块，另一端连接功率开关管M1的漏端；所述功率开关管M1的源端经CS端连接峰值电流检测的输入端；所述峰值电流检测的输出端连接PFM逻辑控制的输入端；所述整流滤波模块的输出端连接电压输出Vout端；所述采样保持模块的输出端依次通过误差放大器、CV控制模块连接PFM逻辑控制模块的输入端；所述退磁时间检测模块的输出端经CC控制模块也连接到PFM逻辑控制的输入端，PFM逻辑控制模块的输出端通过驱动模块控制功率开关管M1和功率开关管Q1的通断，从而控制反激式变压器原边电路的通断；所述反激式变压器用于实现能量传输和电器隔离；整流滤波模块用于输出电压滤波；启动控制和低压锁定模块用于限制芯片内部供电端电压的大小，以防误操作；采样保持模块用于实现对反馈电压的采样，用于后面与基准电压的比较；误差放大器用于实现采样电压与基准电压的误差放大；PFM逻辑控制用于实现电压对频率的控制；峰值电压检测用于原边电流反馈；驱动模块用于驱动Q1和M1，实现原边通断；其中，所述智能手环实时探测所述智能书本当前页上射频芯片的射频信号，并将所述射频信号发送给所述语音播报器；所述图像跟踪器实时跟踪拍摄阅读者的眼球图像，通过图像处理装置处理，并将所述眼球图像发送给所述语音播报器；所述语音播报器基于所述射频信号和所述眼球图像获取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报；所述语音播报器中存储有所述智能书本每页的书本页标识和对应的书本内容，所述语音播报器基于所述射频信号和所踪眼球图像获取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报的步骤，包括：所述语音播报器对所述射频信号进行信号解析，获得所述射频信号对应的书本页标识；基于所述书本页标识查找所述智能书本当前页的书本内容，并实时对所述眼球图像进行图像分析，获取所述阅读者的眼球注视位置；根据所述眼球注视位置在所述当前页中提取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报；所述实时对所述眼球图像进行图像分析，获取所述阅读者的眼球注视位置的步骤，包括：实时对所述眼球图像中阅读者的眼球瞳孔在所述当前页上的坐标位置，以获得所述阅读者的眼球注视位置；所述根据所述眼球注视位置在所述当前页中提取所述阅读者正在阅读的书本内容的步骤，包括：以所述眼球注视位置为圆心或中心，结合预设的眼球观察半径或眼球观察行数和眼球观察字数得到阅读区域；从所述当前页中解析所述阅读区域对应所示的书本内容作为所述阅读者正在阅读的书本内容；分析所述正在阅读的书本内容的内容类型；按照所述内容类型对应的语音播报方式将所述正在阅读的书本内容进行语音播报。在所述语音播报器基于所述射频信号和所述眼球图像获取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报的步骤之后，所述方法还包括：所述智能手环实时获取阅读者的运动信息，并将所述运动信息发送给所述语音播报器；所述语音播报器根据所述运动信息判断所述阅读者是否处于活动状态；在判定所述阅读者处于活动状态时，停止播报所述书本内容；在所述语音播报器基于所述射频信号和所述眼球图像获取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报的步骤之后，所述方法还包括：所述智能手环实时获取所述阅读者的语音信息，并将所述语音信息发送给所述语音播报器；所述语音播报器根据所述语音信息判断所述阅读者是否处于交谈状态；在判定所述阅读者处于交谈状态时，停止播报所述书本内容；在所述语音播报器基于所述射频信号和所述眼球图像获取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报的步骤之后，所述方法还包括：智能手环实时获取所述阅读者的语音信息，并将所述语音信息发送给所述语音播报器；所述语音播报器根据所述阅读者的语音信息和所述正在阅读的书本内容生成对应的交互语音，并将所述交互语音进行语音播报。应用于语音播报器，所述语音播报器与智能手环、图像跟踪器通信连接，其中，所述图像跟踪器设置在智能书本的监测区域中，所述智能手环与所述智能书本中的每一页上设置的射频芯片进行信号交互，所述方法包括：接收所述智能手环实时探测的所述智能书本当前页上射频芯片的射频信号；接收所述图像跟踪器实时跟踪拍摄的阅读者的眼球图像；基于所述射频信号和所述眼球图像获取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报。