基于目标跟踪的智慧教学空中手写识别系统

   本系统通过单目摄像头进行图像采集，利用人脸检测确定目标位置，以当前帧图像的人脸位置确定空中手写区域并结合硬件云台控制实现目标跟踪，然后对空中手写区域图像利用图像识别技术实现空中手势分割、空中手势识别、空中手写轨迹采集、空中手写轨迹识别，最后根据空中手势、手写识别结果来实现多媒体教学中的PPT翻页以及字符输入等智慧教学操作方式。本系统主要完成的工作如下： （1）通过图像采集模块获取图像，在目标跟踪模块中，使用Harr-like特征、Adaboost算法等方法实现了更快速的人脸检测，根据人脸检测结果确定空中手写区域及舵机旋转角度。采用STM32、PCA9685、舵机等搭建硬件控制模块，辅助实现智慧教学中的人脸目标跟踪。 （2）在空中手势识别模块中，使用帧间差分和GMM模型对空中手写区域图像进行分割，基于PCA-SVM搭建了空中手势识别模型，实验结果表明空中手势识别率为93.44%，平均每帧耗时0.04秒。 （3）在空中手写轨迹采集模块中，提出了一种新指尖检测算法用于空中手写指尖检测，实验结果表明相同测试数据下性能和识别率均优于传统的重心距离法等指尖检测，取得了95.81%的识别率，平均每帧耗时0.0009秒。 （4）在空中手写识别模块中，设计实现了一种基于3层卷积神经网络的空中手写识别模型，并采取Top-4方法将识别率由94.64%提升到了98.79%，平均空中手写一个字符的时间大约为2秒。