基于FMA与深度学习的混合现实上肢康复训练评估系统

数媒竞赛获奖作品信息及简介
作品名称基于FMA与深度学习的混合现实上肢康复训练评估系统
参赛院校华北科技学院
指导老师陈超
团队成员李楠、张段隆昊、张泽宝、谢梓炫、王辰翔
奖项等级一等奖
竞赛年份2021

基于FMA与深度学习的混合现实上肢康复训练评估系统,是一个以FMA为依据,利用微软 Kinect、HoloLens2.0、HTC定位基站、跟踪器、大疆机器人,以及深度学习、A*算法等进行设计的智能化康复系统,目的在于满足社会对于肢体康复智能化、监测性、评估性、便捷化、高效化的需求,同时解决传统VR康复系统存在的监测模块缺失,场景构建算法不成熟、系统可拓展性不强等问题。其运用到了激光定位、体感识别等技术,兼备全自动评估、机器人自动寻路自动避障、手势交互、语音交互、智能决策等功能。使用者在使用系统时,依据特定的监测任务做出指定动作,系统依据使用者肢体信息得出评估结果并智能决策合适的训练内容。在整个评估训练过程中使用者都可以依靠机器人完成辅助功能,同时使用者产生的数据都将被实时记录在康复云端,以便医师回溯与查看。