手语者

数媒竞赛获奖作品信息及简介
作品名称手语者
参赛院校西安理工大学
指导老师赵凡
团队成员郝以凤、武贤环、李雪婧、郝盛佳、赵佳
奖项等级三等奖
竞赛年份2020

本作品是一款实现聋哑人和普通人手语交互的平台软件。在普通人对聋哑人交流环节,输入是普通人的声音,将声音首先进行文字转换,把转换的文字作为关键词在数据库中查询得到语义对应的动画文件,再以动画形式播放给聋哑人,让聋哑人理解正常人所要表达的意思;在聋哑人对普通人交流环节,输入是摄像头获取的手部动作视频,采用设计的深度网络对手部骨骼点进行检测,对检测的骨骼点继续采用深度网络进行动作识别,最后把识别的动作以文字或语音形式反馈给正常人,让正常人理解聋哑人所要表达的意思。该作品可以实现聋哑人和正常人间简单的无障碍双向交流,以提高AI对残障人士的积极作用。