基于多模态信息的体质分析与养生饮品推荐项目

数媒竞赛获奖作品信息及简介
作品名称基于多模态信息的体质分析与养生饮品推荐项目
参赛院校华南师范大学
指导老师肖菁
团队成员简楚帆 、曾少游 、唐高智 、梁冬晴
奖项等级二等奖
竞赛年份2020

本项目紧扣“互联网+医疗”的热点与亚健康人群的痛点,开展了基于多模态信息的智能体质分析与养生饮品推荐项目研究,即对用户的症状信息与舌诊信息进行综合诊断,并推荐相关的饮品信息,呈现在小程序中,为后续的“药膳+”新式养生饮品售卖打下基础。我们与广州中医药大学的团队开展合作,根据合作医院与网络爬虫所搜集到的图片构建舌诊数据集,并请广中医团队对其进行标注,从而完善数据集。同时,我们还运用了图像分割来减少舌头图片中的冗余信息、利用数据增广与处理图片来提高鲁棒性、并运用深度学习技术进行智能舌诊。之后,我们将前期的技术通过小程序来展现,并相应设计了体质分析、汤品推荐、说明帮助、体质记录四大功能模块。在用户进入小程序后,首先可以查看小程序的使用说明。在使用小程序的体质分析功能时,应先选择最近出现的 0-4 种症状,之后在正常的光线下,用摄像头拍摄完整的舌头照片,并对照片裁剪后上传,稍作等待,便可以看到详细的体质诊断结果。返回到主界面后,用户还可以查看到最近一次体质诊断的结果与汤品推荐的信息,从而观察到自己最近的体质变化状况,根据自身情况找到最适合自己的养生汤品来进行调理,从而早日告别亚健康状态。