1、作品名称
基于多模态信息的体质分析与养生饮品推荐项目
2、作品分类
移动应用开发
3、作品描述
本项目紧扣“互联网+医疗”的热点与亚健康人群的痛点，开展了基于多模态信息的智能体质分析与养生饮品推荐项目研究，即对用户的症状信息与舌诊信息进行综合诊断，并推荐相关的饮品信息，呈现在小程序中，为后续的“药膳+”新式养生饮品售卖打下基础。我们与广州中医药大学的团队开展合作，根据合作医院与网络爬虫所搜集到的图片构建舌诊数据集，并请广中医团队对其进行标注，从而完善数据集。同时，我们还运用了图像分割来减少舌头图片中的冗余信息、利用数据增广与处理图片来提高鲁棒性、并运用深度学习技术进行智能舌诊。之后，我们将前期的技术通过小程序来展现，并相应设计了体质分析、汤品推荐、说明帮助、体质记录四大功能模块。在用户进入小程序后，首先可以查看小程序的使用说明。在使用小程序的体质分析功能时，应先选择最近出现的 0-4 种症状，之后在正常的光线下，用摄像头拍摄完整的舌头照片，并对照片裁剪后上传，稍作等待，便可以看到详细的体质诊断结果。返回到主界面后，用户还可以查看到最近一次体质诊断的结果与汤品推荐的信息，从而观察到自己最近的体质变化状况，根据自身情况找到最适合自己的养生汤品来进行调理，从而早日告别亚健康状态。
4、创意来源
项目原型来自于团队成员与指导老师的共同构思，属于自主创新。目前本项目在华南师范大学已形成了完整的团队，同时在现任广州中医药大学第一附属医院脾胃病科主任刘凤斌教授的指导下，与广州中医药大学的医学团队正进行关于“多模态信息融合的体质智能识别”合作研发。
5、运行环境（所需操作系统、硬件、软件等）
操作系统：众多手机系统（安卓、苹果等）。 硬件：能够运行微信小程序的智能手机。 软件：微信以及微信小程序。
