据科学网3月2日消息，复旦大学科研团队基于多模态大模型“复旦·眸思”（MouSi）为视障者量身打造的“听见世界”APP上线。该APP能够理解并识别图片内容并将画面转化成语言，同时提供了街道行走、自由问答和寻物三种生活场景的服务模式，为视障者提供了场景描绘、风险提示等功能。该团队未来计划结合AR升级APP内的定位精度细化至亚米级别、将大模型升级到基于视频的判断，并开发阅读、解说等更多模式。该APP将于3月完成第一轮测试。

消息来源：https://news.sciencenet.cn/htmlnews/2024/3/518286.shtm