据AIbase网10月29日消息，美国英伟达研究团队发布全模态理解模型OmniVinci。OmniVinci的目标是创建一个能够同时理解视觉、音频和文本的全能AI系统，使机器能够像人类一样通过多种感官感知并理解复杂的世界。为实现这一目标，研发团队采取了创新的架构设计和数据管理策略，通过一个统一的全模态潜在空间，将不同感官的信息融合在一起，实现了跨模态的理解和推理。该模型在关键的全模态理解基准测试中取得了惊人的成果，相较于现有顶尖模型高出19.05分。特别是，OmniVinci仅使用了1/6的训练数据，展现出卓越的数据效率和性能。