据AIbase网5月6日消息，日本芝浦工业大学研究团队提出基于Vote机制的多模态融合框架。该框架旨在解决增强现实（AR）应用中面临的手持物体姿态估计的准确性难题。Vote-based框架的核心在于有效整合来自RGB（颜色）和深度图像的数据，特别是在手遮挡物体的情况下，包含四个主要部分：从RGB-D图像中提取高维特征的主干网络、Vote模块、基于Vote的新型融合模块以及手部感知物体姿态估计模块。测试结果显示，该框架的准确性和稳健性都有了显著提高，最高可达15%。在实际应用中，框架实现了76.8%的平均精度和仅40毫秒的推理时间，显示出其良好的实用性和部署潜力。