游戏bug帮大模型学物理
- 量子位
- 2024-12-08 02:30:05
游戏bug帮大模型学物理
融合物理知识的大型视频语言模型PhysVLM，开源了！
它不仅在 PhysGame 基准上展现出最先进的性能，还在通用视频理解基准上（Video-MME, VCG）表现出领先的性能。
在这项研究之前，想让AI像人类儿童一样，通过观察世界理解基本的物理常识，是一个主要挑战。
对于现实世界的视频来说，全面覆盖和解释所有正常的物理现象既困难又不必要。
相比之下，游戏视频（gameplay videos）通常包含违反物理常识的“故障现象”（glitches），这有助于简化物理常识理解的定义和评估，即专注于解释物理常识的违反现象，而不是试图列举所有存在的正常物理现象。
为此，PhysVLM在专门整理的一套数据集上训练，包括用于评估的PhysGame benchmark、用于监督微调的PhysInstruct数据集和用于偏好对齐的PhysDPO数据集。
游戏bug帮大模型学物理！准确率超GPT4o近4个百分点
融合物理知识的大型视频语言模型PhysVLM，开源了！
它不仅在 PhysGame 基准上展现出最先进的性能，还在通用视频理解基准上（Video-MME, VCG）表现出领先的性能。
在这项研究之前，想让AI像人类儿童一样，通过观察世界理解基本的物理常识，是一个主要挑战。
对于现实世界的视频来说，全面覆盖和解释所有正常的物理现象既困难又不必要。
相比之下，游戏视频（gameplay videos）通常包含违反物理常识的“故障现象”（glitches），这有助于简化物理常识理解的定义和评估，即专注于解释物理常识的违反现象，而不是试图列举所有存在的正常物理现象。
为此，PhysVLM在专门整理的一套数据集上训练，包括用于评估的PhysGame benchmark、用于监督微调的PhysInstruct数据集和用于偏好对齐的PhysDPO数据集。
游戏bug帮大模型学物理！准确率超GPT4o近4个百分点
