Drive-WM：面向自动驾驶的多视角世界模型

原分享人：Zhang Mingzhu（张明珠）。原记录时间：2024-12-30。2026-10-22 整理并入个人主页。内容保留原记录的研究背景与判断；文献覆盖以原记录时期为准。

论文与作者

Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving（驶向未来：利用自动驾驶世界模型进行多视图视觉预测和规划）

Yuqi Wang*, Jiawei He*, Lue Fan*, Hongxin Li*, Yuntao Chen†, Zhaoxiang Zhang† (*: Equal Contribution; †: Corresponding Author)

[arXiv] [Project page]

---

分享摘要

关键词： 世界模型；端到端；多视角； 分享简要： 针对自动驾驶中如何提前预测未来事件并评估可预见风险的问题，我们受到潜在视频扩散模型的启发，提出了一种名为Drive-WM的多视点驾驶世界模型方法。该方法增强了端到端自动驾驶的通用性和安全性，提高了自动驾驶车辆在复杂场景中的规划能力。 创新：

1. 引入多视图和时间建模，通过联合生成多个视图和帧，提升了视频生成的质量和一致性。
2. 提出视图分解建模，通过预测以相邻视图为条件的中间视图，大幅增强了多视图一致性。
3. 设计统一条件接口，支持图像、文本、3D布局和操作等异构条件输入，简化了条件生成过程。

总结收获

---

1. 关注思想而非细节

在阅读论文时，不要过于纠结具体的训练过程，而应关注其核心思想，因为训练成本往往很高。例如，训练一个8B模型需要四张A100显卡，但全量训练仍然跑不起来。而轻量化的模型可以在一天内完成一轮训练，甚至半天即可完成，适合更小规模的数据集。

2. 微调和创新的差异

当前许多研究更倾向于微调模型或进行适应性应用，而非从头训练大模型。真正进行大模型训练的通常是与企业合作的团队。大模型的研究往往因其开创性而获得认可，即使实现不够完善，也因其“第一个”提出的地位而具有价值。

3. 端到端结合与成本问题

将端到端方法与世界模型结合起来的研究虽然成本极高，但思想值得借鉴。训练时间虽短（如三天），但实际资源需求巨大，例如使用八张显卡连续运行多天。研究的意义在于提出了基于想象和反思的评估方法，这是可应用于其他领域的通用思想。

4. 实验设计与指标设定

论文中提出的实验设计和指标设定也是学习的重点。例如，作者通过结合世界模型和端到端架构，提出了一种联合训练的方式，并设定了新的评估指标。虽然实验可能不够完善，但通过巧妙的实验设计，突出了模型的优势。

5. 场景与指标的启发 论文中的实验场景和指标设定具有启发性。例如，夜间场景的生成虽然概念较为初步，但可以通过设计量化指标（如轨迹是否合理、是否发生碰撞）来评估模型性能。这种方法可以结合强化学习进行优化，并通过轻量化模型快速实现。

6. 未来方向与建议

聚焦未被深入研究的领域，如夜间场景生成及其量化评估。 借助轻量化模型，快速验证新想法，例如基于想象的场景生成。 设计简单易行的评估方式，如基于轨迹合理性或地图碰撞情况的指标。

问答简记

1. 问：扩散模型在自动驾驶和机械臂领域应用如何？

答：

扩散模型目前在端到端方法中非常流行，无论是机械臂还是自动驾驶，都有很多相关研究。扩散模型生成画面后，会通过奖励函数对图片进行评价，得分高的图片对应的方案会被选入规划器进行执行。

2. 问：扩散模型是否有碰撞率指标？

答：

论文中有明确提到碰撞率指标。扩散模型通过生成多种可能的图片，并基于奖励函数选择最优方案，从而降低了碰撞率。

规划。

3. 关于实验设计与实现细节 问：论文中使用了什么硬件配置？训练成本如何？

答：

论文中提到训练使用了8张A40显卡，耗时三天。但代码和预训练权重未开源。训练成本非常高，例如，训练一个8B模型需要四张A100显卡，但仍可能无法跑全量。而轻量化模型一天甚至半天就能完成一轮训练，非常适合资源有限的研究。

4. 问：扩散模型的分辨率对性能有什么影响？

答：

扩散模型的生成质量与分辨率密切相关。高分辨率（如192×384或更高）能显著提升效果，但对硬件要求较高。低分辨率不仅影响生成质量，也会导致模型难以识别场景。

5. 问：扩散模型如何通过“想象”进行规划？

答：

扩散模型通过“想象”未来的时间步（如T+K、T+2K）进行规划：

当前时刻生成多个可能的图片，并基于奖励函数选择最优方案。 执行后再次观测当前状态，并重新生成下一步的规划，形成循环优化。 这种基于想象和反思的思路在超分辨率和其他领域也很常见，具有很高的通用性。

6. 问：论文的实验设计有什么值得借鉴的地方？

答：

论文通过巧妙的实验设计和新指标（如基于GPT的评估）突出了模型的优势。实验场景的设定（如夜间场景）和指标设计（如碰撞率、轨迹合理性）值得借鉴。虽然实验可能不够完善，但通过这些设计，论文很好地展示了模型的优势。

7. 问：未来的研究方向有哪些建议？

答：

探索未被深入研究的领域，例如夜间场景的性能评估。 结合基于想象和反思的评估方法，优化模型的规划能力。 借助轻量化模型，快速验证新想法，如基于想象的场景生成。

总结

核心思想：世界模型通过基于想象和反馈的生成与评估方法，显著提升了端到端规划的性能。 实验设计：论文中巧妙的多视角场景设定和新指标是亮点，值得借鉴。 资源限制：全量训练成本高昂，建议利用预训练模型或轻量化实现快速验证新想法。 未来方向：探索夜间场景的性能评估、基于想象的规划优化，以及扩散模型在其他领域的应用潜力。

相关论文

1. Magicdrive: Street view generation with diverse 3d geometry control.\
2. Drivegan: Towards a controllable high-quality neural simulation\
3. Bevcontrol: Accurately controlling streetview elements with multi-perspective consistency via bevsketch layout

原始记录

来源：OpenVisualLab 原始笔记。原仓库、版本差异及未完成的记录保留在本地历史档案。

返回组会分享索引