文 | 钱钱

编辑 | 阿景

自动驾驶仿真圈最近炸了个大消息赵昊团队搞出个叫DGGT的框架，性能直接较现有SOTA提升50%。

这可不是小打小闹，要知道自动驾驶系统想在开放道路跑起来，得先在仿真里练够“十八般武艺”。

动态交通环境里的事儿太复杂了。

你想啊，高速上突然有车变道，路边电动车窜出来，甚至有人从停着的车里开门，这些场景都得让自动驾驶系统提前“见过”才能应对。

以前靠4D建模和仿真，但老办法总卡壳。

传统方案有个大毛病，得一个场景一个场景去优化。

就像玩游戏过关卡，每个新场景都得重新调参数，累死个人。

而且还得知道相机的精确校准数据，短时间内的图像序列才能处理，结果就是系统慢得像蜗牛，实用性根本跟不上自动驾驶进化的速度。

DGGT的出现，算是把这些“紧箍咒”给摘了。

它不用逐场景优化，不用提前知道相机咋校准的，长序列图像也能处理。

这步子迈得确实够大，直接把自动驾驶仿真的效率提了一大截。

从“卡脖子”到“快准稳”，DGGT如何打破传统方案的枷锁

传统方案的“卡脖子”问题，其实就三个点。

第一个是逐场景优化，就像老师给每个学生单独备课，效率低不说，换个学生（场景）就抓瞎。

DGGT直接不用这套，靠多头联合预测结构，端到端就能重建场景，省事儿多了。

第二个是相机标定依赖。

以前相机参数得提前输进去，一旦安装有点偏差或者路上颠了一下，数据就不准了。

DGGT聪明在哪儿？它把相机位姿从输入变成了输出，模型自己预测内外参，这下跨数据集部署就没那么多麻烦了。

第三个是短帧窗口限制。

老系统只能处理短时间的图像序列，车辆从出现到消失的完整轨迹根本抓不住。

DGGT不一样，任意数量的输入视图、多长的序列都能啃下来，时序扩展性这块儿算是彻底突破了。

性能提升50%可不是吹的。

在Waymo数据集上，重建精度到了27.41PSNR，每一帧推断时间才0.39秒（3个视角，20帧）。

比那些靠优化慢慢磨的方案快多了，跟同类前馈方案比，画面还更保真。

跨数据集泛化能力也很能打。

在Waymo上训练的模型，直接拿到nuScenes和Argoverse2数据集上用，关键指标比STORM提升超50%。

比如nuScenes上的LPIPS从0.394降到0.152，Argoverse2上从0.326降到0.155，这下降幅度，说明模型真能“举一反三”。

不同训练设置下也稳。

在nuScenes上零样本跑，在Argoverse2上从头训练，DGGT都能保持SOTA级性能。

这可不是碰运气，是技术真的鲁棒，不管啥情况都能稳住。

不止提升50%，DGGT如何重塑自动驾驶训练的“数据工厂”

DGGT的核心设计理念，说白了就是“一次性搞定4D场景”。

它能同步输出相机位姿、深度、动态实例和场景表示，从图像直接映射到4D场景，中间不折腾。

静态的道路建筑和动态的车辆行人分得清清楚楚，后面想编辑场景、做仿真，基础就有了。

长时序的动态一致性也没落下。

靠lifespan头建模场景随时间的变化，运动头估计三维运动，车辆开多远、行人怎么走，都能连贯地呈现出来，不会出现前一帧车在这儿，后一帧突然跳走的情况。

系统架构是基于ViT编码器搭的，还融合了DINO先验知识。

图像特征提取这块儿，ViT本身就强，加上DINO的先验，特征表达更到位。

然后多个预测头并行工作，相机头算参数，Gaussian头给像素细节，lifespan头管时间可见性，动态头分动静区域，运动头估位移，天空头专门稳住远景背景。

这么多模块协同，想不出活儿都难。

对行业来说，这技术简直是“降本增效”的利器。

以前采集数据得高精度标定设备，固定路线来回跑，硬件和人力成本都不低。

DGGT不用这些，硬件投入和人力成本能省一大块，数据生成经济性一下就上来了。

效率提升更不用说，0.4秒就能完成支持实例级编辑的4D重建，加上长序列处理能力，数据生成周期大大缩短。

自动驾驶系统训练需要海量数据，这下再也不用等那么久了。

场景多样性也能搞得更丰富。

想加个横穿马路的行人，或者突然变道的货车，直接在Gaussian层面编辑就行，快速生成各种边缘案例。

要知道，这些边缘案例往往是自动驾驶安全的关键，覆盖得越多，实车跑起来才越靠谱。

工业级应用潜力也很大。

速度和质量都在线，完全能当实时预处理模块，集成到自动驾驶系统的训练、仿真、评估流程里，加速模型迭代。

用它重建的4D场景做仿真，还能构建虚拟测试环境，验证算法在复杂场景下的决策能力，实车路测的风险也能降不少。

赵昊团队在这领域是真有积累。

赵昊老师是清华大学智能产业研究院的助理教授，还是智源学者，长期搞三维场景理解、生成式仿真这些方向，对自动驾驶和具身智能仿真的意义不用多说。

2025年GAIR大会上，他还会以组委会主席身份主持世界模型分论坛，到时候会分享DGGT在世界模型构建里的新进展。

这大会12月12-13日在深圳举行，专门对接AI技术和产业落地，DGGT说不定能在这儿找到更多合作伙伴，从实验室真正走进自动驾驶的生产线。

DGGT这50%的性能提升，不止是数字上的变化，更可能是动态驾驶场景数据生成的范式革新。

从技术突破到场景落地，它正在一步步重塑自动驾驶训练的“数据工厂”。

未来随着技术迭代，说不定还能搞定更复杂的场景，让自动驾驶在开放世界跑起来更稳、更安全。