文 | HiEV大蒜粒车研所，作家 | 肖恩，裁剪 | 德新

两年一度的计较机视觉顶会ICCV 10月在好意思国檀香山终结，本年的最好论文颁给了卡内基梅隆大学团队的BrickGPT，一种能从文本面孔胜利生成物理结构强壮并可推行搭建的积木机构模子，这个着力展示了生成式AI在物理寰宇应用的后劲。

对自动驾驶从业者而言，这次会议上还有一个更令东说念主防卫的音信——AI部门副总裁Ashok Elluswamy在“基础模子蒸馏与自动驾驶”论坛中，共享了FSD的最新进展。

自2022年在AI Day上共享了占用格栅齐集之后，特斯拉险些莫得在职何公开场面显现过FSD的内幕，特殊是干涉到端到端架构之后，FSD的阐发向上神速，关联词特斯拉对背后的手艺长久耀眼其词。

Elluswamy这次共享给出了要道信息：系统以视频为主的多模态输入干涉端到端模子，胜利输出足下指示，感知 - 权衡 - 决策 - 足下在归并神经齐集中耦合回传；这一合座框架与近期热议的“寰宇模子”念念想高度同样。同期，在仿真侧，寰宇模子被用于生成顽抗性场景，以罢了闭环评测与迭代。

在此之前，围绕VLA与寰宇模子的门路不合已争论不断，特斯拉的最新表态无疑又添一把火。不论最终范式若何定型，简略“设想将来”的寰宇模子，险些注定将成为当下自动驾驶手艺演进的要道支点。

一、特斯拉FSD： 端到端基础模子与寰宇模子的和会

Elluswamy以“构建将来的自动化”为主题，最初诠释了FSD最近的一些进展，包括Robotaxi的上线以及罢了了从工场到委派中心的全程自动驾驶。

随后，他先容了特斯拉的端到端架构，多录像头图像、导航舆图、车辆畅通讯息和音频信号等输入到一个端到端的神经齐集内，这个模子经过海量的数据覆按，支握长序列的输入，终末胜利输出足下信号。

这部分和国内的手艺办法基本一致，独一的区别是增多了音频信号的输入。

为什么要使用端到端的架构，他给出了几点原理：

东说念主类的驾驶步履很难用函数去面孔，规则算法很容易衣不蔽体；

传统的感知 - 运筹帷幄 - 足下的结构会有多数的信息失掉；

端到端的膨大性更强，更适当科罚长尾问题；

时延强壮；

不需要依赖东说念主类的训诫，而是依靠算力和数据；

若是要构建一套出色的端到端系统，会遭遇什么贫穷？Elluswamy提到了三浩劫题：

维度灾难

FSD需要处理高帧率、高区别率、永劫陡立文的多模态输入：在以“5×5 像素块”为输入token的假定下，仅视觉就特殊于7个录像头×36 FPS×500万像素×30秒；同期还要联接将来数英里的导航舆图与旅途、100 Hz的速率/IMU/里程计等畅通学数据，以及48kHz的音频数据。详细起来约有20亿个token，若是胜利输入到Transformer，token数目会在时辰窗内爆炸，无法得志车端的时延要求。

特斯拉的作念法是诈欺海量的车队数据，从中总结出“要道token”，通过零碎化和团员保留最有效的信息，可在不显贵影响精度的情况下大幅镌汰推理的时延。

同期，特斯拉诈欺数据引擎从中抽取高质地的数据样本用于覆按，让系统能在各式顶点或忽视场景中罢了出色的泛化才略。

可讲授性与安全考据

为了幸免“黑箱”AI，特斯拉在车端模子中加入了可讲授的中间输出，既有全景分割和3D占据齐集，也有基于三维高斯渲染的场景重建和话语化输出，从而援救工程师扫视推理历程。

其中Elluswamy要点先容了特斯拉的生成式高斯喷溅（Generative Gaussian Splatting），和传统的高斯喷溅比较，特斯拉GGS具有更强的泛化才略，生成场景仅需要220毫秒，无需启动化，可建模动态物体，并能与端到端AI模子聚会覆按。

闭环评测与仿真

终末、亦然最具挑战性的一步，是模子评估。

即使领有高质地的数据集，开环权衡的失掉函数下落，也偶而意味着在真是寰宇中能有邃密阐发。评估体系必须各样化且隐秘不同模式，以支握快速的开辟迭代。

为此，特斯拉开辟了一个神经寰宇模拟器（Neural World Simulator）。该模拟器基于特斯拉自建的海量数据集进行覆按，但与常范围型不同，它不是权衡动作，而是左证面前景色与下一步动作生成将来景色。从而与车端的端到端基础模子闭环，作念真是效果的评估。

图片开头：特斯拉

神经寰宇模拟器在驾驶计谋的指示下，按因果谋划生成可交互的将来：不仅能基于历史数据重放并考据新的驾驶模子，还能系统地合成顽抗性/顶点场景，用于长尾隐秘与安全领域测试。

在工程罢了上，特斯拉也强调该模拟器可及时或近及时地产生高区别率、因果一致的反馈，用于研发时势的快速考据。除此除外，这类视频生成才略还可在闭环环境中进行大范围强化学习，以罢了超越东说念主类水平的阐发。

图片开头：特斯拉

尽管特斯拉并未在共享中明确使用“寰宇模子”这一称号，但从其神经寰宇模拟器的才略与用法来看，它推行上即是一个极其坚强的寰宇模子。

与传统云霄寰宇模子不同，特斯拉的系统不仅具备高保真场景生成才略，更要道的是，它简略在给定候选动作的条目下，权衡将来几秒内的寰宇演化，从而罢了决策前瞻与安全考据。

模子不再只是“生成环境”，而是能“设想并评估行为终端”的因果权衡系统。

从特斯拉将“权衡将来几秒的寰宇演化”行为决策前瞻中枢这小数动身，车端基础模子很可能走的亦然寰宇模子门路：在车端进行及时的动作条目将来权衡，在云霄以神经寰宇模拟器进行大范围场景重现与追想考据，两者在指标与表征层面高度对都，从而变成覆按—评估—上线的一体化闭环。

二、何为寰宇模子?

端到端架构能为自动驾驶带来更高的上限，这照旧是行业的共鸣。关联词如安在端到端的框架下让自动驾驶达到以至超越东说念主类的驾驶水平，罢了真确的无东说念主驾驶，咫尺还莫得一个明确的办法，在多种手艺门路中，寰宇模子无疑是其中遑急的一支。

图片开头：World Models for Autonomous Driving: An Initial Survey

寰宇模子并莫得一个程序的界说，但业内逐渐变成了对它的共鸣，寰宇模子是一个生成式时空神经系统，它将来自录像头、激光雷达、雷达和导航舆图等多模态输入压缩成潜在景色，该景色不仅编码了几何、语义信息，还佩戴因果陡立文。

寰宇模子不错在潜在空间内推演环境将来，并让智能体在扩充动作前“演练”扫数轨迹。正因如斯，有东说念主将寰宇模子形象地称为简略在脑海里“设想将来”的模子。

寰宇模子频繁隐秘三类任务：

将来物理寰宇生成：基于传感器数据和车辆历史，生成场景的将来演化（包括物体畅通、占据概率、点云或图像级视频）。

步履运筹帷幄与决策：联接权衡终端为自车生成轨迹或动作提出，罢了决策与足下。

聚会权衡与运筹帷幄：在潜在空间内同期建模多主体交互，诈欺生成的将来对候选动作进行评估，从而罢了闭环的步履优化。

它不仅是感知或权衡模块的简便堆叠，而是一个和洽的大脑：它将现实寰宇压缩成可演化的里面示意，并通过生成式推演支握运筹帷幄与决策。它需要具备以下中枢才略：

潜在时空示意

寰宇模子最初要将高维、多模态感知输入映射到一个低维的潜在景色。这一潜在示意既要包含环境中的几何、语义信息，又要随时辰更新，使模子简略在此空间内捕捉环境景色的转念。该才略意味着模子不再依赖夸耀的BEV或占据栅格，而是以愈加抽象但富含语义的时势示意“寰宇”。

动作条目的将来推演

在潜在景色得到之后，寰宇模子必须简略在给定候选动作（加快、制动、变说念等）的条目下，生成多步将来场景。这种生成不单是是时辰上的外推，更是“假如我采用这个动作，其他说念路参与者会若何反应、场景会若何变化”的因果推理。换言之，它不单是权衡“将会发生什么”，更要恢复“若是我这么作念，会发生什么”。

与运筹帷幄和足下的闭环耦合

寰宇模子的遑急特征在于权衡与运筹帷幄的深度耦合。模子生成的将来场景不仅提供参考，而是胜利用于评估不同动作的风险和收益，从而在潜在空间中完成候选动作的比较—筛选—决策。这种闭环才略使寰宇模子简略在端到端框架中胜利输出足下信号，就像特斯拉的“神经寰宇模拟器”那样，能在闭环仿真中评估新模子、生成顽抗场景，并进行大范围强化学习来得到超越东说念主类的性能。

多主体交互与不细则性建模

真是的说念路中不仅有自车，还有别的车和行东说念主，公共的畅通景色会相互影响。寰宇模子要在“脑海里的景色空间”里，把这些参与者的位置、速率、意图示意出来，而况跟着时辰追踪他们相互之间的互动。

同期，现实中的将来不是唯独独一的谜底：前车可能并线，也可能减慢。是以模子不可只给一条“最可能的轨迹”，而要给出一组可能的将来，让系统在安全、着力、欢乐之间作念权衡。

耐久顾忌与自我演化

寰宇模子应当具有耐久顾忌和自我进化才略——简略累积驾驶训诫、握续扩充其里面寰宇，并在不同任务和场景间迁徙。这使它不仅适用于某条门路或某种条目，而是可在多种条目下泛化。

恰是寰宇模子坚强的才略，让它成为咫尺自动驾驶领域最热点的计议办法之一，好多东说念主治服寰宇模子是通往L3和L4级别自动驾驶的要道钥匙。

三、中国的寰宇模子之路

行为自动驾驶手艺应用最庸俗的中国，寰宇模子照旧生根发芽，既有像商汤这么专注于云霄，为自动驾驶补充合成数据的手艺公司，也有像蔚来和华为这么矍铄的让寰宇模子上车的整车厂。在中国，寰宇模子正上演着越来越遑急的变装。

蔚来NWM寰宇模子

蔚来汽车是较早公开将寰宇模子行为中枢手艺门路的公司之一。在2024年“NIO IN”发布会上，蔚来通知了中国首个驾驶寰宇模子“NWM（Nio World Model）”，蔚来将其界说为“简略全量领悟多模态信息、生成新场景并权衡将来的多元自追想生成模子”。

图片开头：蔚来

它在空间上完成“设想重建”（将感知到的物理寰宇传神地重建为可裁剪的臆造寰宇），在时辰上完成“设想推演”（在里面时空中滚动预演不同将来），进而输出可扩充的轨迹与动作。并展示了其在车端的应用。NWM可在100毫秒内推理216种可能的驾驶场景 并中式最优决策。蔚来官方示意，模子不错用3秒的历史视频辅导生成长达20秒的将来视频；寰宇模子通过生成式推演变成所谓“平行寰宇”，在这些设想出的将来中评估不同动作的后果。除了纯视觉输入，NWM还和会激光雷达、舆图和自车畅通讯息，并能领悟驾驶员的话语指示。

图片开头：蔚来

蔚来在云霄开辟了NSim行为生成式神经模拟器，NWM基于真是视频进行三维重建后，干涉NSim进行可裁剪的场景剖析、深度与法向量查抄、视角淘气切换，并把NWM的推演轨迹与NSim的仿真终端对都比对，从“独一真是轨迹的回放评测”升级为“海量平行寰宇的对照评测”，以此变成数据闭环和针对性顽抗场景的生成。再联接蔚来的“群体智能”一语气不断的齐集真是寰宇中的长尾场景，变成双轮驱动，加快模子迭代。

NWM的首个版块已于本年6月推送，在主动安全方面新增3大功能：

驾驶员失能处置

在高速/快速路场景，监测到驾驶员无果断后，车辆安祥减慢并变说念至最右侧救急车说念，开启双闪 + SOS主动介入，由“车说念内安全泊车”升级为“自主安全靠边”，显贵镌汰在车说念内泊车带来的追尾风险。

追尾沉沦与保护（初度将大模子用于被追尾场景）

在0–150km/h 范围内对后向潜在碰撞进行警示；当碰撞不可幸免时，系统在500ms内完成从感知决策到制动建压，最大可将被迫前移距离镌汰93%，减少二次事故风险。

通用抑制物预警增强

在转弯、变说念靠边等动作中，对抬杆/护墙/阻抑栅/路沿等多类型抑制均可反馈，减少低速靠边剐蹭、车库盘楼剐蹭等常见事故。

高速领航新增了ETC场景智能通行和“智能驾享模式”（行车作风改革经，跟车/变说念更平顺、更强的预防性驾驶，必要时可自主闪灯/鸣笛提醒周边车辆）。

城区点到点领航新增2大功能：

车位保藏：泊车后可保藏画线车位，下次动身或驶入时罢了不竭隔全域领航；若被占用，系统自动寻找相近空位临时泊入。

泊车场自主寻路：无需舆图/导航/顾忌门路，可听懂当然语义指示、识别象征与笔墨，罢了跨区/跨楼层寻找出口或楼栋门口。这是NWM阐发—领悟—推理才略在复杂微结构空间里的记号性落地。

智能泊车更新为全模子化泊车援救，360°全向车位识别、车位夸耀范围×4，可在职意位置发起泊入指示并长距离漫游泊车，在不同车位间自动腾挪切换；只须不被墙体都备阻隔，就能罢了“可见即可选、可选即可泊”。

NWM的告捷量产以及对智驾功能的全面升级，体现了寰宇模子在车端宏大的后劲。

华为WEWA 架构

在围绕寰宇模子的手艺门路争论中，行为国内智驾领域的”带头老迈“，华为给出的谜底是“WA（World‑Action）”——一种强调胜利感知到足下的寰宇模子门路。

图片开头：华为

华为智能汽车科罚有谋略BU总裁靳玉志公开示意，公司不会奴才VLA的潮水，而是坚握以传感器信号胜利驱动动作的寰宇‑行为模子。

在华为看来，VLA诈欺谎言语模子将视频谐和为“话语 token”再生成足下敕令，看似是捷径，实则不可提供真确的自主才略；唯独跳过话语层，胜利从视觉、声息等多模态感知信息生成驾驶指示，才能在空间感知和及时性上得志高档自动驾驶要求。

华为的ADS 4平台基于WA原则进一步演化出 WEWA（World Engine + World Action）架构：

World Engine（云霄寰宇引擎）在云霄通过海量仿真与实车数据覆按寰宇模子，并生成用于升级的模子参数。

World Action（车端寰宇行为模子）在车辆侧运行，将感知数据胜利映射为足下动作，跳过话语解析历程。

WEWA不详了话语层幸免了抽象化失掉，并通过多颗激光雷达和高性能硬件确保模子得到尽可能完好的环境信息。这么固然硬件资本更高，但靳玉志合计这是罢了安全可靠自动驾驶的唯通盘路。

华为强调，真确的寰宇模子不仅限于仿真，而是支握车辆及时决策的中枢。在WEWA架构中，云霄的World Engine使用多数仿真和实车数据对模子进行“虚幻覆按”，学习环境的演化规则并生成优化后的参数；这些参数通过OTA下发到车端的World Action模子，使车辆在物理一致的“寰宇示意”上胜利运筹帷幄和足下。为了得到尽可能完好的环境感知，华为在车端使用多颗激光雷达和高性能硬件，在最新的问界M9和尊界S800上，照旧最先使用4个激光雷达的有谋略。

靳玉志强调，这条门路固然资本更高，但简略提供更强的空间领悟和决策可靠性，是华为走向高档自动驾驶的唯通盘路。

商汤绝影：“开悟”寰宇模子与生成式仿真平台

商汤科技旗下的自动驾驶品牌绝影智驾推出了寰宇模子“开悟”并用于大规效法真数据生成。2025年寰宇东说念主工智能大会（WAIC）上，绝影发布了升级版的交互式寰宇模子居品平台，以及业内最大范围的生成式驾驶数据集WorldSim‑Drive。这一平台基于先进寰宇模子手艺，具备对物理规则的领悟和对场景元素的足下才略，是面向车企和开辟者通达试用的可交互居品。

图片开头：商汤绝影

与蔚来的车端寰宇模子不同，绝影的“开悟”主要用于生成高保真仿真数据。开悟可在仿真场景中生成11个录像头视角的时空一致视频，时长可达150秒，区别率达到专科级1080p。用户不错在平台上目田裁剪场景的说念路布局、参与体、天气和光照等元素，一键生成风险极高的场景或各样化组合。面前，绝影正与上汽旗下的智己汽车相助，诈欺这个平台构建端到端数据工场，针对加塞、追尾等高价值场景批量生成覆按数据，并谋略推出隐秘数百万合成片断的场景库。

在数据范围和着力方面，WorldSim‑Drive数据集包含卓越100万段生成式驾驶片断，隐秘50多种天气与光照条目、200类交通象征和300种说念路流畅场景，是迄今最大的自动驾驶生成数据集之一。这些合成数据保握多视角时空一致性，时长可达数分钟，画质与真是数据一致。开悟的日分娩才略仅用一块A100 GPU就特殊于10辆真是车辆或100台说念路测试车辆的数据采集才略。咫尺，绝影已有20%的覆按数据来自寰宇模子生成。

商汤绝影通过“开悟”寰宇模子搭建了数字寰宇到真是寰宇的桥梁：一方面在仿真平台上支握文本或图像辅导，快速生成特定场景；另一方面与车企相助打造闭环数据工场，用合成数据弥补长尾场景不及。

开悟的告捷展示了寰宇模子在仿真数据生成中的力量，不仅镌汰数据采集资本，还能针对高风险场景进行定制化覆按，为自动驾驶提供可靠、安全的测试和覆按环境。

四、寰宇模子 VS VLA： 自动驾驶终局门路之争

跟着大模子时期的到来，以话语大模子LLM为中枢的视觉-话语-行为（VLA）模子最先在自动驾驶领域崭露头角，联想、小米和元帅都是矍铄的VLA门路拥护者，在本年7月联想照旧最先率先推送量产的VLA版块。

VLA宗旨将视觉输入、当然话语领悟与行为生成融为一个大模子，通过话语增强情境领悟和推理才略。和寰宇模子比较存在显贵互异：

结构与示意

寰宇模子继承潜在时空示意，中枢是一个不错随时辰演化的物理寰宇模拟器。它通过自监督压缩器将感知数据编码为潜在景色，并依靠生成式权衡模块在该景色上演化将来

VLA模子则以 视觉—话语—行为和洽架构为特征。它引入大型话语模子为大脑，将高维视觉感知映射为当然话语表述，并诈欺话语链式推理来生成决策或动作指示。VLA模子简略在车辆足下前进行话语层面的推理和讲授，使系统兼具快速反射和慢速念念考的双系统。

推理旅途

寰宇模子的推理依赖动作条目的内在仿真：模子将候选动作注入潜辞寰宇，生成不同将来场景，再用代价函数或风险评价选拔最好动作。这种推理神气像是在脑海中作念实验，因此相等适当物理寰宇中的顽抗和耐久评估。

VLA的推理则依赖话语链路：VLA诈欺大型话语模子的学问和逻辑推理才略，通过当然话语对不雅察到的场景进行讲授、制定例则，然后输出足下信号。这赋予系统更强的可讲授性，但其物理推理频繁依赖外部模块。。

才略与应用

寰宇模子戒备于永劫域、多主体和物理一致性。它不错生成复杂环境的耐久演化，捕捉爱戴事件、他车互动和路况变化，并在潜在空间中变成真是动作反馈。由于这种闭环特质，寰宇模子成为评估和优化自动驾驶计谋的中枢，如特斯拉的神经寰宇模拟器通过闭环仿真生成顽抗场景、进行强化学习覆按。

VLA模子更强调语义推理与高层交互。它通过话语接口领悟当然话语指示、交通规则和场景面孔，具备链式念念考才略。VLA不错诈欺互联网范围的话语数据注入学问，支握复杂推理和讲授。

“寰宇模子VS VLA”的门路之争仍将握续。寰宇模子更靠拢自动驾驶的物理推行，VLA则凭借通识才略在长尾场景上具上风。最终的产业谜底，很可能来自两者的互补与和会。

最近AI领域的前驱李飞飞发表长文贪图空间智能，她合计今天的谎言语模子擅长抽象知识处理，但在物理寰宇上仍像“灰黯淡的笔墨匠”，短少对三维环境、因果与能源学的塌实领悟，难以安全地在现实寰宇中行为。通过设想、推理、创造与互动来领悟寰宇，而非只是依赖话语面孔，这恰是空间智能的力量。

罢了空间智能的谜底是“寰宇模子”，简略在语义、物理、几何与动态等多重叠杂寰宇（不论臆造照旧现实）中进行领悟、推理、生成与交互。

她的不雅点再次将寰宇模子推向AI领域的前沿，不论最终罢了自动驾驶的手艺旅途是什么，在通往非常的路上，寰宇模子一定会留住浓墨重彩的一笔。