在具体实现上，我们是这么做的：首先通过感知大模型，来对周围的物理空间进行编码，然后解码输出BEV视角的感知结果，token化之后输入生成式大模型，让模型预测未来的BEV视图。相对于上次的模型，我们这次引入了大语言模型，将感知结果输入大语言模型后，让大语言模型对当前的驾驶环境给出解释和驾驶建议，再将驾驶解释和驾驶建议作为prompt输入到生成式大模型，来让自动驾驶大模型获得外部大语言模型内的人类知识。
我们相信，必须要引入大语言模型，才能让自动驾驶具备常识，而自动驾驶必须具备常识，才能理解人类社会的各种明规则、潜规则，才能跟老司机一样，与各类障碍物进行更好地交互。
P21
第七个实践，是大模型如何在有限的车端算力上运行起来。
众所周知，大模型是基于云端海量的数据、数千块GPU卡训练出来的，这么大的模型，是如何上车的呢？显然，短期内直接把大模型部署到车端芯片还是比较困难。我们探索的是蒸馏的方式。
一方面我们可以使用大模型来输出各类伪标签，然后这些伪标签既可以作为训练语料，来丰富车端小模型的训练数据，也可以作为监督信号，让车端小模型来学习云端大模型的预测结果。
另一方面，我们可以可以通过对齐Feature Map的方式，让车端小模型直接学习并对齐云端的Feature Map，从而提升车端小模型的能力。
基于这种蒸馏的方式，我们可以让车端的感知效果提升5个百分点。
P22
这7个实践会陆续落实到我们的产品上，比如纯视觉泊车。
随着毫末视觉感知技术的逐步升级，我们的视觉感知能力显著提升。泊车场景下，尤其是泊入阶段，通常都是依赖USS进行距离感知，但USS感知范围有限，且无法输出精确的物体轮廓，对于车体两侧存在盲区。为了充分利用鱼眼相机的环视感知能力，我们将鱼眼相机也引入到视觉BEV的感知框架当中，鱼眼图像先进行虚拟相机转换，并通过视觉Backbone提取出视觉特征，经过空间转换映射至BEV空间，并在该空间下对于障碍物的轮廓边界进行识别和测量。如这个视频所示，目前我们使用鱼眼可以识别墙、柱子、车辆等各类型的边界轮廓，形成360度的全视野动态感知，目前可以做到在15米范围内达到30cm的测量精度，2米内精度可以高于10cm。这样的精度可以让我们用视觉取代USS，进一步降低整体方案的成本。
P23
毫末车端感知，通过引入云端开集语义图像检索，实现对多种多样的通用障碍物的高效挖掘和学习，并通过蒸馏方式让车端模型与云端的训练结果进行特征对齐，从而提升了对道路上小目标障碍物的检测和识别。经过测试，毫末城市NOH可以在城市道路场景中，在时速70公里的50米距离外，就能检测到大概高度为35cm的小目标障碍物，并做到完全自主的绕障或刹停，在80、90公里时速上也能有比较好的绕行表现。