1. 端到端和规则

有一个典型的场景：在北上广的快速路的限时段公交车道， 自驾系统如何能像人类一样，限制的时间段避开，非限制时段高效利用 ？

这需要非常精确的识别能力，需要系统学习如何识别文字，而现在大部分模型是没有识别文字的能力的，一部分是靠经验，另一部分是依靠感知，更多的是依靠经验来判断，比如说：旁边如果有车驶入公交车道，那系统也会考虑跟随驶入，但如果一直没有感知到车辆驶入，系统也就不会考虑变道至公交车道，但经验里的噪声会很多，不是最终的解决方案，最终还是需要提高识别能力来解决这个核心场景。

有人可能会说，那在端到端里面写一条规则不就行了，比如告诉系统：什么时候能走，什么时候不能走，不就能够解决这个问题了，为什么一定要把规则全都删除掉？

首先，端到端模型里确实是有规则的，但其实规则和端到端的初衷是完全相反的，如果不断地加规则的约束，这本身就是违背了端到端存在的意义。其次，在同一个城市，可能公交车道的禁入规则是固定的，比如早上7-9点（早高峰），晚上5-7点（晚高峰），但也存在一些其他不一样的规则，比如上海71路公交车，什么时间段都是不让走的，还有专用的红绿灯，中国这么多城市存在各种各样的规则，让工程师一个一个去加规则，是很难的。

还有AEB，是有专门的法规和测试标准的，OEM只需要按照测试标准来搞，比如说：判断自车和前车的角度，为了提高测试通过率，减少误刹的几率，只需要在规则里约束：target车角度发生抖动，或者target车大于某个度数就不刹车。

但是，在实际的使用场景中，车的类型是复杂多样的，甚至有一些奇形怪状的车（比如cybertruck这种），感知的object框一直都是抖动的，那AEB现在是刹车还是不刹车？所以说如果让工程师写规则、优化规则，工作量实在是太大了，这对于AD来说，效率很低。

2. 为什么要搞端到端

2.1 高速和城区

为什么现在大家都在ALL in端到端？最开始怎么不用？因为：原来考虑高速NOA的时候，场景简单。

高速是封闭道路，系统大部分时间只需要关注前面三辆车：①自车前面的target车②自车左边车道前面的target车③自车右边车道前面的target车。这三辆车建模，然后再写个规则，结束（说起来简单，但代码还是有几万行的）

现在高速NOA已经比较成熟了，而到了城区，场景就很复杂了：需要考虑主动安全，处理复杂场景（比如路口，你根本无法预测会冲出来什么车、什么人，以什么样的角度、速度冲出来，这都是未知的），如果这个时候还是以规则为主，第一个问题还是效率，而另一个问题是规则在实车上的效果，并不是很好，因为你没有办法覆盖所有的Corner Case。

2.2 模型的统一

自动驾驶的发展最早可以追溯到20世纪80、90年代，那个时候受限于算法模型能力，只能把自动驾驶拆分成各个模块，就好比工厂压铸，工艺能力不行，就先分成小块铸造再焊接成大件，而现在工艺水平提高了，也就是一体式压铸，大大的提高了制造效率，也减少了人力，自动驾驶也是一样的，如今的芯片算力和算法模型性能已经足够支撑自动驾驶把各个模块合起来，所以端到端是通过统一模型，提高效率，既包括了时间也包括了人。

这一点也可以通过AI的发展看出来，AI算法发展本质就是：①更好的效果②更好的泛化性。

更好的效果，其实很好理解，比如原来识别物体，机器没有人做的好，而现在几乎和人差不多，甚至比人做的更好。AI从最开始的不如人，到现在和人差不多，再超过人，这就是发展AI的目标之一。

而更好的泛化性，其实就是指用同一个方法来解决不同领域的问题，也就是统一的思想。比如感知的图像识别（判断是什么类别）和物体检测（判断是什么物体），原来都是不同的算法和模型，而现在都在做统一，将所有的感知类任务都融合起来，而现在正在做的另一个事就是把图像和语音类也融合起来。

所以，对于自动驾驶来说，就是希望能够用同一套框架去实现，无论是自动驾驶、机器人、机器狗、无人机，都是希望用端到端来实现统一。