撰文?/ 涂彥平

編輯?/ 黃大路

設(shè)計?/ 趙永順

2023年5月，馬斯克透露特斯拉FSD V12將采用端到端方案。2024年3月，特斯拉開始大范圍推送V12。

根據(jù)第三方網(wǎng)站FSD Tracker的統(tǒng)計，特斯拉FSD V12更新后，較之此前版本，用戶完全無接管的行程次數(shù)占比從47%提升到72%，平均接管里程（MPI）從116英里提高到333英里。

在特斯拉FSD V12上，端到端自動駕駛技術(shù)顯示了強(qiáng)大的實(shí)力。

隨著AI和大模型技術(shù)的發(fā)展進(jìn)入全新階段，端到端技術(shù)成為自動駕駛行業(yè)關(guān)注的焦點(diǎn)。那么，什么是端到端？它的技術(shù)演進(jìn)到了什么程度？

2024年6月，辰韜資本、南京大學(xué)上海校友會自動駕駛分會、九章智駕三方聯(lián)合發(fā)布2024年度《端到端自動駕駛行業(yè)研究報告》（以下簡稱《報告》），從端到端自動駕駛的基本概念、參與者、發(fā)展驅(qū)動力、落地挑戰(zhàn)和未來展望進(jìn)行全方位的分析。

端到端是什么

《報告》對端到端自動駕駛技術(shù)做了一個系統(tǒng)性的概念梳理，并提出一套可供參考的術(shù)語體系，對端到端的基本概念進(jìn)行了界定。

《報告》指出：早期，端到端的核心定義是“從傳感器輸入到控制輸出的單一神經(jīng)網(wǎng)絡(luò)模型”，近年來，端到端的概念有了更大范圍的延展。《報告》認(rèn)為，端到端的核心定義標(biāo)準(zhǔn)應(yīng)為：感知信息無損傳遞、可以實(shí)現(xiàn)自動駕駛系統(tǒng)的全局優(yōu)化。

基于這個定義，結(jié)合自動駕駛系統(tǒng)中AI的應(yīng)用程度，《報告》將自動駕駛技術(shù)架構(gòu)分為四個階段：

第一階段：感知“端到端”。感知模塊通過基于多傳輸器融合的BEV (Bird Eye View，鳥瞰圖視角融合) 技術(shù)實(shí)現(xiàn)了模塊級別的“端到端”。

第二階段：決策規(guī)劃模型化。從預(yù)測到?jīng)Q策到規(guī)劃的功能模塊已經(jīng)被集成到同一個神經(jīng)網(wǎng)絡(luò)當(dāng)中。

第三階段：模塊化端到端。感知模塊不再輸出基于人類理解定義的結(jié)果，而更多給出的是特征向量。預(yù)測決策規(guī)劃模塊的綜合模型基于特征向量輸出運(yùn)動規(guī)劃的結(jié)果。兩個模塊無法獨(dú)立進(jìn)行訓(xùn)練，必須通過梯度傳導(dǎo)的方式同時進(jìn)行。

第四階段：One Model端到端。不再有感知、決策規(guī)劃等功能的明確劃分，從原始信號輸入到最終規(guī)劃軌跡的輸出直接采用同一個深度學(xué)習(xí)模型。

其中，后兩個階段符合前述端到端的定義標(biāo)準(zhǔn)。

此外，報告也對端到端與大模型、世界模型、純視覺傳感器方案等易混淆概念的區(qū)別與聯(lián)系作了辨析。

各路玩家

2016年4月，英偉達(dá)團(tuán)隊發(fā)表了一篇名為End to End Learning for Self-Driving Cars的論文，展示了基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）的端到端自動駕駛系統(tǒng)DAVE-2。

該系統(tǒng)通過CNN處理車輛前方的攝像頭圖像，并直接輸出轉(zhuǎn)向角度。訓(xùn)練過程中，模型通過模擬駕駛數(shù)據(jù)進(jìn)行學(xué)習(xí)。《報告》稱其是近年來端到端自動駕駛領(lǐng)域的開創(chuàng)性工作。

當(dāng)前市場上，端到端自動駕駛的玩家有很多，《報告》將其分為幾類：

其一，主機(jī)廠。如特斯拉、小鵬汽車、鴻蒙智行、蔚來、零一等。

2024 年5 月20 日，小鵬汽車舉辦AI Day 發(fā)布會，宣布端到端大模型上車。

2024年4月24日，華為推出智能駕駛系統(tǒng)新版本——乾崑ADS 3.0，實(shí)現(xiàn)了決策規(guī)劃的模型化，為端到端架構(gòu)的持續(xù)演進(jìn)奠定了基礎(chǔ)。

此外，蔚來計劃2024 年上半年上線基于端到端的主動安全功能，新能源重卡科技公司零一汽車計劃2024 年底實(shí)現(xiàn)端到端自動駕駛的部署上車。

其二，自動駕駛算法和系統(tǒng)公司。如元戎啟行、鑒智機(jī)器人、商湯絕影、小馬智行等。

地平線2022年提出自動駕駛感知端到端算法Sparse4D；2023年，由地平線學(xué)者一作發(fā)表的業(yè)界首個公開發(fā)表的端到端自動駕駛大模型UniAD，榮獲CVPR 2023 最佳論文。

2023年8 月，小馬智行將感知、預(yù)測、規(guī)控三大傳統(tǒng)模塊打通，統(tǒng)一成端到端自動駕駛模型，目前已同步搭載到L4自動駕駛出租車和L2輔助駕駛乘用車。

2024 北京車展前夕，英偉達(dá)透露了自動駕駛業(yè)務(wù)的發(fā)展規(guī)劃，提到規(guī)劃的第二步為“在L2++系統(tǒng)上達(dá)成新突破，LLM（大語言模型）和VLM（視覺語言模型）大模型上車，實(shí)現(xiàn)端到端的自動駕駛”。

2024年4月北京車展上，元戎啟行展示了即將量產(chǎn)的高階智駕平臺DeepRoute IO以及基于DeepRoute IO的端到端解決方案；商湯絕影推出面向量產(chǎn)的端到端自動駕駛解決方案“UniAD”以及下一代自動駕駛技術(shù)DriveAGI，前者屬于“模塊化端到端”類型，后者為“One Model端到端”。

2024北京車展期間，鑒智機(jī)器人聯(lián)合創(chuàng)始人、CTO 都大龍透露，鑒智機(jī)器人原創(chuàng)的自動駕駛端到端模型GraphAD已經(jīng)可量產(chǎn)部署，正與頭部車企進(jìn)行聯(lián)合開發(fā)。

其三，自動駕駛生成式AI公司，如光輪智能、光輪智能等。

2023年初成立的光輪智能，目前已經(jīng)開發(fā)了自研的端到端數(shù)據(jù)與仿真的全鏈路解決方案；光輪智能2023年9月推出自動駕駛世界模型DriveDreamer，可以實(shí)現(xiàn)端到端自動駕駛的全鏈路閉環(huán)仿真，可以擴(kuò)展實(shí)現(xiàn)直接輸出端到端的動作指令。

其四，學(xué)術(shù)研究機(jī)構(gòu)，如上海人工智能實(shí)驗室、清華大學(xué)MARS Lab等。

諸多挑戰(zhàn)

2023年以來，在特斯拉的標(biāo)桿作用、大模型代表的AGI技術(shù)范式以及自動駕駛擬人化和安全性需求的共同推動下，自動駕駛行業(yè)對端到端的關(guān)注度一路升溫，端到端已逐漸成為自動駕駛行業(yè)的共識。

《報告》對30余位自動駕駛行業(yè)一線專家的調(diào)研顯示，90%被調(diào)研者表示自己供職的公司已投入研發(fā)端到端技術(shù)。

《報告》分析了端到端方案落地面臨的挑戰(zhàn)，包括技術(shù)路線、數(shù)據(jù)和算力需求、測試驗證、組織資源投入等。

其一，技術(shù)路線的分歧。

比如，“模塊化端到端”采用監(jiān)督學(xué)習(xí)的訓(xùn)練范式，“One Model 端到端”可能更加側(cè)重自回歸和生成式的訓(xùn)練范式，兩種路線都有公司押注。《報告》判斷，未來1~2 年內(nèi)，隨著更多公司和研究機(jī)構(gòu)在端到端領(lǐng)域加大投入并推出產(chǎn)品而逐漸明晰，技術(shù)路線將會逐漸收斂。

其二，對訓(xùn)練數(shù)據(jù)的需求量空前提升。

在端到端技術(shù)架構(gòu)下，訓(xùn)練數(shù)據(jù)的重要性得到前所未有的提升，其中，數(shù)據(jù)量、數(shù)據(jù)標(biāo)注、數(shù)據(jù)質(zhì)量和數(shù)據(jù)分布的相關(guān)問題都可能成為限制端到端應(yīng)用的挑戰(zhàn)。《報告》提出，合成數(shù)據(jù)、建立數(shù)據(jù)共享平臺可能是解決之道。

其三，對訓(xùn)練算力的需求越來越高。

大部分公司表示100張大算力GPU可以支持一次端到端模型的訓(xùn)練。而端到端進(jìn)入量產(chǎn)階段，訓(xùn)練算力需求急劇提升。

在2024Q1財報電話會上，特斯拉表示已經(jīng)有35000張H100GPU，并計劃在2024年內(nèi)增加到85000張H100以上。此前，它還部署了規(guī)模更大的A100 GPU訓(xùn)練集群。

小鵬2023年8月宣布建成“扶搖”自動駕駛智算中心，算力可達(dá)600PFLOPS（以英偉達(dá)A100 GPU 的FP32 算力推算，約等于3 萬張A100 GPU）。

另外，商湯大裝置已經(jīng)布局全國一體化的智算網(wǎng)絡(luò)，擁有4.5萬塊GPU，總體算力規(guī)模達(dá)12000PFLOPS，2024年底將達(dá)到18000PFLOPS。

《報告》提出，“大部分研發(fā)端到端自動駕駛的公司目前的訓(xùn)練算力規(guī)模在千卡級別，隨著端到端逐漸走向大模型，訓(xùn)練算力將顯得捉襟見肘。”

其四，測試驗證方法尚不成熟。

現(xiàn)有測試驗證方法不適用于端到端自動駕駛，行業(yè)亟需新的測試驗證方法論和工具鏈。

其五，組織資源投入的挑戰(zhàn)。

端到端需要組織架構(gòu)重塑，也需要將資源投入傾斜到數(shù)據(jù)側(cè)，對現(xiàn)有模式提出挑戰(zhàn)。

此外，有觀點(diǎn)認(rèn)為車端算力不足和可解釋性問題是端到端落地的限制因素，《報告》提出了相反的結(jié)論。

展望：2025年量產(chǎn)上車

《報告》展望，國內(nèi)自動駕駛公司的模塊化端到端方案上車量產(chǎn)時間可能會在2025年，One Model端到端落地時間會晚于模塊化端到端1~2年時間，從2026年至2027年開始上車量產(chǎn)。

這將帶動上游技術(shù)進(jìn)步、市場和產(chǎn)業(yè)格局演變。

在技術(shù)上，端到端的落地會推動其依賴的上游工具鏈、芯片等加速進(jìn)步；在市場端，端到端帶來的自動駕駛體驗提升，將會帶來高階輔助駕駛滲透率的提升，也可能驅(qū)動自動駕駛跨地理區(qū)域、跨國家、跨場景的應(yīng)用；產(chǎn)業(yè)格局方面，端到端使數(shù)據(jù)和AI人才的重要性進(jìn)一步提升，可能催生新的產(chǎn)業(yè)分工和商業(yè)模式。

自動駕駛在發(fā)展早期借鑒了很多機(jī)器人行業(yè)在感知算法、規(guī)劃算法、中間件和傳感器等多個層面的積累。而近年來，自動駕駛技術(shù)和產(chǎn)業(yè)成熟度提高，其中端到端自動駕駛提供的AGI技術(shù)范式，對通用人形機(jī)器人產(chǎn)業(yè)具有反哺作用。

《報告》認(rèn)為，隨著AI技術(shù)的不斷進(jìn)步，自動駕駛和機(jī)器人技術(shù)的相互融合、相互借鑒將更加深入，共同推動AGI（通用人工智能）走向物理世界，創(chuàng)造更大社會價值。