車道線檢測新SOTA CLRNet: Cross Layer Refinement Network for Lane Detec
分享一篇今年CVPR車道線檢測方向的新工作——CLRNet: Cross Layer Refinement Network for Lane Detection，是自動(dòng)駕駛創(chuàng)業(yè)公司飛布科技和浙江大學(xué)合作完成的，代碼已經(jīng)開源。關(guān)于車道線檢測任務(wù)，小湯之前也分享過幾篇文章：
相關(guān)鏈接（點(diǎn)擊進(jìn)入）：
CVPR2022車道線檢測Efficient Lane Detection via Curve Modeling
車道線檢測新工作VIL-100: A New Dataset and A Baseline Model for Video In
端到端的多任務(wù)感知網(wǎng)絡(luò)HybridNet，性能優(yōu)于YOLOP
論文鏈接:?
https://arxiv.org/pdf/2203.10350.pdf
代碼鏈接:
https://github.com/Turoad/CLRNet
簡介
車道線檢測是無人駕駛系統(tǒng)感知模塊的重要功能，主要由搭載在車身上的視覺攝像頭來完成，感知結(jié)果常用來進(jìn)行輔助定位。對(duì)于車道線檢測任務(wù)，CNN網(wǎng)絡(luò)的高層次語義信息具有較強(qiáng)的抽象表達(dá)能力，可以更加準(zhǔn)確判別是否為車道線。而低層次特征中包含較為豐富的紋理信息，可以幫助車道線進(jìn)行精確定位。使用不同的特征級(jí)別對(duì)于準(zhǔn)確的車道檢測非常重要，但這方面的研究仍然不足。
并且在港口、城市道路等真實(shí)場景中，車道線經(jīng)常存在破損、被遮擋等情況。
為此，文章提出了跨層優(yōu)化網(wǎng)絡(luò)（CLRNet），首先檢測具有高級(jí)語義特征的車道，然后基于低級(jí)特征進(jìn)行細(xì)化，充分利用車道檢測中的高級(jí)和低級(jí)特征。提出了ROIGather來收集全局上下文信息，進(jìn)一步增強(qiáng)了車道的特征表示。此外，設(shè)計(jì)了整體維度的Lane IoU loss來約束整體車道線的回歸精度。
如上圖所示，車道線檢測任務(wù)中常常存在被遮擋、光照等各種困難場景。其中，a)車道線與landmark存在干擾歧義；b)車道線的偏移量回歸不準(zhǔn)確，導(dǎo)致在上采樣的過程中存在偏移；c) 和 d) 由于遮擋、光照條件、車道線磨損等情況導(dǎo)致車道檢測困難；
針對(duì)上述場景的問題，a)、c)、d）可以通過高層次的語義信息進(jìn)行解決，而b) 中的細(xì)節(jié)信息可以通過使用低層次信息進(jìn)行細(xì)致優(yōu)化。
CLRNet正是通過完善使用高層次和低層次跨層優(yōu)化與優(yōu)勢互補(bǔ)實(shí)現(xiàn)車道線的高精度定位，在車道線檢測基準(zhǔn)數(shù)據(jù)集LLAMAS、TuSimple和CULane數(shù)據(jù)集上取得了新的SOTA表現(xiàn)。
車道線檢測相關(guān)工作
當(dāng)前的基于CNN的車道線檢測方案主要分為以下三類：基于分割的車道線檢測、基于anchor的車道線檢測、基于曲線參數(shù)化擬合的車道線檢測。
Segmentation-based methods
基于分割的方案由于需要在整張圖上進(jìn)行逐像素的預(yù)測且沒有將車道線當(dāng)做一個(gè)完整單元，所以往往比較ineffective and time-consuming。
Anchor-based methods
基于anchor的方案中，在一些復(fù)雜場景中的起點(diǎn)很難識(shí)別，這造成相對(duì)欠佳的性能表現(xiàn)。
Parameter-based methods
基于參數(shù)化擬合的方案雖然回歸更少的參數(shù)，但對(duì)于預(yù)測的參數(shù)較為敏感，如高階系數(shù)的錯(cuò)誤預(yù)測可能造成車道線形狀的變化。盡管基于參數(shù)化的方案有更快的推理速度，但在精度上有一定的瓶頸。
The Proposed Architecture
對(duì)于輸入的RGB圖像，CLRNet通過一個(gè)FPN網(wǎng)絡(luò)去提取圖像特征，隨后在每個(gè)特征stage上去優(yōu)化車道線的回歸結(jié)果，而當(dāng)前stage的回歸結(jié)果會(huì)被下一階段的跨層細(xì)致優(yōu)化所采用，從而實(shí)現(xiàn)車道線的級(jí)聯(lián)優(yōu)化。
車道線建模
本文的車道線建模是采用的點(diǎn)集的形式：
其中，縱坐標(biāo)y是在Y軸上進(jìn)行均勻采樣的形式：
其中，H為圖片的高度，文章中N=72，表示將輸入圖片在高度上進(jìn)行72等分，當(dāng)然這里的N可是改變。
此外，加上車道線與X軸的夾角 θ（初始化時(shí)可通過數(shù)據(jù)分析確定），便得到了文章提出的 Lane Prior（類似于anchor box）。
因?yàn)?，網(wǎng)絡(luò)最后回歸的參數(shù)包含4個(gè)部分：
是否為車道線的類別概率；
車道線的長度；
車道線的起始點(diǎn)坐標(biāo) (x, y) 和車道線prior與X軸的夾角 θ；
與劃分點(diǎn)數(shù)量N相對(duì)應(yīng)的位置回歸量；
ROIGather
在給定Lane Prior（會(huì)根據(jù)回歸所在的不同stage，θ會(huì)相應(yīng)變化）下參考RoIAlign操作使用雙線性差值的方式在Lane Prior上均勻采樣得到 Np=36個(gè)采樣點(diǎn)，采樣點(diǎn)的集合為：
同時(shí)，對(duì)應(yīng)stage的特征會(huì)經(jīng)過維度變換得到Xf:?
將Xf與采樣點(diǎn)集合進(jìn)行attention權(quán)重計(jì)算（獲取上下文信息）：
Overall Loss
Line IoU loss
借鑒目標(biāo)檢測和語義分割任務(wù)中的IoU計(jì)算方式，CLRNet對(duì)車道線預(yù)測在row-wise進(jìn)行IoU擴(kuò)展。也就是計(jì)算在一定列范圍內(nèi)的重疊度，示意圖如上圖所示，具體計(jì)算公式如下：
其中，e為lane segment左右延伸的半徑。
Positive?samples selection
訓(xùn)練過程中，每一個(gè)lane ground truth對(duì)應(yīng)好多個(gè)預(yù)測結(jié)果，文中通過計(jì)算幾何相似度和分類成本進(jìn)行匹配，其匹配成本為：
其中，結(jié)構(gòu)相似性是車道線起始點(diǎn)差異、車道線角度差異、車道線上采樣點(diǎn)平均距離差異的結(jié)合。
最后，總損失由是由3個(gè)損失函數(shù)組合得到，如下所示。同時(shí)，和其他幾篇工作一樣，可以在訓(xùn)練的時(shí)候增加一個(gè)額外的二值分割loss，這個(gè)是可選的。
???Experiments
Results on test set of CULane
ablation studies
可視化示例：
文章給出的是效果比較好的結(jié)果，但是在匝道、大拐彎、十字路口、復(fù)雜場景等場景效果還是存在一定問題，感興趣的朋友可以自己跑一下代碼看看。
視頻demo（自己訓(xùn)練的模型測試）：
CVPR2022車道線檢測SOTA工作CLRNet在Tusimple數(shù)據(jù)集測試demo
歡迎對(duì)目標(biāo)跟蹤、目標(biāo)檢測、目標(biāo)分類、語義分割、深度估計(jì)等計(jì)算機(jī)視覺任務(wù)及自動(dòng)駕駛技術(shù)（感知、融合、規(guī)控、定位、建圖、傳感器等）感興趣的朋友、同行，加入技術(shù)交流群，一起學(xué)習(xí)，一起玩！群內(nèi)免費(fèi)分享各類相關(guān)學(xué)習(xí)資料、行業(yè)資訊、技術(shù)問題討論，坑位不多，歡迎加入！添加小湯微信：TQ1508420095，請備注：進(jìn)自動(dòng)駕駛?cè)?/strong>！
最后，由于自己對(duì)車道線看的不多，寫作能力也有限，有不對(duì)的地方歡迎大家批評(píng)指正，也參考了一些網(wǎng)絡(luò)資料，表示感謝。
