Faster RCNN

是由RCNN——Faster RCNN

R-CNN（Region with CNN feature）

原論文：Rich feature hierarchies for accurate object detection and semantic segmentation

論文地址：https://static.aminer.cn/upload/pdf/program/556f622a2401b4b38c23635c_0.pdf

R-CNN可以說(shuō)是利用深度學(xué)習(xí)進(jìn)行目標(biāo)檢測(cè)的開(kāi)山之作。作者多次在PASCAL VOC的目標(biāo)檢測(cè)競(jìng)賽中折桂，曾在2010年帶領(lǐng)團(tuán)隊(duì)獲得終身成就獎(jiǎng)。

論文提出于2014年，將目標(biāo)檢測(cè)的最高準(zhǔn)確率提高了30%。

RCNN算法流程：

1. 一張圖像生成1K~2K個(gè)候選區(qū)域（使用Selective Search方法）
2. 對(duì)每個(gè)候選區(qū)域，使用深度網(wǎng)絡(luò)提取特征
3. 特征送入每一類(lèi)的SVM分類(lèi)器，判別是否屬于該類(lèi)
4. 使用回歸器精細(xì)修正候選框位置

1.候選區(qū)域的生成：利用Selective Search算法通過(guò)圖像分割的方法得到一些原始區(qū)域，然后使用一些合并策略，將這些區(qū)域合并，得到一個(gè)層次化的區(qū)域結(jié)構(gòu)，而這些結(jié)構(gòu)就包含著可能需要的物體

2.對(duì)每個(gè)候選區(qū)域，使用深度網(wǎng)絡(luò)提取特征：將2000候選區(qū)域縮放到227*227pixel，接著將候選區(qū)域輸入事先訓(xùn)練好的AlexNet CNN 網(wǎng)絡(luò)，獲取4096維的特征得到2000*4096維矩陣

3.特征送入每一類(lèi)的SVM分類(lèi)器，判定類(lèi)別：將2000*4096維特征與20個(gè)SVM組成的權(quán)值矩陣4096*20相乘，獲得2000*20維矩陣表示每個(gè)候選框是某個(gè)目標(biāo)類(lèi)別的得分分別對(duì)上述2000*20維矩陣中每一列即每一類(lèi)進(jìn)行非極大值抑制剔除重疊候選框，得到該列即該類(lèi)中得分最高的一些候選框

非極大值抑制剔除重疊候選框

IoU(Intersection over Union)

4.使用回歸器精細(xì)修正候選框位置

對(duì)NMS處理后剩余的建議框進(jìn)一步篩選。接著分別用20個(gè)回歸器對(duì)上述20個(gè)類(lèi)別中剩余的建議框進(jìn)行回歸操作，最終得到每個(gè)類(lèi)別的修正后的得分最高的bounding box.

總結(jié)：RCNN分為4個(gè)步驟

1. 一張圖像生成1K~2K個(gè)候選區(qū)域
2. 對(duì)每個(gè)候選區(qū)域，使用深度網(wǎng)絡(luò)提取特征
3. 特征送入每一類(lèi)的SVM分類(lèi)器，判別是否屬于該類(lèi)
4. 使用回歸器精細(xì)修正候選框的位置

R-CNN框架

R-CNN存在的問(wèn)題：

1. 測(cè)試速度慢：測(cè)試一張圖片約53s（CPU）。用Selective Search算法提取候選框用時(shí)約2秒，一張圖像內(nèi)候選框之間存在大量重疊，提取特征操作冗余
2. 訓(xùn)練速度慢：過(guò)程極其繁瑣
3. 訓(xùn)練所需空間大：對(duì)于SVM和bbox回歸訓(xùn)練，需要從每個(gè)圖像中的每個(gè)目標(biāo)候選框提取特征，并寫(xiě)入磁盤(pán)。對(duì)于非常深的網(wǎng)絡(luò)，如VGG16，從VOC07訓(xùn)練集上的5k圖像上提取的特征需要數(shù)百GB的存儲(chǔ)空間

Fast R-CNN

論文地址：https://openaccess.thecvf.com/content_iccv_2015/papers/Girshick_Fast_R-CNN_ICCV_2015_paper.pdf

Fast R-CNN是作者Ross Girshick繼R-CNN后的又一力作。同樣使用VGG16 作為網(wǎng)絡(luò)的backbone，與R-CNN相比訓(xùn)練時(shí)間快9倍，測(cè)試推理時(shí)間快213倍，準(zhǔn)確率從62%提升至66%（在Pascal VOC數(shù)據(jù)集上）

Fast R-CNN 算法流程：

1. 一張圖像生成1K~2K個(gè)候選區(qū)域（使用Selective Search方法）
2. 將圖像輸入網(wǎng)絡(luò)得到相應(yīng)的特征圖，將SS算法生成的候選框投影到特征圖上獲得相應(yīng)的特征矩陣
3. 將每個(gè)特征矩陣通過(guò)ROI（Region of Interest） pooling層縮放到7*7大小的特征圖，接著將特征圖展平通過(guò)一系列全連接層得到預(yù)測(cè)結(jié)果

對(duì)比R-CNN（左邊）和Fast R-CNN（右邊）如何生成候選框特征

R-CNN依次將候選框區(qū)域輸入卷積神經(jīng)網(wǎng)絡(luò)得到特征

Fast R-CNN將整張圖像送入網(wǎng)絡(luò)，緊接著從特征圖像上提取相應(yīng)的候選區(qū)域。這些候選區(qū)域的特征不需要再重復(fù)計(jì)算

數(shù)據(jù)采樣，分正樣本、負(fù)樣本

ROI Pooling Layer 不限制輸入圖像的尺寸

忽略了深度channel

網(wǎng)絡(luò)框架

分類(lèi)器輸出N+1個(gè)類(lèi)別的概率（N為檢測(cè)目標(biāo)的種類(lèi)，1為背景）共N+1個(gè)節(jié)點(diǎn)

邊界框回歸器輸出對(duì)應(yīng)N+1個(gè)類(lèi)別的候選邊界框回歸參數(shù)（dx,dy,dw,dh）共（N+1）*4個(gè)節(jié)點(diǎn)

多任務(wù)損失設(shè)計(jì)

交叉熵?fù)p失

總結(jié)

Faster R-CNN

算法步驟：

1. 將圖像輸入網(wǎng)絡(luò)得到相應(yīng)的特征圖
2. 使用RPN結(jié)構(gòu)生成候選框，將RPN生成的候選框投影到特征圖上獲得相應(yīng)的特征矩陣
3. 將每個(gè)特征矩陣通過(guò)ROI pooling層縮放到7*7大小的特征圖，接著將特征圖展平通過(guò)一系列全連接層得到預(yù)測(cè)結(jié)果

每個(gè)物體分為前景和背景，兩兩一組

通過(guò)一個(gè)小的感受野預(yù)測(cè)一個(gè)大的邊界框是有可能的

CNN感受野

三種尺度，三種比例

anchor和候選框不是同一個(gè)東西

利用RPN生成的邊界框回歸參數(shù)，將anchor調(diào)整到我們所需要的候選框

正負(fù)樣本

定義為正負(fù)樣本的解釋

RPN損失

二分類(lèi) 預(yù)測(cè)1個(gè)值

邊界框回歸損失

Fast R-CNN損失計(jì)算

分類(lèi)損失

邊界框損失

Faster R-CNN訓(xùn)練

直接采用RPN Loss+Fast R-CNN Loss的聯(lián)合訓(xùn)練方法

1. 利用ImageNet預(yù)訓(xùn)練分類(lèi)模型初始化前置卷積網(wǎng)絡(luò)層參數(shù)，并開(kāi)始單獨(dú)訓(xùn)練RPN網(wǎng)絡(luò)參數(shù)
2. 固定RPN網(wǎng)絡(luò)獨(dú)有的卷積層以及全連接層參數(shù)，再利用ImageNet預(yù)訓(xùn)練分類(lèi)模型初始化前置卷積網(wǎng)絡(luò)參數(shù)，并利用RPN網(wǎng)絡(luò)生成的目標(biāo)候選框去訓(xùn)練Fast R-CNN網(wǎng)絡(luò)參數(shù)
3. 固定利用Fast R-CNN訓(xùn)練好的前置卷積網(wǎng)絡(luò)層參數(shù)
4. 同樣保持固定前置卷積網(wǎng)絡(luò)層參數(shù)，去微調(diào)Fast R-CNN網(wǎng)絡(luò)的全連接層參數(shù)。最后RPN網(wǎng)絡(luò)與Fast RCNN網(wǎng)絡(luò)共享前置卷積網(wǎng)絡(luò)層參數(shù)，構(gòu)成一個(gè)統(tǒng)一網(wǎng)絡(luò)

總結(jié) 實(shí)現(xiàn)端到端，模塊多融合

對(duì)比

框架越來(lái)越簡(jiǎn)潔，效果越來(lái)越好

與UP主交流方式