語義分割網(wǎng)絡(luò)Segnet在Cityscapes數(shù)據(jù)集上的探索
Part 1 數(shù)據(jù)準(zhǔn)備?
1.從Cityscapes官網(wǎng)下載Groundtruth: leftImg8bit_trainvaltest.zip與Label:gtFine_trainvaltest.zip(圖1)

leftImg8bit:放置訓(xùn)練街景圖,按城市分子文件夾,存放png圖片(命名格式:城市名稱_6位數(shù)字_6位數(shù)字_leftImg8bit.png)(圖2)

gtFine:放置精細(xì)標(biāo)注文件,分train(18個城市)/val(3個城市)/test(6個城市)三個文件夾,每個城市文件夾下針對每張街景圖png文件對應(yīng)了4個標(biāo)注文件(圖3):
- xxx_gtFine_color.png 代表可視化的分割圖- xxx_gtFine_instanceIds.png 代表實(shí)例分割標(biāo)注文件- xxx_gtFine_labelIds.png 代表每個實(shí)例的標(biāo)簽id標(biāo)注- xxx_gtFine_polygons.json

2.導(dǎo)入所需的庫和模塊
3.加載訓(xùn)練和驗(yàn)證數(shù)據(jù)集,測試數(shù)據(jù)集沒有標(biāo)注,所以我們將把訓(xùn)練數(shù)據(jù)分割成訓(xùn)練和測試數(shù)據(jù)
4.將_gtFine_labelIds灰度圖圖像轉(zhuǎn)換為彩色分割圖(圖4)

5.展示不同色塊代表的物體(圖5)

6.數(shù)據(jù)預(yù)處理
7.對街景圖使用gen_images處理,對標(biāo)簽圖使用gen_mask_train處理,然后抽取80%的數(shù)據(jù)作為訓(xùn)練集
8.數(shù)據(jù)加載
Part 2 SegNet模型構(gòu)建??
構(gòu)建4個基礎(chǔ)模塊
Part 3 參數(shù)預(yù)設(shè)??
??Part 4 使用數(shù)據(jù)集進(jìn)行訓(xùn)練?
1.定義訓(xùn)練與評估函數(shù)
該網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練集上的結(jié)果較好,IoU可達(dá)0.82;但在測試集效果較差,IoU為0.61左右2.展示預(yù)測結(jié)果(圖6)

2015年,Segnet模型由Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla發(fā)表, 在FCN的語義分割任務(wù)基礎(chǔ)上,搭建編碼器-解碼器對稱結(jié)構(gòu),實(shí)現(xiàn)端到端的像素級別圖像分割,其模型框架和思路都比較簡單,后續(xù)我們將逐漸增加難度,探索更新的網(wǎng)絡(luò)架構(gòu)。
Segnet原文鏈接:https://arxiv.org/abs/1511.00561
關(guān)注公眾號并回復(fù)“02080613”即可獲得ipynb文件!
·END·
