當(dāng)前“人工智能”最重要的特性的就是具有一定的學(xué)習(xí)能力。攝像頭對(duì)司機(jī)的行為檢測(cè)正在變得常見，這種行為檢測(cè)在以往的傳統(tǒng)算法中是難以做到的，但是現(xiàn)在得益于人工神經(jīng)網(wǎng)絡(luò)技術(shù)，計(jì)算機(jī)使探頭具備了學(xué)習(xí)人類行為的能力。這也讓從車內(nèi)自檢到車外抓拍駕駛員危險(xiǎn)行為（打電話、手脫離方向盤、疲勞駕駛等等）成為可能。

北京市新增針對(duì)駕駛行為檢測(cè)的道路視頻監(jiān)控設(shè)備

在之前的文章《自動(dòng)駕駛能否取代人類司機(jī)》中，我們向你展示了屬于人工智能的計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)是如何“學(xué)習(xí)”道路知識(shí)的，并且在《監(jiān)控探頭如何識(shí)別你的車牌？》一文中我們還提到了“監(jiān)督學(xué)習(xí)”一詞。

所謂“監(jiān)督學(xué)習(xí)”就是人為將標(biāo)記好目標(biāo)學(xué)習(xí)內(nèi)容的圖像樣本喂給計(jì)算機(jī)去學(xué)習(xí)。比如，我們想讓監(jiān)控探頭在一張新拍到的汽車前臉圖中自動(dòng)找到汽車牌照的位置，就需要提前把大量類似的圖片人工標(biāo)記好牌照的位置作為樣本和教材去讓人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。這樣人工標(biāo)記樣本的過(guò)程被稱為“打標(biāo)簽”。

綠色框是人工標(biāo)記的車牌位置

既然有“監(jiān)督學(xué)習(xí)”，那有沒有非監(jiān)督學(xué)習(xí)呢？

01

—

非監(jiān)督學(xué)習(xí)

想象一下之前識(shí)別車牌的例子，想要獲得一個(gè)強(qiáng)大的人工神經(jīng)網(wǎng)絡(luò)車牌檢測(cè)器，就需要“喂給”計(jì)算機(jī)人工標(biāo)記好車牌位置的類似圖片作為教材。但是如果這個(gè)神經(jīng)網(wǎng)絡(luò)需要成千上萬(wàn)甚至數(shù)十萬(wàn)的樣本圖片呢？

事實(shí)上，當(dāng)前需求數(shù)萬(wàn)個(gè)甚至十幾萬(wàn)個(gè)學(xué)習(xí)樣本的深度神經(jīng)網(wǎng)絡(luò)并不少見，樣本數(shù)量不足或者樣本覆蓋的情景不全則會(huì)在實(shí)際應(yīng)用中導(dǎo)致識(shí)別不準(zhǔn)。

這就帶來(lái)一個(gè)問(wèn)題，面對(duì)這動(dòng)輒十幾萬(wàn)個(gè)樣本圖的需求，難道我們真的要每一張圖片都用人工去打標(biāo)簽嗎？要知道，給車牌的樣本圖像打標(biāo)簽還是簡(jiǎn)單的任務(wù)，如果是醫(yī)學(xué)CT的自動(dòng)識(shí)別就需要專業(yè)的醫(yī)生親自上陣去給每張樣本圖像打標(biāo)簽！這種人工工時(shí)費(fèi)用和時(shí)間成本都是極其高昂的，而且?guī)缀醵际侵貜?fù)性勞動(dòng)。

如果讓領(lǐng)著機(jī)器視覺領(lǐng)域工資的從業(yè)人員去給車牌或駕駛員樣本圖一張一張打標(biāo)簽的話，可以說(shuō)這家公司無(wú)疑是人傻錢多了。不僅如此，如果是醫(yī)生去給CT樣本圖片打標(biāo)簽，經(jīng)過(guò)計(jì)算，單張醫(yī)學(xué)圖像的標(biāo)注時(shí)間就需要15到20分鐘，單張圖像標(biāo)注的成本是70元人民幣；以需要8萬(wàn)張樣本圖計(jì)算，僅僅是打標(biāo)簽這一項(xiàng)就要花掉560萬(wàn)元和超過(guò)兩年的時(shí)間，這還是每天24小時(shí)不停工作的結(jié)果！

我們能否去掉打標(biāo)簽這個(gè)行為從而節(jié)省大量成本呢？如果打標(biāo)簽這一步無(wú)法刪除，能不能盡可能減少打標(biāo)簽的數(shù)量需求呢？換句話說(shuō)，能不能讓計(jì)算機(jī)先自己學(xué)著，遇到實(shí)在困難的情況再求助于人類老師標(biāo)注的樣本圖？

這樣一來(lái)，非監(jiān)督學(xué)習(xí)就誕生了。

非監(jiān)督學(xué)習(xí)的思想其實(shí)很簡(jiǎn)單，就是自動(dòng)歸類。例如，給你幾個(gè)不同的茶杯，讓你從中找出一些關(guān)聯(lián)并按特征分類。那么你肯定可以這樣分析：圓形的杯子、方形的杯子、帶蓋的杯子，不帶蓋的杯子，透明的、不透明的、材質(zhì)粗糙的、材質(zhì)精致的、有花紋的……等等。這就是非監(jiān)督學(xué)習(xí)的思想。

非監(jiān)督學(xué)習(xí)沒有明確的學(xué)習(xí)目的，也就是說(shuō)并不要求你從這堆茶杯里找出某一個(gè)特定的杯子，僅僅是按特征把它們歸類而已。因此若僅就非監(jiān)督學(xué)習(xí)來(lái)說(shuō)，其效果也不太容易評(píng)估。

非監(jiān)督學(xué)習(xí)是一種機(jī)器學(xué)習(xí)的訓(xùn)練方式，它本質(zhì)上是一個(gè)統(tǒng)計(jì)手段，可以在沒有標(biāo)簽的數(shù)據(jù)里發(fā)現(xiàn)潛在的一些共性結(jié)構(gòu)特征。

聚類分析就是一種無(wú)監(jiān)督學(xué)習(xí)的方法，它能夠從研究對(duì)象的特征數(shù)據(jù)中發(fā)現(xiàn)關(guān)聯(lián)規(guī)則，可將樣本數(shù)據(jù)分成一個(gè)個(gè)組（即簇）。同一簇中的對(duì)象是相似的，不同簇中的對(duì)象則明顯不同。這是一種強(qiáng)有力的信息處理方法。

聚類法進(jìn)行圖像分割就是從整圖中自動(dòng)將具有共性特征的物體分別標(biāo)出來(lái)。用術(shù)語(yǔ)說(shuō)，就是將圖像空間中的像素點(diǎn)用對(duì)應(yīng)的特征向量表示，根據(jù)它們?cè)谔卣骺臻g的特征相似性，對(duì)特征空間進(jìn)行分割，然后將其映射回原圖像空間，得到分割結(jié)果。其中，K均值和模糊C均值聚類算法是最常用的方法。

這里簡(jiǎn)單介紹一下K均值算法步驟：

1、首先從樣本數(shù)據(jù)中選取K個(gè)點(diǎn)作為初始聚類中心；

2、其次計(jì)算各個(gè)樣本到聚類的距離，把樣本歸到離它最近的那個(gè)聚類中心所在的類；

3、然后計(jì)算新形成的每個(gè)聚類的數(shù)據(jù)對(duì)象的平均值來(lái)得到新的聚類中心；

4、最后重復(fù)以上步驟，直到相鄰兩次的聚類中心沒有任何變化，說(shuō)明樣本分類結(jié)束，聚類準(zhǔn)則達(dá)到最優(yōu)。

簡(jiǎn)單地說(shuō)，就是先選一個(gè)最明顯的特征，按照這個(gè)特征把所有樣本分類。然后每一子類選擇一個(gè)更細(xì)節(jié)的特征再次按此分類，以此類推，直到不能分了為止。

比如高速公路探頭拍攝的大量圖片，先分出汽車和樹這兩大類；然后再看哪些汽車能看到駕駛員，把能看到駕駛員的歸為一類；然后再看駕駛員，把駕駛員頭部旁邊能看到手的歸為一類，其他的歸為一類。這時(shí)非監(jiān)督學(xué)習(xí)的分類任務(wù)就完成了，接下來(lái)就是把所有駕駛員頭部旁邊能看到手的照片進(jìn)行人工標(biāo)記，用監(jiān)督學(xué)習(xí)的方法輸入另一個(gè)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行細(xì)節(jié)檢測(cè)，最后交警就能得到這樣一個(gè)結(jié)果：

檢測(cè)到危險(xiǎn)駕駛行為：開車接聽手機(jī)

當(dāng)然，這只是一個(gè)簡(jiǎn)單的示例。但是無(wú)論如何，非監(jiān)督學(xué)習(xí)都將繁瑣的人工打標(biāo)簽任務(wù)進(jìn)行了大量簡(jiǎn)化。面對(duì)數(shù)以萬(wàn)計(jì)的探頭抓拍圖，不再需要人類對(duì)每一張圖片都進(jìn)行標(biāo)注，可以先讓計(jì)算機(jī)對(duì)所有樣本圖通過(guò)聚類算法各自分類，最后選取我們需要的具體一類再人工標(biāo)記并輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行監(jiān)督學(xué)習(xí)的訓(xùn)練。

其他典型案例

1、醫(yī)學(xué)CT掃描

在實(shí)際應(yīng)用中，一個(gè)典型的案例就是對(duì)CT照片的自動(dòng)篩查。借助非監(jiān)督學(xué)習(xí)，大量未經(jīng)人工標(biāo)注的顱腦CT掃描圖片可以直接作為樣本輸入聚類網(wǎng)絡(luò)，通過(guò)有針對(duì)性的改進(jìn)聚類算法，具有顱內(nèi)出血特征的CT掃描圖就可以被自動(dòng)分類標(biāo)注并篩查出來(lái)！

另外，結(jié)合監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)，再配合針對(duì)CT的3D建模技術(shù)，人工智能系統(tǒng)甚至能夠比人類腫瘤專家更好的預(yù)測(cè)出哪些患者的肺癌會(huì)復(fù)發(fā)。

當(dāng)下，醫(yī)學(xué)影像AI已經(jīng)開始“擊穿”我國(guó)一些醫(yī)院輔助科室的人類飯碗了。

2、洗錢

洗錢行為跟普通用戶的行為是不一樣的，到底哪里不一樣？

如果通過(guò)人為去分析海量的銀行儲(chǔ)蓄信息是一件成本很高很復(fù)雜的事情。但我們可以通過(guò)這些行為的特征對(duì)用戶進(jìn)行自動(dòng)分類，就更容易找到那些行為異常的用戶，然后再人工介入并深入分析他們的行為到底哪里不一樣，是否屬于違法洗錢的范疇。

通過(guò)無(wú)監(jiān)督學(xué)習(xí)，我們可以快速把行為進(jìn)行分類，雖然我們不知道這些分類意味著什么，但是通過(guò)人工篩查這種自動(dòng)分類的結(jié)果，可以快速排除正常的用戶，更有針對(duì)性的對(duì)異常行為進(jìn)行深入分析。

3、推薦系統(tǒng)

想必你一定清楚，當(dāng)你在購(gòu)物平臺(tái)搜索過(guò)一種商品以后，和這種商品相關(guān)的各種其他產(chǎn)品就開始在平臺(tái)首頁(yè)被推薦給你。部分這些商品就是無(wú)監(jiān)督學(xué)習(xí)通過(guò)聚類推薦出來(lái)的。系統(tǒng)會(huì)發(fā)現(xiàn)一些購(gòu)買行為相似的用戶，推薦這類用戶最“喜歡”的商品。

比如很多用戶在購(gòu)買過(guò)啤酒之后還購(gòu)買過(guò)零食，這一特點(diǎn)就會(huì)被非監(jiān)督學(xué)習(xí)的聚類算法自動(dòng)歸為一類，當(dāng)你購(gòu)買或者頻繁瀏覽啤酒的時(shí)候，系統(tǒng)判定你可能也屬于這類人，于是薯片、開心果之類的零食就會(huì)被推薦給你。

02

—

3D骨架動(dòng)作識(shí)別

非監(jiān)督學(xué)習(xí)的聚類算法的效果并不總是令人滿意，尤其是最后分類的結(jié)果如果沒有我們需要的類別就相當(dāng)于分類工作白做了。

因此，尤其是在一些具備駕駛輔助功能的車輛上，針對(duì)駕駛室內(nèi)的危險(xiǎn)駕駛行為提醒功能來(lái)說(shuō)，仍然需要更精細(xì)的學(xué)習(xí)和訓(xùn)練方法以便識(shí)別人類駕駛員一些精細(xì)的小動(dòng)作。

于是基于3D骨骼動(dòng)作分析的方法就應(yīng)運(yùn)而生了。這種技術(shù)類似于微軟之前推出的Xbox Kinect體感設(shè)備，Kinect是所有游戲體感設(shè)備中最先進(jìn)的，它完全不需要玩家手持任何設(shè)備，僅僅通過(guò)機(jī)器視覺就能捕捉并識(shí)別玩家的動(dòng)作。

其中的IR就是多個(gè)紅外立體傳感器

無(wú)需玩家手持設(shè)備即可感知?jiǎng)幼?br/>

而駕駛室內(nèi)的行為檢測(cè)就類似于Kinect的攝像頭，這種攝像頭能夠通過(guò)多個(gè)紅外線傳感器捕捉駕駛員的3D軀體輪廓，然后通過(guò)機(jī)器視覺技術(shù)提取駕駛員的動(dòng)作骨骼，也就是軀體的核心運(yùn)動(dòng)軌跡，然后在虛擬的三維空間中重建這個(gè)動(dòng)作，最后對(duì)駕駛員的三維姿態(tài)行為進(jìn)行識(shí)別分類，也就是分析并推斷這個(gè)動(dòng)作符合具體哪種人類行為特征。同時(shí)，根據(jù)駕駛員行為規(guī)范，駕駛員的一些身體部位必須約束在特定的畫面區(qū)域，一旦脫離區(qū)域則告警提示；例如，雙手離開方向盤。

左側(cè)是該動(dòng)作的骨骼提取

骨架圖對(duì)手部區(qū)域的關(guān)注

3D骨架關(guān)節(jié)點(diǎn)數(shù)據(jù)是在深度圖像學(xué)習(xí)的基礎(chǔ)之上通過(guò)估測(cè)技術(shù)得到的，具有光照變化不敏感的特性。同時(shí)，估測(cè)技術(shù)能夠依據(jù)人體骨骼結(jié)構(gòu)估算出被遮擋住的人體關(guān)節(jié)點(diǎn)的空間位置。這樣，依賴普通平面圖像的動(dòng)作識(shí)別存在的自遮擋問(wèn)題在一定程度上得到了緩解。由于上述的一些優(yōu)勢(shì)，眾多學(xué)者投入到基于3D骨架動(dòng)作識(shí)別的研究中。在最近的幾年中，經(jīng)過(guò)研究者們的努力，許多基于3D骨架節(jié)點(diǎn)的動(dòng)作識(shí)別方法被提出來(lái)。其中大部分方法使用的是描述姿態(tài)的幀級(jí)特征。

檢測(cè)到危險(xiǎn)駕駛行為：?jiǎn)问蛛x開方向盤，玩手機(jī)

但是，這種方法仍然需要大量的人工標(biāo)注樣本。

03

—

主動(dòng)學(xué)習(xí)

既然最后我們?nèi)匀恍枰O(jiān)督學(xué)習(xí)來(lái)訓(xùn)練能夠精細(xì)分類并識(shí)別動(dòng)作的目標(biāo)檢測(cè)器，那能不能通過(guò)結(jié)合監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)來(lái)克服各自方法的缺陷，又能融合二者的優(yōu)勢(shì)呢？

于是主動(dòng)學(xué)習(xí)就登場(chǎng)了，作為機(jī)器學(xué)習(xí)的一個(gè)子領(lǐng)域，主動(dòng)學(xué)習(xí)同樣旨在以盡可能少的人工標(biāo)注樣本達(dá)到我們需要的目標(biāo)識(shí)別性能。

在人類的學(xué)習(xí)過(guò)程中，通常利用已有的經(jīng)驗(yàn)來(lái)學(xué)習(xí)新的知識(shí)，又依靠獲得的知識(shí)來(lái)總結(jié)和積累經(jīng)驗(yàn)，經(jīng)驗(yàn)與知識(shí)不斷交互。同樣，機(jī)器學(xué)習(xí)模擬人類學(xué)習(xí)的過(guò)程，利用已有的知識(shí)訓(xùn)練出模型去獲取新的知識(shí)，并通過(guò)不斷積累的信息去修正模型，以得到更加準(zhǔn)確有用的新模型。不同于被動(dòng)學(xué)習(xí)被動(dòng)的接受知識(shí)，主動(dòng)學(xué)習(xí)能夠選擇性地獲取知識(shí)。

通過(guò)具有一定基礎(chǔ)知識(shí)的初始模型以及一個(gè)合理的篩選策略，主動(dòng)學(xué)習(xí)能夠在大量未經(jīng)標(biāo)注的樣本中挑選出少數(shù)最具有價(jià)值、和學(xué)習(xí)目標(biāo)最相關(guān)的未標(biāo)注樣本交給人類專家去打標(biāo)簽，然后通過(guò)這些已經(jīng)打上標(biāo)簽的最有價(jià)值的樣本再去更好的學(xué)習(xí)。不斷迭代這個(gè)過(guò)程就能在獲得最佳結(jié)果的同時(shí)，將人工成本降到最低。

一般的主動(dòng)學(xué)習(xí)步驟是：

• 每輪開始的時(shí)候都有一個(gè)當(dāng)前的模型（可以是預(yù)訓(xùn)練的或者根據(jù)已有模型訓(xùn)練的）

  
  

1. 確定一個(gè)詢問(wèn)選擇策略（query selection strategies）

2. 找出最有信息量的樣本

3. 通過(guò)專家對(duì)數(shù)據(jù)進(jìn)行標(biāo)注

4. 將新標(biāo)注的數(shù)據(jù)加入到訓(xùn)練數(shù)據(jù)集中

5. 基于當(dāng)前的數(shù)據(jù)再訓(xùn)練模型

   
   

• 重復(fù)以上迭代，直到模型的性能達(dá)到目標(biāo)條件或者已經(jīng)沒有條件再去標(biāo)注數(shù)據(jù)了

  
  

簡(jiǎn)而言之，就是計(jì)算機(jī)先用已有的知識(shí)自己學(xué)，把最典型最困難的題標(biāo)出來(lái)請(qǐng)教人類老師，得到解答后就能更高效的學(xué)習(xí)這個(gè)領(lǐng)域的新知識(shí)了。

這個(gè)不斷迭代優(yōu)化的過(guò)程用領(lǐng)袖的話說(shuō)，就是“在戰(zhàn)爭(zhēng)中學(xué)習(xí)戰(zhàn)爭(zhēng)”，而不是一直在軍事學(xué)院聽教授講課。

主動(dòng)學(xué)習(xí)作為一種在成本和效果之間的良好平衡，近幾年受到了商業(yè)公司和專家們?cè)絹?lái)越多的關(guān)注，市場(chǎng)需求旺盛。

當(dāng)然了，和人類這樣具備無(wú)比強(qiáng)大的“元學(xué)習(xí)”能力（也就是高速的萬(wàn)能學(xué)習(xí)能力）的智慧生命來(lái)說(shuō)，目前的計(jì)算機(jī)學(xué)習(xí)能力依然是非常羸弱的，但是勝在耐力，不怕重復(fù)性勞動(dòng)。

隨著由語(yǔ)義學(xué)習(xí)“跨界”而來(lái)的新型Transformer神經(jīng)網(wǎng)絡(luò)模型進(jìn)入圖像識(shí)別領(lǐng)域，以往的機(jī)器視覺研究被注入了新的思路與洞見，借助新型神經(jīng)網(wǎng)絡(luò)模型的小樣本學(xué)習(xí)開始蓬勃發(fā)展；用不了多久，對(duì)人類各個(gè)領(lǐng)域的各種行為動(dòng)作的高效識(shí)別與分類將變得無(wú)處不在。