導讀

腦電圖(EEG)已被發(fā)展認知神經(jīng)科學界廣泛采用，但機器學習(ML)在該領域的應用滯后于成人EEG研究。由于實驗試次少、信噪比低、被試間變異性高和試次間變異性高，因此將ML應用于嬰兒數(shù)據(jù)尤其具有挑戰(zhàn)性。此次研究提供了一個將ML應用于嬰兒認知狀態(tài)進行分類的分步教程。描述了廣泛應用于EEG分類的大腦屬性類型，并介紹了一種基于黎曼幾何的方法來推導考慮試次間和被試間變異性的連接性估計。研究者通過對單個嬰兒和多個嬰兒的試次，展示了學習分類器的流程，并在一個標準的嬰兒EEG數(shù)據(jù)集上演示了這些流程的應用，該數(shù)據(jù)集是在聽覺oddball范式下收集的40名12個月大的嬰兒的數(shù)據(jù)。研究者只對頻繁刺激和罕見刺激引起的感知狀態(tài)進行了分類，但所提供的開源代碼也適用于其他實驗設計和刺激。

1.前言

發(fā)展認知神經(jīng)科學旨在了解世界的神經(jīng)表征是如何隨著成熟和經(jīng)驗而變化的，以及這些表征中的個體差異如何影響后來的生活結(jié)果。EEG已經(jīng)成為解決這些問題的重要工具?，F(xiàn)在提出了另一個重要問題，即是否可以根據(jù)多個通道和時間點的活動模式來區(qū)分認知狀態(tài)，而不是僅探索某個通道或時間點是否在不同條件下存在幅值差異。

機器學習(ML)特別適合解決此問題。通過提取和組合可區(qū)分的EEG屬性，例如不同時間點的電壓幅度或不同頻帶的信號，這些通常被稱為特征，ML支持分類器的學習，這些分類器可以根據(jù)提取特征的模式區(qū)分不同的實驗條件。ML已廣泛應用于成人EEG數(shù)據(jù)。ML在嬰兒EEG數(shù)據(jù)中的初步應用集中于根據(jù)年齡或臨床診斷對嬰兒進行分組。在這類分類中，以高精度正確預測嬰兒的組標簽是首要目標。最近的研究也將ML用于認知狀態(tài)分類。

對嬰兒EEG分類有兩個關鍵挑戰(zhàn)。首先，由于多種因素，嬰兒EEG數(shù)據(jù)的信噪比(SNR)往往低于成人數(shù)據(jù)。為了在放置電極帽后使信號最大化，通常會重新調(diào)整電極，但嬰兒一般難以忍受大量電極的重新調(diào)整。此外，嬰兒經(jīng)常會做出突然的動作，這種動作沒有眨眼的偽跡那么刻板固定，因此很難消除。最后，嬰兒不能被明確指示將注意力轉(zhuǎn)向給定的刺激。

對嬰兒EEG分類的另一個關鍵挑戰(zhàn)是，與成人數(shù)據(jù)相比，研究持續(xù)時間更短，這在很大程度上是由于嬰兒的注意力有限。分類器的性能在很大程度上取決于可用訓練樣本的數(shù)量，即在EEG分類背景下分類器學習的試次。因此，考慮到與成人數(shù)據(jù)相比，嬰兒數(shù)據(jù)的可用試次數(shù)量較少和SNR較低，從單個嬰兒數(shù)據(jù)集學習的分類器的性能將受到限制。增加樣本量的一種方法是匯集嬰兒的數(shù)據(jù)，這依賴于提取嬰兒的共同大腦活動模式。然而，嬰兒EEG響應尤其受到大腦形態(tài)和成熟度的個體差異的影響。因此，如果單純地匯集數(shù)據(jù)，被試間的變異性可能會掩蓋區(qū)分模式。

除了確定EEG反應中是否存在用于區(qū)分認知狀態(tài)的信息外，ML還可以進一步用于確定哪些大腦屬性能夠?qū)崿F(xiàn)這種區(qū)分。例如，可以使用分類精度對特征進行排序。這種方法的一個例子是時間分辨分類，其中通過結(jié)合EEG通道中的信息來估計每個時間點（相對于刺激開始）的準確性，以深入了解響應動態(tài)。與單變量分析相比，通過聚合不同通道的信號，這種方法在檢測不同條件和被試之間的差異方面表現(xiàn)出更高的靈敏度。雖然使用ML查找鑒別大腦屬性很重要，但作為ML的入門教程，此次研究選擇關注ML解決的最基本的問題，即使用單個分類器分離不同類別的樣本。

本文的研究者提供了一個如何將ML應用于嬰兒EEG分類的詳細教程。首先介紹了EEG分類問題，并概述了標準分類流程。然后描述了廣泛用于EEG分類的特征類型，即原始時間序列、短時傅立葉變換(STFT)、皮爾遜相關性和加權相位滯后指數(shù)(wPLI)，并討論了使用每種特征類型背后的基本原理。還描述了基于黎曼幾何的連通性特征，它為處理試次間和被試間的變異性提供了一種數(shù)學上的方法。這些特征雖然并不詳盡，但涵蓋了大腦反應的關鍵方面，即每個大腦區(qū)域內(nèi)的時間和頻率信息以及大腦區(qū)域之間的相互作用。除了原始時間序列之外，所有這些特征的估計都需要多個時間點，所以這也是本教程重點關注試次分類的部分原因，而不是對每個時間點進行分類。同時進一步描述了特征選擇技術和更適合嬰兒EEG數(shù)據(jù)中典型樣本與特征比率的分類器類型，討論了利用單個和多個嬰兒的數(shù)據(jù)進行分類器學習的問題。最后，描述了如何評估分類器性能。作為示例，研究者將這些流程應用于在聽覺失匹配反應(MMR)范式下收集的嬰兒EEG數(shù)據(jù)。MMR是在一系列常見或標準刺激后對異常刺激作出反應時觀察到的ERP成分，廣泛用于嬰兒EEG研究，以評估辨別能力。此研究不對刺激本身的身份進行分類（例如/ra/vs/la/），而是對嵌入在標準刺激流（即罕見刺激與頻繁刺激）中的異常刺激是否能被區(qū)分來進行分類。即使用成人EEG數(shù)據(jù)，這項分類任務也很困難，其準確率約為65%。雖然本研究重點對MMR進行分類，但提出的流程可廣泛適用于各種不同的刺激和實驗設計。

2.方法

2.1 EEG分類

EEG分類的目標是根據(jù)腦電數(shù)據(jù)的某些屬性，在短時間內(nèi)確定被試的認知狀態(tài)。以看一個玩具為例，假設一個被試在多個試次中看貓或狗，我們使用刺激開始時兩個通道A和B的電壓振幅作為屬性，以確定被試在試次中是在看貓還是狗。從圖形上看，這個問題可以被概念化為在xy平面上找到一條曲線來分隔兩組點（貓為綠色，狗為紫色）(圖1)。每個點對應一個試次，xy坐標對應通道A和B的振幅。在找到一條能夠很好地將狗對應的點與貓對應的點分開的曲線之后，可以用新的點(圖1)測試該曲線，即不用于尋找曲線的試次。如果該曲線能夠很好地分離新的點，那么該曲線很可能捕捉到隱藏在EEG數(shù)據(jù)中的一些真實信號模式。在技術上，通道A和B的振幅被稱為特征，曲線被稱為決策邊界。用于查找決策邊界的點稱為訓練樣本，未用于查找決策邊界的新點稱為測試樣本。如果決策邊界在測試樣本上表現(xiàn)良好，就可以說相應的分類器具有很高的泛化性，這是評估分類器的一個關鍵屬性。圖2總結(jié)了EEG分類涉及的主要步驟，即特征提取和選擇、分類器學習和分類器評估。

圖1.EEG分類描述。在此玩具示例中，每個點對應一個試次，xy坐標對應通道A和B處的電壓幅值。點的顏色表示該點所屬的類別，藍色曲線表示分離兩類點的方法很多。目標是學習一條僅基于給定類別標簽的訓練試次（綠色和紫色點）的曲線，將測試試次（淺綠色點和淺紫色點）分為相應的類別。

圖2.分類流程。首先從所有試次中提取特征，試次分為訓練集和測試集。然后，通過對每個特征的訓練試次應用t檢驗，并估計給定特征p＜0.05的自舉百分比，即選擇頻率f，來進行自舉單變量特征選擇。選擇頻率大于某個閾值fth的特征集S用于分類器學習。然后，使用學習的分類器權重w預測測試試次的標簽Ip，并將其與真實情況標簽lg進行比較，以評估分類器的性能。該程序通過隨機試次多次重復，以評估性能的變異性。

在實際應用中，研究者通常會提取許多特征來檢查大腦反應的各個方面。關鍵方面包括EEG時間序列的波峰和波谷的時間和幅度、不同頻段的信號以及大腦區(qū)域之間的相互作用。這些方面可以通過標準特征來捕捉，例如EEG時間序列本身、時間序列的STFT、EEG通道時間序列之間的皮爾遜相關性以及wPLI。最近，基于黎曼幾何的連通性特征也被用于EEG分類。第2.2節(jié)將詳述這些特性。本文研究者重點關注五個代表性特征，但可以提取許多其他特征來捕捉大腦反應的類似方面。

特征提取后，下一步是將試次分為訓練集和測試集，分別用于分類器學習和評估。對于典型的嬰兒EEG數(shù)據(jù)，特征的數(shù)量往往超過試次的數(shù)量。通過選擇更具辨別力的特征來降低特征維數(shù)可以簡化分類器的學習。為此，研究者提出了一種基于自舉的通用特征選擇方法。但是，試次數(shù)量通常不足以進行深度學習。因此，研究者考慮了支持向量機（SVM），它在低樣本-特征的數(shù)據(jù)集中具有穩(wěn)健的性能。同時專注于二元分類的任務，即使用單個分類器將給定的嬰兒試次分類為屬于條件A或B。試次來自單個嬰兒或多個嬰兒，將使用單個和多個嬰兒的數(shù)據(jù)進行的訓練分別稱為單嬰兒分類器學習和多嬰兒分類器學習。同時假設每個分類的試次數(shù)目相同，即平衡分類。Open Science Framework上提供了用于提取上述特征以及執(zhí)行分類流程的MATLAB腳本以及相關數(shù)據(jù)集（請參見featureExtraction.m，main*.m和riemannian*.m）。

2.2特征提取

2.2.1時間序列

使用時間序列作為特征的基礎是，在任務執(zhí)行過程中，不同大腦區(qū)域的激活會在EEG通道中產(chǎn)生特定的時空電活動模式。例如，視覺刺激在枕顳通道中引起較大的負性反應，在頂點也引起正反應，這反映了枕顳偶極子的信號。因此，在理論上，可以根據(jù)試次的每個時間點每個通道的電壓的響應模式作為特征來區(qū)分不同的實驗條件。因此，時間序列提供了以毫秒分辨率捕獲信息的功能。

使用時間序列作為特征的一個重要參數(shù)是EEG反應的預期持續(xù)時間，它定義了試次的時間長度。雖然嬰兒的反應通常比成年人慢，但對視覺或聽覺刺激的誘發(fā)反應可能相當快。對涉及額外處理的任務（如檢測偏差或違反預期）的響應通常較慢。因此，預期響應持續(xù)時間取決于實驗條件。通常只能粗略估計響應持續(xù)時間，將試次長度設置為略長于響應持續(xù)時間也無妨，因為相關性較低的時間點會在特征選擇過程中被丟棄，或者在分類器學習過程中被降權。

雖然研究者在本教程中重點討論了學習單個分類器以分離不同類別的試次的問題，但值得注意的是，可以為每個時間點學習一個單獨的分類器，在可區(qū)分類別時檢查響應動力學以及刺激開始后的時間。此外，被試在反應開始、形狀和持續(xù)時間的內(nèi)部和之間的變異性會讓使用時間序列作為特征變得困難。雖然對于能誘發(fā)快速時間鎖定反應的感覺刺激來說，這種變異性可能相對較小，但對于涉及額外計算的較慢感知過程，例如MMR，反應變異性可能會更加復雜。因此，試次和被試之間的相同時間點不一定相互對應，但這種對應對于使用每個時間點的電壓作為分類器學習的特征很重要。為了解決這個時間對應問題，一種方法是在每次試次的短時間窗口內(nèi)“平均”電壓值，并將得到的平均值用作特征。事實上，STFT可以視為這種時間平均策略的擴展，如下所述。

2.2.2 短時傅里葉變換

為了處理響應中的時間變化，一種策略是將STFT應用于時間序列，即對每個試次中的短時間窗口應用傅立葉變換，其中每個通道在每個時間窗口和頻率窗口處的變換時間序列的幅度被視為特征。使用STFT的基本原理源于EEG時間序列如何顯示重復的時間模式。通過應用傅立葉變換，可以估計這些時間模式重復的頻率。過去的研究表明，不同的頻段：delta(0–4 Hz)、theta(4–7 Hz)、alpha(8–12 Hz)、beta(12–30 Hz)和gamma(30–100+Hz)參與不同的心理過程。因此，頻譜中的模式可用于分類。此外，隨著時間的推移，聚合電壓采樣會出現(xiàn)暫時“平滑”響應，從而增加整個試次的響應重疊。使用MATLAB的頻譜圖函數(shù)及其默認參數(shù)值執(zhí)行STFT。由此產(chǎn)生的STFT特征為數(shù)據(jù)提供了約 100 ms的時間分辨率，試次長度為 700 ms。

2.2.3 皮爾遜相關性

繞過繪制時間對應關系問題的一種常見方法是使用通道之間的功能連接作為特征。根據(jù)通道時間序列之間的相似性，即波峰和波谷是否對齊，估計功能連通性。假設是，如果通道A和B的電壓模式非常相似，那么這些電壓時間序列起源的大腦區(qū)域就會相互作用。由于試次中的所有時間點通常用于估計連接性，因此產(chǎn)生的特征無法知道潛在大腦區(qū)域在哪些時間點相互作用。相反，只能得知如果估計的連接性很大，則在試次期間可能發(fā)生一些交互作用。

最簡單的連接性特征是每個試次的所有通道對之間的時間序列之間的皮爾遜相關性。使用連接性進行分類的基礎是，大腦區(qū)域之間的相互作用往往會隨著實驗條件的不同而變化，尤其是對于涉及更高認知功能的任務。使用皮爾遜相關性的一個缺點是，容易產(chǎn)生容積傳導引起的假相關性。具體而言，來自一個源的信號通常傳播到多個通道，因此在空間上接近的通道之間產(chǎn)生虛假的零滯后相關性。由于皮爾遜相關性是對連通性的零滯后估計，即忽略時間序列之間的時間偏移，因此容積傳導引起的虛假相關將掩蓋實驗條件之間連通模式的差異。使這一問題進一步復雜化的是，被試之間的容積傳導差異，這是由被試大腦形態(tài)的差異造成的。由此產(chǎn)生的與被試相關的虛假相關模式使對跨被試匯集數(shù)據(jù)進行分類器學習變得困難。為了處理容積傳導，提出了許多連通性估計。下面將討論其中的兩個。

2.2.4 加權相位滯后指數(shù)

容積傳導的一個重要特性是，受相同基礎源影響的通道測量為零滯后。因此，可以通過使用對零滯后相關性不敏感的連通性估計來處理容積傳導，但代價是丟棄真實的零滯后相互作用。其中一種連通性估計是在腦電研究中被廣泛使用的wPLI。估計wPLI涉及首先計算兩個通道的時間序列之間的互相關，即兩個時間序列之間在不同時間偏移處的相關性。然后在頻率上對互譜密度的虛部（即互相關的傅里葉變換）進行平均，以估計wPLI。由于當兩個時間序列具有0o相位時（即同步且無時間偏移），交叉譜密度的虛部為零，因此wPLI對零滯后相關不敏感。

2.2.5 基于黎曼幾何的連通性

黎曼幾何在EEG連通性估計和分類中的應用被提出，以解釋皮爾遜相關矩陣的一個經(jīng)常被忽視的特性，即它們存在于協(xié)方差矩陣的空間中。在向量空間中，基本運算（如兩個向量之間的減法）是它們的元素差。然而，在協(xié)方差矩陣空間中，減法成為一種非線性運算（見方框1）。由于大多數(shù)分類器學習算法都是建立在基本向量運算的基礎上，因此需要使用黎曼幾何將協(xié)方差矩陣轉(zhuǎn)換為向量。特別是，如果使用協(xié)方差矩陣空間的“適當”減法運算從另一個協(xié)方差矩陣中減去協(xié)方差矩陣，則所得差分矩陣的元素存在于向量空間中。為了將這一概念應用于EEG分類，需要首先估計兩個協(xié)方差矩陣：一個具有刺激前時間點，另一個具有刺激后時間點。然后從刺激后協(xié)方差矩陣中“減去”刺激前協(xié)方差矩陣，這還有一個額外的好處，即消除試次特定的注意漂移和刺激前協(xié)方差矩陣的其他偽影。一個復雜的情況是，減法的參考框架由刺激前協(xié)方差矩陣控制（見方框1和補充材料）。由于噪聲、注意力漂移和自然變異性，刺激前協(xié)方差矩陣在各試次和被試中有所不同，因此參考框架在各試次中有所不同，所以產(chǎn)生的差異矩陣在各試次和被試中不具有可比性。研究者需要將所有差異矩陣納入一個共同的參考框架，進一步減少試次間和被試間的變異性。

方框1：分類器學習通常需要估計樣本之間的距離，假設特征向量位于歐氏空間中，其中兩個樣本之間的最短距離是連接它們的直線的長度(圖3a)。然而，協(xié)方差矩陣位于非歐幾里德曲面上，因此兩個協(xié)方差矩陣之間的最短距離不是直線距離(圖3b)。然而，曲面可以由給定點處的切平面求局部近似，因此可以使用平坦的2D地圖繪制局部區(qū)域?？梢酝ㄟ^將曲面上的相鄰點投影到給定點的切面并計算其直線距離來估計曲面上相鄰點之間的最短距離(圖3c)。這一方法可以推廣到協(xié)方差矩陣，協(xié)方差矩陣是黎曼方法的關鍵組成部分之一。與皮爾遜相關性相反，對于每個試次，首先估計兩個協(xié)方差矩陣：一個為刺激前時間點，另一個為刺激后時間點。然后，使用稱為對數(shù)映射的操作將刺激后協(xié)方差矩陣“投影”到刺激前協(xié)方差矩陣的切線空間。這種投射相當于黎曼幾何中的減法，因此刺激前協(xié)方差矩陣的試次特定注意漂移和其他偽跡會從刺激后協(xié)方差矩陣中去除。然而，由于刺激前協(xié)方差矩陣通常因試次和被試而異，因此投影將位于不同的切線空間。所以需要將所有投影并行傳輸?shù)焦睬芯€空間。此操作會減少試次間和被試間的變異性。

圖3.歐幾里德幾何與非歐幾里德幾何。(a)在歐幾里德空間中，兩點（紅點和紫點）之間的最短距離是連接它們的直線（藍色虛線）的長度。(b)在非歐幾里德曲面上，兩點之間的最短距離是連接它們的曲線（藍色虛線）的長度。(c)對于相互靠近的點，可以通過在一個點（紅點）找到相切平面（綠色矩形曲面），將另一個點（紫色點）投影到該相切平面上，并測量其直線距離（藍色虛線），來近似其最短距離。

2.3 特征選擇

特征選擇通常在分類器學習之前執(zhí)行，尤其是對于特征數(shù)量比樣本數(shù)量高出幾個數(shù)量級的數(shù)據(jù)集。當特征數(shù)量超過樣本數(shù)量時，通常會生成一個過于復雜的曲線，該曲線很好地劃分了不同類別的訓練樣本，但對測試樣本的分類效果很差(圖4a)。這樣的曲線很可能是擬合了噪聲，而不是學習分類的基本“概念”。通過刪除分辨性較低的特征，將搜索最優(yōu)決策邊界的空間的維數(shù)降低，從而緩解數(shù)據(jù)過度擬合問題。去除特征的一種常見技術是單變量特征選擇，它涉及對每個特征的訓練樣本應用t檢驗，并僅保留通過特定p值閾值的特征。使用0.05的閾值，因為當以單變量方式檢查時，具有中等鑒別能力的特征在組合時可能對分類有用，并且它們的低鑒別能力被賦于較低的分類器權重。直接使用t檢驗的一個問題是，對數(shù)據(jù)的小干擾很容易在小樣本設置中改變所選特征。為了提高特征選擇的穩(wěn)定性，通常會加入重采樣，即使用隨機數(shù)據(jù)子樣本重復特征選擇，并查看傾向于選擇哪些特征。在本研究中，研究者將訓練樣本自舉1000次，計算每個特征達到p＜0.05的自舉樣本百分比（該百分比通常稱為選擇頻率），并僅保留選擇頻率大于某個閾值的特征(圖2)。尋找穩(wěn)定特征的一般重采樣方法并不局限于單變量統(tǒng)計檢驗。

圖4.分類器學習。每個點對應一個樣本數(shù)據(jù)，其類別標簽由顏色表示。深色和淺色分別對應于訓練樣本和測試樣本。(a)在高維情況下，特別是當特征數(shù)量超過樣本數(shù)量時，使用過于復雜的函數(shù)并允許分類器權重取任意大的值將導致過度擬合，即擬合測量到的噪聲，因此不能很好地應用到測試樣本。(b)SVM的工作原理：找到可在類別之間提供最大邊界的訓練樣本。實線對應于在SVM損失下最能分離訓練樣本的超平面。

對于選擇頻率閾值的選擇，研究者采用了兩種策略。首先使用50%的寬松閾值，讓分類器學習過程決定哪些特征相關性較小。其次使用專門為SVM(SVMIC)設計的信息標準從一系列閾值中選擇一個最佳閾值（30–70%，增量為5%）。使用信息標準是為了選擇一個閾值，以在誤分類率和使用的特征數(shù)量之間取得平衡，詳見方框2。自動選擇頻率閾值的另一種方法是執(zhí)行嵌套交叉驗證。嵌套交叉驗證涉及將每個訓練折的訓練樣本細分為內(nèi)部訓練折和測試折，并找到使內(nèi)部測試折的平均內(nèi)部誤分類率最小化的頻率閾值。因此，這項技術用分類器在內(nèi)部測試樣本上的可推廣性用作控制過度擬合的方法。然而，嵌套交叉驗證結(jié)合自舉通常在計算上令人望而卻步。

方框2：使用信息標準背后的想法是，不僅要根據(jù)誤分類率來選擇特征，還要考慮模型的復雜性（通常是特征數(shù)量的函數(shù)）。原因是：實際操作中總是可以通過增加分類器模型中的特征數(shù)量（通過降低選擇頻率閾值）和使用過于復雜的函數(shù)過度擬合訓練樣本來減少訓練樣本的誤分類(圖4a)。為了在選擇最佳選擇頻率閾值時應用信息準則，研究者計算了每個閾值的值，并選擇使信息準則最小化的閾值。該閾值將在錯誤分類和模型復雜性之間取得最佳平衡。對于大多數(shù)信息標準，如SVMIC，模型復雜性近似為獨立特征數(shù)量的函數(shù)。然而，特征通常是相關的。因此，用分類器中使用的特征總數(shù)來近似獨立特征的數(shù)量往往會高估模型的復雜性。

2.4 支持向量機

分類器學習可以看作是找到一條很好地分隔兩組點的曲線(圖1)。由于無限多條曲線都可以實現(xiàn)這一目標，問題是如何選擇“最優(yōu)”曲線。要決定曲線，就需要定義什么是最優(yōu)的。對于分類而言，低誤分類率很重要，但如第2.3節(jié)所述，僅此標準通常不足以找到一條可概括的曲線，還需要一個約束模型復雜性以控制過度擬合的標準。

SVM是一種廣泛使用的分類器，它在低樣本特征設置的情況下表現(xiàn)出了穩(wěn)健的性能。SVM找到被稱為支持向量的樣本，最大化兩個類之間的邊距，并生成位于邊距之間的最優(yōu)超平面(圖4b)。該超平面可以由分類器權重向量表示，該向量反映了每個特征對分類的關聯(lián)性，并且給定特征向量與分類器權重的乘積，提供了對應樣本屬于某個類別程度的連續(xù)得分?；诜謹?shù)符號的二值化提供了預測的類別標簽。

有關SVM數(shù)學的詳細信息可以在(Bishop，2006)中查閱，并且可以在MATLAB中獲得SVM的有效實現(xiàn)。本文研究者使用fitcsvm.m及其默認參數(shù)設置，用于構建SVM。要注意，在分類器學習之前，應對特征進行歸一化，以便較大幅度的特征不會主導分類器學習。通常，通過移除平均值并除以每個特征的標準偏差來執(zhí)行歸一化，其中僅使用訓練樣本來估計平均值和標準偏差，避免使用了測試樣本后引入訓練集和測試集之間的相關性，這可能會影響分類性能。

2.5 分類器評估

為了評估分類器，必須將其應用于分類器學習過程中未使用的測試樣本，以評估其通用性。否則可以簡單地使用復雜函數(shù)對所有樣本進行過度擬合，以實現(xiàn)高分類性能(圖4a)。研究者考慮了兩種場景：對單被試樣本進行分類和對多被試樣本進行分類。對于單被試樣本的情況，必須將樣本分為用于分類器學習的訓練集和用于分類器評估的測試集。拆分樣本的一種方法是應用K折交叉驗證，如下所示。首先將樣本隨機分成K個（近似）相等的折。然后使用例如第一個K-1折進行分類器學習，并將學習到的分類器應用于未學習的測試折。該程序重復K次，每次使用不同的遺漏測試折，以評估樣品性能的變異性。

K通常設置為4、5或10，這在計算成本和評估變異性之間提供了良好的平衡。K的選擇取決于可用樣本的數(shù)量。將K設置為10會分配更多的樣本用于訓練，這在小樣本設置中很重要，即難以學習樣本太少的通用分類器。另一種常見的選擇是將K設置為樣本數(shù)，即留一法交叉驗證。然而，由于需要學習更多的分類器，因此除了計算成本較高外，如果樣本之間存在虛假相關性，留一法更容易高估性能。具體而言，如果測試樣本與訓練樣本高度相關，則近似于在分類器學習期間就學習了該測試樣本，這會使分類評估產(chǎn)生偏差。對于較小的K，也存在此問題，但程度較低，因為在實際數(shù)據(jù)中，并非所有樣本都是相互且平等地相關的。以上述高度相關的樣本對為例，10折交叉驗證可能會將兩個樣本都分配給訓練期間看不到的測試集，這在留一法交叉驗證的情況下是不可能的。因此研究者選擇使用K折交叉驗證進行分類器評估。

對于具有多個被試樣本的場景，應該執(zhí)行K-subject-fold交叉驗證。具體而言，將被試拆分為K折，對來自訓練被試的樣本進行分類器學習，并對來自測試被試的樣本應用分類器，而不是將樣本拆分為K折，其中包括來自訓練被試和測試被試中相同個體的樣本。這樣，訓練集和測試集之間的相關性將得到緩解。假設被試不相關，這是一個典型的招收標準。至于K的選擇，研究者將K設置在4到10之間，而不是被試的數(shù)量（即留一法）來減少計算成本。

在將樣本分為訓練集和測試集并預測測試樣本的標簽之后，還需要確定一個標準來評估分類性能。通常，使用分類準確度，其定義為在給定測試折疊中正確分類的測試樣本的分數(shù)。計算所有測試折疊的準確度，以估計性能的變異性?；蛘呖梢赃B接所有測試折疊的樣本標簽，估計單個精度值，并多次重復K折疊交叉驗證，以檢查性能的變異性。后一種方法的優(yōu)點是在估計精度時考慮所有樣本，但從經(jīng)驗上看，對于每次K-折疊交叉驗證，單個精度估計和測試折疊的平均精度往往非常相似。注意到，在二元分類的情況下，如果分類器沒有學習任何東西，那么它相當于隨機猜測類別標簽，即擲硬幣，因此隨機的準確率將為50%。然而，給定有限的樣本，對于隨機分類，跨‘折’的估計平均準確率可能不到50%。所以，在評估分類器性能時，還應考慮估計精度的標準誤差。

另一個常用的分類器評估指標是被試工作特性曲線下的面積（AUROC）。通過計算分類得分（即樣本屬于給定類別的程度）不同閾值下的真陽性率（TPR）和假陽性率（FPR）來估計AUROC，以生成ROC。TPR是分類器正確標記為陽性的陽性樣本數(shù)除以數(shù)據(jù)中所有的陽性樣本數(shù)，F(xiàn)PR是分類器錯誤標記為陽性的陰性樣本數(shù)除以數(shù)據(jù)中所有的陰性樣本數(shù)。AUROC范圍為0到1，隨機性值為0.5。使用AUROC的好處是，它為分類器評估提供了一個對閾值不敏感的標準。然而，在需要為每個樣本提供清晰的二進制標簽的應用程序中，不能使用多個閾值，如果使用閾值a，就說一個樣本是A類，如果使用閾值b，就說一個樣本是B類。相反，必須使用最能分隔訓練樣本的最佳閾值，在這種情況下，準確度更適合作為評估指標，因為它可以直接評估基于最佳閾值的預測標簽與真實值標簽的匹配程度。

3.數(shù)據(jù)集

3.1 EEG數(shù)據(jù)采集

使用了40名12個月大、在英語環(huán)境中長大的嬰兒的數(shù)據(jù)。在EEG記錄過程中，測試了嬰兒辨別兩種母語英語音素/ra/vs/la/的能力。

記錄數(shù)據(jù)過程中，以一個音節(jié)作為標準，以1 Hz的頻率重復出現(xiàn)。在實驗開始時，標準音節(jié)至少重復4次后，偏離音節(jié)約有18%的時間隨機出現(xiàn)。

3.2 EEG數(shù)據(jù)預處理

研究者選擇執(zhí)行最小數(shù)據(jù)清理，以避免引入偏差或以影響分類性能的方式改變EEG數(shù)據(jù)。原始EEG數(shù)據(jù)導出為.mat文件，并使用BEAPP執(zhí)行初始預處理。PrepPipeline工具箱用于消除線噪聲（通過cleanline函數(shù)），檢測和插值壞導，并將EEG數(shù)據(jù)重新引用到平均參考值。為了更準確地檢測噪聲通道，預處理在穩(wěn)定地平均重參考和相對于該平均參考的壞導的檢測和插值之間交替進行。如果10個以上的通道被識別為壞導，則剔除此數(shù)據(jù)。數(shù)據(jù)進行重參考后，對EEG數(shù)據(jù)進行0.1至100 Hz的帶通濾波。BEAPP使用EEGlab函數(shù)eegfiltnew，該函數(shù)對數(shù)據(jù)應用漢明窗sinc有限脈沖響應(FIR)濾波器。然后將EEG時間序列分為700 ms長的試次，音節(jié)開始于試次開始后 100 ms。該時間窗的長度由單變量分析決定。使用更寬的窗口來解釋個體處理速度的差異。此外，還包括了基線數(shù)據(jù)，以提供與大腦反應的對比，這可以用來改進連通性估計。電壓偏差大于 200 uV的試次不使用。對于每個被試，所包括的標準試次的數(shù)量與偏差試次的數(shù)量相匹配，以平衡類別。

4.結(jié)果

將提出的分類流程（見main*.m和riemannian*.m）應用于40名12個月大嬰兒的EEG數(shù)據(jù)，以預測嬰兒在經(jīng)典的聽覺oddball范式中是否聽到標準聲音與偏差聲音。對于每個嬰兒，將每個偏差試次與前一個標準試次配對，以確保類別平衡，結(jié)果是每個嬰兒大約有50個標準試次和50個偏差試次。選擇使用前一標準試次，因為前一標準試次的噪聲背景與給定偏差試次的噪聲背景最為相似。如果偏差刺激沒有影響，與其他標準試次相比，這個標準試次的選擇會使分類最困難且偏差最小。每個試次包括來自60個EEG通道的700 ms時間段，研究者從中提取各種特征，包括時間序列本身、STFT、皮爾遜相關、wPLI和基于黎曼幾何的連通性。為了說明嬰兒數(shù)據(jù)分類面臨的挑戰(zhàn)，研究者首先使用AVM對每個嬰兒的數(shù)據(jù)分別進行分類和特征選擇。至于評估，研究者進行了10折交叉驗證，并使用準確度作為評估指標。嬰兒的平均準確率如圖5a所示（每個嬰兒的準確率見圖7）。對于大多數(shù)嬰兒來說，準確率為50%或更低，這說明了該分類任務的難度，尤其是在低信噪比和樣本數(shù)量有限的情況下。

為了進行評估，研究者再次使用了十折交叉驗證，但沒有設置10%的試次（為驗證集），而是隨機留每一折10%的嬰兒，以避免訓練集和測試集中樣本之間的相關性。為了說明分類精度往往隨嬰兒不同的分類而不同，研究者明確地繪制了來自5次10折交叉驗證的單獨條形圖。除基于黎曼幾何的連通性略高于50%外，其他方法的被試折的平均準確度都是50%的偶然水平。這一結(jié)果表明，僅增加樣本量是不夠的，可能是因為信噪比太低，無法對每個試次進行分類。

為了提高信噪比，研究者采用了傳統(tǒng)EEG分析中使用的策略，即平均每個嬰兒的試次。然而，由于注意力漂移等因素，試次平均可能會引入分類偏差。特別是，使用滑動窗口策略平均去時間上相鄰的試次將導致偏差，因為實驗開始時的試次與結(jié)束時的試次截然不同，如圖5b所示。特別是，時間上接近的試次傾向于聚集在一起，這表明它們具有相似的特征向量，而時間上相距遠的試次傾向于落在不同的群中。因此，研究者選擇以（大致）均勻的時間間隔對H=10個試次進行平均取樣，即偏差試次h、h+5、…、h+40和h+45的平均值為h=1-5，標準試次也是如此。將H設置為10可減少未使用的試次數(shù)目，即50改為10=0。圖6a顯示了H設置為10時，20次10折交叉驗證的平均精度。只有黎曼方法在使用SVMIC來選擇最佳選擇頻率閾值效果較好。原因是使用SVMIC時需要估計獨立特征的數(shù)量（見方框2）。具體而言，將協(xié)方差矩陣引入向量空間具有解耦連通性特征的效果。因此，與對比特征相比，基于黎曼幾何的連通特征的數(shù)量將更接近于對獨立特征數(shù)量的估計。特別是，時間序列和STFT易于在附近的時間點之間進行關聯(lián)。皮爾遜相關矩陣的元素在數(shù)學上是相互關聯(lián)的，作為wPLI估計的中介的互譜密度矩陣也是如此。因此，此報告僅使用黎曼方法的SVMIC的準確性。研究者注意到H的另一個選項是將其設置為5，但根據(jù)經(jīng)驗發(fā)現(xiàn)，分類的信噪比不足。本研究還測試了4折交叉驗證，這導致時間序列的精確度相似，STFT、wPLI和黎曼方法的精確度較低，皮爾遜相關的精確度較高，但仍接近偶然水平。4折交叉驗證的準確率下降的原因可能是分類器學習的每折訓練樣本較少。通過對嬰兒進行試次平均和數(shù)據(jù)匯總，一些特征的平均分類準確率高于機會水平(圖6a)。雖然以時間序列為特征的20次10折交叉驗證的平均準確率保持在偶然水平，但STFT的平均準確率增加到54%。使用皮爾遜相關性的準確率仍略低于偶然水平，這可能是因為嬰兒的容積傳導差異超過了連接模式，而使用對容積傳導不敏感的wPLI的平均準確率為57%。使用基于黎曼幾何的連通性也達到了57%的平均準確率，證明了考慮注意力漂移和被試間變異性的好處。為了檢驗準確度是否在統(tǒng)計學上高于概率水平，以真實值等級標簽為參考，對每次運行的測試折進行Fisher精確檢驗，并計算p＜0.05時顯著的測試折比例。對于時間序列和皮爾遜相關，沒有測試折是顯著的。相比之下，35%、85%和45%的測試折的準確度分別顯著高于STFT、wPLI和黎曼方法的隨機水平。此外，為了評估wPLI和黎曼法提高的準確性是否具有統(tǒng)計學意義，研究者對每次運行的每個測試折都進行了McNemar檢驗，并計算了在p＜0.05時精度顯著提高的測試折疊的比例。每個測試折平均而言，wPLI和黎曼法相對于時間序列、STFT和Pearson相關法準確率分別高了9%和12%(圖6b)。但統(tǒng)計學上顯著的測試折比例較低，可能是因為應用McNemar檢驗時，每個測試折中的樣本數(shù)量較少。而Wilcoxon符號秩檢驗也廣泛用于比較不同方法的準確性。該方法涉及以每個折的精度為樣本，或以每次K折交叉驗證的平均精度為樣本。然而，在應用Wilcoxon符號秩檢驗時，折之間的相關性和K-折交叉驗證的運行違反了獨立樣本假設，因此p值會被低估。事實上，由于折和運行之間的相關性，精度估計的標準誤差（即圖6a中的誤差條）也被低估，因此對每次運行的測試折應用Fisher精確檢驗，以評估精度是否顯著高于偶然水平。

圖5.分類器通過對每個嬰兒的試次進行學習。

圖6.分類器對嬰兒匯集試次進行學習。(a)顯示20次10折交叉驗證的平均精度。誤差條對應于整個運行中的標準誤差。(b)McNemar檢驗應用于每個遺漏的折，以測試每個參考方法的分類是否比其他方法更準確。顯示了使用參考方法更精確的20次運行中的折比例。

通過提取每個嬰兒的預測試次標簽并估計每個嬰兒的單獨準確度值（而不是平均每個被試折的準確度），進一步評估了多嬰兒分類器學習在單個嬰兒水平上的表現(xiàn)。除了使用皮爾遜相關性外，與每個嬰兒的試次相比，對嬰兒進行合并試次后進行的分類器學習顯著提高了使用每個嬰兒試次進行分類器學習的精度(圖7)。重要的是，對于wPLI，準確度高于隨機水平的嬰兒比例從0.4增加到0.75，基于黎曼連接特征的嬰兒比例從0.55增加到0.80，這證明了嬰兒試次進行合并的好處，前提是容積傳導和被試間差異等得到了適當?shù)目紤]。

圖7.單個嬰兒水平的準確度細分。x軸和y軸分別對應于單嬰兒和多嬰兒分類器學習獲得的準確度。每個點代表一個嬰兒。紅色虛線對應于隨機水平的準確度。灰色虛線上方的點表示多嬰兒分類器學習的準確性提高，反之亦然。

5.討論

在這篇機器學習入門教程中，研究者描述了對嬰兒EEG數(shù)據(jù)進行分類所涉及的步驟，即特征提取、特征選擇、分類器學習和分類器評估。要分離嬰兒對罕見和頻繁聽覺刺激的神經(jīng)反應，且達到高于偶然水平的準確性是較為困難的。這項工作是首次用嬰兒數(shù)據(jù)證明MMR分類。平均分類精度雖然不高，但高于隨機水平，與前人嬰兒EEG研究一致。對于當前的MMR分類任務，wPLI和黎曼方法表現(xiàn)出最好的分類性能，平均精度達到57%。此外，具有上述隨機分類精度的嬰兒比例大于75%?？紤]到計算成本，如果目標是測試連接性是否可以區(qū)分不同的實驗條件，建議首先測試wPLI，它計算速度更快，并且專注于EEG時間序列之間的非零滯后相似性，對容積傳導不敏感。如果精度不夠，那么可以考慮黎曼方法。雖然黎曼方法僅估計零滯后相關性，但它考慮了容積傳導，明確地解釋了試次特有的混淆以及試次間和被試間的變異性。

嬰兒數(shù)據(jù)具有相對較低的信噪比、每個嬰兒的試次較少、被試間和試次間的變異性較高的特點，使得ML的應用變得困難。雖然解決一個問題時采取的措施可能會加劇另一個問題，但結(jié)合試次平均確實可以提高當前分類任務的性能。由于發(fā)育過程中大腦成熟和形態(tài)的差異，被試間的變異性在嬰兒數(shù)據(jù)中尤其高，可能會掩蓋EEG中的區(qū)分信號。特別是在此文中的分類任務MMR中，也稱失匹配負波，在成年人中觀察到負電壓，但在嬰兒早期中觀察到正電壓。這種電壓取決于大腦成熟度及實驗任務難度。所有嬰兒可能表現(xiàn)出正性或者負性的失匹配反應，這可能解釋了少數(shù)嬰兒的準確率實際上更高，分類器使用他們自己的試次中學習的，而不是匯總的數(shù)據(jù)。但通過使用wPLI和平行運輸來解釋被試間的差異，對嬰兒進行的匯總試次平均提供了更高的準確性。

單個嬰兒分類器學習的準確性平均低于偶然水平，這表明分類器在導致錯誤分類的試次中發(fā)現(xiàn)了非隨機模式。特別是，EEG時間序列是自相關的，嬰兒數(shù)據(jù)中的自相關量可能會由于更多的注意力漂移、對刺激的習慣化以及隨時間增加的嬰兒運動和煩躁而導致的SNR變化而加劇。因此，即使它們屬于不同的類別，時間上臨時相鄰的試次也可能被錯誤地歸類為同一類別。事實上，并非真正獨立的試次在EEG分類中存在潛在缺陷。如圖4b所示，試次在實驗中按時間順序進行聚類。如果兩組刺激一個接一個地呈現(xiàn)而不是分散呈現(xiàn)，分類器可能會使用時間順序而不是刺激誘發(fā)的反應模式來區(qū)分試次。因此，實驗設計需要非常仔細以減少相關樣本對分類的影響。

鑒于認知的復雜性，任何描述的特征（以及更多）都可能包含對不同刺激進行分類所需的信息。這些特征中的每一個都使研究者能夠從不同的角度去探索神經(jīng)過程，它們的相對性能部分取決于分類任務，部分取決于哪些噪聲占主導地位。雖然所描述的分類流程沒有揭示有助于分類的特定時間點或連接，但可以執(zhí)行一些后續(xù)分析來解決這個問題。從分類結(jié)果中獲得見解的另一種方法涉及將準確度與行為得分相關聯(lián)，以及在各組之間對比準確度。

本研究專注于二元分類，但對額外刺激類別的分類可以進一步深入了解嬰兒的心理活動。此外，可以研究分類器對看不見的類的泛化性來加深了解。在這種情況下，可以使用二元或 多元分類來訓練EEG數(shù)據(jù)上的分類器，以響應給定的刺激集。然后將此分類器應用至不同的刺激集下的數(shù)據(jù)，以檢測分類器對新刺激的性能。

總之，機器學習可以解決許多新問題。使用標準的組分析，不必簡單地探索在任何給定通道或多個通道中，對A的EEG反應與對B的EEG反應是否有顯著差異，而是可以研究心理表征是否包含區(qū)分不同刺激的信息。機器學習為發(fā)展認知神經(jīng)科學提供了新的工具，以回答傳統(tǒng)組分析無法回答的問題。

原文：A practical guide to APPlying machine learning to infant EEG data.

https://doi.org/10.1016/j.dcn.2022.101096