本文探索利用大型視覺語言模型來解決工業(yè)異常檢測問題，并提出AnomalyGPT: 第一個基于 LVLM 的異常檢測新方法，實現(xiàn)了最先進(jìn)的性能

MiniGPT-4和LLaVA等大型視覺語言模型 (LVLM) 已經(jīng)展示了理解圖像的能力，并在各種視覺任務(wù)中取得了出色的性能。 盡管由于大量的訓(xùn)練數(shù)據(jù)集它們識別常見對象的能力很強，但它們?nèi)狈μ囟ǖ念I(lǐng)域知識，并且對對象內(nèi)的局部細(xì)節(jié)的理解較弱，這阻礙了它們在工業(yè)異常檢測 (IAD)任務(wù)中的有效性。 另一方面，大多數(shù)現(xiàn)有的IAD方法僅提供異常分?jǐn)?shù)，并且需要手動設(shè)置闖值來區(qū)分正常樣本和異常樣本，這限制了其實際實施。 在本文中，我們探索利用 LVLM 來解決 IAD 問題，并提出 AnomalyGPT，一種基于 LVLM 的新型 IAD 方法。 我們通過模擬異常圖像并為每個圖像生成相應(yīng)的文本描述來生成訓(xùn)練數(shù)據(jù)。我們還采用圖像解碼器來提供細(xì)粒度語義，并設(shè)計一個提示學(xué)習(xí)器來使用提示嵌入來微調(diào) LVLM。 我們的 AnomalyGPT 消除了手動闖值調(diào)整的需要，從而直接評估異常的存在和位置。 此外，AnomalyGPT 支持多輪對話，并展現(xiàn)出令人印象深刻的小樣本上下文學(xué)習(xí)能力。 僅通過一次正常拍攝，AnomalyGPT 在 MVTec-AD 數(shù)據(jù)集上就實現(xiàn)了最先進(jìn)的性能，準(zhǔn)確率為 86.1%，圖像級 AUC 為 94.1%，像素級 AUC 為 95.3%。

代碼：https://github.com/CASIA-IVA-Lab/AnomalyGPT

論文：https://arxiv.org/abs/2308.15366