機器之心報道

編輯：杜偉

多圖綜述理清當(dāng)前研究現(xiàn)狀，這篇 29 頁的論文值得一讀。

大型語言模型（LLM）已經(jīng)很強了，但還可以更強。通過結(jié)合知識圖譜，LLM 有望解決缺乏事實知識、幻覺和可解釋性等諸多問題；而反過來 LLM 也能助益知識圖譜，讓其具備強大的文本和語言理解能力。而如果能將兩者充分融合，我們也許還能得到更加全能的人工智能。

今天我們將介紹一篇綜述 LLM 與知識圖譜聯(lián)合相關(guān)研究的論文，其中既包含用知識圖譜增強 LLM 的研究進(jìn)展，也有用 LLM 增強知識圖譜的研究成果，還有 LLM 與知識圖譜協(xié)同的最近成果。文中概括性的框架展示非常方便讀者參考。

論文：https://arxiv.org/abs/2306.08302v1

BERT、RoBERTA 和 T5 等在大規(guī)模語料庫上預(yù)訓(xùn)練的大型語言模型（LLM）已經(jīng)能非常優(yōu)秀地應(yīng)對多種自然語言處理（NLP）任務(wù)，比如問答、機器翻譯和文本生成。近段時間，隨著模型規(guī)模的急劇增長，LLM 還進(jìn)一步獲得了涌現(xiàn)能力，開拓了將 LLM 用作通用人工智能（AGI）的道路。ChatGPT 和 PaLM2 等先進(jìn)的 LLM 具有數(shù)百上千億個參數(shù)，它們已有潛力解決許多復(fù)雜的實際任務(wù)，比如教育、代碼生成和推薦。

盡管 LLM 已有許多成功應(yīng)用，但由于缺乏事實知識，它們還是備受詬病。具體來說，LLM 會記憶訓(xùn)練語料庫中包含的事實和知識。但是，進(jìn)一步的研究表明，LLM 無法回憶出事實，而且往往還會出現(xiàn)幻覺問題，即生成具有錯誤事實的表述。舉個例子，如果向 LLM 提問：「愛因斯坦在什么時候發(fā)現(xiàn)了引力？」它可能會說：「愛因斯坦在 1687 年發(fā)現(xiàn)了引力?！沟聦嵣?，提出引力理論的人是艾薩克?牛頓。這種問題會嚴(yán)重?fù)p害 LLM 的可信度。

LLM 是黑箱模型，缺乏可解釋性，因此備受批評。LLM 通過參數(shù)隱含地表示知識。因此，我們難以解釋和驗證 LLM 獲得的知識。此外，LLM 是通過概率模型執(zhí)行推理，而這是一個非決斷性的過程。對于 LLM 用以得出預(yù)測結(jié)果和決策的具體模式和功能，人類難以直接獲得詳情和解釋。盡管通過使用思維鏈（chain-of-thought），某些 LLM 具備解釋自身預(yù)測結(jié)果的功能，但它們推理出的解釋依然存在幻覺問題。這會嚴(yán)重影響 LLM 在事關(guān)重大的場景中的應(yīng)用，比如醫(yī)療診斷和法律評判。舉個例子，在醫(yī)療診斷場景中，LLM 可能誤診并提供與醫(yī)療常識相悖的解釋。這就引出了另一個問題：在一般語料庫上訓(xùn)練的 LLM 由于缺乏特定領(lǐng)域的知識或新訓(xùn)練數(shù)據(jù)，可能無法很好地泛化到特定領(lǐng)域或新知識上。

為了解決上述問題，一個潛在的解決方案是將知識圖譜（KG）整合進(jìn) LLM 中。知識圖譜能以三元組的形式存儲巨量事實，即 (頭實體、關(guān)系、尾實體)，因此知識圖譜是一種結(jié)構(gòu)化和決斷性的知識表征形式，例子包括 Wikidata、YAGO 和 NELL。知識圖譜對多種應(yīng)用而言都至關(guān)重要，因為其能提供準(zhǔn)確、明確的知識。此外眾所周知，它們還具有很棒的符號推理能力，這能生成可解釋的結(jié)果。知識圖譜還能隨著新知識的持續(xù)輸入而積極演進(jìn)。此外，通過讓專家來構(gòu)建特定領(lǐng)域的知識圖譜，就能具備提供精確可靠的特定領(lǐng)域知識的能力。

然而，知識圖譜很難構(gòu)建，并且由于真實世界知識圖譜往往是不完備的，還會動態(tài)變化，因此當(dāng)前的知識圖譜方法難以應(yīng)對。這些方法無法有效建模未見過的實體以及表征新知識。此外，知識圖譜中豐富的文本信息往往會被忽視。不僅如此，知識圖譜的現(xiàn)有方法往往是針對特定知識圖譜或任務(wù)定制的，泛化能力不足。因此，有必要使用 LLM 來解決知識圖譜面臨的挑戰(zhàn)。圖 1 總結(jié)了 LLM 和知識圖譜的優(yōu)缺點。

圖 1：LLM 和知識圖譜的優(yōu)缺點總結(jié)。

如圖所示，LLM 的優(yōu)點：一般知識、語言處理、泛化能力。LLM 的缺點：隱含知識、幻覺問題、無法決斷問題、黑箱、缺乏特定領(lǐng)域的知識和新知識。知識圖譜的優(yōu)點：結(jié)構(gòu)化的知識、準(zhǔn)確度、決斷能力、可解釋性、特定領(lǐng)域的知識、知識演進(jìn)。知識圖譜的缺點：不完備性、缺乏語言理解、未見過的知識。

近段時間，將 LLM 和知識圖譜聯(lián)合起來的可能性受到了越來越多研究者和實踐者關(guān)注。LLM 和知識圖譜本質(zhì)上是互相關(guān)聯(lián)的，并且能彼此互相強化。如果用知識圖譜增強 LLM，那么知識圖譜不僅能被集成到 LLM 的預(yù)訓(xùn)練和推理階段，從而用來提供外部知識，還能被用來分析 LLM 以提供可解釋性。而在用 LLM 來增強知識圖譜方面，LLM 已被用于多種與知識圖譜相關(guān)的應(yīng)用，比如知識圖譜嵌入、知識圖譜補全、知識圖譜構(gòu)建、知識圖譜到文本的生成、知識圖譜問答。LLM 能夠提升知識圖譜的性能并助益其應(yīng)用。在 LLM 與知識圖譜協(xié)同的相關(guān)研究中，研究者將 LLM 和知識圖譜的優(yōu)點融合，讓它們在知識表征和推理方面的能力得以互相促進(jìn)。

這篇論文將在聯(lián)合 LLM 與知識圖譜方面提供一個前瞻性的路線圖，幫助讀者了解如何針對不同的下游任務(wù)，利用它們各自的優(yōu)勢，克服各自的局限。其中包含詳細(xì)的分類和全面的總結(jié)，并指出了這些快速發(fā)展的領(lǐng)域的新興方向。本文的主要貢獻(xiàn)包括：

1, 路線圖：文中提供了一份 LLM 和知識圖譜整合方面的前瞻性路線圖。這份路線圖包含聯(lián)合 LLM 與知識圖譜的三個概括性框架：用知識圖譜增強 LLM、用 LLM 增強知識圖譜、LLM 與知識圖譜協(xié)同?？蔀槁?lián)合這兩種截然不同但互補的技術(shù)提供指導(dǎo)方針。

2, 分類和總結(jié)評估：對于該路線圖中的每種整合模式，文中都提供了詳細(xì)的分類和全新的分類法。對于每種類別，文中都從不同整合策略和任務(wù)角度總結(jié)評估了相關(guān)研究工作，從而能為每種框架提供更多見解。

3, 涵蓋了新進(jìn)展：文中覆蓋了 LLM 和知識圖譜的先進(jìn)技術(shù)。其中討論了 ChatGPT 和 GPT-4 等當(dāng)前最先進(jìn)的 LLM 以及多模態(tài)知識圖譜等知識圖譜新技術(shù)。

4, 挑戰(zhàn)和未來方向：文中也會給出當(dāng)前研究面臨的挑戰(zhàn)并給出一些有潛力的未來研究方向。

LLM 和知識圖譜基礎(chǔ)知識

大型語言模型（LLM）

在大規(guī)模語料庫上預(yù)訓(xùn)練的 LLM 可以解決多種 NLP 任務(wù)，擁有巨大潛力。如圖 3 所示，大多數(shù) LLM 都源自 Transformer 設(shè)計，其中包含編碼器和解碼器模塊，并采用了自注意力機制。LLM 可以根據(jù)架構(gòu)不同而分為三大類別：僅編碼器 LLM、編碼器 - 解碼器 LLM、僅解碼器 LLM。圖 2 總結(jié)了一些代表性 LLM，涉及不同架構(gòu)、模型大小和是否開源。

圖 2：近些年有代表性的 LLM。實心方框表示開源模型，空心方框則是閉源模型。

圖 3：基于 Transformer 并使用了自注意力機制的 LLM 的示意圖。

prompt 工程設(shè)計

prompt 工程設(shè)計是一個全新領(lǐng)域，其關(guān)注的是創(chuàng)建和優(yōu)化 prompt，從而讓 LLM 能最有效地應(yīng)對各種不同應(yīng)用和研究領(lǐng)域。如圖 4 所示，prompt 是 LLM 的自然語言輸入序列，需要針對具體任務(wù)（如情緒分類）創(chuàng)建。prompt 可包含多個元素，即：指示、背景信息、輸入文本。指示是告知模型執(zhí)行某特定任務(wù)的短句。背景信息為輸入文本或少樣本學(xué)習(xí)提供相關(guān)的信息。輸入文本是需要模型處理的文本。

圖 4：一個情緒分類 prompt 的示例。

prompt 工程設(shè)計的目標(biāo)是提升 LLM 應(yīng)對多樣化復(fù)雜任務(wù)的能力，如問答、情緒分類和常識推理。思維鏈（CoT）prompt 是通過中間推理步驟來實現(xiàn)復(fù)雜推理。另一種方法則是通過整合外部知識來設(shè)計更好的知識增強型 prompt。自動化 prompt 工程（APE）則是一種可以提升 LLM 性能的 prompt 自動生成方法。prompt 讓人無需對 LLM 進(jìn)行微調(diào)就能利用 LLM 的潛力。掌握 prompt 工程設(shè)計能讓人更好地理解 LLM 的優(yōu)劣之處。

知識圖譜（KG）

知識圖譜則是以 (實體、關(guān)系、實體) 三元組集合的方式來存儲結(jié)構(gòu)化知識。根據(jù)所存儲信息的不同，現(xiàn)有的知識圖譜可分為四大類：百科知識型知識圖譜、常識型知識圖譜、特定領(lǐng)域型知識圖譜、多模態(tài)知識圖譜。圖 5 展示了不同類別知識圖譜的例子。

圖 5：不同類別知識圖譜示例。

應(yīng)用

LLM 和知識圖譜都有著廣泛的應(yīng)用。表 1 總結(jié)了 LLM 和知識圖譜的一些代表性應(yīng)用。

表 1：LLM 和知識圖譜的代表性應(yīng)用。

路線圖與分類

下面會先給出一份路線圖，展現(xiàn)將 LLM 和知識圖譜聯(lián)合起來的框架，然后將對相關(guān)研究進(jìn)行分類。

路線圖

圖 6 展示了將 LLM 和知識圖譜聯(lián)合起來的路線圖。這份路線圖包含聯(lián)合 LLM 與知識圖譜的三個框架：用知識圖譜增強 LLM、用 LLM 增強知識圖譜、LLM 與知識圖譜協(xié)同。

圖 6：聯(lián)合知識圖譜和 LLM 的一般路線圖。

圖 7：LLM 與知識圖譜協(xié)同的一般框架，其中包含四層：數(shù)據(jù)、協(xié)同模型、技術(shù)、應(yīng)用。

分類

為了更好地理解聯(lián)合 LLM 和知識圖譜的研究，論文進(jìn)一步提供了每種框架的細(xì)粒度分類。具體來說，這里關(guān)注的是整合 LLM 與知識圖譜的不同方法，即：用知識圖譜增強 LLM、用 LLM 增強知識圖譜、LLM 與知識圖譜協(xié)同。圖 8 細(xì)粒度地展示了相關(guān)研究的分類情況。

圖 8：聯(lián)合 LLM 與知識圖譜的相關(guān)研究分類。

用知識圖譜增強 LLM

大型語言模型在許多自然語言處理任務(wù)上都表現(xiàn)出色。但是，由于 LLM 缺乏實際知識而且常在推理時生成事實性錯誤，因此也飽受批評。解決該問題的一種方法是用知識圖譜增強 LLM。

具體的方式有幾種，一是使用知識圖譜增強 LLM 預(yù)訓(xùn)練，其目的是在預(yù)訓(xùn)練階段將知識注入到 LLM 中。二是使用知識圖譜增強 LLM 推理，這能讓 LLM 在生成句子時考慮到最新知識。三是使用知識圖譜增強 LLM 可解釋性，從而讓我們更好地理解 LLM 的行為。表 2 總結(jié)了用知識圖譜增強 LLM 的典型方法。

表 2：用知識圖譜增強 LLM 的方法。

用知識圖譜增強 LLM 預(yù)訓(xùn)練

現(xiàn)有的 LLM 主要依靠在大規(guī)模語料庫上執(zhí)行無監(jiān)督訓(xùn)練。盡管這些模型在下游任務(wù)上表現(xiàn)卓越，它們卻缺少與現(xiàn)實世界相關(guān)的實際知識。在將知識圖譜整合進(jìn) LLM 方面，之前的研究可以分為三類：將知識圖譜整合進(jìn)訓(xùn)練目標(biāo)、將知識圖譜整合進(jìn) LLM 的輸入、將知識圖譜整合進(jìn)附加的融合模塊。

圖 9：通過文本 - 知識對齊損失將知識圖譜信息注入到 LLM 的訓(xùn)練目標(biāo)中，其中 h 表示 LLM 生成的隱含表征。

圖 10：使用圖結(jié)構(gòu)將知識圖譜信息注入到 LLM 的輸入中。

圖 11：通過附加的融合模塊將知識圖譜整合到 LLM 中。

用知識圖譜增強 LLM 推理

以上方法可以有效地將知識與 LLM 的文本表征融合到一起。但是，真實世界的知識會變化，這些方法的局限是它們不允許更新已整合的知識，除非對模型重新訓(xùn)練。因此在推理時，它們可能無法很好地泛化用于未見過的知識。

一些研究關(guān)注的正是分離知識空間與文本空間以及在推理時注入知識。這些方法主要關(guān)注的是問答（QA）任務(wù)，因為問答既需要模型捕獲文本語義，還需要捕獲最新的現(xiàn)實世界知識。

圖 12：用于 LLM 推理的動態(tài)知識圖譜融合。

圖 13：通過檢索外部知識來增強 LLM 生成。

用知識圖譜增強 LLM 可解釋性

盡管 LLM 在許多 NLP 任務(wù)上都表現(xiàn)不凡，但由于缺乏可解釋性，依然備受詬病。LLM 可解釋性是指理解和解釋大型語言模型的內(nèi)部工作方式和決策過程。這能提升 LLM 的可信度并促進(jìn) LLM 在事關(guān)重大的場景中的應(yīng)用，比如醫(yī)療診斷和法律評判。由于知識圖譜是以結(jié)構(gòu)化的方式表示知識，因此可為推理結(jié)果提供優(yōu)良的可解釋性。因此，研究者必然會嘗試用知識圖譜來提升 LLM 的可解釋性；相關(guān)研究大致可分為兩類：用于語言模型探測的知識圖譜、用于語言模型分析的知識圖譜。

圖 14：使用知識圖譜進(jìn)行語言模型探測的一般框架。

圖 15：使用知識圖譜進(jìn)行語言模型分析的一般框架。

用 LLM 增強知識圖譜

知識圖譜的顯著特點就是結(jié)構(gòu)化的知識表示。它們適用于許多下游任務(wù)，比如問答、推薦和網(wǎng)絡(luò)搜索。但是，傳統(tǒng)知識圖譜往往不完備，并且已有方法往往不會考慮文本信息。

為了解決這些問題，已有研究者考慮使用 LLM 來增強知識圖譜，使其能考慮文本信息，從而提升在下游任務(wù)上的表現(xiàn)。表 3 總結(jié)了代表性的研究工作。這里會涉及到使用 LLM 對知識圖譜進(jìn)行不同增強的方法，包括知識圖譜嵌入、知識圖譜補全、知識圖譜到文本生成、知識圖譜問答。

表 3：用 LLM 增強知識圖譜的代表性方法。

用 LLM 增強知識圖譜嵌入

知識圖譜嵌入（KGE）的目標(biāo)是將每個實體和關(guān)系映射到低維的向量（嵌入）空間。這些嵌入包含知識圖譜的語義和結(jié)構(gòu)信息，可用于多種不同的任務(wù)，如問答、推理和推薦。傳統(tǒng)的知識圖譜嵌入方法主要依靠知識圖譜的結(jié)構(gòu)信息來優(yōu)化一個定義在嵌入上的評分函數(shù)（如 TransE 和 DisMult）。但是，這些方法由于結(jié)構(gòu)連接性有限，因此難以表示未曾見過的實體和長尾的關(guān)系。

圖 16 展示了近期的一項研究：為了解決這一問題，該方法使用 LLM 來編碼實體和關(guān)系的文本描述，從而豐富知識圖譜的表征。

圖 16：將 LLM 用作知識圖譜嵌入的文本編碼器。

圖 17：用于聯(lián)合文本與知識圖譜嵌入的 LLM。

用 LLM 增強知識圖譜補全

知識圖譜補全（KGC）任務(wù)的目標(biāo)是推斷給定知識圖譜中缺失的事實。類似于 KGE，傳統(tǒng) KGC 方法主要關(guān)注的是知識圖譜的結(jié)構(gòu)，而不會考慮廣泛的文本信息。

但是，近期有研究將 LLM 整合到了 KGC 方法中來編碼文本或生成事實，取得了更好的 KGC 表現(xiàn)。根據(jù)使用方式，這些方法分為兩類：將 LLM 用作編碼器（PaE）、將 LLM 用作生成器（PaG）。

圖 18：將 LLM 用作編碼器（PaE）來補全知識圖譜的一般框架。

圖 19：將 LLM 用作生成器（PaG）來補全知識圖譜的一般框架 En. 和 De. 分別表示編碼器和解碼器。

圖 20：使用基于 prompt 的 PaG 來補全知識圖譜的框架。

用 LLM 增強知識圖譜構(gòu)建

知識圖譜構(gòu)建涉及到為特定領(lǐng)域內(nèi)的知識創(chuàng)建結(jié)構(gòu)化的表示。這包括識別實體以及實體之間的關(guān)系。知識圖譜構(gòu)建過程通常涉及多個階段，包括：實體發(fā)現(xiàn)、共指消解和關(guān)系提取。圖 21 展示了將 LLM 用于知識圖譜構(gòu)建各個階段的一般框架。近期還有研究探索了端到端知識圖譜構(gòu)建（一步構(gòu)建出完整的知識圖譜）以及直接從 LLM 中蒸餾出知識圖譜。

圖 21：基于 LLM 的知識圖譜構(gòu)建的一般框架。

圖 22：從 LLM 中蒸餾出知識圖譜的一般框架。

用 LLM 增強知識圖譜到文本生成

知識圖譜到文本（KG-to-text）生成的目標(biāo)是生成能準(zhǔn)確一致地描述輸入知識圖譜信息的高質(zhì)量文本。知識圖譜到文本生成連接了知識圖譜與文本，能顯著提升知識圖譜在更現(xiàn)實的自然語言生成場景中的可用性，包括故事創(chuàng)作和基于知識的對話。但是，收集大量知識圖譜 - 文本平行數(shù)據(jù)難度很大，成本很高，這會導(dǎo)致訓(xùn)練不充分和生成質(zhì)量差。

因此，有許多研究致力于解決這些問題：如何利用 LLM 的知識？如何構(gòu)建大規(guī)模的弱監(jiān)督知識圖譜 - 文本語料庫來解決這個問題？

圖 23：知識圖譜到文本生成的一般框架。

用 LLM 增強知識圖譜問答

知識圖譜問答（KGQA）的目標(biāo)是根據(jù)知識圖譜存儲的結(jié)構(gòu)化事實來尋找自然語言問題的答案。KGQA 有一個無可避免的挑戰(zhàn)：檢索相關(guān)事實并將知識圖譜的推理優(yōu)勢擴展到問答任務(wù)上。因此，近期有研究采用 LLM 來填補自然語言問題與結(jié)構(gòu)化知識圖譜之間的空白。

圖 24 給出了將 LLM 用于 KGQA 的一般框架，其中 LLM 可用作實體 / 關(guān)系提取器和答案推理器。

圖 24：將 LLM 用于知識圖譜問答的一般框架。

LLM 與知識圖譜協(xié)同

LLM 與知識圖譜協(xié)同近年來贏得了不少關(guān)注，該方法能將 LLM 和知識圖譜的優(yōu)點融合，從而更好地應(yīng)對各種下游任務(wù)。舉個例子，LLM 可用于理解自然語言，同時知識圖譜可作為提供事實知識的知識庫。將 LLM 和知識圖譜聯(lián)合起來可以造就執(zhí)行知識表征和推理的強大模型。

這里從兩個方面關(guān)注了 LLM 與知識圖譜協(xié)同：知識表征、推理。表 4 總結(jié)了代表性的研究工作。

表 4：LLM 與知識圖譜協(xié)同方法匯總。

知識表征

文本語料庫和知識圖譜都包含大量知識。但是，文本語料庫中的知識通常是隱式的和非結(jié)構(gòu)化的，而知識圖譜中的知識是顯式的和結(jié)構(gòu)化的。因此，想要以統(tǒng)一方式來表示這些知識，就必須對齊文本語料庫和知識圖譜中的知識。圖 25 給出了針對知識表征任務(wù)統(tǒng)一 LLM 和知識圖譜的一般框架。

圖 25：針對知識表征任務(wù)統(tǒng)一 LLM 和知識圖譜的一般框架。

KEPLER 是一種用于知識嵌入和預(yù)訓(xùn)練語言表征的統(tǒng)一模型。KEPLER 會使用 LLM 將文本實體描述編碼成它們的嵌入，然后對知識嵌入和語言建模目標(biāo)進(jìn)行聯(lián)合優(yōu)化。JointGT 提出了一種知識圖譜 - 文本聯(lián)合表征學(xué)習(xí)模型，其中提出了三個預(yù)訓(xùn)練任務(wù)來對齊知識圖譜和文本的表征。DRAGON 則給出了一種自監(jiān)督方法，可以基于文本和知識圖譜來預(yù)訓(xùn)練一個語言 - 知識的聯(lián)合基礎(chǔ)模型。其輸入是文本片段和相關(guān)的知識圖譜子圖，并會雙向融合來自這兩種模式的信息。然后，DRAGON 會利用兩個自監(jiān)督推理任務(wù)（掩碼語言建模和知識圖譜鏈接預(yù)測）來優(yōu)化該模型的參數(shù)。HKLM 則引入了一種聯(lián)合 LLM，其整合了知識圖譜來學(xué)習(xí)特定領(lǐng)域知識的表征。

推理

為了同時利用 LLM 和知識圖譜的優(yōu)勢，研究者也通過 LLM 和知識圖譜協(xié)同來執(zhí)行多種應(yīng)用的推理任務(wù)。在問答任務(wù)中，QA-GNN 首先會利用 LLM 來處理文本問題，再引導(dǎo)知識圖譜的推理步驟。這樣一來就構(gòu)建了文本和結(jié)構(gòu)化信息之間的橋梁，從而能為推理過程提供解釋。

在知識圖譜推理任務(wù)中，LARK 提出了一種由 LLM 引導(dǎo)的邏輯推理方法。其首先會將傳統(tǒng)的邏輯規(guī)則轉(zhuǎn)換成語言序列，然后要求 LLM 推理出最終輸出。此外，Siyuan et al. 通過一個統(tǒng)一框架統(tǒng)一了結(jié)構(gòu)推理和語言模型預(yù)訓(xùn)練。給定一個文本輸入，他們采用 LLM 來生成邏輯查詢，其可在知識圖譜上執(zhí)行以獲取結(jié)構(gòu)化的上下文信息。最后，這個結(jié)構(gòu)化的上下文會與文本信息融合以生成最終輸出。

RecInDial 則將知識圖譜與 LLM 組合起來在對話系統(tǒng)中提供個性化推薦。KnowledgeDA 提出了一種統(tǒng)一的領(lǐng)域語言模型開發(fā)流程，可使用領(lǐng)域知識圖譜增強針對特定任務(wù)的訓(xùn)練過程。

未來方向

在聯(lián)合知識圖譜和大型語言模型方面還有諸多挑戰(zhàn)有待解決，下面簡單給出了這一研究領(lǐng)域的一些未來研究方向：

• 將知識圖譜用于檢測 LLM 的幻覺；
• 將知識圖譜用于編輯 LLM 中的知識；
• 將知識圖譜用于黑箱 LLM 知識注入；
• 將多模態(tài) LLM 用于知識圖譜；
• 將 LLM 用于理解知識圖譜的結(jié)構(gòu)；
• 將 LLM 和知識圖譜協(xié)同用于雙向推理。