其實語言模型使用工具已經(jīng)不算是什么秘密了，從Toolformer開始，比較著名的還有使用Huugging Face的模型，GPT-4的技術(shù)報告甚至說明了強(qiáng)大的語言模型甚至不需要單獨(dú)訓(xùn)練或上下文學(xué)習(xí)就可以直接使用常見的工具了。

當(dāng)然了，這里說的工具主要是虛擬工具，或者所程序的接口API（例如計算器的接口API），雖然也有用實際工具的（微軟用ChatGPT控制機(jī)器人等），但總歸不多。見：

【花師小哲】當(dāng)代煉金術(shù)（神經(jīng)網(wǎng)絡(luò)）前沿（13）——語言模型自學(xué)使用工具？

【花師小哲】當(dāng)代煉金術(shù)（神經(jīng)網(wǎng)絡(luò)）前沿（17）——ChatGPT幫你控制機(jī)器人

然而，本篇論文是關(guān)于制作工具的：

1.制作工具與重用

制作工具其實某種程度上并不是特別困難的事情，并且對于本篇論文來講，制作工具更像是一個噱頭（但為了和之前的專欄題目對應(yīng)，所以題目還是制作工具），醉翁之意不在酒。

我們平時測試各種大模型，例如ChatGPT、文心一言時就經(jīng)常拿它們寫寫代碼，某種程度上這就是制作工具了，只不過很多時候沒有重用罷了。

沒錯，重用某種程度上才是本文的重點。

我們知道，很多問題的解法都是類似的，只不過輸出換了一下而已。如果我們每個題都讓GPT-4這樣的強(qiáng)模型來做的話，很浪費(fèi)錢（GPT-4根據(jù)輸入和輸出的token數(shù)收費(fèi)），但用一些便宜但弱一些的模型來做又能力不足，怎么辦呢？

這時候我們讓強(qiáng)模型針對一類問題寫一套解決方法（工具），然后弱模型來調(diào)用就可以重復(fù)使用工具（使用工具的能力不需要太強(qiáng)的模型）來解決類似的問題。

2.架構(gòu)

基本架構(gòu)如下：

很簡單，就是一個語言模型（工具制造者）根據(jù)一些示例做一個工具，當(dāng)然，做工具也是包括寫、評估、包裝等步驟。然后，另一個語言模型（工具用戶）就可以調(diào)用這個工具了。

OK，然后我們把這個系統(tǒng)放到真實的環(huán)境中，即我們不知道哪些問題是需要制作個新工具還是只要現(xiàn)有工具就可以了，也很簡單，再加一個語言模型：

這個模型負(fù)責(zé)審查就可以了。整體架構(gòu)并不復(fù)雜。

3.總結(jié)

所以從上文分析大家也知道了，這個工作的主要目的就是為了省錢，讓強(qiáng)且貴的模型制作一些通用的工具，然后大部分工作只需要用弱且便宜的模型用工具就可以了。

或者說，類似于一種變向的蒸餾，即從強(qiáng)模型中提取“通用知識”出來供弱模型使用。