寫在前面

本文中所有的內(nèi)容僅供參考，本人并不對任何產(chǎn)生的后續(xù)問題負(fù)任何責(zé)任。

特別鳴謝：秋葉aaaki?https://space.bilibili.com/12566101?spm_id_from=333.337.0.0

感謝大佬們的開源精神，為社區(qū)做出的巨大貢獻(xiàn)。在本章節(jié)中將會使用秋葉aaaki的一鍵包進(jìn)行演示。

軟件安裝與運(yùn)行

經(jīng)過了前面的兩個章節(jié)，到這里你應(yīng)該已經(jīng)配置好了適合自己的環(huán)境，這個時候我們就可以真正地開始安裝AI程序了。到寫這篇文章的時間為止，市面上已經(jīng)有了很多不同的開源模型。大家可以自行選擇適合自己的LLM模型進(jìn)行安裝，例如LLAMA系的模型，哈工大的開源模型，ChatGLM等等。在這篇文章中，我選擇使用ChatGLM進(jìn)行本地化部署。

實(shí)際上你可以通過直接百度搜索ChatGLM查找清華大學(xué)相關(guān)項(xiàng)目的主頁或者訪問此鏈接：https://github.com/THUDM/ChatGLM-6B 直接通過Github庫獲取軟件包。但大佬秋葉aaaki已經(jīng)做了傻瓜式的一鍵安裝包，所以我們直接選擇最簡單的方法?？梢酝ㄟ^查看視頻：https://www.bilibili.com/video/BV1E24y1u7Go/?spm_id_from=333.999.0.0 下方的介紹來獲取一鍵包程序。其實(shí)整個安裝包的原理非常簡單，下載壓縮包后將三個壓縮包直接解壓到同一個文件夾里，直接選擇適合自己環(huán)境的運(yùn)行程序雙擊運(yùn)行就可以了。

如果一切順利，那么在經(jīng)過幾分鐘到十分鐘到加載后，屬于你的本地ChatGLM就已經(jīng)開始運(yùn)行了，輸入cmd中顯示的網(wǎng)址打開Web-UI界面就可以運(yùn)行了。

需要注意的是，程序開始運(yùn)行的時候就需要一部分的顯存/內(nèi)存，之后的每一次對話都需要消耗一部分的顯存/內(nèi)存，當(dāng)所有的顯存/內(nèi)存都被占用滿后，就會顯存/內(nèi)存溢出模型崩潰。這個時候只能重新啟動以釋放顯存/內(nèi)存。Int4量化下模型的需要6G顯存，Int8量化下模型需要8G顯存，而原版的fp16親測需要12G及以上的顯存才能正常運(yùn)行。同時都建議搭配16G及以上的內(nèi)存，而CPU模式下需要32G的內(nèi)存以運(yùn)行。所以在使用時還請注意選擇適合自己的啟動腳本。Int4的效果沒有Int8好，fp16原版效果最好。

該章節(jié)的教程就此結(jié)束，我將會在下一章中介紹ChatGLM的Lora訓(xùn)練方法。

附

在這里我收集了一些在使用中常見的報錯及解決方案，僅供參考：

1. Symbol cudaLaunchKernel not found ...cudart64_65.dll 需要你檢查更新顯卡驅(qū)動

2. RuntimeError... cublasLt not initialized 缺少CUDA環(huán)境，需要安裝CUDA

3.Library * is not initialized 缺少CUDA或者Cudnn，如果已經(jīng)安裝了那可能是PATH路徑不對，需要檢查PATH是否正確。如果仍然不是那可能是缺少某個系統(tǒng)dll文件，錯誤中的XXX.dll即為你缺失的文件

4.OutOfMemoryError: CUDA out of memory. 爆顯存了

5.在加載100%后會卡住 正?，F(xiàn)象，等一會就好了

后續(xù)有其他問題及解決方案待補(bǔ)充，歡迎評論區(qū)留言

本文中如有錯誤或疏漏，歡迎私信我或在下方評論區(qū)留言，我會修正或補(bǔ)充