今天分享的是大模式系列深度研究報(bào)告：《ChatGPT之訓(xùn)練自己的模型》。（報(bào)告出品方：遠(yuǎn)大）

研究報(bào)告內(nèi)容摘要如下

1.準(zhǔn)備訓(xùn)練數(shù)據(jù)

我們需要將需要訓(xùn)練的數(shù)據(jù)準(zhǔn)備為jsonl格式，這種格式的特點(diǎn)就是每一行都是json的格式 (關(guān)于什么是json，參考 這里) 如下

比如，我的訓(xùn)練數(shù)據(jù)為 dataset.jsonl ，里面的問答大概有2500行，對(duì)于fine-tuning來說，數(shù)據(jù)量不能太少，少于100條數(shù)據(jù)的話，訓(xùn)練出來的模型質(zhì)量應(yīng)該好不了

2.安裝工具

我們都知道，在機(jī)器學(xué)習(xí)領(lǐng)域，Python語言是主力 (參考 這里)在OpenAI也不例外，我們需要先安裝Python語言環(huán)境，安裝這一步省略不講了。安裝完畢后，需要使用python自帶的 pip 工具安裝OpenAI提供的訓(xùn)練工具

3.調(diào)優(yōu)數(shù)據(jù)

該指令會(huì)幫我們優(yōu)化訓(xùn)練數(shù)據(jù)，該指令運(yùn)行過程中會(huì)問我們幾個(gè)問題，主要是給prompt添加了固定的后綴，比如”-》”，給completion添加了開頭的空格和結(jié)尾的換行符，

4.提交數(shù)據(jù)訓(xùn)練

我們準(zhǔn)備好數(shù)據(jù)后，就要提交到0penAI的平臺(tái)上進(jìn)行訓(xùn)練了，此時(shí)需要提供數(shù)據(jù)文件dataset_prepared.jsonl和模型，目前OpenAI支持的BASE_MODEL有4個(gè) (參考這里)，是Davinci、Curie、Ada、Babbage，從左到有，價(jià)格分別是從貴到便宜，性能是從好到一般。如果想知道每個(gè)模型的效果，可以同時(shí)基于2個(gè)BASE_MODEL進(jìn)行訓(xùn)練，最后比較效果。這次考慮到訓(xùn)練成本，先用Curie作為BASE_MODEL訓(xùn)練

（本文僅供學(xué)習(xí)參考，不代表我們的任何投資建議。如需使用相關(guān)信息，請(qǐng)參閱報(bào)告原文。）

精選報(bào)告來源公眾號(hào)：【人工智能學(xué)派】

人工智能學(xué)派專注于：AIGC、AI大模型、AI芯片、AI算力、元宇宙、虛擬數(shù)字人、機(jī)器人、智能硬件、智能家居、智能制造、AI+電商等行業(yè)報(bào)告