特斯拉前AI總監(jiān)Andrej Karpathy的新教程火了。他專門面向普通大眾做了一個關(guān)于大語言模型的科普視頻。時長1小時，全部為“非技術(shù)介紹”，涵蓋模型推理、訓練、微調(diào)和新興大模型操作系統(tǒng)以及安全挑戰(zhàn)，涉及的知識全部截止到本月（非常新）。

除了up"CC"在視頻中所介紹的資源，在微信公粽.hao【AI小技巧】發(fā)送“666”即可獲得

在該教學的前半部分，Andrej Karpathy 會從構(gòu)建基本的語言模型開始講起，隨后引入 transformer 的核心「注意力」機制，作為有向圖中節(jié)點之間的一種通信 / 消息傳遞。

• 在視頻的后半部分，你將學會構(gòu)建 Transformer 的更多細節(jié)，包括多頭自注意力、MLP、殘差連接、layernorm 等。然后將學會訓練一個 GPT 模型并將其與 OpenAI 的 GPT-3（模型體量大約小 1 萬 - 100 萬倍，但神經(jīng)網(wǎng)絡相同）和 ChatGPT 進行比較。