可在線運行的notebook示例：在kaggle網(wǎng)站搜索 chatglm2-6b-32k 即可查看

首先需要導(dǎo)入模型：（這里僅使用CPU推理，因為該模型對內(nèi)存和顯存的要求較高，若你的電腦性能較高可以使用GPU推理）

接著即可進行模型推理，同時計算模型推理的時間：

需要注意的是，該模型應(yīng)該使用在長文檔對話的情況，若僅僅使用于短文本對話，不妨使用原始的chatglm2-6b。并且長文本模型對電腦的性能要求會更高，后續(xù)可以期待一下量化版本的長文本模型。