SMP 2023 ChatGLM金融大模型挑戰(zhàn)賽環(huán)境如何配置？專屬新手的保姆及教程來啦！
? ? 我手上有個超級酷炫的消息要分享給大家！安碩信息、阿里云和魔搭社區(qū)聯(lián)手發(fā)起了「ChatGLM 金融大模型挑戰(zhàn)賽」！
? ? 這次挑戰(zhàn)賽的目標非常明確，就是利用咱們自家爐火純青的大型語言模型，為金融行業(yè)提供一流的、貼心的服務。我兄弟，為了激發(fā)我們頭腦中的創(chuàng)意火花，組委會可是給咱們提供了堪稱豪華的資源支持！算力？別提了，絕對是夠狠的，數據？絕對是豐富到爆的，技術支持？嘿嘿，有問必答，秒回不手軟！
? ? 等等，關鍵來了！冠軍豈止是場面上的獲勝者？咱們最后的獎勵可是層出不窮，聽好了！現(xiàn)金獎金三萬大洋，頂級 ChatGLM2-12B 模型商業(yè)授權價值 180 萬大洋，還有價值三十大洋的 GPU 算力使用權！嗷嗷嗷，這可是讓咱們飛躍向前的機會！
? ? 我們的任務就是把ChatGLM2-6B模型玩得風生水起，打造一個超級智能的金融問答系統(tǒng)，給用戶提供無與倫比的精準解答！記住，除了這款大型語言模型，其他都不許碰，但你可以利用公開的數據來給模型做微調，還可以施展出絕活，使用向量數據庫等最新技術來提升系統(tǒng)的性能哦！
? ? 咱們這場挑戰(zhàn)絕對是金融領域語言模型應用的創(chuàng)新新突破，它將帶來不同領域間的緊密融合。我們每個人都是活雷鋒，踏上這個異想天開的探索之旅！在這個廣袤的知識海洋里，讓我們攪動起思想的漣漪，激發(fā)出獨特的靈感火花！一起走向輝煌，創(chuàng)造屬于我們自己的傳奇！
那么本次比賽最基本的環(huán)境該如何配置呢？歡迎新手小白們用我的以下方法進行嘗試：
根據官方給出的資料可以看出需要去兩種網址進行下載：
一、模型下載（ChatGLM2-6B）
pip install --upgrade torch
pip install transformers -U
# modelscope >= 1.7.2
二、數據集下載（ChatGLM評估挑戰(zhàn)賽-金融賽道數據集）
1、datasets包最新版本有兼容性問題，需要安裝2.8.0版本，執(zhí)行：pip3 install datasets==2.8.0
2、git加載，執(zhí)行：git clone http://www.modelscope.cn/datasets/modelscope/chatglm_llm_fintech_raw_dataset.git
3、sdk加載：
1）datasets版本限制為 >=2.8.0, <=2.13.0，可執(zhí)行： pip3 install?datasets==2.13.0
2）請將modelscope sdk升級到v1.7.2rc0，執(zhí)行： pip3 install "modelscope==1.7.2rc0" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
3）
a、創(chuàng)建個text.py文件，內容如下：
from modelscope.msdatasets import MsDataset # 使用流式方式加載「推薦」 # 無需全量加載到cache，隨下隨處理 # 其中，通過設置 stream_batch_size 可以使用batch的方式加載 ds = MsDataset.load('chatglm_llm_fintech_raw_dataset', split='train', use_streaming=True, stream_batch_size=1) for item in ds: ? ?print(item) # 加載結果示例（單條，pdf:FILE字段值為該pdf文件本地緩存路徑，文件名做了SHA轉碼，可以直接打開） {'name': ['2020-03-24__北京鼎漢技術集團股份有限公司__300011__鼎漢技術__2019年__年度報告.pdf'], 'pdf:FILE': ['~/.cache/modelscope/hub/datasets/modelscope/chatglm_llm_fintech_raw_dataset/master/data_files/430da7c46fb80d4d095a57b4fb223258ffa1afe8bf53d0484e3f2650f5904b5c']}
b、執(zhí)行python text.py進行文件加載
（c、如果出現(xiàn)報錯:numpy.core.multiarray failed to import，可執(zhí)行：pip install -U numpy，若你為非root用戶記得加上sudo）
? ? 以上就是我在配置SMP 2023 ChatGLM金融大模型挑戰(zhàn)賽環(huán)境的全過程，希望可以幫到大家。歡迎發(fā)私信與我共同討論更多該領域的知識！
