每一周，我們的同事都會向社區(qū)的成員們發(fā)布一些關于 Hugging Face 相關的更新，包括我們的產(chǎn)品和平臺更新、社區(qū)活動、學習資源和內(nèi)容更新、開源庫和模型更新等，我們將其稱之為「Hugging News」。本期 Hugging News 有哪些有趣的消息，快來看看吧！????

??Hub 加入分類整理 (Collection) 功能

現(xiàn)在你可以把任何你喜歡的模型 / 數(shù)據(jù)集 / Space 應用等按照自己的喜好進行分類整理和收藏。這個功能不僅對個人賬號開放，同時對 Hub 上的組織賬號也同樣開放，Collection 會顯示在個人或者組織的資料頁面上，快去試試看吧！

查看文檔: https://hf.co/docs/hub/collections

模型顯存計算器

模型顯存計算器 (Model Memory Calculator) 工具，旨在幫助大家計算在 ?? Hub上訓練或運行大型模型所需的 vRAM（顯存）。這個工具能在百分之幾的誤差內(nèi)估算模型的顯存需求。

最小推薦的 vRAM 是模型“最大層”的大小，而訓練一個模型大約需要其大小的 4 倍顯存 (考慮到 Adam 優(yōu)化器)。在進行模型推理 (inference) 時，可能還需額外增加最多 20% 的顯存。這個工具支持所有使用 transformers 和 timm 庫的模型。使用時只需輸入模型的 URL 或名字，選擇其來源框架，以及你想使用的精度即可。即刻體驗: https://hf-accelerate-model-memory-usage.hf.space/

探索生物和化學方面的基座模型

我們一位同事 Katie 正在收集生物和化學領域的基座模型的列表，我們看到絕大多數(shù)都是開源并且開放權重的。

你可以在這里查看到這些模型的列表: https://hf.co/spaces/hf4h/bio-chem-foundation-models

為什么要在文本生成中選擇使用流式傳輸？

流式傳輸是服務器逐個返回模型生成的標記 (tokens) 的模式，這有助于用戶逐步查看生成過程，而不必等待整個生成完成。這對于提高終端用戶體驗至關重要，因為它減少了延遲，這是流暢體驗的關鍵因素之一。

使用流式傳輸，服務器可以在生成完整響應之前逐個返回標記，使用戶能夠更早地了解生成質(zhì)量。這有一些積極的影響：對于非常長的查詢，用戶可以更早地獲得結(jié)果。在生成過程中觀察進展允許用戶在生成不符合他們期望的方向時停止生成。在早期展示結(jié)果時，感知的延遲較低。在會話界面中使用時，體驗感覺更加自然。

我們發(fā)布了一個文檔，介紹了如何在 Python、cURL 和 JavaScript 中實現(xiàn)流式傳輸，以及流式傳輸?shù)墓ぷ髟恚渲惺褂昧?Server-Sent Events（SSE）來建立 HTTP 連接并實現(xiàn)數(shù)據(jù)的單向傳輸。通過指定最大并發(fā)請求數(shù)，還可以管理服務器的負載。

查看文檔: https://hf.co/docs/text-generation-inference/conceptual/streaming

以上就是本期的 Hugging News，新的一周開始了，我們一起加油！?????