一圖解讀 ?LangSmith 平臺功能
原推：https://twitter.com/zhanghaili0610/status/1696554153609253033?s=20
LangSmith 是一個用于調(diào)試、測試、評估和監(jiān)控大語言模型（LLM）應(yīng)用程序的統(tǒng)一平臺，由 LangChain 公司推出。
LangChain 的使命是讓構(gòu)建基于 LLM 的應(yīng)用變得更簡單。盡管用幾行代碼就可以搭建原型，但把原型進(jìn)化成產(chǎn)品仍然困難。LangSmith 正在解決這個問題。
LangSmith 通過 5 大核心功能幫助開發(fā)團(tuán)隊：
調(diào)試：LangSmith 可以查看事件鏈中的每個步驟的模型輸入輸出。這可以方便地試驗新鏈和新提示，找到問題根源,如意外結(jié)果、錯誤或延遲。同時可以查看延遲和 Token 使用情況來定位調(diào)用性能問題。
測試：LangSmith 可以跟蹤數(shù)據(jù)樣本或上傳自定義數(shù)據(jù)集。然后可以針對數(shù)據(jù)集運(yùn)行鏈和提示，手動檢查輸入輸出或者自動化測試。許多團(tuán)隊發(fā)現(xiàn)手工檢查有助建立對 LLM 交互的直觀感受，從而提出更好的優(yōu)化思路。
評估：LangSmith 無縫集成開源評估模塊，支持規(guī)則評估和 LLM 自評估。LLM 輔助評估有潛力大幅降低成本。
監(jiān)控：LangSmith 可以主動跟蹤性能指標(biāo)、模型鏈性能、調(diào)試問題、用戶交互體驗等，從而持續(xù)優(yōu)化產(chǎn)品。
統(tǒng)一平臺：LangSmith 整合上述功能，讓團(tuán)隊無需組裝各種工具組合，可以集中在核心應(yīng)用創(chuàng)造上。
LangSmith 代表了 LLM 應(yīng)用開發(fā)進(jìn)入成熟階段，開發(fā)團(tuán)隊不再需要自行搭建調(diào)試、測試、部署基礎(chǔ)設(shè)施，可以完全專注在創(chuàng)造獨特的產(chǎn)品。LangSmith 有望大幅降低構(gòu)建高質(zhì)量 LLM 應(yīng)用的門檻。
