在新型智算產(chǎn)業(yè)變革風(fēng)潮下，多元化算力的需求不斷增長(zhǎng)，作為智慧算力的驅(qū)動(dòng)者，浪潮信息正聚生態(tài)之力，掘金智算新時(shí)代。近日，浪潮信息元腦生態(tài)AIStation資源平臺(tái)為元腦伙伴北京傳奇天地提供全流程護(hù)航，協(xié)助其幫助某創(chuàng)新軟件技術(shù)有限公司構(gòu)建高性能、高可靠、可擴(kuò)展的軟硬件系統(tǒng)架構(gòu)，實(shí)現(xiàn)AI訓(xùn)練場(chǎng)景下算力資源的統(tǒng)一管理與智能化調(diào)度。

近年來(lái)，得益于人工智能與深度學(xué)習(xí)技術(shù)的進(jìn)步與飛躍式的產(chǎn)業(yè)變革，基于視頻識(shí)別的算法與精度調(diào)優(yōu)取得了較佳提升，如 TSM、SlowFast、I3D 等，由此一來(lái)，則對(duì)底層算力系統(tǒng)提出了更高的要求。以及，當(dāng)模型與應(yīng)用走向真正的場(chǎng)景部署時(shí)，用戶使用多元AI芯片系統(tǒng)時(shí)則會(huì)碰到系統(tǒng)適配、芯片驅(qū)動(dòng)、互聯(lián)互通、功耗管理、安全傳輸、易用性等各類瓶頸問(wèn)題，利用軟件平臺(tái)對(duì)算力實(shí)現(xiàn)更精細(xì)的調(diào)度，成為滿足算力增長(zhǎng)需求的另一個(gè)關(guān)鍵要素：通過(guò)構(gòu)建高性能、高可靠、可擴(kuò)展的軟硬件系統(tǒng)架構(gòu)，實(shí)現(xiàn)AI訓(xùn)練場(chǎng)景下算力資源的統(tǒng)一管理與智能化調(diào)度。

浪潮信息元腦生態(tài)平臺(tái)，旨在通過(guò)連接左右手伙伴的能力協(xié)同，盡己所長(zhǎng)，形成優(yōu)勢(shì)互補(bǔ)，面向生態(tài)復(fù)雜離散、產(chǎn)業(yè)AI落地困難的行業(yè)挑戰(zhàn)，以持續(xù)共贏的主張，聚合具備AI開發(fā)核心能力的左手伙伴和具備行業(yè)AI整體方案交付能力的右手伙伴，提供“AI算力平臺(tái)、AI資源平臺(tái)、AI算法平臺(tái)”全面融合的生態(tài)全棧能力，加速行業(yè)智能的構(gòu)建，助力最終用戶實(shí)現(xiàn)業(yè)務(wù)的智能轉(zhuǎn)型升級(jí)。

基于AI資源平臺(tái)層面，浪潮信息AIStation通過(guò)訓(xùn)練與推理兩大平臺(tái)，實(shí)現(xiàn)異構(gòu)算力集群的統(tǒng)一池化管理和多策略調(diào)度，進(jìn)而保證客戶“視頻識(shí)別分析、目標(biāo)檢測(cè)與跟蹤”等模型應(yīng)用場(chǎng)景的算力資源使用和調(diào)度，提升整體利用率；在保障全生命周期管理方面，提升故障容錯(cuò)、集群監(jiān)控運(yùn)維等一體化能力，實(shí)現(xiàn)大規(guī)模分布式訓(xùn)練任務(wù)的健壯性、穩(wěn)定性要求，降低大模型訓(xùn)練門檻和成本。

作為元腦生態(tài)的左手伙伴，北京傳奇天地深耕于云計(jì)算領(lǐng)域多年，立足于元腦生態(tài)的全棧協(xié)同優(yōu)勢(shì)，為某創(chuàng)新軟件技術(shù)公司提供“一站式智能識(shí)別監(jiān)控 ”解決方案，針對(duì)視頻識(shí)別的業(yè)務(wù)端海量數(shù)據(jù)處理、模型訓(xùn)練、模型應(yīng)用等環(huán)節(jié)實(shí)現(xiàn)全鏈條全面提速，通過(guò)多種資源的高效管理和調(diào)度策略，幫助某創(chuàng)新軟件技術(shù)有限公司實(shí)現(xiàn)資源使用率與分配效率的全線提升，實(shí)現(xiàn)萬(wàn)卡集群的毫秒級(jí)調(diào)度，整體資源利用率提升至75%以上。

基于視頻識(shí)別“高實(shí)時(shí)、高準(zhǔn)確、高擴(kuò)展、高安全”的多方面屬性需求，要求平臺(tái)系統(tǒng)在實(shí)現(xiàn)數(shù)據(jù)安全與隱私并行的原則之下，實(shí)現(xiàn)大量數(shù)據(jù)的實(shí)時(shí)處理與數(shù)據(jù)的準(zhǔn)確識(shí)別及信息提取。從擴(kuò)展性看，平臺(tái)也需隨著監(jiān)控系統(tǒng)的規(guī)模和需求變化而變化。方案基于AIStation平臺(tái)，通過(guò)有效的數(shù)據(jù)緩存機(jī)制為模型后續(xù)訓(xùn)練鋪平道路，實(shí)現(xiàn)200%-300%的效率提升，利用視覺(jué)算法庫(kù)對(duì)視頻進(jìn)行編解碼處理、圖像去噪、增強(qiáng)等預(yù)處理，并打標(biāo)簽形成訓(xùn)練樣本庫(kù)。

在模型訓(xùn)練方面，保障“健壯性”與“穩(wěn)定性”是模型定制開發(fā)時(shí)的首要強(qiáng)要求。對(duì)此，針對(duì)模型定制訓(xùn)練當(dāng)中所遇算力網(wǎng)絡(luò)搭建、數(shù)據(jù)加速、網(wǎng)絡(luò)通信優(yōu)化等瓶頸，AIStation通過(guò)提供TensorFlow，Caffe，MXnet等深度學(xué)習(xí)框架鏡像，實(shí)現(xiàn)鏡像分發(fā)加速與資源動(dòng)態(tài)彈性伸縮，在提高計(jì)算資源利用率的同時(shí)加速整個(gè)訓(xùn)練過(guò)程。

要推動(dòng)智能算力實(shí)現(xiàn)高速度增長(zhǎng)，就需要在場(chǎng)景中創(chuàng)新，在創(chuàng)新中再謀新，基于此，浪潮信息將持續(xù)攜手合作伙伴，以計(jì)算之力構(gòu)建融合開放的基礎(chǔ)架構(gòu)，為實(shí)現(xiàn)計(jì)算產(chǎn)業(yè)的智算轉(zhuǎn)型提供堅(jiān)實(shí)的后盾。