深度學(xué)習(xí)已廣泛應(yīng)用于自然語言處理等領(lǐng)域的實(shí)際業(yè)務(wù)場

開課2022Web3.0應(yīng)用工程師培養(yǎng)計(jì)劃山觀

download：https://www.zxit666.com/5408/

優(yōu)化其推理性能成為部署過程中的重要一環(huán)。推理性能的提升:一方面可以充分發(fā)揮部署硬件的能力，減少用戶的響應(yīng)時間，同時節(jié)約成本；另一方面，在保持響應(yīng)時間不變的前提下，可以使用結(jié)構(gòu)更復(fù)雜的深度學(xué)習(xí)模型來提高業(yè)務(wù)準(zhǔn)確率指標(biāo)。
本文對深度學(xué)習(xí)模型在地址標(biāo)準(zhǔn)化服務(wù)中的推理性能進(jìn)行了優(yōu)化。借助高性能算子、量化、編譯優(yōu)化等優(yōu)化手段，在不降低精度指標(biāo)的情況下，AI模型的模型端到端推理速度最高可提升4.11倍。
1.模型推理性能優(yōu)化方法
推理性能的優(yōu)化是AI服務(wù)部署的重要環(huán)節(jié)之一。一方面可以提高模型推理的效率，充分釋放硬件的性能。另一方面，可以使業(yè)務(wù)在保持推理延遲不變的前提下，采用更復(fù)雜的模型，從而提高準(zhǔn)確率指標(biāo)。然而，在實(shí)際場景中推理性能優(yōu)化存在一些困難。
1.1自然語言處理場景優(yōu)化的難點(diǎn)
在典型的自然語言處理(NLP)任務(wù)中，遞歸神經(jīng)網(wǎng)絡(luò)(RNN)和Bert [7](來自變壓器的雙向編碼器表示)是使用率較高的兩種模型結(jié)構(gòu)。為了實(shí)現(xiàn)靈活的伸縮機(jī)制和在線服務(wù)部署的高性價比，自然語言處理任務(wù)通常部署在Intel Xeon處理器等x86 CPU平臺上。然而，隨著業(yè)務(wù)場景的復(fù)雜化，服務(wù)的推理計(jì)算的性能要求越來越高。以上述RNN和伯特模型為例，它們在CPU平臺上部署的性能挑戰(zhàn)如下:

RNN

遞歸神經(jīng)網(wǎng)絡(luò)是一種以序列數(shù)據(jù)為輸入，遞歸序列的進(jìn)化方向，所有節(jié)點(diǎn)(循環(huán)單元)鏈?zhǔn)竭B接的遞歸神經(jīng)網(wǎng)絡(luò)。實(shí)踐中常用的RNN包括LSTM、GRU和一些衍生產(chǎn)品。在計(jì)算過程中，如下圖所示，RNN結(jié)構(gòu)中后級的輸出取決于前級相應(yīng)的輸入和輸出。因此，RNN可以完成序列類型的任務(wù)，近年來在NLP甚至計(jì)算機(jī)視覺中得到了廣泛的應(yīng)用。與BERT相比，RN具有更少的計(jì)算量和共享的模型參數(shù)，但其計(jì)算時間依賴性會導(dǎo)致無法對序列進(jìn)行并行計(jì)算。
Rn結(jié)構(gòu)圖

伯特
BERT[7]證明了一個模型，可以在具有深度網(wǎng)絡(luò)結(jié)構(gòu)的大數(shù)據(jù)集上完成無監(jiān)督的預(yù)訓(xùn)練，然后對特定任務(wù)進(jìn)行微調(diào)。它不僅提高了這些特定任務(wù)的精度性能，而且簡化了訓(xùn)練過程。BERT的模型結(jié)構(gòu)簡單，易于擴(kuò)展。通過簡單地加深和加寬網(wǎng)絡(luò)，我們可以獲得比RNN結(jié)構(gòu)更好的精度。另一方面，精度的提高是以較高的計(jì)算成本為代價的，BERT模型中存在大量的矩陣乘法運(yùn)算，這對CPU是一個巨大的挑戰(zhàn)。