1 容量到底是什么

???? 容量對(duì)于業(yè)務(wù)的意義就好比，精力對(duì)于人的意義一樣。一個(gè)人能做多少事情是跟精力有關(guān)系的，通過容量來(lái)衡量一個(gè)服務(wù)能承擔(dān)多少流量。?標(biāo)準(zhǔn)定義：系統(tǒng)處于最大負(fù)載狀態(tài)或某項(xiàng)指標(biāo)達(dá)到所能接受的最大閾值下對(duì)請(qǐng)求的最大處理能力。

????這里不需要記憶，理解即可，有多大鍋下多少米一樣同時(shí)容量跟成本一個(gè)相互制約的東西，對(duì)于業(yè)務(wù)來(lái)說(shuō)需要綜合考慮到容量和成本之間關(guān)系；對(duì)于人來(lái)說(shuō)我們需要管理我們的精力，對(duì)于業(yè)務(wù)來(lái)也需要管理容量。?

2 容量到底在解決什么問題

????第一就是日常的穩(wěn)定性保障

????第二就是節(jié)假日的預(yù)估和保障

????第三就是長(zhǎng)期的成本優(yōu)化?? ??

3 容量的三個(gè)階段

????提起容量就不得不提各種術(shù)語(yǔ)壓測(cè)、流量、水位、混部、成本、限流、彈性擴(kuò)容等等各種術(shù)語(yǔ)；我們到底應(yīng)該需要選擇哪一個(gè)手段來(lái)解決我們的容量問題。這些到底是什么關(guān)系?

? ????核心就是三個(gè)階段：可衡量、可觀測(cè)、可應(yīng)對(duì)；如下階段和定義

4?可衡量

水位到底如何衡量和定義

????業(yè)務(wù)容量水位 = 業(yè)務(wù)負(fù)載 / 業(yè)務(wù)容量 * 100% = 當(dāng)前承載的請(qǐng)求量（事務(wù)量）/ 能承載的最大請(qǐng)求量（事務(wù)量） * 100%????資源容量水位 = 資源用量 / 資源容量 * 100% = 當(dāng)前消耗的資源量 / 總體可用的資源量 * 100%

? ? 到底是應(yīng)該用CPU還是用流量。如果用CPU又無(wú)法發(fā)現(xiàn)DB等瓶頸所在，如果用流量，不可能去兼顧每一個(gè)服務(wù)。

????在這里說(shuō)一下我的建議，入口采用QPS/極限；各個(gè)服務(wù)采用CPU進(jìn)行衡量

相關(guān)數(shù)據(jù)從哪里來(lái)?

????第一是靠壓測(cè)，第二是靠監(jiān)控

5 可觀測(cè)

解決什么核心問題

容量大盤

解決容量數(shù)據(jù)空白分散、容量自動(dòng)化感知和可視化呈現(xiàn)的問題（快速、全面、實(shí)時(shí)、精細(xì)化感知），避免對(duì)線上系統(tǒng)/鏈路/服務(wù)產(chǎn)生容量盲區(qū)，支撐和指引業(yè)務(wù)進(jìn)行資源成本優(yōu)化

容量分析

沉淀容量分析模型和分析方法，解決容量自動(dòng)化分析的問題，輸出風(fēng)險(xiǎn)提示和決策建議，也為產(chǎn)品迭代提供容量數(shù)據(jù)支撐

容量預(yù)估

解決合理進(jìn)行容量預(yù)估的問題，不是粗粒度拍一個(gè)預(yù)估數(shù)據(jù)，而是不斷沉淀模型/數(shù)據(jù)/經(jīng)驗(yàn)/能力，提升預(yù)估準(zhǔn)確率，從而提高資源利用率，降低成本解決預(yù)估流程過長(zhǎng)，整個(gè)線下過程不可回溯，準(zhǔn)確率無(wú)法穩(wěn)定把控的問題

容量治理

預(yù)防、發(fā)現(xiàn)和解決容量風(fēng)險(xiǎn)/問題，聯(lián)動(dòng)下游平臺(tái)進(jìn)行相應(yīng)自動(dòng)化操作

容量巡檢

1）避免重蹈歷史覆轍，及時(shí)發(fā)現(xiàn)和規(guī)避容量風(fēng)險(xiǎn)；

2）自動(dòng)感知和播報(bào)業(yè)務(wù)關(guān)心的容量信息

5 ?快速處置（彈性擴(kuò)容、混部和隔離、限流和降級(jí)）

彈性擴(kuò)縮容?

????所謂的彈性擴(kuò)縮容容，就是能根據(jù)流量的增長(zhǎng)來(lái)自動(dòng)擴(kuò)容，這個(gè)是如何做到的呢?這里有兩個(gè)觸發(fā)時(shí)機(jī)，資源觸發(fā)和時(shí)間觸發(fā)；

????日常的流量大部分是緩慢增長(zhǎng)的，一般是資源觸發(fā)擴(kuò)縮容，比如CPU>30時(shí)候擴(kuò)容10%，最多擴(kuò)容100%；另一種就是活動(dòng)，瞬時(shí)很高，就需要提前擴(kuò)容，或者定時(shí)擴(kuò)容，在任務(wù)來(lái)臨之前擴(kuò)容

????如果是大促，那彈性擴(kuò)容縮容就來(lái)來(lái)不及的，因?yàn)楹芏喽际敲霘?chǎng)景，就需要提前進(jìn)行擴(kuò)容操作的了，如果是日常的擴(kuò)縮容還是需要可以利用k8s的彈性來(lái)進(jìn)行的

?

混部和隔離?

• 隔離：核心和非核心一定要獨(dú)立部署，比如實(shí)例里面一定要分開。

• 混部：當(dāng)正常資源不夠的時(shí)候如何應(yīng)對(duì)一些緊急情況。一般是核心服務(wù)往非核心集群進(jìn)行混部，問題處理完后進(jìn)行退回。

限流和降級(jí)?

• 限流：是保障服務(wù)最后一道底線，是保障自己不被擊垮的最后一道防線，一定要逐層限流；比如接入層->網(wǎng)關(guān)->RPC；每一層都需要有限流和保護(hù)

• 降級(jí)：降級(jí)是關(guān)鍵時(shí)候需要做出取舍的方案，我們并不可能保障每一個(gè)服務(wù)，需要做出取舍；比如以健康碼為例子，最重要的就是紅、黃、綠三個(gè)顏色；只要能保證這三個(gè)顏色順利給出手機(jī)上即可，其他的都是可以降級(jí)的

6 容量?jī)?yōu)化方案?
????量最原始要解決的問題到底是什么 。服務(wù)對(duì)資源消耗<=常態(tài)容量的資源。常態(tài)容量來(lái)自buffer資源和線下資源的補(bǔ)充。如果補(bǔ)充的速度足夠快理論上來(lái)說(shuō)就可以不需要buffer資源的存在????

• 思路一：準(zhǔn)，精準(zhǔn)的預(yù)估，知道用戶的流量變化

• 思路二：還是準(zhǔn)，準(zhǔn)確的知道自己的容量水位

• 思路三：快，足夠快速去補(bǔ)充資源；降低日常的buffer消耗

• 思路四：還是快，當(dāng)有問題的時(shí)候足夠快的去處理問題

• 思路五：小，把問題控制在一個(gè)故障域之內(nèi)

流量預(yù)估：數(shù)據(jù)的積累，反復(fù)的積累,不斷去積累數(shù)據(jù)，大道至簡(jiǎn)；在這里算法不是很重要，重要的還是數(shù)據(jù)

資源快速補(bǔ)充：云資源快速補(bǔ)充+服務(wù)的彈性擴(kuò)容

加快處置：預(yù)案熟練度和流暢度直接決定處理速度，意識(shí)層面，補(bǔ)位意識(shí)

容量平臺(tái)—如何可持續(xù)發(fā)展?????其實(shí)場(chǎng)景對(duì)于每個(gè)公司來(lái)說(shuō)是差不多的，而且容量這個(gè)理解開展的已經(jīng)很早了，早在10年之前就已經(jīng)開始了，而且想法和思路幾乎都是一樣的，為什么有的公司進(jìn)展的比較和而有的公司去做了一遍又一遍，幾乎每個(gè)業(yè)務(wù)都重新來(lái)一遍，并且找出了很多之前不適合的理由????很多公司都在反復(fù)進(jìn)行第一步，那么如何才能使得容量平臺(tái)持續(xù)發(fā)展。

• 通用：一定要用一些通用的語(yǔ)言，盡量剝離和嵌入自身的服務(wù)
  

• 可擴(kuò)展性：業(yè)務(wù)是變化的，而且是不斷涌現(xiàn)的，一定模塊化和插件化，通用部分一定要跟業(yè)務(wù)本身完全剝離，而且需要可定制。
  

• 簡(jiǎn)單：使用起來(lái)一定要簡(jiǎn)單，如果太復(fù)雜這個(gè)平臺(tái)就會(huì)無(wú)法可持續(xù)發(fā)展

7 一些反思

問題1: buffer的到底留多少是合理的真的不需要buffer嗎？

• 在壓力極大的情況下，buffer可以壓縮到1%以下；

• 符合業(yè)務(wù)當(dāng)前利益最大化的才是最合理的，不是越多越好，當(dāng)然也不是越少越好

問題2：既然有了彈性，壓測(cè)的目的是什么

• 壓測(cè)的目的其實(shí)更多是驗(yàn)證db/cache等能力，資源的彈性都是容器上的彈性；

• 壓測(cè)的目的還是提前發(fā)現(xiàn)一些非線性的隱患

問題3：資源彈性有哪些缺點(diǎn)嗎

• 重點(diǎn)還是穩(wěn)定性，目前大量啟用了彈性伸縮，一旦彈性伸縮本身出現(xiàn)問題對(duì)將會(huì)是一個(gè)非常嚴(yán)重隱患

8 時(shí)間序列算法和case?

????基于時(shí)間做出流量預(yù)測(cè)是最常見的做法之一，這里我介紹一下時(shí)間序列的一些算法和實(shí)現(xiàn)?流量預(yù)測(cè)，比如同步增加，同比減少等。

????容量水位，如果在低峰時(shí)間發(fā)現(xiàn)流量同步增加很多，那么在高峰時(shí)期就非常容易出現(xiàn)過載的情況?趨勢(shì)預(yù)測(cè)在容量管理和容量管理的時(shí)候非常常見

常見算法

• 方法2 –?簡(jiǎn)單平均數(shù)

• 方法3 –?移動(dòng)平均數(shù)

• 方法?4 –指數(shù)平滑法

• 方法5 – Holt線性趨勢(shì)法

• 方法6 – Holt冬季季節(jié)法

• 方法7 –綜合自回歸移動(dòng)平均法（ARIMA）