這幾天，大家都在關(guān)注日本電信運營商KDDI的大規(guī)模通信故障。

這個故障影響很大，涉及到日本全境范圍，共3915萬用戶。而且，故障持續(xù)的時間很長，差不多花了兩天，才算基本恢復(fù)。

故障的具體原因，我看到很多公眾號都已經(jīng)寫了，我就不再重復(fù)分析了。

今天這篇文章，我想把話題放大一點，和大家深入聊聊——都2022年了，為什么我們的通信網(wǎng)絡(luò)還有這么多故障，以及，我們到底有沒有終極解決方案。

通信故障：一場持續(xù)百年的博弈

故障是通信網(wǎng)絡(luò)的天然屬性。就像人會生病一樣，通信網(wǎng)絡(luò)自誕生以來，就伴隨著故障?；蛘哒f，我們就是在解決故障的過程中，才創(chuàng)造了通信網(wǎng)絡(luò)。

一百多年來，無數(shù)的通信人，都在與故障進行堅持不懈的斗爭和博弈。他們努力研發(fā)了各種技術(shù)，采用了各種手段，和通信故障抗爭。

從宏觀上來說，抗爭的效果是顯著的。在經(jīng)驗的不斷積累下，在工藝和技術(shù)的不斷進步下，通信網(wǎng)絡(luò)發(fā)生故障的概率在不斷下降。

年輕的讀者可能并不知道，20多年前，固定電話撥不通（有電話的家庭都不多），和停水停電一樣，是常見現(xiàn)象。10多年前，手機撥不通，上網(wǎng)上不去，也是常見現(xiàn)象。

近十年來，這些現(xiàn)象變得越來越少見。偶爾發(fā)生一次，大家反而會覺得很奇怪。網(wǎng)絡(luò)斷了，很多人的第一反應(yīng)是手機壞了，或者欠費了，趕緊重啟或充值。不是嗎？

我們現(xiàn)在所處的信息社會，通信網(wǎng)絡(luò)和水電一樣，是重要的基礎(chǔ)設(shè)施。我們的工作和生活，還有各行各業(yè)的運轉(zhuǎn)，都離不開通信網(wǎng)絡(luò)。

在這樣的前提下，通信運營商作為國企，作為網(wǎng)絡(luò)的建設(shè)和維護者，會始終把網(wǎng)絡(luò)的安全穩(wěn)定放在第一位。

針對網(wǎng)絡(luò)穩(wěn)定，工信部給運營商們設(shè)定了嚴格的考核指標。如果某省某市出現(xiàn)了網(wǎng)絡(luò)故障，一把手肯定要擔(dān)責(zé)，仕途堪憂。

運營商領(lǐng)導(dǎo)的壓力，會傳遞到員工身上，也會傳遞到設(shè)備商和外包商身上。

現(xiàn)在市場競爭如此激烈，一旦出事，要么就是巨額的賠款，要么就是丟掉這個省的市場份額，這是設(shè)備商和外包商無法承受的損失。

所以說，整個通信行業(yè)對于通信網(wǎng)絡(luò)的安全穩(wěn)定，重視度肯定是足夠的。關(guān)鍵，還是能力和執(zhí)行的問題。

通信網(wǎng)絡(luò)的弱點，究竟在哪？

首先，我要和大家說一下通信網(wǎng)絡(luò)的安全級別定義。

根據(jù)場景不同，通信網(wǎng)絡(luò)的安全分為不同等級。從低到高，分別是家庭級、企業(yè)級、電信級。

像我們家里用的路由器什么的，都屬于家庭級。這種設(shè)備的安全性可靠性很低，說壞就壞，很容易導(dǎo)致網(wǎng)絡(luò)中斷。

企業(yè)級呢，就是單位里面用的網(wǎng)絡(luò)設(shè)備。根據(jù)網(wǎng)絡(luò)規(guī)模和用戶數(shù)量，企業(yè)級設(shè)備有較高的安全性可靠性，不太容易中斷服務(wù)。

電信級的要求，就更高了。像移動、電信、聯(lián)通，它們的網(wǎng)絡(luò)，要為上億的用戶提供服務(wù)，絕對不允許輕易出現(xiàn)故障。通常來說，電信級的可靠性，要達到5個9以上的標準。

今天小棗君說的通信網(wǎng)絡(luò)，指的就是運營商面向公眾的公共通信網(wǎng)絡(luò)，既包括蜂窩移動通信網(wǎng)絡(luò)，也包括固網(wǎng)寬帶網(wǎng)絡(luò)。它們都屬于電信級。

蜂窩移動通信網(wǎng)絡(luò)和固網(wǎng)寬帶網(wǎng)絡(luò)的架構(gòu)其實是類似的，主要區(qū)別在于接入網(wǎng)部分。

蜂窩移動通信網(wǎng)絡(luò)是無線接入網(wǎng)，接入設(shè)備是基站。而固網(wǎng)寬帶網(wǎng)絡(luò)是有線接入網(wǎng)，接入設(shè)備是PON設(shè)備（無源光網(wǎng)絡(luò)設(shè)備，包括光貓）。

我們就以蜂窩移動通信網(wǎng)絡(luò)為例，進行分析。

公共通信網(wǎng)絡(luò)，服務(wù)的是數(shù)以億級的用戶群體，所以，通常會采用金字塔級的架構(gòu)，核心網(wǎng)為核心，傳輸網(wǎng)（承載網(wǎng)）為骨干，接入網(wǎng)為四肢。

大家一眼就能看明白，這種架構(gòu)，最大的弱點，就在于核心網(wǎng)和傳輸網(wǎng)（尤其是骨干網(wǎng)）。

核心網(wǎng)是管理中樞，是網(wǎng)絡(luò)的心臟和大腦，一旦掛了，就整個網(wǎng)絡(luò)掛了。所以，核心網(wǎng)工程師（比如當年的我）是風(fēng)險和壓力最大的崗位。

傳輸網(wǎng)（承載網(wǎng)）呢，是通信網(wǎng)絡(luò)的血管和神經(jīng)。末梢還好說，壞了最多影響一小塊，但是，如果心血管和腦血管壞了，怎么辦？那也是徹底癱瘓。

這次KDDI發(fā)生的故障，還有2021年10月DoCoMo發(fā)生的故障，以及2020年英國四大運營商的故障，2020年美國CenturyLink的故障，都和核心路由器有關(guān)。說白了，就是心腦血管出了問題，整個人（網(wǎng)絡(luò)）就癱了。

相比之下，接入網(wǎng)這邊出大問題的概率很低。個別基站“掉站”，最多影響幾百幾千人，范圍很小，投訴可控。

如果接入網(wǎng)出現(xiàn)大規(guī)模故障，那極有可能是設(shè)備商的軟件版本問題，或者硬件批次問題。這種情況的概率極低。

為了防范故障，通信人都做了些什么？

那么，為了保證通信網(wǎng)絡(luò)的安全平穩(wěn)運行，防范故障的發(fā)生，我們通信人都采用了哪些辦法呢？

首先，是頂層架構(gòu)設(shè)計的完善。

網(wǎng)絡(luò)的架構(gòu)，是網(wǎng)絡(luò)安全之本。一個好的架構(gòu)，既要考慮性能和容量，也要考慮成本，還要考慮安全和冗余。

這里請大家務(wù)必記住一點：通信設(shè)備作為一個復(fù)雜的產(chǎn)品，不管你怎么設(shè)計或堆料，它都存在故障的可能，只是概率高低、時間早晚的問題。

對于可能出現(xiàn)的故障，與其嚴防死守，不如重點考慮發(fā)生故障之后，該怎么辦。

所以，引入備份機制，是應(yīng)對故障最有效的手段。

大家都學(xué)過“概率與統(tǒng)計”，1個設(shè)備出現(xiàn)概率的故障如果是1%，那么，兩個設(shè)備同時出故障的概率，就是1%×1%=0.01%。沒錯吧？

為了保證絕對的安全，網(wǎng)絡(luò)架構(gòu)設(shè)計時，會采用POOL（池）組網(wǎng)的方式，如下圖：

好幾個設(shè)備共同組成池子（POOL），各自負責(zé)業(yè)務(wù)，如果有一個壞了，其它的立刻頂上，保證業(yè)務(wù)不受影響。

核心設(shè)備，通常有兩個或兩個以上，分別在省會城市的不同區(qū)域，物理上就離得很遠。

此外，在做網(wǎng)絡(luò)架構(gòu)設(shè)計時，重要的設(shè)備網(wǎng)元通常會放在安全級別更高的核心機房。

例如，移動通信網(wǎng)絡(luò)里面最最最重要的、負責(zé)存儲和管理用戶數(shù)據(jù)的HSS（就是以前的HLR，里面有每個用戶的手機號碼、鑒權(quán)數(shù)據(jù)、業(yè)務(wù)信息等），就存放在省會城市的核心機房。同時，維護人員會定期進行數(shù)據(jù)的物理異地隔離備份。

這幾年，因為地質(zhì)災(zāi)害，加上戰(zhàn)爭或恐襲等因素考量，運營商甚至開始做異省份的備份。

例如，去年鄭州洪災(zāi)，當時核心機房被淹，HLR退服，就緊急啟用了放在鄰近省份省會城市的HLR，實現(xiàn)業(yè)務(wù)的臨時恢復(fù)。

第二個辦法，底層的主備機制。

剛才我們說的是頂層設(shè)計的冗余機制。具體到機房、機架、單板、線纜，也都有主備的設(shè)計，可以稱之為底層的主備機制。

如果去過機房，你就會發(fā)現(xiàn)，機柜上的機框，插著各種各樣的單板。而這些單板，基本上都是成對出現(xiàn)的。

也就是說，某一類型的單板，通常都會有兩塊。

網(wǎng)線和光纖也是一樣，你幾乎看不到單根的線纜，都是成對的。

這樣做的原因，就是為了互相備份。如果某塊單板壞了，那另一個單板就能繼續(xù)工作，保證業(yè)務(wù)不受影響。同時，系統(tǒng)會進行報警，提醒工作人員盡快更換。

電源也是一樣，電信機房所有機柜設(shè)備，肯定都有至少兩路電源輸入。

除了市電以為，重要機房還會設(shè)置蓄電池、UPS、發(fā)電機等應(yīng)急供電設(shè)備。

第三，完善的管理制度和法規(guī)。

技術(shù)永遠都不是影響網(wǎng)絡(luò)安全穩(wěn)定的唯一要素。對通信網(wǎng)絡(luò)威脅最大的，其實是人，而不是技術(shù)。

對于這一點，小棗君相信每一個通信人都會有相同的感受。

在管理流程和制度方面，在工程技術(shù)規(guī)范方面，我們有過無數(shù)次血的教訓(xùn)。

為什么升級方案要反復(fù)評審？為什么工程規(guī)范要那么嚴格？為什么要建立備件倉庫？為什么割接步驟要double-check，甚至triple-check？為什么重大操作后要安排值守？為什么重要節(jié)假日要封網(wǎng)？……

這些都是前人踩雷總結(jié)下來的經(jīng)驗。

除了內(nèi)部管理制度和流程標準之外，針對現(xiàn)在經(jīng)常發(fā)生的通信網(wǎng)絡(luò)蓄意破壞事件，國家也建立了越來越嚴格的法律法規(guī)，進行處罰。

像非法施工鏟斷光纖、蓄意破壞基站、剪斷光纖，都將受到法律的制裁。

通信故障背后的深層次原因

有合理的網(wǎng)絡(luò)架構(gòu)設(shè)計，有齊備的主備機制，又有完善的制度和規(guī)范，為什么還會發(fā)生這么多故障？

接下來，我來說點深層次的原因。

首先第一點，估計也是大家最認同的一點，那就是通信行業(yè)的內(nèi)卷環(huán)境。

這些年，惡意競爭、低價中標盛行，設(shè)備商和分包商既要搶單，又要維持利潤，只能拼命壓低成本，比如產(chǎn)品設(shè)計成本、用料成本、施工材料成本。更主要的是，人員工資成本。

成本不斷壓縮，勢必影響產(chǎn)品可靠性以及工程質(zhì)量。過低的工資，導(dǎo)致大量經(jīng)驗豐富的人才流失。分包商為了完工，只能招聘應(yīng)屆生，簡單培訓(xùn)（甚至沒有培訓(xùn)）之后，派到現(xiàn)場干活。

這些人員缺乏必要的培訓(xùn)和實踐，素質(zhì)水平和技術(shù)能力不足，成為很大的風(fēng)險點。

有些極個別素質(zhì)低的，被壓迫狠了，直接刪庫跑路，也不是沒有可能。

前些年，為了確保一線員工不被克扣待遇，有廠商甚至和分包商簽訂合同，約束外包員工的收入底線。

除了低價競爭之外，影響網(wǎng)絡(luò)運行安全的另一個重要因素，是不斷增加的技術(shù)復(fù)雜度。

越先進的技術(shù)，復(fù)雜度越高，可靠性越低。隨著技術(shù)的演進，運營商的網(wǎng)絡(luò)規(guī)模變得越來越大，組網(wǎng)也越來越復(fù)雜，出現(xiàn)問題的概率大大增加。

通信網(wǎng)絡(luò)的潮汐效應(yīng)是非常明顯的。閑時和忙時有時候會有十倍甚至百倍的差異。如果出現(xiàn)意外事件（災(zāi)害等），話務(wù)量激增，更可能是千倍的差異。

運營商不可能做千倍的冗余設(shè)計。所以，如果沒有合理的旁路設(shè)計或閾值設(shè)計，網(wǎng)絡(luò)出現(xiàn)擁塞的概率是極高的。（這幾年的幾次重大故障，都有信令流量擁塞的因素。）

目前運營商的復(fù)雜組網(wǎng)，自己都沒幾個人能完全看懂。時間久了，人員一流動，就更陌生了。

通信網(wǎng)絡(luò)本來就是一門玄學(xué)，問題千奇百怪，誰敢說自己能算準每一種可能性？

第三個潛在的網(wǎng)絡(luò)安全風(fēng)險，也是小棗君最擔(dān)心的風(fēng)險，那就是外部的網(wǎng)絡(luò)攻擊。例如黑客、病毒和系統(tǒng)漏洞。

如今，通信設(shè)備基本上都IP化、云化了，網(wǎng)絡(luò)越來越開放，也有的直接部署在公有云上，和外界的物理隔離越來越弱，比以前更容易受到攻擊。

現(xiàn)在的攻擊者，水平也比以前高很多，手段也更加多樣化，對網(wǎng)絡(luò)的威脅極大。

當然，運營商和設(shè)備商在防范網(wǎng)絡(luò)攻擊方面，投入也很大。

現(xiàn)在，所有廠商都關(guān)注“安全加固”這個概念。顧名思義，安全加固就是封堵系統(tǒng)漏洞，使得系統(tǒng)更加穩(wěn)固。運營商會采用第三方工具，或聘請第三方廠家，對現(xiàn)網(wǎng)設(shè)備進行安全掃描，尋找安全漏洞，然后要求設(shè)備商進行整改和封堵。

這種“道高一尺，魔高一丈”的博弈，會長期持續(xù)下去。

但是，小棗君個人認為，目前防御的一方，在人員安全意識、技術(shù)能力方面，都存在很大問題。后續(xù)，我們遇到的安全事件，會越來越多。

希望有關(guān)單位和部門不要把安全放在嘴邊，真正花點功夫提升自己的人員素質(zhì)，加強培訓(xùn)。不然真出了事，補救就太遲了。

最后的話

日本KDDI的故障不是第一次，也肯定不是最后一次。通信網(wǎng)絡(luò)故障，就像擊鼓傳花，誰也不知道自己是不是下一個。

現(xiàn)在，廠商們都提出要引入AI，讓人工智能來接管網(wǎng)絡(luò)，以此降低網(wǎng)絡(luò)的故障率。也有的廠商，在網(wǎng)絡(luò)云化的基礎(chǔ)上，搞灰度升級（即局部升級），也能大幅降低網(wǎng)絡(luò)風(fēng)險。這些都是好的趨勢。

我覺得，在與通信網(wǎng)絡(luò)故障進行斗爭的道路上，我們還有很長的路要走。路漫漫其修遠兮，通信人當上下而求索。

好了，以上就是今天文章的全部內(nèi)容。感謝大家的耐心閱讀，我們下期再見！