揭秘NGSOC如何助力冬奧安全運(yùn)營(yíng)中心-標(biāo)準(zhǔn)化運(yùn)營(yíng)篇展示了冬奧安全運(yùn)營(yíng)中心如何進(jìn)行標(biāo)準(zhǔn)化運(yùn)營(yíng)，本篇將介紹冬奧安全運(yùn)營(yíng)中心背后的安全運(yùn)維保障及應(yīng)急響應(yīng)保障。
如果說(shuō)冬奧安全運(yùn)營(yíng)中心是整個(gè)冬奧會(huì)網(wǎng)絡(luò)安全的保障，那么安全運(yùn)維和應(yīng)急響應(yīng)就是安全運(yùn)營(yíng)中心的保障。
提前800天進(jìn)場(chǎng) 打磨出標(biāo)準(zhǔn)化安全運(yùn)維流程
“以往所有項(xiàng)目運(yùn)維團(tuán)隊(duì)往往是最后介入，而冬奧項(xiàng)目運(yùn)維團(tuán)隊(duì)在2019年12月份就開(kāi)始介入進(jìn)場(chǎng)了。”提起冬奧項(xiàng)目的安全運(yùn)維工作，奇安信冬奧項(xiàng)目集成交付負(fù)責(zé)人曾慶表示。
“在這兩年多的過(guò)程中，我們要與規(guī)劃組對(duì)接目的和預(yù)期，負(fù)責(zé)所有產(chǎn)品的集成交付，這里的交付還包括了解冬奧組委和各個(gè)業(yè)務(wù)相關(guān)方的業(yè)務(wù)架構(gòu)，服務(wù)對(duì)象、范圍等，賽前與所有團(tuán)隊(duì)協(xié)同完成測(cè)試賽，還要負(fù)責(zé)賽后的場(chǎng)館資產(chǎn)有效撤離、設(shè)備清退和數(shù)據(jù)清退等全流程的工作。”
如何梳理安全運(yùn)維工作流程？曾慶認(rèn)為，制定安全運(yùn)維流程要考慮的最關(guān)鍵因素，就是是否影響比賽。在冬奧會(huì)進(jìn)行過(guò)程中，肯定會(huì)出現(xiàn)如由于配置或者設(shè)備本身的問(wèn)題影響到正常的安全監(jiān)測(cè)甚至影響到前端賽事，所以奇安信要清晰的知道冬奧組委在賽時(shí)階段的要求是什么，安全運(yùn)維所有流程都是要符合賽時(shí)業(yè)務(wù)要求。如果出現(xiàn)重大事件影響到比賽賽事，我們整個(gè)的處理流程要確保在一個(gè)小時(shí)之內(nèi)業(yè)務(wù)全部恢復(fù)，所以，冬奧項(xiàng)目的安全運(yùn)維流程就是基于這樣的目標(biāo)來(lái)做的。
由此，奇安信冬奧團(tuán)隊(duì)為安全運(yùn)維梳理制定了三級(jí)體系的SOP：其中一級(jí)是總冊(cè)，包括運(yùn)行保障的范圍，組織架構(gòu)、崗位定義、崗位職責(zé)等；二級(jí)是流程，比如巡檢流程、交接班流程、問(wèn)題處置流程等；三級(jí)是具體的動(dòng)作執(zhí)行規(guī)范，即將二級(jí)流程做更細(xì)化的拆解和要求，每個(gè)動(dòng)作要有明確的執(zhí)行標(biāo)準(zhǔn)。在流程制定出來(lái)后，通過(guò)桌面推演、交叉驗(yàn)證等手段，校驗(yàn)合理性，還要組織培訓(xùn)、考試、實(shí)操，讓運(yùn)維隊(duì)伍更加熟悉流程。
舉個(gè)例子，冬奧項(xiàng)目中對(duì)于產(chǎn)品變更的管理要求是非常嚴(yán)格的。在提交變更申請(qǐng)的時(shí)候要清晰的解釋變更的必要性是什么？要解決什么的問(wèn)題，通過(guò)變更能夠提升什么樣的能力？這些在變更申請(qǐng)中必須要告知，如果說(shuō)不清楚不允許隨意變更。如果同意變更，需要進(jìn)行的變更操作是什么？操作硬件還是軟件或者軟件中的某個(gè)組件、某個(gè)進(jìn)程？怎么去操作？執(zhí)行什么樣的命令？在操作過(guò)程中是否需要對(duì)這個(gè)組件所在服務(wù)器進(jìn)行重啟？這種操作所帶來(lái)的風(fēng)險(xiǎn)和緩解措施是什么？一旦操作不成功回退方案是什么？這些要在變更操作手冊(cè)里把每個(gè)環(huán)節(jié)清晰地寫(xiě)清楚，以便一線人員去執(zhí)行。
此外，在變更之前，團(tuán)隊(duì)還設(shè)計(jì)了三道防線，每道防線要有明確的測(cè)試報(bào)告。第一，產(chǎn)品要首先經(jīng)過(guò)產(chǎn)品團(tuán)隊(duì)的嚴(yán)格測(cè)試，要有明確的測(cè)試報(bào)告。第二，奇安信內(nèi)部搭了一個(gè)跟冬奧1:1的環(huán)境，所有產(chǎn)品變更需要再在那個(gè)環(huán)境中做一遍回退測(cè)試，測(cè)試完沒(méi)問(wèn)題之后才可以提交到一線團(tuán)隊(duì)，一線團(tuán)隊(duì)基于產(chǎn)品團(tuán)隊(duì)給的操作手冊(cè)去執(zhí)行。
“通過(guò)NGSOC（態(tài)勢(shì)感知與安全運(yùn)營(yíng)平臺(tái)）一個(gè)平臺(tái)可以監(jiān)測(cè)整個(gè)冬奧的網(wǎng)絡(luò)安全態(tài)勢(shì)，當(dāng)時(shí)比較擔(dān)心的是，大量數(shù)據(jù)的匯集，可能會(huì)影響數(shù)據(jù)的實(shí)時(shí)接入，比如，某幾個(gè)場(chǎng)館數(shù)據(jù)上不來(lái)，就好像我們的監(jiān)控?cái)z像頭壞掉了，無(wú)法實(shí)時(shí)感知攻擊，好在我們的運(yùn)維團(tuán)隊(duì)比較給力，全程保障我們的數(shù)據(jù)實(shí)時(shí)接入，保證了平臺(tái)的平穩(wěn)運(yùn)行，使得運(yùn)營(yíng)團(tuán)隊(duì)可以實(shí)時(shí)監(jiān)測(cè)攻擊。”奇安信冬奧保障團(tuán)隊(duì)NGSOC產(chǎn)品專家表示。
標(biāo)準(zhǔn)化應(yīng)急響應(yīng)流程 將風(fēng)險(xiǎn)處置時(shí)間縮短到分鐘級(jí)
除了安全運(yùn)營(yíng)和安全運(yùn)維標(biāo)準(zhǔn)化外，在奇安信安全中心專門(mén)成立了一支針對(duì)冬奧項(xiàng)目進(jìn)行應(yīng)急保障的團(tuán)隊(duì)，即應(yīng)急三線組。2021年9月，應(yīng)急保障團(tuán)隊(duì)成員在冬奧組委正式起草應(yīng)急響應(yīng)流程，從軟件、硬件故障等多維度，經(jīng)過(guò)10余次深入討論，以及與一線監(jiān)控、運(yùn)維經(jīng)理的密切溝通，最終輸出40多種針對(duì)NGSOC平臺(tái)的應(yīng)急場(chǎng)景及應(yīng)急響應(yīng)SOP手冊(cè)初版。
制定了應(yīng)急響應(yīng)SOP初版手冊(cè)之后，還要進(jìn)行詳細(xì)的演練和完善。應(yīng)急演練的價(jià)值在于落實(shí)每一個(gè)組件的異常處理，NGSOC事業(yè)部冬奧項(xiàng)目組有3人參加了應(yīng)急三線組，一旦出現(xiàn)緊急事件，這3人必須第一時(shí)間進(jìn)行事件應(yīng)急，保證產(chǎn)品穩(wěn)定性。按照演練的要求，需針對(duì)40多種應(yīng)急場(chǎng)景進(jìn)行實(shí)操演練，前期由應(yīng)急保障團(tuán)隊(duì)模塊負(fù)責(zé)人操作具體步驟模擬具體場(chǎng)景，之后由應(yīng)急三線組成員進(jìn)行每個(gè)場(chǎng)景的模擬并逐步完善手冊(cè)。
NGSOC事業(yè)部冬奧項(xiàng)目工程師表示，“采用自己實(shí)操及交叉驗(yàn)證的方式，經(jīng)過(guò)N輪模擬演練，保證應(yīng)急步驟正確性。應(yīng)急三線組成員要詳細(xì)地記錄每個(gè)場(chǎng)景恢復(fù)的時(shí)間及風(fēng)險(xiǎn)點(diǎn)。為了一件偉大的事情，我們不放棄不拋棄，最終功夫不負(fù)有心人，在初版基礎(chǔ)上又輸出了一個(gè)版本。經(jīng)過(guò)集團(tuán)冬奧項(xiàng)目組領(lǐng)導(dǎo)、架構(gòu)師與專家組的層層評(píng)審，以及N輪的完善與優(yōu)化，最終形成了終版應(yīng)急響應(yīng)SOP手冊(cè)。”
以冬奧標(biāo)準(zhǔn)為理念，凡事做在前邊，NGSOC應(yīng)急三線組為冬奧項(xiàng)目還做了備機(jī)備件及整套環(huán)境拷貝與備份。在備機(jī)備件中提前準(zhǔn)備好快速恢復(fù)的安裝包，應(yīng)急時(shí)可直接替換故障設(shè)備。 另外，還準(zhǔn)備了一套與冬奧安全運(yùn)營(yíng)中心運(yùn)行環(huán)境一模一樣的集群，配置完全一致，NGSOC應(yīng)急三線組花了3天3夜完成了集群的備份。
應(yīng)急響應(yīng)SOP的培訓(xùn)和落地是至關(guān)重要的環(huán)節(jié)。為了整個(gè)應(yīng)急鏈路的完整性，要把應(yīng)急響應(yīng)SOP手冊(cè)對(duì)冬奧運(yùn)維工程師進(jìn)行應(yīng)急培訓(xùn)，推動(dòng)驗(yàn)證備機(jī)備件恢復(fù)的演練工作。NGSOC應(yīng)急三線組協(xié)同監(jiān)控經(jīng)理、運(yùn)維經(jīng)理等各種一線人員進(jìn)行培訓(xùn)模擬演練，從發(fā)現(xiàn)事件、故障判斷、應(yīng)急響應(yīng)、故障確認(rèn)和定級(jí)、信息同步機(jī)制、故障上報(bào)機(jī)制、處置審核取證、復(fù)驗(yàn)等逐個(gè)環(huán)節(jié)落實(shí)執(zhí)行情況，以充足的準(zhǔn)備，做好應(yīng)急響應(yīng)工作，形成閉環(huán)。
在實(shí)際的處理現(xiàn)場(chǎng)應(yīng)急事件過(guò)程中，標(biāo)準(zhǔn)化的應(yīng)急響應(yīng)SOP起到了重要作用，按照標(biāo)準(zhǔn)化流程實(shí)現(xiàn)了預(yù)期的效果。比如，由于其他業(yè)務(wù)系統(tǒng)的故障導(dǎo)致NGSOC平臺(tái)日志積壓超過(guò)三分鐘，EPS長(zhǎng)時(shí)間高達(dá)80000以上且持續(xù)產(chǎn)生告警。當(dāng)發(fā)現(xiàn)這個(gè)問(wèn)題時(shí)，按照流程: 監(jiān)控人員收到告警短信后，立即上報(bào)運(yùn)維經(jīng)理和應(yīng)急三線組，應(yīng)急三線組根據(jù)應(yīng)急響應(yīng)SOP做出判斷符合2級(jí)事件，立即按照應(yīng)急響應(yīng)SOP內(nèi)的方法進(jìn)行處理，同時(shí)找到到問(wèn)題產(chǎn)生的根源，從源頭切斷影響，經(jīng)過(guò)一系列標(biāo)準(zhǔn)化操作后，該問(wèn)題快速得到解決。
十余次測(cè)試演練反復(fù)檢驗(yàn) 錘煉出冬奧標(biāo)準(zhǔn)NGSOC
自2021年起，為了檢驗(yàn)冬奧項(xiàng)目建設(shè)的情況，在半年多的時(shí)間里，共經(jīng)歷了由不同主管機(jī)構(gòu)組織的五次測(cè)試賽的校驗(yàn)，十余次專門(mén)針對(duì)冬奧的攻防演練和滲透測(cè)試，其中一次的目標(biāo)是將NGSOC平臺(tái)作為靶標(biāo)系統(tǒng)去讓攻擊隊(duì)去打，最終NGSOC順利通過(guò)檢驗(yàn)。
十余次的測(cè)試演練，也是對(duì)NGSOC牢固性的深刻檢驗(yàn)，NGSOC產(chǎn)品團(tuán)隊(duì)每一次都做好充足準(zhǔn)備去面對(duì)。通過(guò)奇安信網(wǎng)絡(luò)安全部進(jìn)行代碼審計(jì)、漏洞掃描、滲透測(cè)試，針對(duì)漏洞進(jìn)行補(bǔ)丁修復(fù)，同奇安信內(nèi)部專家團(tuán)隊(duì)共同討論整理防護(hù)方案，并對(duì)暴露面、防護(hù)策略、訪問(wèn)路徑、開(kāi)放端口、用戶、密碼等全方位進(jìn)行梳理，并進(jìn)一步輸出加固方案。對(duì)異常訪問(wèn)NGSOC創(chuàng)建規(guī)則及監(jiān)控維護(hù)，并對(duì)訪問(wèn)源排查及制定應(yīng)急策略。每一次檢驗(yàn)過(guò)程中針對(duì)不同場(chǎng)景優(yōu)化規(guī)則，事后還要進(jìn)行復(fù)盤(pán)總結(jié)，十余次不斷往復(fù)。
“在以往所有這些測(cè)試過(guò)程中，NGSOC平臺(tái)始終都是安全監(jiān)控、分析中樞，針對(duì)這些過(guò)程不斷完善冬奧專屬的建模規(guī)則，把每一條日志，每一個(gè)告警都完整的記錄下來(lái)，為我們安全運(yùn)維人員帶來(lái)了極大的便利性，也使得在多次測(cè)試賽、攻防演習(xí)中取得勝利。”冬奧項(xiàng)目網(wǎng)絡(luò)安全運(yùn)維專家表示。
即便有十余次的測(cè)試演練，NGSOC產(chǎn)品團(tuán)隊(duì)依然不斷強(qiáng)化自身的要求。為了達(dá)到NGSOC平臺(tái)7*24H“零事故”的目標(biāo)，梳理出1000+項(xiàng)巡檢項(xiàng)，由安全運(yùn)維經(jīng)理每天2次巡檢，由NGSOC產(chǎn)品研發(fā)團(tuán)隊(duì)進(jìn)行確認(rèn)，并給出確認(rèn)結(jié)果。同時(shí)，NGSOC產(chǎn)品研發(fā)團(tuán)隊(duì)每天針對(duì)EPS趨勢(shì)、告警量、日志量、磁盤(pán)、資源等指標(biāo)進(jìn)行監(jiān)控分析，監(jiān)測(cè)平臺(tái)運(yùn)行狀態(tài)。
未來(lái)：冬奧標(biāo)準(zhǔn)NGSOC將帶來(lái)四大價(jià)值
首先是高并發(fā)和高可靠全面滿足大型企業(yè)安全運(yùn)營(yíng)需求。冬奧會(huì)的高并發(fā)和高可靠要求，對(duì)于大型企業(yè)客戶來(lái)說(shuō)具備非常強(qiáng)的示范作用。目前，多個(gè)大型企業(yè)的安全運(yùn)營(yíng)團(tuán)隊(duì)越來(lái)越大，已經(jīng)從最開(kāi)始完全沒(méi)有運(yùn)營(yíng)團(tuán)隊(duì)，發(fā)展到十幾人、幾十人的規(guī)模，安全運(yùn)營(yíng)平臺(tái)需要支持越來(lái)越高的并發(fā)，才能滿足大型客戶的日常運(yùn)營(yíng)需求。在安全事件處置方面，部分企業(yè)已經(jīng)建立的7*24H運(yùn)營(yíng)團(tuán)隊(duì)，要求對(duì)緊急事件進(jìn)行實(shí)時(shí)處置，因此平臺(tái)的持續(xù)穩(wěn)定運(yùn)行就至關(guān)重要。NGSOC實(shí)踐了200+人使用及50+并發(fā)使用的場(chǎng)景，對(duì)于HA（雙機(jī)集群）在冬奧項(xiàng)目中也做出了寶貴的探索和實(shí)踐，能夠保障持續(xù)安全運(yùn)營(yíng)。
其次，是NGSOC云化方案未來(lái)將滿足更多客戶要求。在冬奧項(xiàng)目中，NGSOC建立了一套完善的云端數(shù)據(jù)對(duì)接的方案以及高并發(fā)、高精準(zhǔn)、高性能的對(duì)接程序，對(duì)云端海量日志可實(shí)現(xiàn)秒級(jí)同步，支持上百種數(shù)據(jù)異步對(duì)接，并針對(duì)不同種類的日志可進(jìn)行實(shí)時(shí)分析。隨著云時(shí)代的演進(jìn)，政企機(jī)構(gòu)不斷完善數(shù)字化體系，業(yè)務(wù)系統(tǒng)逐步遷移至云端，海量的日志，多維度資產(chǎn)，不同種類的告警等信息如何對(duì)接安全產(chǎn)品，成為了各企業(yè)應(yīng)該考慮的問(wèn)題，NGSOC云化方案可快速獲取云上數(shù)據(jù)，并快速進(jìn)行解析、分析、富化等一系列操作，可進(jìn)一步實(shí)現(xiàn)了云上、云下協(xié)同聯(lián)動(dòng)的戰(zhàn)略目標(biāo)。
第三，強(qiáng)大的監(jiān)測(cè)和威脅發(fā)現(xiàn)能力讓安全運(yùn)營(yíng)更得心應(yīng)手。NGSOC在冬奧項(xiàng)目中已實(shí)現(xiàn)接入云上云下上千種數(shù)據(jù)源，上百種日志，設(shè)計(jì)了上千個(gè)威脅檢測(cè)場(chǎng)景，實(shí)現(xiàn)了與奇安信全體系產(chǎn)品的接入、聯(lián)動(dòng)，每天處理各類日志達(dá)30多億，讓安全運(yùn)營(yíng)人員只需通過(guò)一個(gè)平臺(tái)完成監(jiān)測(cè)、分析、處置、溯源等全流程工作，并通過(guò)告警處置和評(píng)論功能，大幅降低告警處置時(shí)間，提升安全運(yùn)營(yíng)效率。
最后，標(biāo)準(zhǔn)化流程對(duì)于常態(tài)化安全運(yùn)營(yíng)意義重大。安全運(yùn)營(yíng)中心先要建立安全運(yùn)營(yíng)團(tuán)隊(duì)并制定安全運(yùn)營(yíng)目標(biāo)和流程，再通過(guò)工具支撐流程落地。一套完整的安全運(yùn)營(yíng)中心SOP包括安全運(yùn)營(yíng)流程、安全運(yùn)維流程、應(yīng)急響應(yīng)流程，這套流程可以解決絕大多數(shù)的安全事件處置問(wèn)題。安全運(yùn)營(yíng)不是靠工具解決所有安全問(wèn)題，而是人+工具+流程+數(shù)據(jù)的交互結(jié)合，并且不斷完善的動(dòng)態(tài)體系，不等同于簡(jiǎn)單的獨(dú)立加和。在實(shí)際運(yùn)營(yíng)過(guò)程中，用流程將人和工具貫穿起來(lái)，既能滿足常態(tài)化運(yùn)營(yíng)，又能輕松解決各種緊急事件。
總體來(lái)看，以NGSOC等為核心構(gòu)建起的冬奧安全運(yùn)營(yíng)中心，經(jīng)受住了“實(shí)際網(wǎng)絡(luò)戰(zhàn)”的檢驗(yàn)，助力奇安信兌現(xiàn)了冬奧會(huì)網(wǎng)絡(luò)安全“零事故”的承諾，創(chuàng)更造了奧運(yùn)會(huì)網(wǎng)絡(luò)安全的世界紀(jì)錄。未來(lái)，奇安信集團(tuán)董事長(zhǎng)齊向東表示，包括冬奧安全運(yùn)營(yíng)中心在內(nèi)的 “零事故”奧運(yùn)工作模式，將總結(jié)成為“奧運(yùn)遺產(chǎn)”，為關(guān)鍵信息基礎(chǔ)設(shè)施和重大活動(dòng)的網(wǎng)絡(luò)安全保障提供示范樣本和有益經(jīng)驗(yàn)。