TSec技術獎議題出爐：悲觀主義影響下的 AI WAF 能否擬合理想的安全邊界？

“面對現今愈演愈烈的安全威脅，越來越多的人已經放棄‘銀彈’思維，并不期望什么靈丹妙藥可以解決所有安全問題，而是非常務實地‘每天進步1%’，并不幻想在某一天突然達到完美的狀態。”

RSA總裁在今年大會上的全新論調正在各種安全場景中得到驗證。在CSS2018騰訊安全探索論壇（TSec）的現場，騰訊安全云鼎實驗室高級安全研究員劉少東分享的《另辟蹊徑，更智能更安全的 AI WAF 》，憑借對機器學習技術的深度理解和 AI 在網站應用防護系統的創新實踐，獲得CSS2018騰訊安全探索論壇技術獎。劉少東在議題分享中表示，基于悲觀主義理念設計的AI WAF無法做到一開始就保護所有的網站數據安全，它需要采用嚴格的標準模型不斷學習，以迎合用戶業務的安全邊界。但其具備更友好、更安全的結構設計和防御效果，已正在成為未來網站防御的發展方向。

（騰訊安全云鼎實驗室高級安全研究員 劉少東）

樂觀的防御意識：防護規則理想化引起誤報漏報等困境

在網站防護的過程中，安全從業者一直致力于制定合理的規則以劃定安全邊界來防御惡意請求。劉少東在分享中表示，“我們希望這個邊界和 Web 服務理想的安全邊界越來越重合，這樣的話攻擊就會被抵御在邊界之外，但實際上安全邊界并沒有那么理想。”當 WAF 的安全邊界大于 Web 服務理想的安全邊界時，即會出現漏報惡意請求；而當 WAF 安全邊界僅能覆蓋部分 Web 服務理想的安全邊界時，漏報和誤報的情況將會同時出現。

樂觀主義的防御意識認為，在對攻擊進行分析后制定的規則或語義能夠應用于不同的業務場景，并實現有效防御。但往往事與愿違，在此意識下制定的防御策略和手法雖然能抵御常見攻擊，但對不同應用場景下的實際運維適應能力有限。這類策略往往由 WAF 廠商主導，被簡單地劃分為寬松、標準、嚴格三個等級，用戶在有限的模式中選擇一種最適合自己的模式。在實際使用中用戶常選擇誤報最少的模式，與此同時也產生了大量漏報，且用戶對此無法感知。

此外，不同用戶共享統一的規則和語義無法針對用戶的業務特點實現有效防御。電商、論壇等在處理業務時會采取不同的載荷設計和框架，其業務的變化也給 WAF 造成困難和挑戰。

值得一提的是，隨著漏洞的迅速增加，規則的數量也在不斷增長。但新增規則需要考慮其是否能夠結合或適應已有規則，且數量繁多的規則導致維護成本高漲。

悲觀的設計理念： AI WAF 自學習自進化不斷訓練引擎

隨著惡意請求呈幾何倍數增長，樂觀主義影響下的防御策略已經無法抵御網站攻擊。網站安全人員開始設計基于悲觀主義的 AI WAF，即 WAF 無法做到一開始就保護所有的網站數據安全，它需要采用嚴格的標準模型不斷學習，以迎合用戶業務的安全邊界。

在 AI WAF 的實踐中，外部請求經由 WAF 節點，在數據旁路中通過數據采集和數據清洗后，在異常檢測模型訓練器和威脅檢測模型訓練器中訓練引擎。同時，在線業務通過異常模型和威脅模型進行關聯，并支持動態反饋機制，即請求經過訓練器后動態更新至模型中再對新的請求進行檢測。

其中，異常檢測結合了專家知識以及無監督的HMM模型進行檢測。該模塊是非必備模塊，允許一定彈性空間，偏向于低漏報高誤報傾向設計。即使存在一定誤報，后續的威脅檢測模塊會進行二次檢測。其中HMM模型提及到了諸多工業實踐的tricks，例如采取了更加適合的k-means進行學習訓練，HMM的很多參數設計上采用了一些啟發式的策略使得模型精準度更高。

威脅檢測模塊結合了智能解碼、分詞技巧、特征工程/詞向量化以及分類器這些主要模塊的實踐技巧。深度評測了向量機、CNN和LSTM上的檢測結果，3種分類器都取得了非常好的效果，在工業應用場景下選擇向量機作為分類器，將延遲控制在0.2ms到1.3ms。

網站請求經過反復多次的異常檢測和威脅檢測后，主動和被動的學習機制進行誤報消除，同時安全團隊對漏報進行持續學習糾正，最終WAF的安全邊界逐漸擬合Web服務理想的安全邊界。

機器學習是大勢所趨：騰訊網站管家對惡意樣本的檢出率提升至98.77%

在面對變形的新類型攻擊挑戰時，規則容易被繞過，語義檢測也無法準確分析其語義，而 AI 智能引擎具備泛化能力，在處理這類問題上優勢明顯。

劉少東在演講中提到，通過對29000條OWASP的Web攻擊樣本進行基準測試發現，AI引擎的檢出率擁有絕對領先優勢。規則+語義的檢測方式可以檢測出84.89%的惡意載荷樣本，而使用了AI引擎的騰訊網站管家對惡意樣本的檢出率實現了質的飛躍，大幅提升至98.77%。

更值得一提的是，AI WAF雖然一開始采用的是標準模型，但在對不同用戶的業務進行積極反饋后會形成自己獨有的模型。舉例來說，引擎一旦接收到攻擊誤報就會提交至模型中進行更新學習，之后便不會再判定其為攻擊。這種方式相較于關閉規則和URL加白都更加友好，并不會引入新的安全風險。

在談及WAF發展的問題上，劉少東表示，WAF機器學習在技術上已經是大勢所趨，其高級的分析技術不僅可以涵蓋常規的專家規則，還可以擬合更加復雜的專家經驗知識。未來云計算的彈性能力、大數據的信息處理能力和安全威脅情報共享的多點防御將進一步促進和提升網絡安全能力。