如今，隨著每個人都生活在網上，在線渠道的網絡流量正在激增。但是，如果您深入研究流量，您會發現大部分流量并非來自合法用戶。只有不到一半的流量是真正的人類，其余的是機器人，包括好機器人和壞機器人。

在早期，機器人僅用于垃圾郵件或小型抓取嘗試。如今，機器人操作員正在大規模利用自動化來執行惡意活動。此類活動包括接管用戶帳戶、濫用 API、執行 DDoS 攻擊、抓取獨特的定價信息、競爭性數據挖掘、網絡抓取、數字欺詐、金融數據收集、交易欺詐、暴力登錄等等。

盡管影響嚴重，但組織是否采用了有效的機器人管理方法？答案是不。許多企業仍在嘗試使用傳統解決方案來阻止機器人程序，從而將安全置于風險之中。那么，為什么傳統的 WAF緩解爬蟲程序會失敗呢？讓我們來看看 WAF 在 bot 管理中失敗的原因以及高級 WAF 保護的好處。

為什么傳統的WAF保護不足？

要了解高級 WAF 對機器人檢測和緩解的重要性，讓我們探討企業為阻止機器人攻擊而采取的常見安全措施以及它們為何無效。

• 代碼級安全性——這種做法在開發的初始階段實施安全性，而不是在生命周期結束時后悔。但是，這種基本的安全級別不足以阻止當今不斷發展的機器人，因為它們完美地模仿了人類用戶。這種做法也缺乏針對機器人模式的欺詐情報的能力。
• 傳統的 IP 封鎖——如果一家公司想要封鎖其網站的一部分流量，IP 封鎖是最有效的方法之一。隨著欺詐模式的不斷演變，這種方法并不適用于所有場景。阻止 IP 有時最終可能會阻止使用該 IP 的合法用戶。
• 傳統 Web 應用程序防火墻– WAF 主要用于保護網站和 Web 應用程序免受 SQL 注入、XSS（跨站點腳本）、會話劫持、跨站點請求偽造和其他 Web 攻擊等攻擊。大部分Web應用防火墻無法適應用戶配置文件和應用程序的變化，不斷變化。

盡管下一代防火墻 (NGFW) 聲稱可以感知應用程序，但它們仍然依賴于基本的 bot 緩解功能，例如阻止 IP、用戶生成重復請求或對瀏覽器進行指紋識別。他們檢查了有效載荷的前幾個字節，因此，使用現代技術的下一代機器人仍未被發現。

WAF 技術經歷了幾項改進，但它依賴于基于過濾器的方法來檢測已證明不足以阻止機器人和其他自動威脅的惡意負載。

此外，管理具有操作復雜性的 WAF 策略已導致一些公司使 Web 應用程序不受保護。在某些情況下，由于目標企業無法足夠快地修補漏洞，因此利用了一個已知漏洞。

結合這些挑戰，機器人的輕松可用性和自動化技術的創新使得機器人檢測和緩解變得更加困難。

為了部署有效的爬蟲程序管理和保護，組織需要 Web 應用程序防火墻技術，該技術可以自動發展和微調自身以檢測最復雜的爬蟲程序并提供持續的安全性。好消息是，像 AppTrana 這樣的高級 WAF 采用了有效的措施來檢測和阻止不斷發展的僵尸網絡。

爬蟲程序管理中高級 WAF 保護的優勢

在高級 WAF 保護的情況下，WAF 技術與行為分析相結合，可檢測惡意機器人活動，無需人工干預即可更輕松地發現機器人流量。

Advanced WAF 的 Bot 檢測包括以下組件：

• 機器人緩解的自定義規則
• 根據過去流量的行為發現機器人并阻止它們
• 接近零誤報，從而確保合法流量不被阻塞

通過主動機器人防御，高級 WAF 可以跟蹤 IP 地址以外的攻擊者，檢測用戶的性質并將合法機器人與惡意機器人區分開來。它還消除了與 CAPTCHA 挑戰相關的 UX（用戶體驗）的影響。

除了阻止攻擊的開箱即用的完全托管的 WAF 功能外，公司還可以創建自己的自定義策略和規則來阻止他們正在接收或擔心可能會收到的機器人攻擊。

例如，如果在短時間內從同一 IP 發出重復請求，則可以制定規則來阻止訪問網站上的密碼重置請求。

使用威脅情報數據庫，其中包含所有近期攻擊的詳細信息、相關的 IP 地址、位置，無論這些攻擊是機器還是人為產生的。這個數據庫一直在更新。如果從任何可疑 IP 地址發出任何請求，該地址將被自動阻止。

傳統WAF與高級WAF比較

與 Indusface 合作進行機器人管理

Web 應用程序全天候成為目標，黑客正在尋找新的方法來破壞網站并造成混亂。加入 Indusface 完全托管的基于云的 WAF、AppTrana，您不僅可以降低僵尸網絡的風險，還可以通過阻止惡意機器人流量來最大限度地減少基礎設施的處理負載。

AppTrana采用 WAF 技術、爬蟲程序緩解和 CDN 編譯，可通過提供準確且完全托管的基于云的保護來進一步保護您的應用程序完整性，確保為客戶提供安全的在線體驗，而不會影響速度。