チケットなどの“買い占め・転売”にいそしむ「スクレイパーbot」と、検知技術の戦い
スクレイピングbotの進化
ビジネスに被害をもたらす悪性のbotのなかでも、Eコマースサイトの商品やチケットの在庫チェックおよび買い占めを狙うスクレイパーには、サイト側が用意したbot対策を巧妙に回避する高度な手法が用いられるようになってきている。 Akamaiの調査で世界中のWebトラフィックを分析した結果、悪性botと判別されたbotのうち、37％が（botの検知が容易な）基本的なスクリプトを使用したbot、残りの63.1％が高度な技術を用いたbotが占めていることが判明した。つまり悪意のあるbotの6割以上が、bot検知を回避する高度な仕組みを持っていることになる。その内訳は、47.6％が高度なスクリプトを使用したbotで、15.5％が「ヘッドレスブラウザ」を用いたbotとなっていた。（下図） 近年、ChromeなどのWebブラウザは、コマンドラインでブラウザの機能を操れる「ヘッドレスモード」を備えている。これと「Selenium」などのブラウザ操作を自動化するツールを組み合わせたヘッドレスブラウザがWebスクレイピングによく用いられるようになってきている。 このようなスクレイパーは、サイト側からは普通にブラウザを使っているように見えるため、簡易なbot検知ツールが判別に用いているデバイス／OSフィンガープリントや、JavaScriptを用いた簡単な検知の仕組みだけでは、botか人間によるアクセスかの判定が難しくなってきている。これに加えて、人間に似た振る舞いを再現するなど、現在のスクレイパーの用いるbot検知策の回避手法は高度で洗練されたものに進化している。
進化したスクレイパーに対抗する新技術
このようなスクレイパーを、ブラウザを操作するユーザーのマウスの軌跡などから「人間らしさ／botらしさ」を分析する不正ログインbot用の対策ソリューションで検知する策は現在でも有効だ。しかし、コアとなる技術の実装から約7年がたち、スクレイパーの進化に伴って細かなチューニングを要するケースが増えてきたため、新たなイノベーションが求められていた。 そこで新たな技術基盤で開発された対策ソリューションでは、ヘッドレスブラウザの検知能力を強化。さらに、ページ遷移などのユーザーがサイト上で取る一連のふるまいなどを、AIと統計的手法を用いて繰り返し評価することで、高度なスクレイパーに特有のうごきを高精度に判別することを可能にしている。 この最新技術を用いたスクレイパー対策は、日本を含む世界中の航空会社、旅行関連のサイトや、Eコマースサイト、価値あるビジネスデータを提供するサイトなどですでに利用が始まっている。あるサイトでは、それまで短時間に何百件と起きていた不正な予約件数がゼロになり、買い占めの撃退に成功したという。 新たな検知の仕組みが実装可能になった背景には、最新のクラウド技術の貢献も大きい。スクレイパー特有のアクセスを見分け、アクセス中にリアルタイムに阻止のアクションをとるには、高度なAIの処理を低遅延で繰り返す必要があるが、そのワークロードを世界中に分散配置して処理する「エッジネイティブアプリケーション」として設計することで、これまでの集中型クラウドでは実現不可能であった技術の実装を可能にしている。
