暗躍する「Webスクレイパー」

　米Akamai Technologies（Akamai）が2024年7月に公開した調査結果によると、botのアクセス数は、2023年初頭から、全体的に緩やかに伸びている。その中で最も多くのアクセスを受け、顕著な増加を示しているのがコマース業界（小売、製造小売、運輸など）だ。先に挙げたチケットの販売以外にも、Eコマースサイトの人気の商品や限定商品は、在庫や予約品の買い占めbotに常に狙われている。 　このような在庫の確認および買い占めや、サイト上で情報を自動的に集める目的で用いられるbotがWebスクレイパー（以下スクレイパー）だ。スクレイパーには、サーチ（検索）エンジンのクローラーのように、一般的にはサイトにとってアクセスに来てほしい“良性”のものもあるが、サーバに負荷をあたえ、一般のユーザーの利用体験を損なってしまう“悪性”のbotも存在する。過去には、中国製サーチエンジンのクローラーがサイト運営に支障を与えるほどの高頻度のアクセスを行い、問題になったこともあった。 　同様に、頻繁に株価や為替などの金融情報を取得するスクレイパーや、サイトのスナップショットを保存する「Webアーカイバー」などもサービスの円滑な提供を阻害する原因となりうる。「このくらいのアクセス頻度なら大丈夫だろう」と、悪意なく考えてbotを使っていても、同じ考えで何千ものプログラムが24時間動作を続ければ、サーバの処理リソースは飽和してしまう。少なくとも、事業者は本来の何倍ものコストとシステムリソースを押し寄せる「望まないbot」のために負担している。 　その他、目録化されたデータや記事、調査情報、さまざま分析データなどの有料／無料で提供されているデータに対して、botによるアクセスを繰り返すことでデータベースの中身をこっそり盗み取ろうとするスクレイピングも横行している。 　検索などで数十件の単位なら誰もが閲覧できるデータであっても、まとまったデータの総体はその企業独自の資産に他ならない。その窃盗行為を阻止し、利用規約に違反したアクセスの証拠を抑えるためにも、スクレイパー対策は事業者にとって検討すべき施策だといえるだろう。