SCRAPR

SCRAPRとは？

SCRAPRは、ブラウザをレンダリングしたり脆弱なDOMセレクタを使用することなく、Webサイトの内部ネットワークリクエストから直接、構造化されたJSONを取得するWebデータ抽出APIです。サイトが自身のデータを読み込むために行うHTTP/XHR呼び出しをそのまま再現することで、SCRAPRは200ミリ秒未満でクリーンでAI対応の出力を提供します。現在は初期MVP段階にあり、835名以上のエンジニアがウェイトリストに登録しています。

対象ユーザー

• AIエンジニア：ヘッドレスブラウザのオーバーヘッドなしに、信頼性の高いライブWebデータを必要とする自律型エージェントを構築する方
• データチーム：複数のWebサイトから構造化コンテンツを継続的に取り込む必要があるRAGパイプラインやナレッジベースを運用する方
• ML実践者：HTMLノイズがモデル入力を損なう可能性がある、実世界のWebソースからラベル付きトレーニングデータセットを生成する方

主な機能

ネットワークレベルでの抽出

SCRAPRは、Webサイトが自身のインターフェースを表示するために使用するHTTP/XHR呼び出しを傍受し、再現します。これにより、ブラウザの起動時間とレンダリングの遅延が排除され、平均抽出速度89msを達成。Puppeteerベースのソリューションと比較して10倍から100倍高速です。

自動スキーマ検出

各APIレスポンスから、型、キー、データ構造が自動的に推測されます。文字列、配列、数値は出力JSONで正しく型付けされて到着し、LLMコンテキスト、ベクターストア、エージェントメモリで直接使用できる状態になります。

セレクタメンテナンス不要

SCRAPRはDOM要素ではなく内部データAPIをターゲットとするため、サイトがCSSを再設計しても抽出パイプラインが壊れることはありません。基盤となるデータエンドポイントの変更頻度ははるかに低く、継続的なメンテナンスをほぼゼロに抑えます。

グローバルインフラストラクチャ

190以上の国に437以上のアクティブノードを展開し、99.9%の成功率でワールドワイドなカバレッジを実現。バッチ抽出、Webhook通知、大規模データ運用のための非同期ジョブ処理をサポートしています。

際立っている点

「壊れない抽出レイヤー」

SCRAPRは、各Webサイトを独自のAPIとして扱うことで、Webスクレイピングを再定義します。ユーザーがページを閲覧する動作をシミュレートする代わりに、サイトが自身に送信する構造化データをキャプチャします。このアプローチにより、より高速で信頼性の高い結果が得られ、従来のスクレイパーを悩ませるセレクタの更新サイクルが不要になります。出力はクリーンなJSONです。HTML解析も正規表現によるクリーンアップも不要で、AIパイプラインにすぐに使用できる型付けされたデータが得られます。

こんな方におすすめ

AIエージェント、RAGシステム、または新鮮で構造化されたWebコンテンツに依存するデータパイプラインを構築している方。低速なヘッドレスブラウザ、脆弱なCSSセレクタ、従来のスクレイピングツールのメンテナンス負担に悩まされてきたなら、SCRAPRは根本的に異なるアプローチを提供します。特に、大規模なデータ抽出が必要なチームに適しています。バッチエンドポイントとWebhookサポートはすでにアルファ版で利用可能であり、REST APIはv1で安定しています。