/agent by Firecrawl

Firecrawlの /agent とは？

Firecrawlの /agent は、自然言語によるプロンプトを、最も複雑なWebサイトからでも構造化データに変換する強力なAPIです。手動でページをスクレイピングしたり、壊れやすい抽出ルールを書いたりする代わりに、単一のデータポイントでもデータセット全体でも、取得したいデータを説明するだけで、エージェントが自動的に検索、ナビゲーション、データ収集を行います。現在はResearch Preview版として提供されており、Firecrawlの抽出機能の次なる進化形であり、URLをオプションにし、プロセス全体をプロンプト駆動にしています。

対象ユーザー

• 開発者やエンジニア：カスタムスクレイピングロジックを書いたり、複雑なパースパイプラインを維持したりすることなく、Webサイトから構造化データを抽出する必要がある方。
• データアナリストや研究者：Y Combinatorの企業、arXivの論文、不動産リストなどのソースから、最小限の手作業でデータセットを構築したい方。
• プロダクトおよびグロースチーム：アクセスが難しいWebページから、リード生成、市場データ、競合情報を大規模に必要とする方。

主な機能

プロンプト駆動のデータ抽出

「YC W24の全企業と創業者を取得」のように、プレーンな英語で必要なものを記述するだけで、/agentが自動的に検索、ナビゲーション、関連情報の抽出を行います。URLを指定したり、セレクタを書いたりする必要はありません。エージェントがどこを見て、どのようにデータを収集するかを判断します。

スキーマ検証付きの構造化JSON出力

Pydantic（Python）、Zod（JavaScript）、または生のJSONを使用して希望する出力スキーマを定義すると、/agentはクリーンで型付けされたデータを返します。出力例では、企業名、創業者、資金調達額、WebサイトがJSON配列にきちんと整理されており、アプリケーションやデータベースですぐに使用できます。

マルチソース集約

エージェントは1回の実行で複数のソースからデータを取得できます。ライブデモで示されているように、ycombinator.com、firecrawl.dev、crunchbase、GitHub、Product Huntから同時に抽出し、結果を1つの構造化レスポンスに統合します。これにより、手動でタブを切り替えることなく、包括的なリサーチが可能になります。

SDKとCLIのサポート

/agentは、PythonおよびJavaScriptのSDK、REST API、さらにはCLIツールを通じてシームレスに統合できます。コード例では、わずか数行のコードで使い始める方法を示しており、Webアプリの構築、スクリプトの実行、ターミナルでの作業など、あらゆる環境でアクセス可能です。

際立っている点

「必要なデータを説明すれば、/agentが残りを処理します。」

この一言が製品の核となる価値を捉えています。従来のWebスクレイピングでは、どのページにアクセスするか、どのようにナビゲートするか、HTMLをどのようにパースするかを正確に把握する必要がありました。/agentはそのモデルを完全に逆転させます。あなたは何が必要かに集中し、エージェントがどのように取得するかを解決します。URLがオプションになり、1回の呼び出しで247件のレコードを抽出できるという事実は、ツールというよりもデータアシスタントのように感じさせます。

こんな方におすすめ

新しいデータソースごとにカスタムスクレイパーを書いたり維持したりすることにうんざりしている方、またはプログラムによるナビゲーションが難しいWebサイトから構造化情報を収集する必要がある方。特に、スタートアップディレクトリ、eコマースリスト、研究論文リポジトリなど、頻繁に変化する動的データセットを扱い、コードではなくプロンプトに適応する単一のAPIを求める場合に、/agentは非常に価値があります。また、手動抽出パイプラインのオーバーヘッドなしにリアルタイムのWebデータを必要とするAI搭載アプリケーションを構築している場合にも最適です。