/agent by Firecrawl

Qu'est-ce que /agent par Firecrawl ?

/agent par Firecrawl est une API puissante qui transforme des requêtes en langage naturel en données structurées, même à partir des sites web les plus complexes. Au lieu de scraper manuellement des pages ou d'écrire des règles d'extraction fragiles, il vous suffit de décrire les données que vous souhaitez – qu'il s'agisse d'un seul point de données ou d'un ensemble complet – et l'agent se charge automatiquement de la recherche, de la navigation et de la collecte. Actuellement disponible en version de recherche préliminaire, il représente la prochaine évolution des capacités d'extraction de Firecrawl, rendant les URL optionnelles et l'ensemble du processus piloté par des requêtes.

À qui s'adresse-t-il ?

• Développeurs et ingénieurs qui ont besoin d'extraire des données structurées de sites web sans écrire de logique de scraping personnalisée ni maintenir des pipelines d'analyse complexes.
• Analystes de données et chercheurs qui souhaitent constituer des ensembles de données à partir de sources telles que les entreprises Y Combinator, les articles arXiv ou les annonces immobilières avec un minimum d'effort manuel.
• Équipes produit et croissance qui ont besoin de génération de leads, de données de marché ou de veille concurrentielle à partir de pages web difficiles d'accès, à grande échelle.

Fonctionnalités clés

Extraction de données pilotée par requête

Décrivez ce que vous voulez en anglais simple – comme « Obtenir toutes les entreprises YC W24 avec leurs fondateurs » – et /agent recherche, navigue et extrait automatiquement les informations pertinentes. Inutile de spécifier des URL ou d'écrire des sélecteurs ; l'agent détermine où chercher et comment collecter les données.

Sortie JSON structurée avec validation de schéma

Définissez votre schéma de sortie souhaité à l'aide de Pydantic (Python), Zod (JavaScript) ou JSON brut, et /agent renvoie des données propres et typées. L'exemple de sortie montre les noms d'entreprises, les fondateurs, le financement et les sites web organisés proprement dans un tableau JSON, prêts à être utilisés immédiatement dans des applications ou des bases de données.

Agrégation multi-sources

L'agent peut extraire des données de plusieurs sources en une seule exécution. Comme le montre la démonstration en direct, il extrait simultanément des données de ycombinator.com, firecrawl.dev, crunchbase, GitHub et Product Hunt, en consolidant les résultats en une seule réponse structurée. Cela permet une recherche complète sans avoir à changer manuellement d'onglet.

Prise en charge des SDK et de l'interface en ligne de commande

/agent s'intègre de manière transparente via les SDK Python et JavaScript, une API REST et même un outil en ligne de commande. Les exemples de code montrent comment démarrer avec seulement quelques lignes de code, ce qui le rend accessible que vous construisiez une application web, exécutiez un script ou travailliez depuis le terminal.

Ce qui le distingue

« Décrivez les données que vous souhaitez et /agent s'occupe du reste. »

Cette phrase résume la valeur fondamentale du produit : elle élimine le fossé entre l'intention et l'exécution. Le scraping web traditionnel vous oblige à savoir exactement quelles pages visiter, comment les parcourir et comment analyser le HTML. /agent renverse complètement ce modèle : vous vous concentrez sur ce dont vous avez besoin, et l'agent détermine comment l'obtenir. Le fait que les URL soient désormais optionnelles, combiné à la capacité d'extraire 247 enregistrements en un seul appel, donne l'impression d'utiliser moins un outil qu'un assistant de données.

À considérer si…

Vous en avez assez d'écrire et de maintenir des scrapers personnalisés pour chaque nouvelle source de données, ou si vous devez collecter des informations structurées à partir de sites web difficiles à parcourir par programmation. /agent est particulièrement utile si vous travaillez avec des ensembles de données dynamiques qui changent fréquemment – comme les répertoires de startups, les annonces de commerce électronique ou les dépôts d'articles de recherche – et que vous souhaitez une API unique qui s'adapte à vos requêtes plutôt qu'à votre code. C'est également un bon choix si vous construisez des applications basées sur l'IA qui nécessitent des données web en temps réel sans la surcharge des pipelines d'extraction manuelle.