fastCRW ist eine Open-Source-API für Web-Scraping, Crawling, Suche und Datenextraktion, die als einzelnes Rust-Binary verteilt wird. Sie bietet eine /v1 HTTP-API, die mit dem Firecrawl-Anfrage- und Antwortformat kompatibel ist, sowie einen Suchendpunkt, der mit dem Tavily-Antwortformat kompatibel ist, sodass bestehende Client-SDKs durch Ändern der Basis-URL verbunden werden können.
Das Produkt bietet vier primäre Endpunkte. Scrape ruft eine einzelne URL ab und gibt die Seite als strukturiertes Markdown zusammen mit Metadaten, optionalen Screenshots, rohem HTML und Linkgrafiken zurück. Crawl durchläuft eine gesamte Website oder einen Teil der Pfade, unterstützt die Entdeckung von Sitemaps, robots.txt-Regeln, die Deduplizierung kanonischer URLs und streamt Ergebnisse, sobald Seiten abgeschlossen sind. Search akzeptiert eine natürliche Sprachabfrage und gibt bewertete Web-Ergebnisse mit dem vollständigen Seiteninhalt zurück, der bereits im selben Antwortformat in Markdown konvertiert wurde. Extract ruft strukturierte Felder von einer oder mehreren URLs ab, entweder mithilfe eines JSON-Schemas oder einer natürlichen Sprachaufforderung. Map gibt die URL-Grafik einer Website zurück, ohne einzelne Seiten abzurufen.
Das Binary ist in Rust geschrieben und wird als 8 MB großes Docker-Image verteilt. Der Leerlauf-Arbeitsspeicher beträgt ungefähr 6,6 MB. Bei einem öffentlichen Benchmark mit 1.000 URLs beträgt die mittlere Anfragelatenz 710 ms und der Durchschnitt 833 ms. JavaScript-Rendering ist für Seiten enthalten, die es benötigen, und ein statischer Abrufpfad wird automatisch verwendet, wenn keine JavaScript-Ausführung erforderlich ist.
fastCRW ist in zwei Bereitstellungsmodi verfügbar. Ein verwalteter Cloud-Dienst bietet eine kostenlose Stufe von 500 Credits pro Monat und kostenpflichtige Stufen für höhere Volumen. Der vollständige Quellcode wird ebenfalls unter der AGPL-3.0-Lizenz auf GitHub veröffentlicht und kann auf jeder Infrastruktur ohne Gebühren pro Anfrage selbst gehostet werden. Beide Modi teilen sich dasselbe Binary und Funktionsumfang.
Offizielle Client-SDKs sind für Python und Node.js verfügbar, zusammen mit einer Befehlszeilenschnittstelle. Integrationen existieren für LangChain, LlamaIndex, CrewAI, n8n und Dify. Distributionspakete sind über Homebrew, apt und Docker verfügbar.
Typische Anwendungsfälle umfassen Retrieval-augmented Generation Pipelines, autonome LLM-Agenten, Wettbewerbsintelligenzüberwachung, Lead-Anreicherungs-Workflows und Datensatzkonstruktion für Modelltraining und Feinabstimmung.
