fastCRW é uma API de extração de dados, busca, rastreamento e scraping de web de código aberto, distribuída como um único binário Rust. Ela expõe uma API HTTP /v1 compatível com o formato de requisição e resposta do Firecrawl, e um endpoint de busca compatível com o formato de resposta do Tavily, permitindo que SDKs de clientes existentes se conectem alterando apenas a URL base.
O produto fornece quatro endpoints principais. Scrape busca uma única URL e retorna a página como markdown estruturado junto com metadados, capturas de tela opcionais, HTML bruto e gráficos de links. Crawl percorre um site inteiro ou um subconjunto de caminhos, suporta descoberta de sitemap, regras de robots.txt, deduplicação de URL canônica e transmite resultados à medida que as páginas são concluídas. Search aceita uma consulta em linguagem natural e retorna resultados da web classificados com o conteúdo completo da página já convertido para markdown na mesma resposta. Extract recupera campos estruturados de uma ou mais URLs usando um esquema JSON ou um prompt em linguagem natural. Map retorna o gráfico de URL de um site sem buscar páginas individuais.
O binário é escrito em Rust e distribuído como uma imagem Docker de 8 MB. A memória residente ociosa é de aproximadamente 6,6 MB. Em um benchmark público de 1.000 URLs, a latência mediana de requisição é de 710 ms e a média é de 833 ms. A renderização de JavaScript está incluída para páginas que a requerem, e um caminho de busca estática é usado automaticamente quando a execução de JavaScript não é necessária.
fastCRW está disponível em dois modos de implantação. Um serviço gerenciado na nuvem oferece um nível gratuito de 500 créditos por mês e níveis pagos para volumes maiores. O código-fonte completo também é publicado sob a licença AGPL-3.0 no GitHub e pode ser auto-hospedado em qualquer infraestrutura sem taxas por requisição. Ambos os modos compartilham o mesmo binário e conjunto de recursos.
SDKs de cliente oficiais estão disponíveis para Python e Node.js, juntamente com uma interface de linha de comando. Existem integrações para LangChain, LlamaIndex, CrewAI, n8n e Dify. Pacotes de distribuição estão disponíveis através do Homebrew, apt e Docker.
Os casos de uso típicos incluem pipelines de geração aumentada por recuperação, agentes autônomos de LLM, monitoramento de inteligência competitiva, fluxos de trabalho de enriquecimento de leads e construção de conjuntos de dados para treinamento e ajuste fino de modelos.
