Sparrow est une bibliothèque Python open-source et un système d'API pour extraire des données structurées à partir de documents en utilisant des modèles de langage visuel (VLMs). Il traite les factures, reçus, formulaires, relevés bancaires, tableaux et autres types de documents pour renvoyer des données JSON structurées. Au-delà de l'extraction de documents, Sparrow prend en charge le traitement d'instructions textuelles personnalisées pour toute tâche d'IA, y compris l'analyse de données, la synthèse, la prise de décision et les flux de travail de traitement de texte général.
Sparrow extrait le texte et les données des images (PNG, JPG) et des PDF multi-pages en utilisant la validation de schéma JSON pour garantir une extraction de données précise. Le système peut traiter des documents complexes, y compris des tableaux, des formulaires et des rapports financiers multi-pages. De plus, il gère les demandes basées sur des instructions personnalisées telles que les opérations arithmétiques, l'analyse de texte, la synthèse de contenu et d'autres tâches alimentées par l'IA sans nécessiter d'entrée de document.
La plateforme offre plusieurs supports backend, y compris MLX pour Apple Silicon, Ollama, vLLM, PyTorch et Hugging Face Cloud GPU. Elle fournit des points de terminaison API RESTful pour l'intégration, une interface web interactive pour le téléchargement et le traitement de documents, une interface en ligne de commande pour le traitement par lots, et inclut un tableau de bord analytique intégré avec surveillance des flux de travail.
Sparrow propose un système de pipeline modulaire avec Sparrow Parse pour le traitement visuel, Sparrow Instructor pour le traitement des instructions textuelles, et Sparrow Agents pour les flux de travail complexes. Le système utilise une extraction basée sur des schémas avec validation automatique et offre une capacité de traitement sur l'appareil pour la confidentialité des données. L'orchestration des flux de travail basée sur des agents inclut une surveillance visuelle alimentée par Prefect.
Les cas d'utilisation courants incluent le traitement automatisé des factures et reçus, l'analyse de documents financiers, l'extraction de données de formulaires, la reconnaissance de la structure des tableaux, le traitement d'instructions AI personnalisées, l'analyse et la synthèse de texte, et les flux de travail de traitement de documents en plusieurs étapes. Sparrow fonctionne sur Python 3.10+ et offre des options de licence open-source (GPL 3.0) et commerciale.
