Bolt Foundry propose Gambit, un cadre de travail pour agents conçu pour simplifier le développement de flux de travail précis pour les modèles de langage de grande taille (LLM). Gambit offre une interface en ligne de commande (CLI) et un environnement d'exécution qui aident les développeurs à fournir un contexte précis aux LLM, garantissant une performance efficace et fiable des assistants IA.
Caractéristiques clés et fonctionnalités :
- Gestion du contexte : Gambit délimite chaque étape du flux de travail à un contexte local, évitant les débordements de fenêtre de jetons et réduisant les hallucinations en fournissant aux outils uniquement les informations nécessaires.
- Conception modulaire de flux de travail : Le cadre permet la décomposition des assistants en étapes de flux de travail typées, chacune avec son propre prompt ou action de calcul. Les développeurs peuvent échanger les modèles par étape et réutiliser ces étapes dans différents flux de travail.
- Sécurité des types et débogage : Gambit permet la définition de schémas appliqués à l'exécution, fournissant des journaux structurés pour les échecs et facilitant un débogage plus facile par rapport aux sorties vagues des LLM.
- Rédaction flexible : Les flux de travail peuvent être rédigés en Markdown ou TypeScript, permettant un mélange de prompts LLM et de blocs de calcul. Gambit suit l'étiquette, les métadonnées et les dépendances de chaque étape, offrant une vue claire de la structure du flux de travail.
- Actions réutilisables : Les développeurs peuvent référencer une étape n'importe où tout en maintenant son schéma et ses garde-fous, assurant la sécurité des types à travers les flux de travail.
- Déploiement local et en production : Gambit prend en charge l'exécution locale via CLI ou une interface utilisateur de simulateur et peut être intégré dans des environnements d'exécution. Pour la production, il permet des échanges de fournisseurs de modèles et une intégration avec les évaluations gérées de Bolt Foundry.
Valeur principale et solutions pour les utilisateurs :
Gambit répond aux défis auxquels les développeurs sont confrontés dans la construction de flux de travail LLM fiables et efficaces en fournissant des outils pour gérer le contexte, modulariser la conception des flux de travail et assurer la sécurité des types. En offrant un environnement structuré et débogable, il réduit la complexité associée au développement LLM, permettant un déploiement plus rapide et des assistants IA de meilleure qualité. Cette solution est particulièrement bénéfique pour les développeurs cherchant à améliorer la précision et la fiabilité de leurs applications IA.
