LoRAX (LoRA eXchange) est un cadre de pointe conçu pour servir des milliers de modèles de langage de grande taille (LLM) ajustés sur un seul GPU. En chargeant dynamiquement des adaptateurs LoRA spécifiques à la tâche par demande, LoRAX réduit considérablement le coût de la mise en service des modèles sans compromettre le débit ou la latence. Cette approche permet une mise à l'échelle et une gestion efficaces de nombreux modèles ajustés, ce qui en fait une solution idéale pour les organisations cherchant à déployer plusieurs LLM de manière efficace. Caractéristiques clés et fonctionnalités : - Chargement dynamique d'adaptateurs : LoRAX permet l'inclusion de tout adaptateur LoRA ajusté à partir de sources comme HuggingFace, Predibase ou des systèmes de fichiers locaux. Les adaptateurs sont chargés juste à temps pendant les demandes, assurant une intégration transparente sans bloquer les opérations concurrentes. De plus, plusieurs adaptateurs peuvent être fusionnés par demande pour créer des ensembles puissants. - Regroupement continu hétérogène : Le cadre regroupe efficacement les demandes pour différents adaptateurs ensemble, maintenant une latence et un débit constants quel que soit le nombre d'adaptateurs concurrents. - Planification de l'échange d'adaptateurs : LoRAX gère de manière asynchrone la prélecture et le déchargement des adaptateurs entre la mémoire GPU et CPU, optimisant le regroupement des demandes pour améliorer le débit global du système. - Inférence optimisée : Le système intègre des optimisations à haut débit et à faible latence, y compris le parallélisme des tenseurs, les noyaux CUDA précompilés (tels que l'attention flash, l'attention paginée et SGMV), la quantification et le streaming de tokens. - Déploiement prêt pour la production : LoRAX propose des images Docker préconstruites, des graphiques Helm pour Kubernetes, des métriques Prometheus et une traçabilité distribuée avec Open Telemetry. Il prend en charge une API compatible OpenAI pour les conversations de chat multi-tours, des adaptateurs privés grâce à l'isolation des locataires par demande, et une sortie structurée en mode JSON. - Open source et utilisation commerciale : Sous licence Apache 2.0, LoRAX est gratuit pour une utilisation commerciale, offrant flexibilité et accessibilité pour diverses applications. Valeur principale et solutions pour les utilisateurs : LoRAX répond au défi de servir efficacement un grand nombre de LLM ajustés en permettant le chargement dynamique et à la demande d'adaptateurs spécifiques à la tâche. Cette capacité permet aux organisations de déployer et de gérer des milliers de modèles spécialisés sur un seul GPU, réduisant considérablement les coûts matériels et la complexité opérationnelle. En maintenant un débit élevé et une faible latence, LoRAX garantit que les utilisateurs peuvent accéder et utiliser des modèles ajustés sans dégradation des performances, en faisant un outil inestimable pour des déploiements d'IA évolutifs et rentables.