NannyML est une bibliothèque Python open-source conçue pour surveiller et maintenir la performance des modèles d'apprentissage automatique dans les environnements de production, même lorsque les étiquettes de vérité terrain sont retardées ou indisponibles. En estimant la performance des modèles sans accès aux données cibles, NannyML permet aux data scientists et aux ingénieurs ML de détecter et de résoudre des problèmes tels que la dérive des données et la dérive de concept, garantissant que les modèles continuent à fournir des prédictions précises et fiables au fil du temps. Caractéristiques clés et fonctionnalités : - Estimation de la performance sans étiquettes : Utilise des techniques statistiques avancées comme l'Estimation de la Performance Basée sur la Confiance (CBPE) et l'Estimation de la Perte Directe (DLE) pour estimer les métriques de classification et de régression en temps réel, sans nécessiter de résultats réels. - Détection de la dérive des données : Surveille les changements dans les distributions des données d'entrée à la fois au niveau des caractéristiques et des ensembles de données, en utilisant des métriques telles que la divergence de Jensen-Shannon et la distance de Wasserstein pour identifier les changements qui peuvent affecter la performance du modèle. - Détection de la dérive de concept : Mesure l'impact de la dérive de concept sur la performance du modèle, fournissant des informations sur le moment où un réentraînement peut être nécessaire. - Analyse des causes profondes : Lie les alertes de dérive des données à des caractéristiques spécifiques, permettant une identification rapide des facteurs contribuant à la dégradation de la performance. - Évaluation de l'impact commercial : Permet aux utilisateurs de définir des matrices coût-bénéfice pour quantifier les résultats monétaires ou orientés vers les affaires de la performance du modèle, assurant l'alignement avec les objectifs organisationnels. - Surveillance et alertes automatisées : Fournit des systèmes d'alerte intelligents qui se concentrent sur les problèmes impactant la performance, réduisant les fausses alertes et la fatigue d'alerte. - Intégration et déploiement : Offre une intégration transparente avec les pipelines MLOps existants et peut être déployée au sein de l'infrastructure cloud d'une organisation pour une sécurité et un contrôle accrus. Valeur principale et problème résolu : NannyML répond au défi critique de maintenir la performance des modèles d'apprentissage automatique dans des environnements de production où les étiquettes de vérité terrain sont souvent retardées ou absentes. En permettant une estimation de la performance en temps réel et une détection de la dérive sans besoin de résultats réels, NannyML permet aux équipes de data science d'identifier et de résoudre de manière proactive les problèmes qui pourraient conduire à une dégradation du modèle. Cette surveillance proactive garantit que les modèles continuent à fournir des prédictions précises, préservant ainsi leur valeur commerciale et soutenant les processus de prise de décision éclairés. De plus, en réduisant les fausses alertes et en se concentrant sur les changements impactant la performance, NannyML aide les équipes à éviter la fatigue d'alerte et à allouer les ressources plus efficacement.