NannyML ist eine Open-Source-Python-Bibliothek, die entwickelt wurde, um die Leistung von Machine-Learning-Modellen in Produktionsumgebungen zu überwachen und aufrechtzuerhalten, selbst wenn die tatsächlichen Labels verzögert oder nicht verfügbar sind. Durch die Schätzung der Modellleistung ohne Zugriff auf Zieldaten ermöglicht NannyML Datenwissenschaftlern und ML-Ingenieuren, Probleme wie Daten- und Konzeptdrift zu erkennen und zu beheben, um sicherzustellen, dass Modelle weiterhin genaue und zuverlässige Vorhersagen liefern. Hauptmerkmale und Funktionalität: - Leistungsschätzung ohne Labels: Nutzt fortschrittliche statistische Techniken wie Confidence-Based Performance Estimation (CBPE) und Direct Loss Estimation (DLE), um Klassifikations- und Regressionsmetriken in Echtzeit zu schätzen, ohne tatsächliche Ergebnisse zu benötigen. - Erkennung von Daten-Drift: Überwacht Änderungen in den Eingabedatenverteilungen sowohl auf Feature- als auch auf Datensatzebene und verwendet Metriken wie Jensen-Shannon-Divergenz und Wasserstein-Distanz, um Verschiebungen zu identifizieren, die die Modellleistung beeinträchtigen könnten. - Erkennung von Konzept-Drift: Misst die Auswirkungen von Konzeptdrift auf die Modellleistung und bietet Einblicke, wann ein erneutes Training erforderlich sein könnte. - Ursachenanalyse: Verknüpft Daten-Drift-Warnungen mit spezifischen Merkmalen, um eine schnelle Identifizierung der Faktoren zu ermöglichen, die zur Leistungsverschlechterung beitragen. - Bewertung der Geschäftsauswirkungen: Ermöglicht es Benutzern, Kosten-Nutzen-Matrizen zu definieren, um die monetären oder geschäftsorientierten Ergebnisse der Modellleistung zu quantifizieren und sicherzustellen, dass sie mit den organisatorischen Zielen übereinstimmen. - Automatisierte Überwachung und Alarmierung: Bietet intelligente Alarmsysteme, die sich auf leistungsbeeinträchtigende Probleme konzentrieren und Fehlalarme sowie Alarmmüdigkeit reduzieren. - Integration und Bereitstellung: Bietet nahtlose Integration in bestehende MLOps-Pipelines und kann innerhalb der Cloud-Infrastruktur einer Organisation für erhöhte Sicherheit und Kontrolle bereitgestellt werden. Primärer Wert und gelöstes Problem: NannyML adressiert die kritische Herausforderung, die Leistung von Machine-Learning-Modellen in Produktionsumgebungen aufrechtzuerhalten, in denen die tatsächlichen Labels oft verzögert oder nicht vorhanden sind. Durch die Ermöglichung der Echtzeitleistungsschätzung und Drift-Erkennung ohne die Notwendigkeit tatsächlicher Ergebnisse befähigt NannyML Datenwissenschaftsteams, proaktiv Probleme zu identifizieren und zu lösen, die zu einer Verschlechterung des Modells führen könnten. Diese proaktive Überwachung stellt sicher, dass Modelle weiterhin genaue Vorhersagen liefern, wodurch ihr Geschäftswert erhalten bleibt und fundierte Entscheidungsprozesse unterstützt werden. Darüber hinaus hilft NannyML durch die Reduzierung von Fehlalarmen und die Fokussierung auf leistungsbeeinträchtigende Änderungen den Teams, Alarmmüdigkeit zu vermeiden und Ressourcen effektiver zuzuweisen.