NannyML é uma biblioteca Python de código aberto projetada para monitorar e manter o desempenho de modelos de aprendizado de máquina em ambientes de produção, mesmo quando os rótulos de verdadeiros valores estão atrasados ou indisponíveis. Ao estimar o desempenho do modelo sem acesso aos dados-alvo, o NannyML permite que cientistas de dados e engenheiros de ML detectem e resolvam problemas como desvio de dados e desvio de conceito, garantindo que os modelos continuem a fornecer previsões precisas e confiáveis ao longo do tempo. Principais Características e Funcionalidades: - Estimativa de Desempenho Sem Rótulos: Utiliza técnicas estatísticas avançadas como Estimativa de Desempenho Baseada em Confiança (CBPE) e Estimativa de Perda Direta (DLE) para estimar métricas de classificação e regressão em tempo real, sem exigir resultados reais. - Detecção de Desvio de Dados: Monitora mudanças nas distribuições de dados de entrada tanto em nível de características quanto de conjunto de dados, empregando métricas como divergência de Jensen-Shannon e distância de Wasserstein para identificar mudanças que podem impactar o desempenho do modelo. - Detecção de Desvio de Conceito: Mede o impacto do desvio de conceito no desempenho do modelo, fornecendo insights sobre quando o re-treinamento pode ser necessário. - Análise de Causa Raiz: Liga alertas de desvio de dados a características específicas, permitindo a identificação rápida dos fatores que contribuem para a degradação do desempenho. - Avaliação de Impacto nos Negócios: Permite que os usuários definam matrizes de custo-benefício para quantificar os resultados monetários ou orientados para negócios do desempenho do modelo, garantindo alinhamento com os objetivos organizacionais. - Monitoramento e Alerta Automatizados: Fornece sistemas de alerta inteligentes que se concentram em questões que impactam o desempenho, reduzindo alarmes falsos e fadiga de alertas. - Integração e Implantação: Oferece integração perfeita com pipelines de MLOps existentes e pode ser implantado na infraestrutura de nuvem de uma organização para maior segurança e controle. Valor Principal e Problema Resolvido: O NannyML aborda o desafio crítico de manter o desempenho de modelos de aprendizado de máquina em ambientes de produção onde os rótulos de verdadeiros valores frequentemente estão atrasados ou ausentes. Ao permitir a estimativa de desempenho em tempo real e a detecção de desvios sem a necessidade de resultados reais, o NannyML capacita as equipes de ciência de dados a identificar e resolver proativamente problemas que poderiam levar à degradação do modelo. Este monitoramento proativo garante que os modelos continuem a fornecer previsões precisas, preservando assim seu valor comercial e apoiando processos de tomada de decisão informados. Além disso, ao reduzir alarmes falsos e focar em mudanças que impactam o desempenho, o NannyML ajuda as equipes a evitar a fadiga de alertas e a alocar recursos de forma mais eficaz.