Avaliações e Detalhes do Produto WhyLabs

A funcionalidade central é explicitamente importante quando você tem soluções de IA/ML rodando em produção. Em vez de gastar tempo com verificações manuais (que podem ser propensas a erros), você pode configurar monitores para informá-lo se algo estiver dando errado. É flexível o suficiente para construir sua métrica personalizada e monitores, o que permite um uso versátil.

O que é altamente importante para mim é o contato com a equipe da WhyLabs. O suporte deles é excelente, o que resulta no fato de que, mesmo que algo seja difícil de implementar, eu sei que tenho pessoas que me ajudarão a tirar o melhor proveito da plataforma. Análise coletada por e hospedada no G2.com.

Construir monitores e métricas personalizados é uma experiência desafiadora. Às vezes, tenho dificuldades com problemas de código, então uma FAQ ou documentação melhor poderia ser útil para evitá-los. Análise coletada por e hospedada no G2.com.

Uma das características de destaque do WhyLabs é sua robusta capacidade de observabilidade de dados. Ele fornece monitoramento contínuo de pipelines de dados e modelos de ML, permitindo que as equipes identifiquem rapidamente problemas como desvio de dados, degradação de modelos e discrepância entre treinamento e serviço. A integração que preserva a privacidade da plataforma garante que os dados possam ser analisados sem movê-los ou duplicá-los, o que é crítico para manter a segurança e a privacidade em indústrias sensíveis como saúde e finanças. Análise coletada por e hospedada no G2.com.

Uma desvantagem potencial do WhyLabs é a sua quantidade relativamente limitada de avaliações e feedbacks de usuários devido à sua novidade no mercado, tornando mais difícil para os usuários em potencial avaliarem seu desempenho no mundo real em escala. Essa falta de avaliações detalhadas pode levantar preocupações sobre sua maturidade e infraestrutura de suporte. Além disso, por ser uma plataforma mais nova, alguns recursos avançados podem ainda estar em desenvolvimento, e pode haver curvas de aprendizado acentuadas para equipes não familiarizadas com ferramentas de observabilidade em aprendizado de máquina. Análise coletada por e hospedada no G2.com.

* O suporte ao cliente é muito prestativo e proativo

* A ferramenta permite a fácil ingestão de um grande número de funcionalidades e a configuração de monitoramento inicial sobre elas

* Podemos usá-la para monitorar tanto a qualidade de entrada quanto o desempenho do modelo

* Os alertas podem ser direcionados a grupos específicos de usuários por meio de canais específicos (email/slack), o que é útil Análise coletada por e hospedada no G2.com.

* Pode ser desafiador configurar o monitoramento da maneira correta quando se trata de sensibilidade - isso requer muita tentativa e erro

* Algumas ações não são possíveis via interface de usuário e exigem chamadas específicas de API

* A documentação pode ser difícil de navegar Análise coletada por e hospedada no G2.com.

Ótimo para colaborar; muito responsivo; realmente aprecio seus OHs para ajudar com problemas que surgem; muitas soluções inovadoras para diferentes tipos de modelos de ML que realmente nos ajudaram, dada a ampla variedade de modelos de ML que executamos na empresa. Análise coletada por e hospedada no G2.com.

Nada de importante a mencionar! Resolvemos tudo e a equipe foi muito prestativa. Análise coletada por e hospedada no G2.com.

O principal aspecto que se destacou para nós foi a facilidade de integração. Foi bastante simples, quase igual ao código de exemplo para colocar o LangKit em nosso pipeline de LLM e carregá-lo no WhyLabs. A documentação de introdução foi clara e concisa. Mesmo para empresas com recursos limitados como a nossa, o WhyLabs AI Observatory prova ser uma solução acessível e facilmente adaptável. Análise coletada por e hospedada no G2.com.

As ferramentas de visualização de dados são altamente capazes, embora haja uma curva de aprendizado para dominá-las. No entanto, a equipe de sucesso e suporte ao cliente é responsiva, prestativa e tem consistentemente superado as expectativas para garantir que utilizemos a plataforma em todo o seu potencial. Análise coletada por e hospedada no G2.com.

WhyLabs é a segunda plataforma de observabilidade que já usei, e posso dizer que as principais características que gosto na plataforma são que é fácil de configurar e implementar as funcionalidades, as verificações e métricas já estavam pré-carregadas, então não precisei fazer muito na configuração do aplicativo, e o monitoramento não foi difícil de começar. Também se integra bem com as bibliotecas de serviço e dados que usamos para a configuração do tutorial de produção. Análise coletada por e hospedada no G2.com.

Até agora nada, só tive problemas de estabilidade uma vez (em algum momento de 2022), mas o suporte conseguiu me ajudar a resolver rapidamente. Análise coletada por e hospedada no G2.com.

Usei o WhyLabs por algumas semanas e fiquei extremamente satisfeito com ele! Vou avaliar algumas dimensões da ferramenta que resumem minha experiência com ela.

Ingestão de Dados Fácil:

A API de ingestão é simples de usar e suporta múltiplos conectores, como BigQuery, Databricks e Spark, facilitando a importação de dados. O uso de Data Profiling pelo Whylabs garante um processamento de dados rápido e seguro, eliminando a necessidade de carregar conjuntos de dados inteiros, tornando todo o processo muito seguro, já que seus dados não saem dos seus servidores.

Recursos de Dados Confiáveis:

O Whylabs entrega todas as métricas padrão de recursos com precisão. Rastrear deriva de dados e modelos é muito simples usando Monitores. Além disso, a plataforma suporta a criação de métricas personalizadas durante ou após a ingestão. Agrupar por variáveis (segmentos) funciona bem, mas deve ser definido durante a ingestão. Então, você pode analisar os recursos do conjunto de dados e rastrear o desempenho do modelo por segmento.

Monitores Flexíveis:

O sistema de monitoramento no Whylabs é altamente adaptável e fácil de usar, cobrindo múltiplas variáveis com facilidade. Monitores são fáceis de configurar via UI ou importação JSON, com notificações resumidas para cada monitor, mantendo os usuários informados sem sobrecarregá-los. Além disso, os monitores são serializáveis em JSON, o que é muito útil, pois você pode rastreá-los com controle de versão.

Usabilidade Amigável:

O Whylabs tem uma interface limpa e intuitiva, simplificando a navegação para os usuários. Embora alguns recursos avançados possam exigir conhecimento de programação, a maioria das tarefas pode ser realizada dentro da UI. Graças ao data profiling, o Whylabs oferece um desempenho rápido sem comprometer a precisão.

Documentação Sólida:

A documentação fornecida pelo Whylabs é abrangente e fácil de entender, permitindo que os usuários aproveitem ao máximo a plataforma.

Preços:

É simplesmente mais barato que a concorrência, enquanto possui recursos de primeira linha.

Suporte ao Cliente:

Eles são sempre muito prestativos, respondendo a todas as nossas perguntas e realizando várias chamadas nos mostrando diferentes casos de uso diretamente na plataforma.

No geral, o Whylabs oferece uma solução direta, eficiente e acessível para monitorar modelos de Machine Learning, com fácil ingestão de dados, análise de recursos confiável e opções de monitoramento flexíveis. Análise coletada por e hospedada no G2.com.

Há algumas desvantagens:

- Os painéis estão em beta e, embora funcionais, carecem de refinamento em termos de interface do usuário. Eles estão trabalhando ativamente nisso, então provavelmente alguns meses após esta revisão isso já pode estar corrigido.

- Definir agrupamentos por variáveis deve ser feito no momento da ingestão, limitando a flexibilidade para análise pós-ingestão.

Dito isso, eles são muito abertos a feedbacks e podem mudar ou adicionar funcionalidades com base nas suas necessidades. No nosso caso, os painéis eram importantes e eles estão trabalhando neles. Análise coletada por e hospedada no G2.com.

Minha experiência com a Plataforma WhyLabs foi esclarecedora, oferecendo insights intuitivos sobre o comportamento de modelos de IA e aprimorando meu entendimento sobre a observabilidade de IA. A melhor parte da interface é sua interface amigável e o conjunto abrangente de análises que fornecem insights valiosos sobre o comportamento de modelos de IA e que também possibilitam um painel para monitoramento de dados, características do modelo. Também facilita o monitoramento em tempo real, aprimorando, em última análise, a eficiência dos processos de desenvolvimento de IA. Além disso, oferece a flexibilidade de personalizar as características do modelo conforme a necessidade do projeto. Análise coletada por e hospedada no G2.com.

Poucas opções avançadas de personalização para análises não estão disponíveis no momento, mas conforme informado, estarão disponíveis em breve como uma atualização na plataforma. Assim, isso resolve a desvantagem no futuro. Análise coletada por e hospedada no G2.com.

WhyLabs é muito útil para depurar, manter e desenvolver sistemas de ML em produção. É portátil, altamente configurável e fornece visibilidade unificada em uma ampla gama de sistemas/serviços em um ecossistema de ML em produção. Melhora drasticamente o devops de ML e é incrivelmente fácil de começar. Integra-se muito facilmente com todos os sistemas que usei, a implementação é muito simples, e há muito pouca fricção para começar. Eu detectei muitos problemas usando-o. Análise coletada por e hospedada no G2.com.

Eu realmente não tenho nenhuma reclamação sobre isso, ele faz seu trabalho incrivelmente bem para meus casos de uso. Análise coletada por e hospedada no G2.com.

A interface do usuário é muito amigável e a equipe de suporte é extremamente responsiva e prestativa. Análise coletada por e hospedada no G2.com.

Algumas funcionalidades, como excluir um perfil ou alterar o tipo de dado de uma funcionalidade, só podem ser realizadas através da API. Análise coletada por e hospedada no G2.com.