Avaliações e Detalhes do Produto QA Wolf

Eu realmente gosto de usar o QA Wolf porque eles automatizaram uma grande parte do nosso conjunto de testes do lado do cliente. Eles detectam coisas que geralmente não pensamos, e a equipe é rápida em responder a quaisquer perguntas que possamos ter.

Na verdade, fazemos muito desenvolvimento internamente, então o fato de oferecerem webhooks e outras integrações de terceiros para emissão de tickets é ótimo.

Quanto à implementação, esse processo foi realmente simples. Tudo o que tivemos que fazer foi enviar a eles os testes que geralmente fazemos em um ciclo de construção, dar a eles uma conta em nosso ambiente de Desenvolvimento, e estávamos a caminho. Eu sei que o conjunto de testes está rodando diariamente, e eu posso até entrar e executar fluxos manualmente. Análise coletada por e hospedada no G2.com.

A coisa menos útil sobre o QA Wolf é, às vezes, a associação incorreta de fluxos com relatórios de bugs. Isso cria cenários onde os bugs são considerados "abertos" quando o bug raiz foi resolvido. Análise coletada por e hospedada no G2.com.

Testes de ponta a ponta de alta qualidade e fáceis de manter que substituem de forma significativa a regressão manual — não uma automação superficial.

Forte comunicação e uma verdadeira mentalidade de parceria; a equipe se sente como uma extensão da nossa organização de QA/QE.

Clara responsabilidade pela manutenção dos testes, investigação de flakiness e relatórios, o que mantém o sinal confiável e acionável.

Entrega transparente e planejamento realista uma vez que as expectativas foram alinhadas.

Modelo comercial flexível que permite que a cobertura de testes evolua à medida que as prioridades do produto mudam. Análise coletada por e hospedada no G2.com.

As expectativas iniciais em relação à velocidade de criação de testes foram definidas de forma mais agressiva durante o ciclo de vendas do que o que a entrega poderia realisticamente suportar.

A modelagem de ROI exigiu esclarecimento e um alinhamento mais profundo sobre as suposições para ser verdadeiramente significativa para o nosso modelo operacional.

A velocidade dos testes aumenta ao longo do tempo à medida que o conhecimento do domínio é construído, então o valor é mais forte após o período inicial de integração, em vez de imediatamente. Análise coletada por e hospedada no G2.com.

Eles são extremamente comunicativos, e a qualidade dos seus testes é muito alta. Em mais de uma ocasião, eles nos impediram de lançar regressões importantes ao relatar bugs para nós no início do nosso ciclo de vida de desenvolvimento de software. Quando precisamos solicitar informações ou mudanças em nossos testes, eles sempre foram rápidos e fáceis de corresponder. Análise coletada por e hospedada no G2.com.

A única desvantagem real que experimentei é que eles não fazem parte da nossa equipe principal, portanto, não têm acesso às percepções sobre os problemas mais comuns que nossos clientes estão enfrentando. Eles são receptivos a essas informações quando as compartilhamos com eles, mas como terceiros, sempre há mais um passo na cadeia de comunicação. No entanto, isso é apenas parte do modelo de negócios, não um déficit particular da empresa deles. Análise coletada por e hospedada no G2.com.

Usamos o QA Wolf para levar nossa organização de 0 a 60 em termos de testes automatizados de ponta a ponta. Eles criaram uma verdadeira parceria com nossos grupos de produto e engenharia para criar uma solução ideal para nós e nos ajudar a desenvolver aquele "músculo" de testes automatizados que ainda não havíamos formado completamente. Achamos o uso do toque humano (acesso a suporte, engenheiros e facilitadores) revigorante e fundamental para nosso sucesso neste mundo de soluções apenas de IA. Análise coletada por e hospedada no G2.com.

Embora tenhamos tido uma ótima experiência com a QA Wolf, é possível que uma organização que já tenha uma cultura/processos de engenharia de testes automatizados robustos possa não ter tanto uso para seus serviços. Achamos que a expertise deles foi fundamental para construir esses processos e cultura dentro da nossa organização. Análise coletada por e hospedada no G2.com.

QA Wolf toma a iniciativa quando se trata de automatizar fluxos de trabalho, fazendo ótimas perguntas para maximizar a cobertura de testes. O conjunto de testes que eles projetaram é impressionante e detectou muitos bugs antes dos lançamentos de produção. Um ótimo grupo para se trabalhar, pensadores críticos e solucionadores de problemas. Análise coletada por e hospedada no G2.com.

Às vezes, temos diferentes engenheiros trabalhando em nossa plataforma. Há alguns engenheiros que são dedicados ao nosso produto e o conhecem bem. Isso cria falsos positivos quando outros engenheiros estão cobrindo os nossos dedicados. Análise coletada por e hospedada no G2.com.

Três coisas: 1. Eles assumem a responsabilidade pelas tarefas que lhes são atribuídas. Se algo parece ou parece errado, mesmo que não seja algo explicitamente discutido ou delineado, eles dedicarão tempo para entrar em contato e esclarecer que as funcionalidades que estão testando estão funcionando conforme o esperado. 2. Manter-se atualizado sobre os próprios testes e corrigi-los se eles falharem. 3. Podemos assumir a propriedade dos testes que foram escritos se/quando decidirmos nos separar. Análise coletada por e hospedada no G2.com.

O que é considerado um "teste" que é cobrado é menor do que eu normalmente intuiria. Isso é algo que eu esperava ao entrar neste serviço. E, em última análise, entendo a abordagem do ponto de vista deles. No entanto, ocasionalmente fico surpreso quando proponho algo como três ou quatro testes. Mas então eles voltam e dizem: "Não, precisamos dividir isso em dez testes". Análise coletada por e hospedada no G2.com.

QA Wolf constrói, executa e mantém testes de integração incríveis, exatamente de acordo com nossas especificações. O conjunto de testes está integrado ao nosso CI e é executado antes de cada implantação em produção. Eles detectaram muitos bugs antes de implantarmos o código para os clientes, e no caso de falsos positivos ou mudanças no produto, são super úteis e rápidos para corrigir e reexecutar seus testes. Análise coletada por e hospedada no G2.com.

Eu realmente tenho que cavar fundo para encontrar qualquer desvantagem. A interface deles é um pouco confusa às vezes, o tempo de resposta para novos testes às vezes demora um pouco, e eles não trabalham nos fins de semana. Nenhuma dessas coisas foi mais do que pequenos aborrecimentos. Análise coletada por e hospedada no G2.com.

A melhor coisa é a parceria com a equipe QA Wolf. Temos uma ótima rotina onde podemos confiar que nossa suíte de testes automatizados está sendo executada todos os dias e, em seguida, nossa equipe QA Wolf está triando os resultados. Se tivermos uma regressão, temos confiança de que será detectada durante os testes. Análise coletada por e hospedada no G2.com.

Eu não acho que tenho uma aversão. Sinto que obtemos valor pelo que pagamos e é fácil trabalhar com a equipe. Análise coletada por e hospedada no G2.com.

Temos usado o QA Wolf nos últimos seis meses, e nossa experiência tem sido extremamente positiva. O processo de integração foi tranquilo, e fiquei particularmente impressionado com a minuciosidade deles na coleta de nossos requisitos para testes de funcionalidades. Dependemos do QA Wolf para nossos testes de regressão de ponta a ponta, que nossa equipe interna de QA não consegue gerenciar completamente, especialmente quando se trata de casos de teste que envolvem integrações de terceiros, configuração de 2FA, colaboração em tempo real com várias abas do navegador. O painel e o aplicativo de relatórios de execuções deles são uma ótima maneira de ver as tendências de como a qualidade está se saindo no geral. Trabalhar com a equipe do QA Wolf tem sido realmente um prazer. O que mais valorizo é a acessibilidade deles—eles estão sempre a uma mensagem no Slack de distância sempre que temos perguntas. Análise coletada por e hospedada no G2.com.

No momento, não consigo pensar em nada em particular. Quase tudo parece estar focado na qualidade. Análise coletada por e hospedada no G2.com.

O que eu realmente mais gosto no Qa Wolf é a capacidade de suportar múltiplos ambientes. Recentemente, começamos a configurar ambientes efêmeros para melhorar a qualidade e a confiança, e o Qa Wolf já nos deu uma vantagem inicial, não apenas nos fornecendo a plataforma, mas também nos oferecendo um modelo fácil de usar. A equipe deles também está atenta a qualquer falha. Eles são rápidos em relatar, instigar e responder quando os testes falham. Análise coletada por e hospedada no G2.com.

Isso não é exatamente uma aversão, mas acho que seria útil ter uma opção para os usuários marcarem uma execução como 'Não Investigar' ou como 'Execução de Teste'. Não tenho certeza se esse recurso já existe, mas há situações em que estamos testando alterações de código e sabemos que alguns fluxos de trabalho falharam ou podem falhar. Nesses casos, seria útil informar à equipe do Qa Wolf para ignorar essas falhas, para que todos possamos evitar discussões e notificações desnecessárias em nossos canais. Análise coletada por e hospedada no G2.com.