Temos testado o BugBug há várias semanas e já criamos um grande número de casos de teste para nossa aplicação Jira Forge. Uma das coisas que gostamos particularmente no BugBug é que você pode criar a maioria dos casos de teste sem precisar mergulhar na codificação. Enquanto grava um caso de teste, a extensão do navegador captura tudo o que você precisa. Ela grava automaticamente os passos do teste e também permite adicionar ativos e validações que são importantes para a verificação adequada do teste.
Antes do BugBug, avaliamos e usamos várias outras ferramentas de teste. O BugBug oferece uma excelente relação custo-benefício, e o roteiro parece muito promissor com muitos recursos úteis planejados. Dito isso, o conjunto de recursos atual já funciona muito bem para nós.
No momento, estamos no processo de construir cerca de 180 casos de teste automatizados para nossa aplicação Jira, e eles estão funcionando de forma muito confiável. Para alcançar esse nível de estabilidade, fizemos alguns ajustes em nossa aplicação para que ela gere IDs de teste estáveis, que podemos referenciar consistentemente durante os testes.
O que também apreciamos é que o BugBug é fácil de usar para diferentes tipos de usuários. Tanto nossos engenheiros quanto membros da equipe sem formação técnica conseguem trabalhar com ele e criar casos de teste. Você realmente não precisa de habilidades técnicas avançadas para começar.
No passado, executar manualmente uma suíte de testes completa poderia nos levar de três a quatro dias. Com o BugBug, reduzimos esse esforço para cerca de 10% do tempo original, e a maior parte do trabalho é executada automaticamente em segundo plano, sem exigir intervenção manual.
Outra grande vantagem para nós é a funcionalidade de webhook. Ela nos permitiu integrar o BugBug de forma suave com nosso repositório de casos de teste baseado no Jira. Implementamos a integração usando o n8n, e tudo funciona perfeitamente.
No geral, o BugBug melhorou significativamente nosso fluxo de trabalho e eficiência de testes. Análise coletada por e hospedada no G2.com.
Também achamos o preço base do BugBug bastante razoável. Ao usar os runners na nuvem, notamos que eles podem ser um pouco mais lentos em comparação com a execução de testes localmente. No entanto, as execuções na nuvem são atualmente a opção mais prática ao integrar testes em um fluxo de trabalho CI/CD.
Executar testes adicionais em paralelo na nuvem é possível, mas o preço para múltiplas execuções paralelas pode se tornar relativamente alto. Por essa razão, decidimos executar a maioria dos nossos testes em paralelo em vários ambientes de teste locais. Essa abordagem nos permite manter os tempos de execução curtos enquanto mantemos um bom equilíbrio entre desempenho e custo. Análise coletada por e hospedada no G2.com.
