Avaliações e Detalhes do Produto BugBug

Temos testado o BugBug há várias semanas e já criamos um grande número de casos de teste para nossa aplicação Jira Forge. Uma das coisas que gostamos particularmente no BugBug é que você pode criar a maioria dos casos de teste sem precisar mergulhar na codificação. Enquanto grava um caso de teste, a extensão do navegador captura tudo o que você precisa. Ela grava automaticamente os passos do teste e também permite adicionar ativos e validações que são importantes para a verificação adequada do teste.

Antes do BugBug, avaliamos e usamos várias outras ferramentas de teste. O BugBug oferece uma excelente relação custo-benefício, e o roteiro parece muito promissor com muitos recursos úteis planejados. Dito isso, o conjunto de recursos atual já funciona muito bem para nós.

No momento, estamos no processo de construir cerca de 180 casos de teste automatizados para nossa aplicação Jira, e eles estão funcionando de forma muito confiável. Para alcançar esse nível de estabilidade, fizemos alguns ajustes em nossa aplicação para que ela gere IDs de teste estáveis, que podemos referenciar consistentemente durante os testes.

O que também apreciamos é que o BugBug é fácil de usar para diferentes tipos de usuários. Tanto nossos engenheiros quanto membros da equipe sem formação técnica conseguem trabalhar com ele e criar casos de teste. Você realmente não precisa de habilidades técnicas avançadas para começar.

No passado, executar manualmente uma suíte de testes completa poderia nos levar de três a quatro dias. Com o BugBug, reduzimos esse esforço para cerca de 10% do tempo original, e a maior parte do trabalho é executada automaticamente em segundo plano, sem exigir intervenção manual.

Outra grande vantagem para nós é a funcionalidade de webhook. Ela nos permitiu integrar o BugBug de forma suave com nosso repositório de casos de teste baseado no Jira. Implementamos a integração usando o n8n, e tudo funciona perfeitamente.

No geral, o BugBug melhorou significativamente nosso fluxo de trabalho e eficiência de testes. Análise coletada por e hospedada no G2.com.

Também achamos o preço base do BugBug bastante razoável. Ao usar os runners na nuvem, notamos que eles podem ser um pouco mais lentos em comparação com a execução de testes localmente. No entanto, as execuções na nuvem são atualmente a opção mais prática ao integrar testes em um fluxo de trabalho CI/CD.

Executar testes adicionais em paralelo na nuvem é possível, mas o preço para múltiplas execuções paralelas pode se tornar relativamente alto. Por essa razão, decidimos executar a maioria dos nossos testes em paralelo em vários ambientes de teste locais. Essa abordagem nos permite manter os tempos de execução curtos enquanto mantemos um bom equilíbrio entre desempenho e custo. Análise coletada por e hospedada no G2.com.

Fácil de usar e aprender, execução rápida, adequado para execução local que não requer nuvem Análise coletada por e hospedada no G2.com.

Suporte: leva 24 horas para obter a resposta; se você não tiver uma assinatura paga, mas gostaria de obter uma enquanto tenta resolver problemas bloqueantes, o suporte não está disposto a entrar em uma chamada e ter uma sessão de trabalho para resolver o obstáculo.

Recursos: comparação de imagens, comparação de arquivos, janelas abertas exploradas e seleção de arquivo para importação, teste de canvas, tempos de espera estendidos para permitir execuções analíticas mais longas. Análise coletada por e hospedada no G2.com.

Facilidade de uso. Muito simples de adicionar ao Chrome e você está pronto para começar.

Grátis para uso local (vs testes em nuvem). SE você fizer sugestões, 'pessoas reais' comentam e dão feedback em vez de algumas respostas genéricas do tipo 'obrigado pela sua contribuição'. Todos os benefícios de uma empresa menor, mais jovem e mais responsiva. Análise coletada por e hospedada no G2.com.

Gostaria de poder verificar <titles> de página e talvez outros atributos chave que não são exibidos. Agora aprendi que minha reclamação sobre querer executar o mesmo conjunto de testes contra o mesmo sistema, mas em diferentes ambientes, é coberta pelos 'perfis' do BugBug, então parece que eu simplesmente preciso aprender mais para tirar ainda mais proveito do BugBug 🙂 Análise coletada por e hospedada no G2.com.

BugBug é uma ferramenta altamente intuitiva que nos ajudou a economizar uma quantidade significativa de tempo em testes de regressão. Graças ao BugBug, conseguimos passar de lançamentos trimestrais para adotar uma abordagem CI/CD. Análise coletada por e hospedada no G2.com.

Até agora, não encontrei nenhuma desvantagem. Talvez o único problema menor seja que cada execução é limitada a 30 minutos. No entanto, isso pode ser gerenciado dividindo a execução em segmentos separados. Análise coletada por e hospedada no G2.com.

É super fácil de usar, mesmo para pessoas que não estavam previamente envolvidas em atividades de automação de testes. A interface, comparada com a dos concorrentes, é super clara e permite que você se concentre em construir testes, em vez de aprender as complexidades da interface, desde o início.

Além disso, ser capaz de fazer asserções/passos baseados em JS permite que usuários mais experientes em tecnologia superem quaisquer limitações de software.

A implementação do POC nos levou cerca de uma semana, para ter certeza de que esta é a ferramenta certa para nós.

O suporte também é super responsivo e prestativo. Análise coletada por e hospedada no G2.com.

Há algumas características importantes ausentes no momento, como loops ou ramificação condicional em cenários de teste - então você não pode construir e manter cenários complexos facilmente. Uma vez que essas características estejam presentes, este produto é de primeira linha. Análise coletada por e hospedada no G2.com.

Facilidade de uso: É muito simples de usar. A interface é clara, então um iniciante rapidamente encontrará tudo o que precisa. Existem múltiplos recursos para criar testes rapidamente (gravar etapas, parar o cenário no meio de um teste para editar etapas e lançá-lo novamente). Usar componentes facilita a adição de modificações a múltiplos testes ao mudar um parâmetro/uma etapa em um só lugar. Você também pode usar variáveis prontas ou criar as suas próprias + criar etapas usando Javascript.

Facilidade de implementação: Super simples, você tinha as credenciais/informações do aplicativo/página web que deseja testar e está pronto para gravar testes.

Suporte ao Cliente: Eles são muito reativos. Tive que contatá-los por e-mail 2 vezes, recebi uma resposta deles em menos de 2 horas. E a resposta foi útil!

Facilidade de integração: nossos desenvolvedores configuraram uma integração do Bugbug em nossa ação do Github para lançar uma suíte de testes em branches e nosso ambiente de staging. Análise coletada por e hospedada no G2.com.

Eu diria que o fato de não haver possibilidade de usar componentes várias vezes em um teste (mas está no roteiro deles). Às vezes, os testes param em uma etapa sem motivo, tenho que deletar a etapa e criar exatamente como a original para fazer o teste funcionar novamente (muito raro, porém). Uso o produto há 1 mês, ainda estou curioso sobre a rapidez com que lançam novas funcionalidades. Análise coletada por e hospedada no G2.com.

- A ferramenta de automação de QA sem código mais abrangente, vem como um "kit" pronto para usar "fora da caixa": não há necessidade de se preocupar em configurar máquinas virtuais próprias, você pode executar testes localmente em sua máquina ou na nuvem na infraestrutura BugBug

- Facilidade de uso tanto para QA quanto para gerentes

- Fácil de aprender e entender para testadores manuais que desejam iniciar na automação

- Um número decente de recursos implementados e mais a caminho

- Usamos continuamente para testes de fumaça e testes E2E para nosso produto baseado na web

- Documentação abrangente e fácil de seguir

- Bastante rápido e fácil de configurar

- Lista útil de integrações (Slack, Zapier, GitHub)

- Suporte ao cliente ativo e prestativo

- Transparência suficiente sobre recursos futuros

- Local dedicado para coletar feedback dos usuários, melhorias ou ideias de recursos

- Solução rápida para reduzir o tempo de execução à medida que o projeto cresce: opção de comprar infraestrutura estendida para executar vários testes em "paralelo" (o que é tentador especialmente para testadores de QA sem experiência em automação, alocar mais recursos é uma opção, mas também é otimizar a estratégia de automação de testes e a mentalidade de gravar etapas) Análise coletada por e hospedada no G2.com.

- Gostaria de ter mais controle durante a gravação de um teste, como onde gravar um passo

- A pausa/retomada durante a gravação é um pouco inconsistente e não muito suave

- Um pouco complicado verificar se uma correção para um teste longo está funcionando, porque não há como especificar o local de onde o teste pode começar a execução (se um teste leva 7 minutos e algo falha por volta do minuto 6, após corrigir, você tem que executar o teste desde o início, em vez de clicar em "executar a partir daqui" de uma certa seção do teste, por exemplo)

- Falta de passos condicionais (se, quando, enquanto)

- Vejo a dificuldade de acompanhar as variáveis de teste (e não as variáveis de projeto) aumentando quanto mais testes você implementa: e isso é uma desvantagem em comparação com ferramentas de automação baseadas em código (como Cypress ou Playwright)

- A ferramenta não tem um equivalente a uma "função" na programação: o mais próximo é o conceito de um "componente" de teste, também conhecido como um bloco de testes, mas ele só pode ser usado uma vez por teste (no momento)

- Falta de um lugar para relatar bugs com a ferramenta (tratado por e-mail para o suporte bugbug)

- Mais controle sobre execuções paralelas: como está, é uma configuração que pode ser verdadeira ou falsa no nível da suíte de testes Análise coletada por e hospedada no G2.com.

1. A interface do BugBug é intuitiva e fácil de navegar, tornando-a acessível mesmo para aqueles que são novos em testes automatizados.

2. Permite que não-desenvolvedores criem e executem testes sem precisar escrever nenhum código.

3. Os testes podem ser configurados rapidamente, o que é ideal para projetos menores ou equipes com tempo limitado.

4. O BugBug possui o recurso de Gravação e Reprodução para simplificar o processo de criação de testes, permitindo que os usuários gravem suas ações e as reproduzam.

5. Sendo uma ferramenta baseada em nuvem, o BugBug não requer nenhuma configuração ou instalação local, o que pode economizar tempo e recursos.

6. O BugBug pode ser integrado em pipelines de CI/CD, automatizando testes como parte do processo de implantação.

7. Os testes são executados rapidamente, permitindo um feedback rápido durante o processo de desenvolvimento.

8. A extensão do navegador BugBug melhora a usabilidade ao permitir a gravação de testes diretamente no navegador. Análise coletada por e hospedada no G2.com.

1. Suporte limitado para cenários de teste complexos.

2. Sem capacidades de teste em vários navegadores.

3. Manipulação de conteúdo dinâmico é pouco confiável.

4. Falta de opções avançadas de personalização.

5. Integrações limitadas com outras ferramentas.

6. Asserções não são flexíveis o suficiente.

7. Reutilização de dados de teste é desafiadora.

8. Suporte comunitário limitado para resolução de problemas. Análise coletada por e hospedada no G2.com.

Avaliei mais de 10 soluções para automação de testes E2E, e o BugBug se destacou pela facilidade de uso, documentação, interface de usuário intuitiva, suporte e, claro, custo-benefício. Consegui implementar testes para funcionalidades principais em poucas horas, agendar essas suítes para execução e acionar um webhook para nossa solução de plantão quando falhavam. Tive dificuldades em algumas ocasiões para testar certos cenários, e o suporte do BugBug me respondeu em menos de um dia com uma solução (sem idas e vindas). Até agora, não há nada que não tenhamos conseguido alcançar como organização, e estamos todos muito animados para melhorar nossa cobertura de testes com o BugBug. Análise coletada por e hospedada no G2.com.

CI poderia ser melhor - quase escolhemos o Ghost Inspector porque eles têm um plugin para Netlify, mas, no final das contas, o BugBug se destacou em muitas outras áreas. Análise coletada por e hospedada no G2.com.

É tão simples configurar novos testes, e a interface do usuário é incrivelmente intuitiva e fácil de usar - torna a criação de novos conjuntos de testes realmente fácil. Análise coletada por e hospedada no G2.com.

Eu gostaria que houvesse uma maneira de fazer testes de regressão visual em diferentes elementos para garantir que eles não sejam afetados por mudanças. Análise coletada por e hospedada no G2.com.