Recensioni e Dettagli del Prodotto BugBug

Abbiamo testato BugBug per diverse settimane e abbiamo già creato un gran numero di casi di test per la nostra applicazione Jira Forge. Una delle cose che ci piace particolarmente di BugBug è che puoi creare la maggior parte dei casi di test senza dover entrare nel codice. Durante la registrazione di un caso di test, l'estensione del browser cattura tutto ciò di cui hai bisogno. Registra automaticamente i passaggi del test e ti consente anche di aggiungere risorse e convalide importanti per una corretta verifica del test.

Prima di BugBug, abbiamo valutato e utilizzato diversi altri strumenti di test. BugBug offre un eccellente rapporto costo-beneficio e la roadmap sembra molto promettente con molte funzionalità utili pianificate. Detto ciò, il set di funzionalità attuale funziona già molto bene per noi.

Al momento, siamo nel processo di costruzione di circa 180 casi di test automatizzati per la nostra applicazione Jira, e stanno funzionando in modo molto affidabile. Per raggiungere questo livello di stabilità, abbiamo apportato alcune modifiche alla nostra applicazione in modo che generi ID di test stabili che possiamo riferire costantemente durante i test.

Apprezziamo anche il fatto che BugBug sia facile da usare per diversi tipi di utenti. Sia i nostri ingegneri che i membri del team senza un background tecnico sono in grado di lavorare con esso e creare casi di test. Non hai davvero bisogno di competenze tecniche avanzate per iniziare.

In passato, eseguire manualmente un'intera suite di test poteva richiederci da tre a quattro giorni. Con BugBug, abbiamo ridotto quell'impegno a circa il 10% del tempo originale, e la maggior parte del lavoro viene eseguito automaticamente in background senza richiedere intervento manuale.

Un altro grande vantaggio per noi è la funzionalità webhook. Ci ha permesso di integrare BugBug senza problemi con il nostro repository di casi di test basato su Jira. Abbiamo implementato l'integrazione utilizzando n8n, e tutto funziona perfettamente.

Nel complesso, BugBug ha migliorato significativamente il nostro flusso di lavoro e l'efficienza dei test. Recensione raccolta e ospitata su G2.com.

Troviamo anche il prezzo base di BugBug abbastanza ragionevole. Quando utilizziamo i cloud runner, abbiamo notato che possono essere leggermente più lenti rispetto all'esecuzione dei test in locale. Tuttavia, le esecuzioni in cloud sono attualmente l'opzione più pratica quando si integrano i test in un flusso di lavoro CI/CD.

Eseguire test cloud paralleli aggiuntivi è possibile, ma il prezzo per esecuzioni parallele multiple può diventare relativamente alto. Per questo motivo, abbiamo deciso di eseguire la maggior parte dei nostri test in parallelo su diversi ambienti di test locali. Questo approccio ci consente di mantenere i tempi di esecuzione brevi, mantenendo un buon equilibrio tra prestazioni e costi. Recensione raccolta e ospitata su G2.com.

Facile da usare e imparare, esecuzione veloce, adatto per l'esecuzione locale che non richiede il cloud Recensione raccolta e ospitata su G2.com.

Supporto: ci vogliono 24 ore per ottenere una risposta; se non hai un abbonamento a pagamento ma desideri ottenerne uno mentre cerchi di risolvere problemi bloccanti, il supporto non è disposto a partecipare a una chiamata e avere una sessione di lavoro per risolvere l'ostacolo.

Caratteristiche: confronto di immagini, confronto di file, finestre aperte esplorate e selezione del file per l'importazione, test su canvas, timeout estesi per consentire esecuzioni analitiche più lunghe. Recensione raccolta e ospitata su G2.com.

Facilità d'uso. Molto semplice da aggiungere a Chrome e sei pronto per partire.

Gratuito per l'uso locale (v test in cloud-run). SE fai suggerimenti, 'persone reali' commentano e danno feedback invece di alcune risposte generiche tipo 'grazie per il tuo contributo'. Tutti i vantaggi di un'azienda più piccola, giovane e reattiva. Recensione raccolta e ospitata su G2.com.

Mi piacerebbe essere in grado di controllare i <titles> delle pagine e forse altri attributi chiave non visibili. Ho appena scoperto che il mio lamento riguardo al desiderio di eseguire lo stesso set di test contro lo stesso sistema ma in ambienti diversi è coperto dai 'profili' di BugBug, quindi sembra che debba semplicemente imparare di più per ottenere ancora di più da BugBug 🙂 Recensione raccolta e ospitata su G2.com.

BugBug è uno strumento altamente intuitivo che ci ha aiutato a risparmiare una quantità significativa di tempo nei test di regressione. Grazie a BugBug, siamo stati in grado di passare dal rilascio trimestrale all'adozione di un approccio CI/CD. Recensione raccolta e ospitata su G2.com.

Finora, non ho riscontrato alcun inconveniente. Forse l'unico problema minore è che ogni sessione è limitata a 30 minuti. Tuttavia, questo può essere gestito suddividendo la sessione in segmenti separati. Recensione raccolta e ospitata su G2.com.

È super facile da usare, anche per le persone che non erano precedentemente coinvolte in attività di automazione dei test. L'interfaccia utente, rispetto ai concorrenti, è molto chiara e ti permette di concentrarti sulla creazione dei test, piuttosto che sull'apprendimento delle complessità dell'interfaccia, fin dall'inizio.

Inoltre, essere in grado di fare asserzioni/passi basati su JS permette agli utenti più esperti di superare qualsiasi limitazione del software.

L'implementazione del POC ci ha richiesto circa una settimana, per essere sicuri che questo fosse lo strumento giusto per noi.

Il supporto è anche molto reattivo e disponibile. Recensione raccolta e ospitata su G2.com.

Al momento mancano alcune funzionalità importanti, come i cicli o i rami condizionali negli scenari di test - quindi non puoi costruire e mantenere facilmente scenari complessi. Una volta che queste funzionalità saranno presenti, questo prodotto sarà di prim'ordine. Recensione raccolta e ospitata su G2.com.

Facilità d'uso: È molto semplice da usare. L'interfaccia utente è chiara, quindi un principiante troverà rapidamente tutto ciò di cui ha bisogno. Esistono molteplici funzionalità per creare test rapidamente (registrare i passaggi, fermare lo scenario a metà di un test per modificare i passaggi e lanciarlo di nuovo). Usare componenti rende facile aggiungere modifiche a più test cambiando un parametro/un passaggio in un solo punto. Puoi anche usare variabili predefinite o creare le tue + creare passaggi usando Javascript.

Facilità di implementazione: Super semplice, hai le credenziali/informazioni dell'app/pagina web che vuoi testare e sei pronto per registrare i test.

Supporto clienti: Sono molto reattivi. Ho dovuto contattarli via mail 2 volte, ho ricevuto una risposta da loro in meno di 2 ore. E la risposta è stata utile!

Facilità di integrazione: i nostri sviluppatori hanno impostato un'integrazione di Bugbug nella nostra azione Github per lanciare una suite di test sui rami e sul nostro ambiente di staging. Recensione raccolta e ospitata su G2.com.

Direi che il fatto che non ci sia la possibilità di utilizzare i componenti più volte in un test (ma è nei loro piani). A volte i test si fermano su un passaggio senza motivo, devo eliminare il passaggio e crearlo esattamente come l'originale per far funzionare di nuovo il test (anche se molto raramente). Uso il prodotto da 1 mese, sono ancora curioso di vedere quanto velocemente lanciano nuove funzionalità. Recensione raccolta e ospitata su G2.com.

AGGIORNAMENTO DELLA RECENSIONE DOPO 1 ANNO (2025): 4/5 -> 5/5

- Quindi, un po' più di un anno dopo, la nostra suite di test è cresciuta ed è stata notevolmente ampliata, ed è abbastanza facile da gestire e mantenere

- L'inserimento di nuovi colleghi QA (con e senza esperienza di automazione) con lo strumento è un processo fluido

- Il supporto clienti è in costante miglioramento ed è molto tempestivo (almeno su un piano di abbonamento a pagamento)

PUNTI INIZIALI (2024):

- Il più completo strumento di automazione QA senza codice, viene fornito come un "kit" pronto all'uso "out of the box": non c'è bisogno di preoccuparsi di configurare macchine virtuali proprie, puoi eseguire test localmente sulla tua macchina o nel cloud sull'infrastruttura BugBug

- Facilità d'uso sia per QA che per manager

- Facile da avviare e comprendere per i tester manuali che vogliono avvicinarsi all'automazione

- Un numero decente di funzionalità implementate e altre in arrivo

- Lo usiamo continuamente per test di fumo e test E2E per il nostro prodotto basato sul web

- Documentazione completa e facile da seguire

- Abbastanza veloce e facile da configurare

- Elenco utile di integrazioni (Slack, Zapier, GitHub)

- Supporto clienti attivo e utile

- Trasparenza sufficiente sulle funzionalità in arrivo

- Luogo dedicato per raccogliere feedback degli utenti, miglioramenti o idee per funzionalità

- Soluzione rapida per ridurre i tempi di esecuzione man mano che il progetto cresce: opzione per acquistare infrastruttura estesa per eseguire più test in "parallelo" (che è allettante soprattutto per i tester QA senza esperienza di automazione, gettare più risorse sulla cosa è un'opzione, ma lo è anche ottimizzare la strategia di automazione dei test e la mentalità di registrazione dei passaggi) Recensione raccolta e ospitata su G2.com.

1 ANNO DOPO AGGIORNAMENTO DELLA RECENSIONE (2025):

Il mio più grande problema, come evidenziato nei miei punti iniziali, era la capacità di controllare la funzionalità di registrazione, che ora è completamente risolto grazie a un flusso rinnovato che mi permette di avviare una sessione di registrazione e usarla continuamente mettendo in pausa la modalità di registrazione e manipolando i passaggi in qualsiasi momento, con la possibilità di riprendere il test in qualsiasi punto. Questo ha ridotto il tempo dedicato alla scrittura e alla correzione dei test almeno della metà, poiché non ho bisogno di eseguire un test da zero dopo ogni piccolo aggiornamento. Penso che questa sia una funzione unica e intuitiva che non ho visto in nessun altro framework di automazione consolidato prima, e davvero distingue BugBug da loro.

Punti che sono ancora presenti al momento:

- Mancanza di passaggi condizionali, è ancora necessario ricorrere a passaggi personalizzati in javascript per questo

- Nell'ultimo anno, il numero delle nostre variabili è aumentato, e la sezione dedicata a loro è ancora difficile da mantenere e organizzare (ad esempio in cartelle o categorie)

- Mi sono abituato a segnalare problemi con il software utilizzando la loro email di supporto, ma avrei voluto che ci fosse un posto dedicato per segnalare problemi direttamente dal loro sito web

- La possibilità di utilizzare un componente più volte in un test è attualmente in fase di sviluppo e si spera che venga lanciata presto

PUNTI INIZIALI (2024):

- Vorrei poter avere più controllo durante la registrazione di un test, come ad esempio dove registrare un passaggio

- La pausa/ripresa durante la registrazione è un po' incostante e non molto fluida

- Un po' macchinoso verificare se una correzione per un test lungo funziona, perché non c'è modo di specificare il punto da cui il test può iniziare l'esecuzione (se un test dura 7 minuti e qualcosa fallisce intorno al minuto 6, dopo aver corretto devi eseguire il test dall'inizio, invece di cliccare "esegui da qui" da una certa sezione del test per esempio)

- Mancanza di passaggi condizionali (if, when, while)

- Vedo la difficoltà di tenere traccia delle variabili di test (e non delle variabili di progetto) aumentare man mano che implementi più test: e questo è uno svantaggio rispetto agli strumenti di automazione basati su codice (come Cypress o Playwright)

- Lo strumento non ha un equivalente di una "funzione" nella programmazione: il più vicino è il concetto di "componente" di test, ovvero un blocco di test, ma può essere utilizzato solo una volta per test (al momento)

- Mancanza di un luogo per segnalare bug con lo strumento (gestito inviando email al supporto di BugBug)

- Maggiore controllo sulle esecuzioni parallele: come è, è un'impostazione che può essere vera o falsa a livello di suite di test Recensione raccolta e ospitata su G2.com.

1. L'interfaccia di BugBug è intuitiva e facile da navigare, rendendola accessibile anche a chi è nuovo ai test automatizzati.

2. Nessuna codifica richiesta per BugBug, consente ai non sviluppatori di creare ed eseguire test senza dover scrivere alcun codice.

3. Configurazione rapida, i test possono essere impostati rapidamente, il che è ideale per progetti più piccoli o team con tempo limitato.

4. BugBug ha la funzione di registrazione e riproduzione per semplificare il processo di creazione dei test consentendo agli utenti di registrare le loro azioni e riprodurle.

5. Essendo uno strumento basato su cloud, BugBug non richiede alcuna configurazione o installazione locale, il che può far risparmiare tempo e risorse.

6. Integrazione con CI/CD, BugBug può essere integrato nei pipeline CI/CD, automatizzando i test come parte del processo di distribuzione.

7. Esecuzione veloce, i test vengono eseguiti rapidamente, consentendo un feedback rapido durante il processo di sviluppo.

8. Estensione del browser, l'estensione del browser BugBug migliora l'usabilità consentendo la registrazione dei test direttamente all'interno del browser. Recensione raccolta e ospitata su G2.com.

1. Supporto limitato per scenari di test complessi.

2. Nessuna capacità di test cross-browser.

3. La gestione dei contenuti dinamici è inaffidabile.

4. Mancano opzioni di personalizzazione avanzate.

5. Integrazioni limitate con altri strumenti.

6. Le asserzioni non sono abbastanza flessibili.

7. Il riutilizzo dei dati di test è impegnativo.

8. Supporto limitato della comunità per la risoluzione dei problemi. Recensione raccolta e ospitata su G2.com.

Ho valutato oltre 10 soluzioni per l'automazione dei test E2E, e BugBug è risultata la migliore per facilità d'uso, documentazione, interfaccia utente intuitiva, supporto e ovviamente rapporto qualità-prezzo. Sono stato in grado di implementare test per le funzionalità principali nel giro di poche ore, di programmare l'esecuzione di queste suite e di attivare un webhook per la nostra soluzione di reperibilità quando questi fallivano. Ho avuto difficoltà in un paio di occasioni a testare alcuni scenari, e il supporto di BugBug mi ha risposto in meno di un giorno con una soluzione (senza avanti e indietro). Finora non c'è nulla che non siamo stati in grado di realizzare come organizzazione, e siamo tutti davvero entusiasti di migliorare la nostra copertura dei test con BugBug. Recensione raccolta e ospitata su G2.com.

CI potrebbe essere migliore - stavamo quasi per scegliere Ghost Inspector perché hanno un plugin per Netlify, ma alla fine BugBug ha prevalso in troppi altri aspetti. Recensione raccolta e ospitata su G2.com.

È così semplice impostare nuovi test, e l'interfaccia utente è incredibilmente intuitiva e facile da usare - rende davvero facile creare nuove serie di test. Recensione raccolta e ospitata su G2.com.

Vorrei che ci fosse un modo per fare test di regressione visiva su diversi elementi per assicurarsi che non siano influenzati dai cambiamenti. Recensione raccolta e ospitata su G2.com.