BugBug Bewertungen & Produktdetails

Wir testen BugBug nun schon seit mehreren Wochen und haben bereits eine große Anzahl von Testfällen für unsere Jira Forge-Anwendung erstellt. Was uns an BugBug besonders gefällt, ist, dass man die meisten Testfälle erstellen kann, ohne in die Programmierung eintauchen zu müssen. Während der Aufzeichnung eines Testfalls erfasst die Browser-Erweiterung alles, was man benötigt. Sie zeichnet automatisch die Testschritte auf und ermöglicht es auch, Assets und Validierungen hinzuzufügen, die für eine ordnungsgemäße Testverifizierung wichtig sind.

Vor BugBug haben wir mehrere andere Testwerkzeuge evaluiert und genutzt. BugBug bietet ein ausgezeichnetes Kosten-Nutzen-Verhältnis, und die Roadmap sieht mit vielen nützlichen geplanten Funktionen sehr vielversprechend aus. Dennoch funktioniert der aktuelle Funktionsumfang bereits sehr gut für uns.

Momentan sind wir dabei, etwa 180 automatisierte Testfälle für unsere Jira-Anwendung zu erstellen, und sie laufen sehr zuverlässig. Um dieses Maß an Stabilität zu erreichen, haben wir einige Anpassungen an unserer Anwendung vorgenommen, sodass sie stabile Test-IDs generiert, auf die wir während der Tests konsistent verweisen können.

Was wir auch schätzen, ist, dass BugBug einfach zu bedienen ist für verschiedene Arten von Benutzern. Sowohl unsere Ingenieure als auch Teammitglieder ohne technischen Hintergrund können damit arbeiten und Testfälle erstellen. Man benötigt wirklich keine fortgeschrittenen technischen Fähigkeiten, um loszulegen.

In der Vergangenheit konnte das manuelle Ausführen einer vollständigen Testsuite drei bis vier Tage in Anspruch nehmen. Mit BugBug haben wir diesen Aufwand auf etwa 10 % der ursprünglichen Zeit reduziert, und die meiste Arbeit läuft automatisch im Hintergrund ab, ohne dass manuelle Eingriffe erforderlich sind.

Ein weiterer großer Vorteil für uns ist die Webhook-Funktionalität. Sie ermöglichte es uns, BugBug nahtlos in unser auf Jira basierendes Testfall-Repository zu integrieren. Wir haben die Integration mit n8n implementiert, und alles funktioniert nahtlos.

Insgesamt hat BugBug unseren Testworkflow und unsere Effizienz erheblich verbessert. Bewertung gesammelt von und auf G2.com gehostet.

Wir finden auch die Grundpreise von BugBug recht vernünftig. Beim Einsatz der Cloud-Runner haben wir festgestellt, dass sie im Vergleich zum lokalen Ausführen von Tests etwas langsamer sein können. Die Cloud-Läufe sind jedoch derzeit die praktischste Option, wenn Tests in einen CI/CD-Workflow integriert werden.

Zusätzliche parallele Cloud-Tests sind möglich, aber die Preise für mehrere parallele Läufe können relativ hoch werden. Aus diesem Grund haben wir uns entschieden, die meisten unserer Tests parallel über mehrere lokale Testumgebungen auszuführen. Dieser Ansatz ermöglicht es uns, die Ausführungszeiten kurz zu halten und gleichzeitig ein gutes Gleichgewicht zwischen Leistung und Kosten zu wahren. Bewertung gesammelt von und auf G2.com gehostet.

Einfach zu verwenden und zu lernen, schnelle Ausführung, geeignet für lokale Ausführung, die keine Cloud erfordert. Bewertung gesammelt von und auf G2.com gehostet.

Support: dauert 24 Stunden, um eine Antwort zu erhalten; wenn Sie kein kostenpflichtiges Abonnement haben, aber eines erwerben möchten, während Sie versuchen, blockierende Probleme zu lösen, ist der Support nicht bereit, einen Anruf zu tätigen und eine Arbeitssitzung abzuhalten, um das Hindernis zu beseitigen.

Funktionen: Bildvergleich, Dateivergleich, geöffnete Fenster durchsuchen und Datei zum Import auswählen, Canvas-Tests, verlängerte Timeouts, um längere Analyseläufe zu ermöglichen. Bewertung gesammelt von und auf G2.com gehostet.

Benutzerfreundlichkeit. Sehr einfach zu Chrome hinzuzufügen und schon kann es losgehen.

Kostenlos für die lokale Nutzung (im Vergleich zu Cloud-Run-Tests). Wenn Sie Vorschläge machen, kommentieren "echte Menschen" und geben Feedback, im Gegensatz zu einigen langweiligen "Danke für Ihr Feedback"-Antworten. Alle Vorteile eines kleineren, jüngeren und reaktionsfähigeren Unternehmens. Bewertung gesammelt von und auf G2.com gehostet.

Ich möchte in der Lage sein, Seitentitel <titles> und vielleicht andere wichtige nicht-anzeigende Attribute zu überprüfen. Ich habe jetzt gelernt, dass mein Murren darüber, dass ich denselben Satz von Tests gegen dasselbe System, aber in verschiedenen Umgebungen ausführen möchte, durch BugBug-„Profile“ abgedeckt ist, also sieht es so aus, als müsste ich einfach mehr lernen, um noch mehr aus BugBug herauszuholen 🙂 Bewertung gesammelt von und auf G2.com gehostet.

BugBug ist ein äußerst intuitives Tool, das uns geholfen hat, eine erhebliche Menge an Zeit bei Regressionstests zu sparen. Dank BugBug konnten wir von vierteljährlichen Veröffentlichungen zu einem CI/CD-Ansatz wechseln. Bewertung gesammelt von und auf G2.com gehostet.

Bisher habe ich keine Nachteile festgestellt. Vielleicht ist das einzige kleine Problem, dass jeder Lauf auf 30 Minuten begrenzt ist. Dies kann jedoch durch das Aufteilen des Laufs in separate Abschnitte verwaltet werden. Bewertung gesammelt von und auf G2.com gehostet.

Es ist super einfach zu bedienen, selbst für Menschen, die zuvor nicht in Testautomatisierungsaktivitäten involviert waren. Die Benutzeroberfläche ist im Vergleich zu den Mitbewerbern sehr klar und lässt Sie sich von Anfang an auf den Aufbau von Tests konzentrieren, anstatt die Feinheiten der Benutzeroberfläche zu erlernen.

Auch die Möglichkeit, JS-basierte Assertions/Schritte durchzuführen, ermöglicht es technisch versierteren Benutzern, Softwareeinschränkungen zu überwinden.

Die Implementierung des POC hat bei uns etwa eine Woche gedauert, um sicherzustellen, dass dies das richtige Werkzeug für uns ist.

Der Support ist auch sehr reaktionsschnell und hilfsbereit. Bewertung gesammelt von und auf G2.com gehostet.

Im Moment fehlen einige wichtige Funktionen, wie Schleifen oder bedingte Verzweigungen in Testszenarien - daher kann man komplexe Szenarien nicht einfach erstellen und pflegen. Sobald diese Funktionen vorhanden sind, ist dieses Produkt erstklassig. Bewertung gesammelt von und auf G2.com gehostet.

Benutzerfreundlichkeit: Es ist sehr einfach zu bedienen. Die Benutzeroberfläche ist klar, sodass ein Anfänger schnell alles findet, was er braucht. Es gibt mehrere Funktionen, um Tests schnell zu erstellen (Schritte aufzeichnen, das Szenario in der Mitte eines Tests anhalten, um Schritte zu bearbeiten und es erneut zu starten). Die Verwendung von Komponenten erleichtert es, Änderungen an mehreren Tests vorzunehmen, indem ein Parameter/ein Schritt an einer Stelle geändert wird. Sie können auch vorgefertigte Variablen verwenden oder eigene erstellen und Schritte mit Javascript erstellen.

Einfache Implementierung: Super einfach, Sie hatten die Anmeldedaten/Informationen der App/Webseite, die Sie testen möchten, und Sie sind bereit, Tests aufzuzeichnen.

Kundensupport: Sie sind sehr reaktionsschnell. Ich musste sie 2 Mal per E-Mail kontaktieren und erhielt eine Antwort von ihnen in weniger als 2 Stunden. Und die Antwort war hilfreich!

Einfache Integration: Unsere Entwickler haben eine Integration von Bugbug in unsere Github-Aktion eingerichtet, um eine Testsuite auf Branches und unserer Staging-Umgebung zu starten. Bewertung gesammelt von und auf G2.com gehostet.

Ich würde sagen, dass die Tatsache, dass es keine Möglichkeit gibt, Komponenten mehrfach in einem Test zu verwenden (aber es steht auf ihrer Roadmap). Manchmal stoppen Tests ohne ersichtlichen Grund an einem Schritt, ich muss den Schritt löschen und genau wie den ursprünglichen erstellen, damit der Test wieder funktioniert (sehr selten allerdings). Ich benutze das Produkt seit 1 Monat, ich bin immer noch neugierig, wie schnell sie neue Funktionen einführen. Bewertung gesammelt von und auf G2.com gehostet.

- Das umfassendste No-Code-QA-Automatisierungstool, kommt als "Kit" bereit zur Nutzung "out of the box": keine Notwendigkeit, eigene virtuelle Maschinen einzurichten, Sie können Tests lokal auf Ihrem Rechner oder in der Cloud auf der BugBug-Infrastruktur ausführen

- Benutzerfreundlichkeit sowohl für QA als auch für Manager

- Einfach zu erlernen und zu verstehen für manuelle Tester, die in die Automatisierung einsteigen möchten

- Eine anständige Anzahl implementierter Funktionen und weitere sind in Arbeit

- Wir nutzen es ununterbrochen für Smoke-Tests und E2E-Tests für unser webbasiertes Produkt

- Umfassende und leicht verständliche Dokumentation

- Ziemlich schnell und einfach einzurichten

- Nützliche Liste von Integrationen (Slack, Zapier, GitHub)

- Aktiver und hilfreicher Kundensupport

- Ausreichende Transparenz über kommende Funktionen

- Spezieller Ort, um Benutzerfeedback, Verbesserungen oder Funktionsideen zu sammeln

- Schnelle Lösung zur Reduzierung der Ausführungszeit, wenn das Projekt wächst: Möglichkeit, erweiterte Infrastruktur zu kaufen, um mehrere Tests "parallel" auszuführen (was besonders für QA-Tester ohne Automatisierungserfahrung verlockend ist, mehr Ressourcen hinzuzufügen ist eine Option, aber auch die Optimierung der Testautomatisierungsstrategie und die Denkweise des Aufzeichnens von Schritten) Bewertung gesammelt von und auf G2.com gehostet.

- Ich wünschte, ich könnte während der Aufzeichnung eines Tests mehr Kontrolle haben, zum Beispiel wo ein Schritt aufgezeichnet wird.

- Das Anhalten/Fortsetzen während der Aufzeichnung ist etwas unzuverlässig und nicht sehr flüssig.

- Es ist etwas umständlich zu überprüfen, ob eine Korrektur für einen langen Test funktioniert, da es keine Möglichkeit gibt, den Ort anzugeben, von dem aus der Test gestartet werden kann (wenn ein Test 7 Minuten dauert und etwas um Minute 6 fehlschlägt, muss man nach der Korrektur den Test von Anfang an ausführen, anstatt zum Beispiel auf "ab hier ausführen" in einem bestimmten Abschnitt des Tests zu klicken).

- Mangel an bedingten Schritten (wenn, dann, während).

- Ich sehe die Schwierigkeit, den Überblick über Testvariablen (und nicht Projektvariablen) zu behalten, je mehr Tests man implementiert: und das ist ein Nachteil im Vergleich zu codebasierten Automatisierungstools (wie Cypress oder Playwright).

- Das Tool hat kein Äquivalent zu einer "Funktion" in der Programmierung: das Nächste ist das Konzept einer Test-"Komponente", also eines Testblocks, aber dieser kann derzeit nur einmal pro Test verwendet werden.

- Mangel an einem Ort, um Fehler mit dem Tool zu melden (wird durch E-Mail an den Bugbug-Support gehandhabt).

- Mehr Kontrolle über parallele Läufe: wie es ist, ist es ein Einstellungsschalter, der auf der Testsuite-Ebene wahr oder falsch sein kann. Bewertung gesammelt von und auf G2.com gehostet.

1. Die Benutzeroberfläche von BugBug ist intuitiv und einfach zu navigieren, was sie auch für Neulinge im automatisierten Testen zugänglich macht.

2. Kein Coding erforderlich für BugBug, es ermöglicht Nicht-Entwicklern, Tests zu erstellen und auszuführen, ohne Code schreiben zu müssen.

3. Schnelle Einrichtung, Tests können schnell eingerichtet werden, was ideal für kleinere Projekte oder Teams mit begrenzter Zeit ist.

4. BugBug hatte eine Aufnahme- und Wiedergabefunktion, die den Testerstellungsprozess vereinfacht, indem sie es den Benutzern ermöglicht, ihre Aktionen aufzuzeichnen und abzuspielen.

5. Es ist ein cloudbasiertes Tool, BugBug erfordert keine lokale Einrichtung oder Installation, was Zeit und Ressourcen sparen kann.

6. Integration mit CI/CD, BugBug kann in CI/CD-Pipelines integriert werden, um Tests als Teil des Bereitstellungsprozesses zu automatisieren.

7. Schnelle Ausführung, Tests werden schnell ausgeführt, was während des Entwicklungsprozesses schnelles Feedback ermöglicht.

8. Browser-Erweiterung, die BugBug-Browser-Erweiterung verbessert die Benutzerfreundlichkeit, indem sie die Testaufzeichnung direkt im Browser ermöglicht. Bewertung gesammelt von und auf G2.com gehostet.

1. Begrenzte Unterstützung für komplexe Testszenarien.

2. Keine Cross-Browser-Testfähigkeiten.

3. Die Handhabung dynamischer Inhalte ist unzuverlässig.

4. Fehlen erweiterter Anpassungsoptionen.

5. Begrenzte Integrationen mit anderen Tools.

6. Assertions sind nicht flexibel genug.

7. Wiederverwendung von Testdaten ist herausfordernd.

8. Begrenzte Community-Unterstützung bei der Fehlersuche. Bewertung gesammelt von und auf G2.com gehostet.

Ich habe über 10 Lösungen für die E2E-Testautomatisierung evaluiert, und BugBug hat sich in Bezug auf Benutzerfreundlichkeit, Dokumentation, intuitive Benutzeroberfläche, Support und natürlich Preis-Leistungs-Verhältnis als die beste herausgestellt. Ich konnte Tests für die Kernfunktionen innerhalb weniger Stunden implementieren, diese Suiten zur Ausführung planen und einen Webhook an unsere Bereitschaftslösung auslösen, wenn diese fehlschlugen. Ich hatte bei einigen Gelegenheiten Schwierigkeiten, bestimmte Szenarien zu testen, und der BugBug-Support hat mir innerhalb eines Tages mit einer Lösung geantwortet (kein Hin und Her). Bisher gibt es nichts, was wir als Organisation nicht erreichen konnten, und wir sind alle sehr gespannt darauf, unsere Testabdeckung mit BugBug zu verbessern. Bewertung gesammelt von und auf G2.com gehostet.

CI könnte besser sein - wir hätten fast Ghost Inspector gewählt, weil sie ein Netlify-Plugin haben, aber letztendlich hat BugBug in zu vielen anderen Bereichen die Oberhand gewonnen. Bewertung gesammelt von und auf G2.com gehostet.

Es ist so einfach, neue Tests einzurichten, und die Benutzeroberfläche ist unglaublich intuitiv und benutzerfreundlich - das macht das Erstellen neuer Testbereiche wirklich einfach. Bewertung gesammelt von und auf G2.com gehostet.

Ich wünschte, es gäbe eine Möglichkeit, visuelle Regressionstests an verschiedenen Elementen durchzuführen, um sicherzustellen, dass sie nicht von Änderungen betroffen sind. Bewertung gesammelt von und auf G2.com gehostet.