Wir testen BugBug nun schon seit mehreren Wochen und haben bereits eine große Anzahl von Testfällen für unsere Jira Forge-Anwendung erstellt. Was uns an BugBug besonders gefällt, ist, dass man die meisten Testfälle erstellen kann, ohne in die Programmierung eintauchen zu müssen. Während der Aufzeichnung eines Testfalls erfasst die Browser-Erweiterung alles, was man benötigt. Sie zeichnet automatisch die Testschritte auf und ermöglicht es auch, Assets und Validierungen hinzuzufügen, die für eine ordnungsgemäße Testverifizierung wichtig sind.
Vor BugBug haben wir mehrere andere Testwerkzeuge evaluiert und genutzt. BugBug bietet ein ausgezeichnetes Kosten-Nutzen-Verhältnis, und die Roadmap sieht mit vielen nützlichen geplanten Funktionen sehr vielversprechend aus. Dennoch funktioniert der aktuelle Funktionsumfang bereits sehr gut für uns.
Momentan sind wir dabei, etwa 180 automatisierte Testfälle für unsere Jira-Anwendung zu erstellen, und sie laufen sehr zuverlässig. Um dieses Maß an Stabilität zu erreichen, haben wir einige Anpassungen an unserer Anwendung vorgenommen, sodass sie stabile Test-IDs generiert, auf die wir während der Tests konsistent verweisen können.
Was wir auch schätzen, ist, dass BugBug einfach zu bedienen ist für verschiedene Arten von Benutzern. Sowohl unsere Ingenieure als auch Teammitglieder ohne technischen Hintergrund können damit arbeiten und Testfälle erstellen. Man benötigt wirklich keine fortgeschrittenen technischen Fähigkeiten, um loszulegen.
In der Vergangenheit konnte das manuelle Ausführen einer vollständigen Testsuite drei bis vier Tage in Anspruch nehmen. Mit BugBug haben wir diesen Aufwand auf etwa 10 % der ursprünglichen Zeit reduziert, und die meiste Arbeit läuft automatisch im Hintergrund ab, ohne dass manuelle Eingriffe erforderlich sind.
Ein weiterer großer Vorteil für uns ist die Webhook-Funktionalität. Sie ermöglichte es uns, BugBug nahtlos in unser auf Jira basierendes Testfall-Repository zu integrieren. Wir haben die Integration mit n8n implementiert, und alles funktioniert nahtlos.
Insgesamt hat BugBug unseren Testworkflow und unsere Effizienz erheblich verbessert. Bewertung gesammelt von und auf G2.com gehostet.
Wir finden auch die Grundpreise von BugBug recht vernünftig. Beim Einsatz der Cloud-Runner haben wir festgestellt, dass sie im Vergleich zum lokalen Ausführen von Tests etwas langsamer sein können. Die Cloud-Läufe sind jedoch derzeit die praktischste Option, wenn Tests in einen CI/CD-Workflow integriert werden.
Zusätzliche parallele Cloud-Tests sind möglich, aber die Preise für mehrere parallele Läufe können relativ hoch werden. Aus diesem Grund haben wir uns entschieden, die meisten unserer Tests parallel über mehrere lokale Testumgebungen auszuführen. Dieser Ansatz ermöglicht es uns, die Ausführungszeiten kurz zu halten und gleichzeitig ein gutes Gleichgewicht zwischen Leistung und Kosten zu wahren. Bewertung gesammelt von und auf G2.com gehostet.
