Avis et détails du produit BugBug

Nous testons BugBug depuis plusieurs semaines maintenant et avons déjà créé un grand nombre de cas de test pour notre application Jira Forge. L'une des choses que nous apprécions particulièrement chez BugBug est que vous pouvez créer la plupart des cas de test sans avoir à plonger dans le codage. Lors de l'enregistrement d'un cas de test, l'extension de navigateur capture tout ce dont vous avez besoin. Elle enregistre automatiquement les étapes du test et vous permet également d'ajouter des ressources et des validations importantes pour une vérification correcte des tests.

Avant BugBug, nous avons évalué et utilisé plusieurs autres outils de test. BugBug offre un excellent rapport coût-bénéfice, et la feuille de route semble très prometteuse avec de nombreuses fonctionnalités utiles prévues. Cela dit, l'ensemble des fonctionnalités actuelles fonctionne déjà très bien pour nous.

En ce moment, nous sommes en train de construire environ 180 cas de test automatisés pour notre application Jira, et ils fonctionnent de manière très fiable. Pour atteindre ce niveau de stabilité, nous avons apporté quelques ajustements à notre application afin qu'elle génère des identifiants de test stables que nous pouvons référencer de manière cohérente pendant les tests.

Ce que nous apprécions également, c'est que BugBug est facile à utiliser pour différents types d'utilisateurs. Tant nos ingénieurs que les membres de l'équipe sans formation technique peuvent travailler avec et créer des cas de test. Vous n'avez vraiment pas besoin de compétences techniques avancées pour commencer.

Dans le passé, exécuter manuellement une suite de tests complète pouvait nous prendre trois à quatre jours. Avec BugBug, nous avons réduit cet effort à environ 10 % du temps initial, et la plupart du travail s'exécute automatiquement en arrière-plan sans nécessiter d'intervention manuelle.

Un autre avantage majeur pour nous est la fonctionnalité de webhook. Elle nous a permis d'intégrer BugBug de manière fluide avec notre référentiel de cas de test basé sur Jira. Nous avons mis en œuvre l'intégration en utilisant n8n, et tout fonctionne parfaitement.

Dans l'ensemble, BugBug a considérablement amélioré notre flux de travail et notre efficacité en matière de tests. Avis collecté par et hébergé sur G2.com.

Nous trouvons également le prix de base de BugBug assez raisonnable. Lors de l'utilisation des exécuteurs cloud, nous avons remarqué qu'ils peuvent être légèrement plus lents par rapport à l'exécution des tests localement. Cependant, les exécutions cloud sont actuellement l'option la plus pratique lors de l'intégration des tests dans un flux de travail CI/CD.

Exécuter des tests cloud parallèles supplémentaires est possible, mais le prix pour plusieurs exécutions parallèles peut devenir relativement élevé. Pour cette raison, nous avons décidé d'exécuter la plupart de nos tests en parallèle sur plusieurs environnements de test locaux à la place. Cette approche nous permet de garder les temps d'exécution courts tout en maintenant un bon équilibre entre performance et coût. Avis collecté par et hébergé sur G2.com.

Facile à utiliser et à apprendre, exécution rapide, adapté à une exécution locale qui ne nécessite pas le cloud. Avis collecté par et hébergé sur G2.com.

Support : il faut 24 heures pour obtenir une réponse ; si vous n'avez pas d'abonnement payant mais souhaitez en obtenir un tout en essayant de résoudre des problèmes bloquants, le support n'est pas disposé à venir en appel et à avoir une session de travail pour résoudre l'obstacle.

Fonctionnalités : comparaison d'images, comparaison de fichiers, exploration des fenêtres ouvertes et sélection de fichiers pour l'importation, test de canevas, délais prolongés pour permettre des analyses plus longues. Avis collecté par et hébergé sur G2.com.

Facilité d'utilisation. Très simple à ajouter à Chrome et vous êtes prêt à partir.

Gratuit pour une utilisation locale (vs tests sur le cloud). SI vous faites des suggestions, de "vraies personnes" commentent et donnent leur avis au lieu de réponses fades du type "merci pour votre contribution". Tous les avantages d'une entreprise plus petite, plus jeune et plus réactive. Avis collecté par et hébergé sur G2.com.

J'aimerais pouvoir vérifier les <titles> de page et peut-être d'autres attributs clés non affichés. J'ai maintenant appris que ma plainte concernant le souhait d'exécuter le même ensemble de tests contre le même système mais dans des environnements différents est couverte par les « profils » de BugBug, donc il semble que je doive simplement en apprendre davantage pour tirer encore plus parti de BugBug 🙂 Avis collecté par et hébergé sur G2.com.

BugBug est un outil très intuitif qui nous a aidés à économiser un temps considérable sur les tests de régression. Grâce à BugBug, nous avons pu passer de la publication trimestrielle à l'adoption d'une approche CI/CD. Avis collecté par et hébergé sur G2.com.

Jusqu'à présent, je n'ai rencontré aucun inconvénient. Peut-être que le seul petit problème est que chaque session est limitée à 30 minutes. Cependant, cela peut être géré en divisant la session en segments séparés. Avis collecté par et hébergé sur G2.com.

C'est super facile à utiliser, même pour les personnes qui n'étaient pas auparavant engagées dans des activités d'automatisation des tests. L'interface utilisateur, comparée à celle des concurrents, est très claire et vous permet de vous concentrer sur la création de tests, plutôt que sur l'apprentissage des subtilités de l'interface, dès le départ.

De plus, pouvoir faire des assertions/étapes basées sur JS permet aux utilisateurs plus avertis techniquement de surmonter les limitations logicielles.

La mise en œuvre de la preuve de concept nous a pris environ une semaine, pour être sûrs que c'est le bon outil pour nous.

Le support est également très réactif et serviable. Avis collecté par et hébergé sur G2.com.

Il manque actuellement certaines fonctionnalités importantes, comme les boucles ou le branchement conditionnel dans les scénarios de test - donc vous ne pouvez pas construire et maintenir facilement des scénarios complexes. Une fois ces fonctionnalités présentes, ce produit est de premier ordre. Avis collecté par et hébergé sur G2.com.

Facilité d'utilisation : C'est très simple à utiliser. L'interface utilisateur est claire, donc un débutant trouvera rapidement tout ce dont il a besoin. Plusieurs fonctionnalités existent pour créer des tests rapidement (enregistrer des étapes, arrêter le scénario au milieu d'un test pour éditer des étapes et le relancer). L'utilisation de composants facilite l'ajout de modifications à plusieurs tests en changeant un paramètre/une étape à un seul endroit. Vous pouvez également utiliser des variables préfabriquées ou créer les vôtres + créer des étapes en utilisant Javascript.

Facilité de mise en œuvre : Super simple, vous avez les identifiants/informations de l'application/page web que vous souhaitez tester et vous êtes prêt à enregistrer des tests.

Support client : Ils sont très réactifs. J'ai dû les contacter par mail 2 fois, j'ai eu une réponse de leur part en moins de 2 heures. Et la réponse était utile !

Facilité d'intégration : nos développeurs ont mis en place une intégration de Bugbug dans notre action Github pour lancer une suite de tests sur les branches et notre environnement de staging. Avis collecté par et hébergé sur G2.com.

Je dirais que le fait qu'il n'y ait pas de possibilité d'utiliser des composants plusieurs fois dans un test (mais c'est sur leur feuille de route). Parfois, les tests s'arrêtent à une étape sans raison, je dois supprimer l'étape et la recréer exactement comme l'originale pour que le test fonctionne à nouveau (très rare cependant). J'utilise le produit depuis 1 mois, je suis encore curieux de savoir à quelle vitesse ils lancent de nouvelles fonctionnalités. Avis collecté par et hébergé sur G2.com.

- L'outil d'automatisation QA sans code le plus complet, se présente comme un "kit" prêt à l'emploi : pas besoin de s'embêter à configurer vos propres machines virtuelles, vous pouvez exécuter des tests localement sur votre machine ou dans le cloud sur l'infrastructure BugBug

- Facilité d'utilisation pour les QA et les managers

- Facile à comprendre pour les testeurs manuels cherchant à se lancer dans l'automatisation

- Un nombre décent de fonctionnalités implémentées et d'autres à venir

- Nous l'utilisons en continu pour les tests de fumée et les tests E2E pour notre produit basé sur le web

- Documentation complète et facile à suivre

- Liste utile d'intégrations (Slack, Zapier, GitHub)

- Support client actif et utile

- Transparence suffisante sur les fonctionnalités à venir

- Lieu dédié pour recueillir les retours des utilisateurs, les améliorations ou les idées de fonctionnalités

- Solution rapide pour réduire le temps d'exécution à mesure que le projet grandit : option d'acheter une infrastructure étendue pour exécuter plusieurs tests en "parallèle" (ce qui est tentant surtout pour les testeurs QA sans expérience en automatisation, ajouter plus de ressources est une option, mais optimiser la stratégie d'automatisation des tests et la mentalité d'enregistrement des étapes l'est aussi) Avis collecté par et hébergé sur G2.com.

- J'aimerais avoir plus de contrôle lors de l'enregistrement d'un test, comme l'endroit où enregistrer une étape

- La pause/reprise pendant l'enregistrement est un peu aléatoire et pas très fluide

- Un peu encombrant de vérifier si une correction pour un long test fonctionne, car il n'y a aucun moyen de spécifier l'emplacement à partir duquel le test peut commencer l'exécution (si un test prend 7 minutes, et que quelque chose échoue vers la 6ème minute, après correction, vous devez exécuter le test depuis le début, au lieu de cliquer sur "exécuter à partir d'ici" à partir d'une certaine section du test par exemple)

- Manque d'étapes conditionnelles (si, quand, tandis que)

- Je vois la difficulté de suivre les variables de test (et non les variables de projet) augmenter au fur et à mesure que vous implémentez plus de tests : et c'est un inconvénient par rapport aux outils d'automatisation basés sur le code (comme Cypress ou Playwright)

- L'outil n'a pas d'équivalent à une "fonction" en programmation : le plus proche est le concept de "composant" de test, alias un bloc de tests, mais il ne peut être utilisé qu'une seule fois par test (pour le moment)

- Manque d'un endroit pour signaler les bugs avec l'outil (géré par l'envoi d'un email au support bugbug)

- Plus de contrôle sur les exécutions parallèles : tel quel, c'est un paramètre à bascule qui peut être vrai ou faux au niveau de la suite de tests Avis collecté par et hébergé sur G2.com.

1. L'interface de BugBug est intuitive et facile à naviguer, la rendant accessible même pour ceux qui sont nouveaux dans les tests automatisés.

2. Aucun codage requis pour BugBug, il permet aux non-développeurs de créer et d'exécuter des tests sans avoir besoin d'écrire de code.

3. Configuration rapide, les tests peuvent être configurés rapidement, ce qui est idéal pour les petits projets ou les équipes avec un temps limité.

4. BugBug avait une fonctionnalité d'enregistrement et de lecture pour simplifier le processus de création de tests en permettant aux utilisateurs d'enregistrer leurs actions et de les rejouer.

5. C'est un outil basé sur le cloud, BugBug ne nécessite aucune configuration ou installation locale, ce qui peut économiser du temps et des ressources.

6. Intégration avec CI/CD, BugBug peut être intégré dans les pipelines CI/CD, automatisant les tests dans le cadre du processus de déploiement.

7. Exécution rapide, les tests s'exécutent rapidement, permettant un retour d'information rapide pendant le processus de développement.

8. Extension de navigateur, l'extension de navigateur BugBug améliore l'utilisabilité en permettant l'enregistrement de tests directement dans le navigateur. Avis collecté par et hébergé sur G2.com.

1. Support limité pour les scénarios de test complexes.

2. Pas de capacités de test multi-navigateurs.

3. La gestion du contenu dynamique est peu fiable.

4. Manque d'options de personnalisation avancées.

5. Intégrations limitées avec d'autres outils.

6. Les assertions ne sont pas assez flexibles.

7. La réutilisation des données de test est difficile.

8. Support communautaire limité pour le dépannage. Avis collecté par et hébergé sur G2.com.

J'ai évalué plus de 10 solutions pour l'automatisation des tests E2E, et BugBug s'est démarqué pour sa facilité d'utilisation, sa documentation, son interface utilisateur intuitive, son support et bien sûr son rapport qualité-prix. J'ai pu mettre en œuvre des tests pour les fonctionnalités principales en l'espace de quelques heures, programmer ces suites pour qu'elles s'exécutent, et déclencher un webhook vers notre solution d'astreinte lorsque ceux-ci échouaient. J'ai eu du mal à tester certains scénarios à quelques reprises, et le support de BugBug m'a répondu en moins d'une journée avec une solution (sans aller-retour). Jusqu'à présent, il n'y a rien que nous n'ayons pu accomplir en tant qu'organisation, et nous sommes tous très enthousiastes à l'idée d'améliorer notre couverture de test avec BugBug. Avis collecté par et hébergé sur G2.com.

CI pourrait être meilleur - nous avons presque choisi Ghost Inspector parce qu'ils ont un plugin Netlify, mais finalement BugBug s'est imposé dans trop d'autres domaines. Avis collecté par et hébergé sur G2.com.

C'est tellement simple de configurer de nouveaux tests, et l'interface utilisateur est incroyablement intuitive et facile à utiliser - cela rend la création de nouvelles séries de tests vraiment facile. Avis collecté par et hébergé sur G2.com.

Je souhaite qu'il y ait un moyen de faire des tests de régression visuelle sur différents éléments pour s'assurer qu'ils ne sont pas affectés par des changements. Avis collecté par et hébergé sur G2.com.