Avis et détails du produit Devin AI

Pour moi, la meilleure chose à propos de Devin est son autonomie complète et la façon dont il gère l'ensemble du processus d'automatisation de bout en bout sans que j'aie besoin de le surveiller. Je peux simplement déposer un lien vers la suite de tests depuis Azure DevOps, et il s'en charge à partir de là. Il se connecte à l'application, trouve les éléments de l'interface utilisateur et écrit le code Java dans la configuration locale d'Eclipse que nous avons sur sa machine. Le fait qu'il puisse exécuter les tests et continuer à ajuster le script jusqu'à ce qu'il réussisse est un énorme gain de temps. Je peux avoir cinq sessions différentes en parallèle, ce qui signifie que je fais en une seule journée l'équivalent d'une semaine entière d'automatisation manuelle.

La facilité d'utilisation est vraiment élevée car il s'agit principalement de suggestions en langage naturel. Je n'ai pas besoin d'écrire des extraits de code comme je le fais avec d'autres outils d'IA ; j'explique simplement la logique et il fait le reste. La mise en œuvre a été un peu plus un projet, cependant, car la configuration de la machine dédiée avec Eclipse et les bons chemins pour notre dépôt Git Azure a pris un certain temps. Une fois cela fait, tout a été fluide. L'intégration avec Azure DevOps est également étonnamment bonne, car il dispose d'un moyen natif de gérer ces connexions via le gestionnaire de secrets et le PAT.

J'utilise Devin presque tous les jours maintenant pour tout nouveau développement de cas de test. L'ensemble des fonctionnalités est impressionnant, notamment la façon dont il crée son propre environnement informatique et utilise son propre navigateur pour analyser l'interface utilisateur. Il ressemble plus à un véritable coéquipier qu'à un simple outil. Le support client a été assez réactif lorsque j'ai rencontré ces bugs étranges de consommation d'ACU, bien que la plupart du temps je puisse résoudre les problèmes à partir des journaux que Devin fournit.

Comme je l'ai mentionné, ce n'est pas parfait. Parfois, il s'emballe et modifie les méthodes de base du framework, ce que je dois surveiller dans chaque PR. Et cette déviation après 50 ACU est définitivement agaçante, car il commence à ignorer la logique initiale. Pourtant, en tant que testeur qui veut augmenter rapidement l'automatisation, cela semble être un petit prix à payer pour la quantité de travail qu'il accomplit. Cela a complètement changé la façon dont je gère mes tâches de sprint. Avis collecté par et hébergé sur G2.com.

Il continue de toucher à des choses qu'il ne devrait pas toucher. Il y a eu plusieurs fois où il a décidé de refactoriser nos méthodes préconstruites de base dans le cadre d'automatisation, alors qu'il était seulement censé écrire un simple script de test. C'est frustrant parce que je dois ensuite passer du temps supplémentaire lors de la révision des PR pour vérifier qu'il n'a pas cassé une logique globale dont dépendent tous nos autres tests. C'est comme s'il s'excitait trop et essayait d'être trop utile, mais cela finit par me créer plus de travail pour vérifier.

L'autre problème majeur est la façon dont il commence à dévier après une longue session. J'ai remarqué qu'une fois que la consommation d'ACU atteint environ 40 ou 50, Devin commence vraiment à perdre le fil. Il commence à ignorer les instructions initiales que je lui ai données, et la logique commence à dériver dans des directions étranges. On a l'impression que le modèle se fatigue et oublie l'objectif initial de la session. Je dois généralement tuer la session et en démarrer une complètement nouvelle juste pour qu'il redevienne productif, ce qui est un peu une perte de temps.

Je trouve aussi que la configuration initiale pour la machine dédiée et les secrets est un peu fastidieuse. Comme il n'a pas d'accès direct à Azure DevOps, je dois gérer tous les identifiants et les PATs comme des secrets à l'intérieur de Devin, ce qui est juste une autre chose à suivre. Et bien qu'il soit impressionnant qu'il puisse exécuter Eclipse localement et déboguer son propre code, la vitesse d'exécution peut parfois être lente par rapport à un humain exécutant simplement le script. Dans l'ensemble, c'est un excellent outil, mais les changements de code excessifs et les problèmes de fiabilité lors de longues sessions sont définitivement les plus gros inconvénients pour moi. Avis collecté par et hébergé sur G2.com.