Devin AI Bewertungen & Produktdetails

Für mich ist das absolut Beste an Devin seine vollständige Autonomie und die Art und Weise, wie es den gesamten End-to-End-Automatisierungsprozess ohne meine Aufsicht abwickelt. Ich kann einfach einen Link zur Testsuite von Azure DevOps einfügen, und es übernimmt von dort. Es loggt sich in die Anwendung ein, findet die UI-Elemente und schreibt den Java-Code in der lokalen Eclipse-Umgebung, die wir auf seinem Rechner haben. Die Tatsache, dass es die Tests ausführen und das Skript so lange anpassen kann, bis es erfolgreich ist, spart enorm viel Zeit. Ich kann fünf verschiedene Sitzungen parallel laufen lassen, was bedeutet, dass ich eine ganze Woche manueller Automatisierung an einem einzigen Tag erledige.

Die Benutzerfreundlichkeit ist wirklich hoch, da es hauptsächlich nur natürliche Spracheingaben erfordert. Ich muss keine Code-Snippets schreiben, wie ich es bei anderen KI-Tools tun muss; ich erkläre einfach die Logik und es erledigt den Rest. Die Implementierung war allerdings etwas mehr ein Projekt, da die Einrichtung des dedizierten Rechners mit Eclipse und den richtigen Pfaden für unser Azure-Git-Repo einige Zeit in Anspruch nahm. Sobald das erledigt war, lief alles reibungslos. Die Integration mit Azure DevOps ist ebenfalls überraschend gut, da es eine native Möglichkeit gibt, diese Verbindungen über den Secrets Manager und PAT zu handhaben.

Ich nutze Devin jetzt fast jeden Tag für die Entwicklung neuer Testfälle. Der Funktionsumfang ist beeindruckend, besonders wie es seine eigene Computerumgebung erstellt und seinen eigenen Browser verwendet, um die Benutzeroberfläche zu analysieren. Es fühlt sich mehr wie ein tatsächlicher Teamkollege an als nur ein Werkzeug. Der Kundenservice war ziemlich reaktionsschnell, wenn ich auf diese seltsamen ACU-Verbrauchsfehler gestoßen bin, obwohl ich die meisten Dinge aus den Protokollen, die Devin bereitstellt, selbst herausfinden kann.

Wie ich bereits erwähnt habe, ist es nicht perfekt. Manchmal wird es übermütig und ändert Kernmethoden des Frameworks, was ich bei jedem PR im Auge behalten muss. Und diese Abweichung nach 50 ACU ist definitiv ärgerlich, weil es anfängt, die ursprüngliche Logik zu ignorieren. Trotzdem, als Tester, der die Automatisierung schnell skalieren möchte, fühlen sich diese wie kleine Preise an, die man für die Menge an Arbeit, die erledigt wird, zahlen muss. Es hat völlig verändert, wie ich meine Sprint-Aufgaben verwalte. Bewertung gesammelt von und auf G2.com gehostet.

Es mischt sich ständig in Dinge ein, die es nicht berühren sollte. Es gab mehrere Male, in denen es beschlossen hat, unsere vorgefertigten Kernmethoden im Automatisierungs-Framework zu refaktorisieren, obwohl es nur ein einfaches Testskript schreiben sollte. Das ist frustrierend, weil ich dann während der PR-Überprüfung zusätzliche Zeit aufwenden muss, um sicherzustellen, dass es keine globale Logik zerstört hat, von der alle unsere anderen Tests abhängen. Es ist, als ob es übermäßig begeistert wird und versucht, zu hilfreich zu sein, aber letztendlich mehr Arbeit für mich schafft, um zu überprüfen.

Das andere große Problem ist, wie es nach einer langen Sitzung anfängt, abzuweichen. Ich habe bemerkt, dass, sobald der ACU-Verbrauch etwa 40 oder 50 erreicht, Devin wirklich den Faden verliert. Es beginnt, die ursprünglichen Anweisungen, die ich ihm gegeben habe, zu ignorieren, und die Logik beginnt, in seltsame Richtungen zu driften. Es fühlt sich an, als ob das Modell müde wird und das ursprüngliche Ziel der Sitzung vergisst. Ich muss die Sitzung normalerweise beenden und eine komplett neue starten, nur um es wieder produktiv zu machen, was ein bisschen Zeitverschwendung ist.

Ich finde auch die anfängliche Einrichtung für die dedizierte Maschine und die Geheimnisse etwas mühsam. Da es keinen direkten Zugriff auf Azure DevOps hat, muss ich alle Anmeldedaten und PATs als Geheimnisse in Devin verwalten, was nur eine weitere Sache ist, die man im Auge behalten muss. Und obwohl es beeindruckend ist, dass es Eclipse lokal ausführen und seinen eigenen Code debuggen kann, kann die Ausführungsgeschwindigkeit manchmal langsamer sein, als wenn ein Mensch das Skript einfach ausführt. Insgesamt ist es ein großartiges Werkzeug, aber die übergreifenden Codeänderungen und die Zuverlässigkeitsprobleme in langen Sitzungen sind definitiv die größten Nachteile für mich. Bewertung gesammelt von und auf G2.com gehostet.