Para mí, lo mejor de Devin es su completa autonomía y la forma en que maneja todo el proceso de automatización de principio a fin sin necesidad de que yo lo supervise. Simplemente puedo insertar un enlace al conjunto de pruebas desde Azure DevOps, y se encarga de todo desde ahí. Inicia sesión en la aplicación, encuentra los elementos de la interfaz de usuario y escribe el código Java en la configuración local de Eclipse que tenemos en su máquina. El hecho de que pueda ejecutar las pruebas y seguir ajustando el script hasta que pase es un gran ahorro de tiempo. Puedo tener cinco sesiones diferentes ejecutándose en paralelo, lo que significa que estoy haciendo el trabajo manual de automatización de toda una semana en un solo día.
La facilidad de uso es realmente alta porque se basa principalmente en indicaciones en lenguaje natural. No tengo que escribir fragmentos de código como hago con otras herramientas de inteligencia artificial; simplemente explico la lógica y hace el resto. La implementación fue un poco más un proyecto, sin embargo, porque configurar la máquina dedicada con Eclipse y las rutas correctas para nuestro repositorio de Azure Git llevó algo de tiempo. Una vez hecho eso, todo ha sido fluido. La integración con Azure DevOps es sorprendentemente buena también, ya que tiene una forma nativa de manejar esas conexiones a través del gestor de secretos y PAT.
Uso Devin casi todos los días ahora para cualquier nuevo desarrollo de casos de prueba. El conjunto de características es impresionante, especialmente cómo crea su propio entorno de computación y utiliza su propio navegador para analizar la interfaz de usuario. Se siente más como un compañero de equipo real que como una simple herramienta. El soporte al cliente ha sido bastante receptivo cuando he encontrado esos extraños errores de consumo de ACU, aunque la mayoría de las veces puedo resolver las cosas a partir de los registros que proporciona Devin.
Como mencioné, no es perfecto. A veces se entusiasma demasiado y cambia métodos del marco central, lo cual es algo que tengo que vigilar en cada PR. Y esa desviación después de 50 ACU es definitivamente molesta, porque empieza a ignorar la lógica inicial. Aun así, como tester que quiere escalar rápidamente la automatización, estos parecen pequeños precios a pagar por la cantidad de trabajo que realiza. Ha cambiado completamente cómo gestiono mis tareas de sprint. Reseña recopilada por y alojada en G2.com.
Sigue metiéndose con cosas que no debería tocar. Ha habido varias veces en las que decidió refactorizar nuestros métodos preconstruidos en el marco de automatización, aunque solo se suponía que debía escribir un simple script de prueba. Eso es frustrante porque luego tengo que dedicar tiempo extra durante la revisión de PR para verificar que no rompió alguna lógica global de la que dependen todas nuestras otras pruebas. Es como si se emocionara demasiado e intentara ser demasiado útil, pero termina creando más trabajo para mí al verificar.
El otro problema importante es cómo empieza a desviarse después de una sesión larga. He notado que una vez que el consumo de ACU alcanza alrededor de 40 o 50, Devin realmente empieza a perder el hilo. Comienza a ignorar las instrucciones iniciales que le di, y la lógica empieza a desviarse en direcciones extrañas. Se siente como si el modelo se cansara y olvidara el objetivo original de la sesión. Por lo general, tengo que terminar la sesión y comenzar una completamente nueva solo para que vuelva a ser productivo, lo cual es un poco una pérdida de tiempo.
También encuentro un poco tediosa la configuración inicial para la máquina dedicada y los secretos. Como no tiene acceso directo a Azure DevOps, tengo que gestionar todas las credenciales y PATs como secretos dentro de Devin, lo cual es solo otra cosa de la que estar pendiente. Y aunque es impresionante que pueda ejecutar Eclipse localmente y depurar su propio código, la velocidad de ejecución a veces puede ser lenta en comparación con un humano simplemente ejecutando el script. En general, es una gran herramienta, pero los cambios de código excesivos y los problemas de fiabilidad en sesiones largas son definitivamente los mayores inconvenientes para mí. Reseña recopilada por y alojada en G2.com.
