Para mim, a melhor coisa sobre o Devin é sua completa autonomia e a forma como ele lida com todo o processo de automação de ponta a ponta sem precisar que eu o supervisione. Posso simplesmente inserir um link para o conjunto de testes do Azure DevOps, e ele cuida do resto. Ele faz login na aplicação, encontra os elementos da interface do usuário e escreve o código Java na configuração local do Eclipse que temos na sua máquina. O fato de ele poder executar os testes e continuar ajustando o script até que ele passe é um grande economizador de tempo. Posso ter cinco sessões diferentes rodando em paralelo, o que significa que estou realizando o trabalho de automação manual de uma semana inteira em um único dia.
A facilidade de uso é realmente alta porque é basicamente apenas um comando em linguagem natural. Não preciso escrever trechos de código como faço com outras ferramentas de IA; apenas explico a lógica e ele faz o resto. A implementação foi um pouco mais trabalhosa, no entanto, porque configurar a máquina dedicada com o Eclipse e os caminhos corretos para nosso repositório Git do Azure levou algum tempo. Depois que isso foi feito, tudo tem sido tranquilo. A integração com o Azure DevOps é surpreendentemente boa também, já que possui uma maneira nativa de lidar com essas conexões através do gerenciador de segredos e PAT.
Uso o Devin quase todos os dias agora para qualquer novo desenvolvimento de caso de teste. O conjunto de recursos é impressionante, especialmente como ele cria seu próprio ambiente de computação e usa seu próprio navegador para analisar a interface do usuário. Parece mais um colega de equipe real do que apenas uma ferramenta. O suporte ao cliente tem sido bastante responsivo quando enfrento aqueles bugs estranhos de consumo de ACU, embora na maioria das vezes eu consiga resolver as coisas a partir dos logs que o Devin fornece.
Como mencionei, não é perfeito. Às vezes, ele fica muito animado e altera métodos principais do framework, o que é algo que preciso ficar atento em cada PR. E aquele desvio após 50 ACU é definitivamente irritante, porque ele começa a ignorar a lógica inicial. Ainda assim, como um testador que quer aumentar rapidamente a automação, isso parece um pequeno preço a pagar pela quantidade de trabalho que ele realiza. Ele mudou completamente a forma como gerencio minhas tarefas de sprint. Análise coletada por e hospedada no G2.com.
Ele continua mexendo em coisas que não deveria tocar. Já houve várias vezes em que decidiu refatorar nossos métodos principais pré-construídos no framework de automação, mesmo que só devesse escrever um script de teste simples. Isso é frustrante porque então tenho que gastar tempo extra durante a revisão de PR verificando se não quebrou alguma lógica global da qual todos os nossos outros testes dependem. É como se ficasse muito animado e tentasse ser muito útil, mas acaba criando mais trabalho para eu verificar.
O outro grande problema é como ele começa a se desviar após uma longa sessão. Notei que, uma vez que o consumo de ACU atinge cerca de 40 ou 50, Devin realmente começa a perder o fio da meada. Ele começa a ignorar as instruções iniciais que dei e a lógica começa a se desviar em direções estranhas. Parece que o modelo fica cansado e esquece o objetivo original da sessão. Normalmente, tenho que encerrar a sessão e começar uma completamente nova apenas para voltar a ser produtivo, o que é um pouco de perda de tempo.
Também acho a configuração inicial para a máquina dedicada e segredos um pouco tediosa. Como ele não tem acesso direto ao Azure DevOps, tenho que gerenciar todas as credenciais e PATs como segredos dentro do Devin, o que é apenas mais uma coisa para acompanhar. E embora seja impressionante que ele possa executar o Eclipse localmente e depurar seu próprio código, a velocidade de execução às vezes pode ser lenta em comparação com um humano apenas executando o script. No geral, é uma ótima ferramenta, mas as mudanças de código excessivas e os problemas de confiabilidade em sessões longas são definitivamente as maiores desvantagens para mim. Análise coletada por e hospedada no G2.com.
