Recursos de Ferramentas de Teste de Software

Uma vez que decidimos quais dados simulados estamos usando, nossos engenheiros usam o Autogenerator para validar esses dados sendo retornados no fluxo de trabalho, no meio ou no final do fluxo, no DOM. Se os dados forem transformados de alguma forma usando regras de negócios, garantiremos que os dados sejam retornados de forma consistente de execução para execução.

Mostrar mais

Mostrar menos

Em resumo, é um processo de tentativa e erro dividido entre humanos e máquinas. Tenha em mente que estamos coletando metadados com base em cada evento e estamos determinando/descobrindo as sequências que as pessoas estão seguindo. A partir daí, um processo de tentativa e erro nos permite descobrir quais dados simulados devemos inserir para percorrer cada caminho. Como o processo já sabe como é o sucesso com base em um fluxo de trabalho pré-determinado, saberemos que os dados simulados estão corretos quando conseguirmos completar com sucesso esse fluxo de trabalho. Em seguida, validamos se os dados retornados pela aplicação são retornados de forma consistente. Atualmente, esse processo conta com a ajuda de alguns humanos. No entanto, no futuro, as máquinas poderão fazer essa tentativa e verificação de forma independente, dado o número limitado de opções que podem verificar, e porque sabem qual caminho precisam seguir a seguir, dado o caminho pré-definido que define o sucesso. É um exercício de aprendizado de máquina! Estamos atualmente ensinando isso.

Mostrar mais

Mostrar menos

Como já conhecemos o caminho que estamos testando, temos uma definição de sucesso para cada caso de teste. Vamos experimentar dados simulados até seguirmos o caminho que precisamos. Isso inclui menus suspensos, campos de formulário e quaisquer outros dados que nos fariam seguir um caminho diferente ou ramificado. Como você pode imaginar, o fato de que os dados de teste simulados podem ser experimentados até que o resultado corresponda a um estado de sucesso conhecido, este é um problema de aprendizado de máquina que pode eventualmente ser totalmente automatizado. Estamos trabalhando nisso. Algumas elaborações de como gerenciamos dados de teste: -Muitos dos dados simulados não impactam o fluxo de trabalho–logins, detalhes da conta como nome ou endereço, qual produto é selecionado para adicionar ao carrinho. Usamos o que é conveniente. -Dados com restrições sintáticas, como um número de telefone, serão criados usando contexto ou tentativa e erro. -Se observarmos casos de teste negativos em produção, iremos testá-los–no entanto, não testaremos exaustivamente permutações de dados simulados para acionar o caso de teste negativo. -Criamos o máximo possível de dados de teste, especialmente durante os fluxos de criação de conta. Tentamos manipular os dados de teste que criamos na suíte de testes para serem menos dependentes dos processos de gerenciamento de dados de teste de nossos clientes. -Se os dados não forem acionados por uma ação humana (como em uma ferramenta de monitoramento), precisaremos solicitar uma API ou fluxo de dados para nos permitir acionar ou receber esses dados. -Se os dados estiverem sendo passados entre um papel de usuário e outro (como um cliente encomendando um produto e um funcionário lidando com o pedido), ordenaremos os testes para garantir que esses dados sejam criados e passados durante o fluxo de teste.

Mostrar mais

Mostrar menos