Mutation Testing: por que cobertura de testes não garante qualidade

Durante muito tempo, eu comemorava quando um projeto atingia 80%, 90% ou até mesmo 100% de cobertura de testes. Afinal, se praticamente todas as linhas estavam sendo executadas, era natural acreditar que a aplicação estava bem protegida. Com o tempo, percebi que existia uma pergunta muito mais importante que a cobertura simplesmente não conseguia responder.

Se meu código estiver errado, meus testes realmente vão perceber?

Foi justamente essa pergunta que me levou a conhecer o Mutation Testing. Desde então, minha forma de escrever testes mudou completamente. Hoje continuo acompanhando cobertura de testes, mas ela deixou de ser meu principal indicador de qualidade. Cobertura mostra que um trecho de código foi executado. Mutation Testing mostra se meus testes realmente conseguem detectar comportamentos incorretos. Parece uma diferença pequena, na prática, ela muda completamente a forma como enxergamos uma suíte de testes.

O mito da cobertura de testes

Antes de falar sobre Mutation Testing, vale entender por que cobertura de testes, sozinha, pode transmitir uma falsa sensação de segurança.

Imagine uma implementação simples.

public boolean isAdult(int age) {
    return age >= 18;
}

Agora imagine um teste como este.

@Test
void shouldReturnTrueForAdults() {
    assertTrue(service.isAdult(20));
}

Esse teste executa o método, se você utilizar uma ferramenta de cobertura, provavelmente verá que aquela linha foi coberta. Até aqui, tudo parece ótimo, agora imagine que alguém altera a implementação durante uma manutenção.

public boolean isAdult(int age) {
    return age > 18;
}

O comportamento mudou, existe um defeito, mas o teste continua passando e a cobertura continua exatamente a mesma. O relatório continua bonito e, ainda assim, existe um problema que passou despercebido. Esse exemplo resume muito bem a principal limitação da cobertura de testes. Ela responde apenas uma pergunta:

Esse código foi executado?

Ela não responde outra pergunta muito mais importante:

Os testes seriam capazes de detectar um comportamento incorreto?

É exatamente nesse ponto que Mutation Testing entra.

O que é Mutation Testing?

Mutation Testing é uma técnica utilizada para avaliar a qualidade da suíte de testes, ao invés de apenas executar os testes sobre o código original, uma ferramenta cria pequenas alterações automáticas no código-fonte. Essas alterações são chamadas de mutações, e cada versão modificada recebe o nome de mutante. Depois disso, toda a suíte de testes é executada novamente, se algum teste falhar, significa que ele conseguiu identificar aquela alteração, dizemos que o mutante foi morto. Se todos os testes continuarem passando, o mutante sobreviveu, esse é um forte indicativo de que existe alguma fragilidade nos testes.

O objetivo da técnica não é encontrar bugs na aplicação. O objetivo é descobrir se seus testes conseguem perceber quando algo deixa de funcionar corretamente.

Como Mutation Testing funciona

O fluxo é bastante simples.

Na prática, dezenas ou até centenas de mutantes podem ser gerados automaticamente durante uma única execução, cada um representa uma pequena alteração plausível que poderia acontecer durante uma evolução do código.

O que exatamente muda?

Uma das dúvidas mais comuns é imaginar que Mutation Testing cria alterações completamente aleatórias, na verdade, as mutações seguem operadores muito bem definidos.

Por exemplo.

Trocar um operador relacional.

return age >= 18;

torna-se

return age > 18;

Ou inverter uma condição.

if (user.isActive())

torna-se

if (!user.isActive())

Também é comum alterar operadores matemáticos.

total + discount

torna-se

total - discount

Ou modificar retornos booleanos.

return true;

torna-se

return false;

São alterações pequenas, mas extremamente realistas, muitas delas representam exatamente os tipos de erros que podem acontecer durante uma manutenção do código.

Quando um mutante sobrevive

Um mutante sobrevivente não significa necessariamente que seu código está errado e na maioria das vezes, ele revela que seus testes poderiam ser melhores.

Entre as causas mais comuns estão:

• cenários importantes que nunca foram testados;
• asserts pouco específicos;
• regras de negócio parcialmente validadas;
• condições de borda esquecidas;
• código morto;
• caminhos de execução que nunca são exercitados.

Por isso gosto de dizer que Mutation Testing não avalia apenas o código, ele avalia a qualidade do pensamento colocado na construção dos testes.

Cobertura de testes e Mutation Testing não competem

Um erro muito comum é acreditar que Mutation Testing substitui cobertura de testes, só que na verdade, eles respondem perguntas completamente diferentes.

É por isso que as duas métricas funcionam muito melhor quando utilizadas juntas, a cobertura mostra onde seus testes passaram. Mutation mostra o quanto eles realmente protegem a aplicação.

Equivalent Mutants

Nem todo mutante precisa morrer.

Existe um conceito chamado Equivalent Mutants, que costuma gerar bastante confusão para quem começa a utilizar a técnica.

Imagine o código abaixo.

return isActive == true;

Um mutante pode transformá-lo em:

return isActive;

Apesar de diferentes, ambos possuem exatamente o mesmo comportamento, nenhum teste será capaz de distinguir essas duas implementações, nesse caso, o mutante nunca será morto e isso não representa um problema na qualidade dos testes. Saber identificar mutantes equivalentes é uma habilidade importante para interpretar corretamente os resultados de Mutation Testing.

Minha experiência utilizando Mutation Testing

Meu primeiro contato com Mutation Testing aconteceu durante um estudo voltado para melhoria da qualidade de software em um ambiente real de produção. Na época, a proposta era entender como essa técnica poderia complementar estratégias tradicionais de testes em uma aplicação financeira, o resultado foi bastante interessante.

Encontramos cenários em que a cobertura de testes era alta, mas mutantes importantes continuavam sobrevivendo. Isso mostrava que os testes executavam o código, mas não verificavam corretamente seu comportamento, essa experiência acabou originando o artigo científico "Mutation Testing as a Quality Assurance Technique in a Fintech Company", reconhecido com o Distinguished Paper Award no SBQS 2024.

Mais do que um reconhecimento acadêmico, essa pesquisa reforçou algo que continuo levando para meu dia a dia como engenheira de software, a qualidade de testes não pode ser medida apenas pela quantidade de linhas executadas.

Como começar utilizando Mutation Testing

Se você trabalha com Java, uma das ferramentas mais conhecidas é o PIT (Pitest). Ele se integra facilmente ao Maven e ao Gradle, gera relatórios bastante completos e permite visualizar quais mutantes foram mortos, quais sobreviveram e quais testes executaram cada mutação. Se você nunca utilizou a técnica, minha recomendação é simples, não tente aplicar Mutation Testing no projeto inteiro logo de início, escolha um módulo pequeno, execute a ferramenta, analise os mutantes sobreviventes e entenda por que eles sobreviveram.

Depois disso, melhore os testes antes mesmo de pensar na porcentagem final. Essa abordagem costuma gerar muito mais aprendizado do que simplesmente perseguir um número.

Erros comuns

Depois de estudar e utilizar Mutation Testing por algum tempo, percebi alguns erros que aparecem com bastante frequência. O primeiro deles é acreditar que o objetivo é matar todos os mutantes. Nem sempre isso é possível ou mesmo desejável.

Outro erro bastante comum é modificar o código de produção apenas para melhorar o relatório de Mutation Testing. Se você está alterando uma implementação correta apenas para satisfazer a ferramenta, provavelmente está resolvendo o problema errado, também vejo muitos desenvolvedores ignorando o conceito de mutantes equivalentes e interpretando qualquer sobrevivente como um defeito.

Por fim, talvez o erro mais importante seja utilizar Mutation Testing como substituto para revisão de código, testes de integração ou boas práticas de desenvolvimento, ele nunca foi criado para isso, o mutation Testing complementa uma boa estratégia de testes, ele não substitui engenharia de software.

Considerações finais

Depois que comecei a utilizar Mutation Testing, nunca mais consegui olhar para uma porcentagem de cobertura da mesma forma, continuo acompanhando cobertura porque ela ainda responde uma pergunta importante.

O código foi executado?

Mas, quando quero entender se meus testes realmente são capazes de proteger a aplicação contra regressões, faço outra pergunta.

O que acontece se esse código estiver errado?

É justamente essa pergunta que Mutation Testing ajuda a responder. Talvez esse seja o maior aprendizado que essa técnica trouxe para mim, escrever testes não significa apenas executar código.

Significa construir uma rede de segurança capaz de detectar quando algo deixa de funcionar da maneira que deveria. E, na prática, essa diferença vale muito mais do que qualquer porcentagem de cobertura.