Testes instáveis de software se espalham por 55% dos projetos do OpenStack e causam prejuízo de 1.156 dias de trabalho de desenvolvedores
Uma pesquisa realizada por cientistas da Universidade de Kyushu e publicada na revista IEEE Transactions on Software Engineering revelou que os chamados "testes instáveis" — conhecidos no meio técnico como "flaky tests" — representam um problema muito maior do que se imaginava na engenharia de software. Esses testes, que apresentam resultados inconsistentes ao serem executados sobre o mesmo código, ou seja, ora falham ora passam sem que haja qualquer alteração no programa, não ficam restritos aos projetos onde surgem e tendem a se espalhar por ecossistemas inteiros de desenvolvimento.
O estudo focou sua análise no ecossistema OpenStack, uma plataforma de código aberto amplamente utilizada para computação em nuvem. Os pesquisadores descobriram que a instabilidade de testes afeta 55% dos projetos que compõem esse ecossistema. O fenômeno foi denominado pelos autores como "instabilidade entre projetos" (cross-project flakiness), em que um teste problemático em um módulo se propaga e compromete também outros módulos interconectados do sistema.
O impacto quantificado pela pesquisa é expressivo. Segundo os cientistas, o problema custou cerca de 1.156 dias de trabalho de desenvolvedores apenas no período analisado. Esse número reflete o tempo gasto por equipes de desenvolvimento tentando identificar, isolar e corrigir falhas que, na verdade, não eram causadas por erros no código, mas sim pela natureza inconsistente dos próprios testes. Trata-se de um desperdício significativo de recursos humanos em um setor que já lida com prazos apertados e demandas crescentes de produtividade.
Um dos achados mais surpreendentes do estudo diz respeito aos testes de unidade, que são aqueles projetados para verificar partes isoladas e pequenas do código. Tradicionalmente, a comunidade de desenvolvimento considera que testes de unidade estão naturalmente protegidos de problemas que envolvem múltiplos módulos, diferente dos testes de integração ou de sistema, que avaliam o funcionamento conjunto de vários componentes. No entanto, os dados coletados pelos pesquisadores mostraram que 70% dos testes de unidade analisados apresentaram comportamento instável entre diferentes projetos, desafiando essa suposição de que estariam imunes a esse tipo de falha.
A pesquisa também identificou o que os autores chamaram de "instabilidade inconsistente", uma situação em que um mesmo teste se comporta de forma instável em alguns projetos, mas permanece estável em outros. Essa variação torna a detecção e a correção do problema ainda mais difíceis, pois os desenvolvedores podem não perceber que um teste é problemático se ele falha apenas em determinados contextos do ecossistema.
Os resultados do estudo chamam atenção para a necessidade de repensar estratégias de automação de testes, especialmente em projetos de grande escala com múltiplos módulos interdependentes. A propagação de testes instáveis entre projetos não apenas aumenta o tempo de revisão de código, como também eleva os custos computacionais associados à execução repetida de testes em ambientes de integração contínua, processo no qual cada alteração de código é automaticamente verificada por uma suíte de testes antes de ser incorporada ao projeto principal.
Para os pesquisadores, os dados evidenciam que a estabilidade dos testes automatizados não deve ser tratada como um problema isolado de cada equipe ou módulo. Uma vez que um teste instável pode comprometer a confiabilidade de projetos vizinhos dentro de um mesmo ecossistema, abordagens colaborativas e ferramentas capazes de detectar e rastrear a propagação dessas falhas se tornam essenciais para manter a eficiência do desenvolvimento de software em larga escala.
