Lojas de aplicativos da Apple e do Google promovem apps que criam deepfakes sexuais, aponta relatório
Um relatório divulgado nesta quarta-feira, 15 de abril, pelo grupo de pesquisa Tech Transparency Project revelou que as lojas de aplicativos da Apple e do Google continuam a disponibilizar e a recomendar ativamente ferramentas que utilizam inteligência artificial para criar imagens de nudez não consensual. Os pesquisadores identificaram dezenas de aplicativos nas plataformas que transformam fotografias de pessoas reais em montagens sexuais sem o consentimento dos envolvidos, muitos deles com classificação etária liberada para todas as idades. O estudo representa a segunda análise do tipo realizada pelo TTP neste ano, após uma primeira investigação publicada em janeiro que já havia apontado o mesmo problema nas duas principais lojas de aplicativos do mercado mobile.
A metodologia da investigação consistiu em realizar buscas nas lojas por termos como "nudify" e "undress" — expressões em inglês que se referem, respectivamente, a "nudificar" e "despir". Ao digitar essas palavras-chave, os pesquisadores constataram que tanto a App Store quanto a Google Play exibiam como resultados aplicativos capazes de remover digitalmente as roupas de uma pessoa fotografada. Mais do que apenas exibir os resultados, as lojas chegavam a sugerir termos complementares de busca, ampliando ainda mais a visibilidade dessas ferramentas. Essa recomendação algorítmica funciona como um mecanismo que direciona os usuários diretamente para os aplicativos, facilitando o acesso a um tipo de conteúdo que viola as próprias políticas das plataformas.
Os deepfakes sexuais são imagens manipuladas por meio de inteligência artificial que substituem ou alteram elementos de uma fotografia para criar a ilusão de nudez ou de participação em cenas pornográficas. O termo "deepfake" designa qualquer conteúdo gerado por redes neurais profundas, uma técnica de aprendizado de máquina capaz de produzir resultados altamente realistas. No caso dos aplicativos identificados pelo TTP, o funcionamento é relativamente simples: o usuário carrega uma foto de uma pessoa e o modelo de inteligência artificial processa a imagem, gerando uma versão alterada em que as roupas são removidas ou substituídas por peças íntimas.
Ao baixar e testar os dez primeiros aplicativos que apareceram nos resultados de busca, os pesquisadores descobriram que aproximadamente 40% deles eram efetivamente capazes de produzir imagens de nudez ou de pessoas com pouca roupa. No total, o levantamento catalogou 18 aplicativos desse tipo na App Store da Apple e 20 na Google Play do Google, totalizando 38 ferramentas. Parte desses aplicativos se apresentava de forma velada, ocultando suas verdadeiras funções sob descrições genéricas, enquanto outros eram francos ao se anunciar como geradores de conteúdo sexual por inteligência artificial.
Um dos dados mais preocupantes levantados pelo estudo diz respeito à classificação etária atribuída aos aplicativos. Do total de 38 ferramentas identificadas, 31 receberam a etiqueta de adequadas para menores de idade, o que significa que crianças e adolescentes podiam encontrá-las e baixá-las sem qualquer restrição nas lojas. O Tech Transparency Project destacou que essa falha na moderação é particularmente grave diante do aumento de escândalos envolvendo deepfakes sexuais em escolas, onde alunos têm utilizado esse tipo de ferramenta para criar imagens íntimas falsas de colegas.
Em números absolutos, o relatório estimou que os 38 aplicativos acumularam cerca de 483 milhões de downloads e geraram aproximadamente 122 milhões de dólares em receita, o que equivale a cerca de 611 milhões de reais. Esses valores evidenciam a existência de um mercado robusto e lucrativo em torno da criação de nudez artificial, alimentado pela facilidade de acesso oferecida pelas lojas oficiais de aplicativos. O modelo de negócios dessas ferramentas geralmente combina downloads gratuitos com opções de assinatura ou compras internas que desbloqueiam funcionalidades avançadas de edição.
Diante dos resultados da investigação, a Apple informou à agência de notícias Bloomberg ter removido 15 dos aplicativos identificados pelo TTP de sua loja. Já o Google declarou ter suspendido vários dos aplicativos sinalizados no relatório. Ambas as empresas possuem políticas internas que proíbem materiais sexuais e pornográficos em suas plataformas, e o Google ainda mantém regras específicas contra aplicativos que produzem nudez não consensual. No entanto, a persistência do problema ao longo de dois levantamentos consecutivos sugere que os mecanismos de fiscalização das lojas não têm sido suficientes para impedir que novas ferramentas desse tipo sejam publicadas e ganhem popularidade.
A situação evidencia um desafio mais amplo enfrentado por plataformas de distribuição de software em todo o mundo: a dificuldade de acompanhar o ritmo de desenvolvimento de aplicações de inteligência artificial generativa. Modelos que antes exigiam infraestrutura técnica avançada para funcionar agora operam de forma compacta dentro de aplicativos de celular, acessíveis a qualquer pessoa com um smartphone. As redes neurais que possibilitam a remoção de roupas em fotografias compartilham a mesma base tecnológica utilizada em modelos legítimos de edição de imagem, o que torna a tarefa de diferenciar usos adequados de abusivos uma questão complexa para os sistemas automatizados de revisão.
O debate em torno dos deepfakes sexuais ganhou força nos últimos anos à medida que casos de abuso virtual multiplicaram-se em escolas, universidades e ambientes de trabalho. Vários países já aprovaram ou discutem legislações que criminalizam a criação e a difusão desse tipo de material, considerando que a produção de imagens íntimas sem consentimento causa danos psicológicos graves às vítimas, afeta reputações e pode configurar violência de gênero digital. No contexto corporativo, a pressão sobre empresas de tecnologia para assumir responsabilidade sobre o conteúdo distribuído em suas plataformas também tem aumentado, com chamados de organizações de defesa de direitos digitais e de legisladores.
A resposta das plataformas após a divulgação do relatório indica um reconhecimento parcial do problema, mas não aborda questões estruturais que permitiram que os aplicativos fossem publicados e classificados de forma inadequada desde o início. A classificação etária erroneamente permissiva para a maioria dos aplicativos aponta para falhas nos processos de aprovação e moderação de conteúdo, que deveriam detectar o propósito de ferramentas baseadas em inteligência artificial antes mesmo de elas ficarem disponíveis ao público.
Os desdobramentos esperados incluem uma revisão mais rigorosa dos critérios de aprovação de novos aplicativos nas lojas e um reforço na vigilância sobre ferramentas que utilizam inteligência artificial generativa para manipulação de imagens. A pressão social e institucional sobre Apple e Google tende a crescer caso novos levantamentos apontem a continuidade do problema, especialmente no que se refere à proteção de menores de idade contra o acesso a esse tipo de tecnologia. O relatório do Tech Transparency Project, ao expor o volume de downloads e a receita envolvida, reforça que o combate aos deepfakes sexuais precisa envolver não apenas as plataformas de distribuição, mas também medidas regulatórias que desestimulem economicamente o desenvolvimento e a comercialização dessas ferramentas.
