Apple e Google estão sob escrutínio após relatos mostrarem que suas lojas de aplicativos continuam a hospedar aplicativos capazes de gerar imagens alteradas que mostram pessoas sem roupas, apesar das políticas existentes da plataforma proibindo esse tipo de conteúdo.
Uma investigação dos Tech Transparency Project usuários identificou dezenas desses aplicativos em ambas as plataformas. O relatório encontrou 55 aplicativos no Google Play e 47 na App Store da Apple que podem alterar digitalmente imagens de mulheres para produzir resultados parcialmente ou totalmente nus.
De acordo com as descobertas, esses aplicativos foram baixados coletivamente mais de 705 milhões de vezes no mundo todo e geraram aproximadamente US$ 117 milhões em receita. O relatório afirma que ambas as empresas recebem uma parte dessa receita por meio das taxas da loja de aplicativos.
A investigação também constatou que muitos dos aplicativos pareciam conflitar com as próprias regras das empresas. As políticas do Google proíbem aplicativos que retratam ou simulam nudez ou objetificam indivíduos, enquanto as diretrizes da Apple restringem aplicativos que produzem material ofensivo ou explícito. Apesar dessas políticas, os aplicativos estavam disponíveis para download e, em alguns casos, acessíveis a usuários mais jovens com base nas classificações etárias atribuídas.
Sistemas de busca e recomendação dentro das lojas de aplicativos também foram citados como um fator para a visibilidade. O relatório constatou que termos de busca como “nudify” retornavam aplicativos promovidos e sugestões de autopreenchimento direcionando os usuários para essas ferramentas.
Testes realizados como parte da investigação mostraram que vários aplicativos conseguiram gerar imagens alteradas usando prompts básicos e recursos gratuitos. Em alguns casos, aplicativos produziram conteúdo retratando indivíduos em vários estados de nudez, sem restrições.
Relatórios separados indicam que a questão vai além dos aplicativos individuais e reflete desafios mais amplos na moderação de conteúdo gerado por IA. O uso de ferramentas generativas para criar imagens alteradas não consensuais aumentou com a disponibilidade de tecnologias automatizadas de edição de imagens.
Após a publicação dos resultados, ambas as empresas tomaram medidas para remover alguns dos aplicativos identificados. A Apple removeu vários aplicativos, enquanto o Google suspendeu vários outros, embora alguns tenham permanecido disponíveis após ações iniciais de fiscalização.
O relatório afirma que a presença desses aplicativos destaca lacunas nos processos de revisão de aplicativos e nos sistemas de fiscalização, especialmente à medida que as ferramentas baseadas em IA evoluem. Também observa que alguns aplicativos estavam acessíveis simultaneamente por ambas as plataformas, indicando canais de distribuição sobrepostos.
As empresas declararam em políticas anteriores que visam garantir a segurança dos usuários e restringir conteúdos prejudiciais, enquanto continuam analisando os aplicativos enviados em suas plataformas.