Apple et Google sont sous surveillance après que des rapports ont révélé que leurs boutiques d’applications continuent d’héberger des applications capables de générer des images modifiées représentant des personnes sans vêtements, malgré les politiques existantes de la plateforme interdisant ce type de contenu.
Une enquête menée par les Tech Transparency Project deux a identifié des dizaines de ces applications sur les deux plateformes. Le rapport a révélé 55 applications sur Google Play et 47 sur l’App Store d’Apple capables de modifier numériquement des images de femmes pour produire des résultats partiellement ou totalement nus.
Selon les résultats, ces applications ont été téléchargées collectivement plus de 705 millions de fois dans le monde et généré environ 117 millions de dollars de revenus. Le rapport indique que les deux entreprises reçoivent une part de ces revenus via les frais de la boutique d’applications.
L’enquête a également révélé que de nombreuses applications semblaient entrer en conflit avec les propres règles des entreprises. Les politiques de Google interdisent les applications qui représentent ou simulent la nudité ou qui objectifent des individus, tandis que les directives d’Apple restreignent les applications qui produisent du contenu offensant ou explicite. Malgré ces politiques, les applications étaient disponibles en téléchargement et, dans certains cas, accessibles aux jeunes utilisateurs selon les classifications d’âge attribuées.
Les systèmes de recherche et de recommandation dans les boutiques d’applications ont également été cités comme un facteur de visibilité. Le rapport a révélé que des termes de recherche tels que « nudify » restituaient des applications promues et des suggestions d’autocomplétion orientant les utilisateurs vers ces outils.
Les tests menés dans le cadre de l’enquête ont montré que plusieurs applications pouvaient générer des images modifiées à l’aide d’invites basiques et de fonctionnalités gratuites. Dans certains cas, les applications produisaient du contenu représentant des individus dans différents états de déshabillage sans restrictions.
Des rapports distincts indiquent que le problème dépasse les applications individuelles et reflète des défis plus larges dans la modération des contenus générés par l’IA. L’utilisation d’outils génératifs pour créer des images modifiées non consenties s’est accrue avec la disponibilité des technologies automatisées de retouche d’images.
Suite à la publication des résultats, les deux entreprises ont pris des mesures pour retirer certaines des applications identifiées. Apple a supprimé plusieurs applications, tandis que Google en a suspendu plusieurs autres, bien que certaines soient restées disponibles après les premières actions d’application.
Le rapport indique que la présence de ces applications met en lumière des lacunes dans les processus d’examen des applications et les systèmes d’application, en particulier à mesure que les outils basés sur l’IA évoluent. Il note également que certaines applications étaient accessibles simultanément via les deux plateformes, indiquant des canaux de distribution qui se chevauchent.
Les entreprises ont indiqué dans des politiques précédentes qu’elles visent à garantir la sécurité des utilisateurs et à restreindre les contenus nuisibles, tout en continuant à examiner les applications soumises sur leurs plateformes.