Apple und Google stehen unter Beobachtung, nachdem Berichte ergeben haben, dass ihre App-Stores weiterhin Anwendungen hosten, die in der Lage sind, veränderte Bilder zu erzeugen, die Personen ohne Kleidung zeigen, trotz bestehender Plattformrichtlinien, die solche Inhalte verbieten.
Eine Untersuchung identifizierte Tech Transparency Project Dutzende solcher Apps auf beiden Plattformen. Der Bericht fand 55 Apps auf Google Play und 47 im Apple App Store, die Bilder von Frauen digital verändern können, um teilweise oder vollständig nackte Ergebnisse zu erzielen.
Laut den Ergebnissen wurden diese Apps weltweit zusammen mehr als 705 Millionen Mal heruntergeladen und haben etwa 117 Millionen US-Dollar Umsatz generiert. Der Bericht besagt, dass beide Unternehmen einen Anteil an diesen Einnahmen durch App-Store-Gebühren erhalten.
Die Untersuchung ergab außerdem, dass viele der Apps offenbar mit den eigenen Regeln der Unternehmen kollidierten. Googles Richtlinien verbieten Apps, die Nacktheit zeigen oder simulieren oder Objektifizieren von Personen, während Apples Richtlinien Apps einschränken, die anstößiges oder explizites Material produzieren. Trotz dieser Richtlinien standen die Apps zum Download zur Verfügung und waren in einigen Fällen für jüngere Nutzer basierend auf zugewiesenen Altersstufen zugänglich.
Such- und Empfehlungssysteme in App-Stores wurden ebenfalls als Faktor für die Sichtbarkeit genannt. Der Bericht stellte fest, dass die Suche nach Begriffen wie “nudify” beworbene Apps und Autocomplete-Vorschläge zurückgab, die die Nutzer auf diese Tools verweisen.
Im Rahmen der Untersuchung durchgeführte Tests zeigten, dass mehrere Apps in der Lage waren, veränderte Bilder mithilfe einfacher Prompts und kostenloser Funktionen zu erzeugen. In einigen Fällen erzeugten Anwendungen Inhalte, die Personen in verschiedenen Zuständen der Entkleidung ohne Einschränkungen zeigten.
Separate Berichte zeigen, dass das Problem über einzelne Apps hinausgeht und größere Herausforderungen bei der Moderation von KI-generierten Inhalten widerspiegelt. Der Einsatz generativer Werkzeuge zur Erstellung nicht einvernehmlicher veränderter Bilder hat mit der Verfügbarkeit automatisierter Bildbearbeitungstechnologien zugenommen.
Nach der Veröffentlichung der Ergebnisse ergriffen beide Unternehmen Maßnahmen, um einige der identifizierten Apps zu entfernen. Apple entfernte eine Reihe von Anwendungen, während Google mehrere andere sperrte, obwohl einige nach den ersten Durchsetzungsmaßnahmen weiterhin verfügbar blieben.
Der Bericht stellt fest, dass das Vorhandensein dieser Apps Lücken in App-Überprüfungsprozessen und Durchsetzungssystemen aufzeigt, insbesondere da sich KI-basierte Werkzeuge weiterentwickeln. Es wird außerdem darauf hingewiesen, dass einige Apps über beide Plattformen gleichzeitig zugänglich waren, was auf überlappende Vertriebskanäle hinweist.
Die Unternehmen haben in früheren Richtlinien erklärt, dass sie die Sicherheit der Nutzer gewährleisten und schädliche Inhalte einschränken wollen, während sie weiterhin Anträge auf ihren Plattformen prüfen.