Apple en Google staan onder toezicht nadat rapporten aantoonden dat hun appwinkels nog steeds applicaties hosten die in staat zijn aangepaste afbeeldingen te genereren waarop mensen zonder kleding te zien zijn, ondanks het bestaande platformbeleid dat dergelijke inhoud verbiedt.
Een onderzoek door de I-Groep Tech Transparency Project identificeerde tientallen van dergelijke apps op beide platforms. Het rapport vond 55 apps op Google Play en 47 op Apple’s App Store die afbeeldingen van vrouwen digitaal kunnen aanpassen om gedeeltelijk of volledig naakt te zijn.
Volgens de bevindingen zijn deze apps wereldwijd meer dan 705 miljoen keer gedownload en hebben ze ongeveer $117 miljoen aan omzet gegenereerd. Het rapport stelt dat beide bedrijven een deel van deze inkomsten ontvangen via appwinkelkosten.
Het onderzoek wees ook uit dat veel van de apps leken in strijd te zijn met de eigen regels van de bedrijven. Het beleid van Google verbiedt apps die naaktheid tonen of simuleren of individuen objectiveren, terwijl de richtlijnen van Apple apps beperken die aanstootgevend of expliciet materiaal produceren. Ondanks deze beleidsregels waren de apps beschikbaar om te downloaden en in sommige gevallen toegankelijk voor jongere gebruikers op basis van toegewezen leeftijdsclassificaties.
Zoek- en aanbevelingssystemen binnen app-stores werden ook genoemd als factor in zichtbaarheid. Het rapport ontdekte dat het zoeken naar termen als “nudify” gepromote apps en autocomplete-suggesties opleverde die gebruikers naar deze tools stuurden.
Tests die als onderdeel van het onderzoek werden uitgevoerd, toonden aan dat verschillende apps in staat waren aangepaste afbeeldingen te genereren met behulp van basisprompts en gratis functies. In sommige gevallen produceerden applicaties inhoud die individuen in verschillende stadia van ontkleding zonder beperkingen toonde.
Afzonderlijke rapportages geven aan dat het probleem verder reikt dan individuele apps en bredere uitdagingen weerspiegelt bij het modereren van door AI gegenereerde content. Het gebruik van generatieve tools om niet-consensuele gewijzigde beelden te maken is toegenomen met de beschikbaarheid van geautomatiseerde beeldbewerkingstechnologieën.
Na de publicatie van de bevindingen namen beide bedrijven stappen om enkele van de geïdentificeerde apps te verwijderen. Apple verwijderde een aantal applicaties, terwijl Google verschillende andere opschorste, hoewel sommige na de eerste handhavingsmaatregelen beschikbaar bleven.
Het rapport stelt dat de aanwezigheid van deze apps hiaten benadrukt in app-reviewprocessen en handhavingssystemen, vooral naarmate AI-gebaseerde tools zich ontwikkelen. Ook wordt opgemerkt dat sommige apps gelijktijdig via beide platforms toegankelijk waren, wat wijst op overlappende distributiekanalen.
De bedrijven hebben in eerdere beleidsregels aangegeven dat ze de veiligheid van gebruikers willen waarborgen en schadelijke inhoud willen beperken, terwijl ze aanvragen die op hun platforms worden ingediend blijven beoordelen.