Apple e Google sono sotto scrutinio dopo che alcune notizie hanno rilevato che i loro app store continuano ad ospitare applicazioni in grado di generare immagini modificate che raffigurano persone senza vestiti, nonostante le attuali politiche della piattaforma vietino tali contenuti.
Un’indagine condotta da questi Tech Transparency Project ha identificato decine di app di questo tipo su entrambe le piattaforme. Il rapporto ha rilevato 55 app su Google Play e 47 sull’App Store di Apple che possono modificare digitalmente le immagini di donne per ottenere risultati parzialmente o completamente nudi.
Secondo i risultati, queste app sono state scaricate collettivamente più di 705 milioni di volte in tutto il mondo e hanno generato circa 117 milioni di dollari di fatturato. Il rapporto afferma che entrambe le aziende ricevono una quota di questi ricavi tramite le commissioni dell’app store.
L’indagine ha inoltre rilevato che molte delle app sembravano essere in conflitto con le stesse regole delle aziende. Le politiche di Google vietano le app che raffigurano o simulano nudità o oggettificano individui, mentre le linee guida di Apple limitano le app che producono contenuti offensivi o espliciti. Nonostante queste politiche, le app erano disponibili per il download e in alcuni casi accessibili agli utenti più giovani in base alle classifiche d’età assegnate.
Anche i sistemi di ricerca e raccomandazione all’interno degli app store sono stati citati come fattore di visibilità. Il rapporto ha rilevato che termini di ricerca come “nudify” restituivano app promosse e suggerimenti di autocompletamento che indirizzavano gli utenti verso questi strumenti.
I test condotti nell’ambito dell’indagine hanno mostrato che diverse app sono riuscite a generare immagini modificate utilizzando prompt di base e funzionalità gratuite. In alcuni casi, le applicazioni producevano contenuti che raffiguravano individui in vari stati di nudità senza restrizioni.
Rapporti separati indicano che il problema va oltre le singole app e riflette sfide più ampie nella moderazione dei contenuti generati dall’IA. L’uso di strumenti generativi per creare immagini modificate non consensuali è aumentato con la disponibilità di tecnologie di editing automatico delle immagini.
Dopo la pubblicazione dei risultati, entrambe le aziende hanno preso provvedimenti per rimuovere alcune delle app identificate. Apple ha rimosso diverse domande, mentre Google ne ha sospese diverse altre, anche se alcune sono rimaste disponibili dopo le iniziali azioni di applicazione.
Il rapporto afferma che la presenza di queste app evidenzia lacune nei processi di revisione delle app e nei sistemi di applicazione, soprattutto con l’evoluzione degli strumenti basati sull’IA. Segnala inoltre che alcune app erano accessibili simultaneamente tramite entrambe le piattaforme, indicando canali di distribuzione sovrapposti.
Le aziende hanno dichiarato in politiche precedenti di voler garantire la sicurezza degli utenti e limitare i contenuti dannosi, continuando al contempo a esaminare le domande inviate sulle loro piattaforme.