Apple y Google están bajo escrutinio tras informes que descubrieron que sus tiendas de aplicaciones siguen alojando aplicaciones capaces de generar imágenes alteradas que muestran a personas sin ropa, a pesar de que las políticas existentes de la plataforma prohíben dicho contenido.
Una investigación identificó Tech Transparency Project decenas de estas aplicaciones en ambas plataformas. El informe encontró 55 aplicaciones en Google Play y 47 en la App Store de Apple que pueden alterar digitalmente imágenes de mujeres para producir resultados parcialmente o totalmente desnudos.
Según los hallazgos, estas aplicaciones se han descargado colectivamente más de 705 millones de veces en todo el mundo y han generado aproximadamente 117 millones de dólares en ingresos. El informe indica que ambas compañías reciben una parte de estos ingresos a través de las comisiones de la tienda de aplicaciones.
La investigación también concluyó que muchas de las aplicaciones parecían entrar en conflicto con las propias normas de las empresas. Las políticas de Google prohíben las aplicaciones que representen o simulen desnudez o que objetiven a personas, mientras que las directrices de Apple restringen las aplicaciones que producen material ofensivo o explícito. A pesar de estas políticas, las aplicaciones estaban disponibles para descargar y, en algunos casos, accesibles para usuarios más jóvenes según las clasificaciones de edad asignadas.
Los sistemas de búsqueda y recomendación dentro de las tiendas de aplicaciones también se citaron como factor en la visibilidad. El informe encontró que términos de búsqueda como “nudify” devolvían aplicaciones promocionadas y sugerencias de autocompletado que dirigían a los usuarios hacia estas herramientas.
Las pruebas realizadas como parte de la investigación mostraron que varias aplicaciones fueron capaces de generar imágenes alteradas usando prompts básicos y funciones gratuitas. En algunos casos, las aplicaciones generaban contenido que mostraba a personas en distintos estados de desnudez sin restricciones.
Informes separados indican que el problema va más allá de las aplicaciones individuales y refleja desafíos más amplios a la hora de moderar contenido generado por IA. El uso de herramientas generativas para crear imágenes alteradas no consensuadas ha aumentado con la disponibilidad de tecnologías automatizadas de edición de imágenes.
Tras la publicación de los resultados, ambas empresas tomaron medidas para eliminar algunas de las aplicaciones identificadas. Apple retiró varias solicitudes, mientras que Google suspendió varias más, aunque algunas seguían disponibles tras las primeras acciones de aplicación.
El informe señala que la presencia de estas aplicaciones pone de manifiesto las lagunas en los procesos de revisión de aplicaciones y en los sistemas de aplicación, especialmente a medida que evolucionan las herramientas basadas en IA. También señala que algunas aplicaciones eran accesibles a través de ambas plataformas simultáneamente, lo que indica canales de distribución superpuestos.
Las empresas han declarado en políticas anteriores que su objetivo es garantizar la seguridad de los usuarios y restringir el contenido dañino, mientras continúan revisando las solicitudes enviadas a sus plataformas.