Maleisië en Indonesië hebben de toegang tot Grok, een kunstmatige intelligentietool geïntegreerd in X, geblokkeerd nadat autoriteiten zeiden dat het werd gebruikt om schadelijke deepfake-beelden te maken. Functionarissen in beide landen zeiden dat de actie werd genomen om de verspreiding van niet-consensuele en geseksualiseerde inhoud die met het hulpmiddel is gemaakt, te beperken.
In Indonesië zei het Ministerie van Communicatie en Informatica dat Grok was geschorst nadat bleek dat het in staat was gemanipuleerde beelden te produceren die nationale wetten en sociale normen overtreden. Het ministerie zei dat bestaande regelgeving autoriteiten toestaat digitale diensten te beperken die de verspreiding van verboden inhoud mogelijk maken, inclusief materiaal dat individuen schaadt of de openbare orde ondermijnt. Functionarissen zeiden dat het blok van kracht zal blijven totdat de waarborgen zijn versterkt.
De Maleisische communicatietoezichthouder nam soortgelijke maatregelen, met als reden van zorgen dat de beeldgeneratiefuncties van Girok misbruikt konden worden om deepfakes te maken zonder adequate controle. De toezichthouder zei dat het platform niet voldoende technische maatregelen toonde om misbruik te voorkomen en te veel leunde op gebruikersrapportage in plaats van proactieve moderatie. De toegang tot het hulpmiddel werd beperkt terwijl de autoriteiten de naleving van lokale inhouds- en veiligheidsregels beoordeelden.
Grok wordt ontwikkeld door xAI, dat via gemeenschappelijk eigendom aan X is gekoppeld. De tool kreeg aandacht nadat gebruikers het vermogen toonden om aangepaste en geseksualiseerde afbeeldingen te genereren op basis van tekstprompts. Critici zeiden dat dergelijke mogelijkheden risico’s vormen voor privacy en persoonlijke veiligheid, vooral voor vrouwen en kinderen.
Beide regeringen zeiden dat de beperkingen voorzorgsmaatregelen zijn en gericht waren op gebruikersbescherming. Indonesische functionarissen zeiden dat ze X en xAI om verduidelijking hebben gevraagd over hoe het hulpmiddel lokaal wordt gebruikt en welke maatregelen er zijn genomen om misbruik te voorkomen. De Maleisische autoriteiten zeiden dat de toegang hersteld kan worden als de exploitanten effectieve controles tonen die voldoen aan de regelgeving.
De blokkades markeren de eerste bekende nationale beperkingen op Grok die specifiek verband houden met deepfake-problemen. De stappen volgen bredere internationale controle op generatieve kunstmatige intelligentietools en hun potentieel om schadelijke of misleidende inhoud te creëren. Toezichthouders in verschillende landen hebben gezegd dat bestaande wetten van toepassing kunnen zijn op AI-systemen als ze illegaal of schadelijk materiaal mogelijk maken.
xAI heeft eerder enkele beeldgeneratiefuncties beperkt en de toegangsinstellingen aangepast na kritiek. Autoriteiten in Maleisië en Indonesië zeiden dat verdere technische en beleidswijzigingen nodig zouden zijn voordat de dienst de normale werking kon hervatten.