La Malaisie et l’Indonésie ont bloqué l’accès à Grok, un outil d’intelligence artificielle intégré dans X, après que les autorités ont déclaré qu’il était utilisé pour générer des images deepfake nuisibles. Les responsables des deux pays ont déclaré que la mesure avait été prise pour limiter la diffusion de contenus non consentis et sexualisés créés à l’aide de cet outil.
En Indonésie, le ministère de la Communication et de l’Informatique a déclaré que Grok avait été suspendu après qu’il a été jugé capable de produire des images manipulées violant les lois nationales et les normes sociales. Le ministère a indiqué que les réglementations existantes permettent aux autorités de restreindre les services numériques qui permettent la diffusion de contenus interdits, y compris ceux qui nuisent aux individus ou portent atteinte à l’ordre public. Les responsables ont indiqué que le blocage resterait en place jusqu’à ce que les garanties soient renforcées.
Le régulateur malaisien des communications a pris une mesure similaire, invoquant des inquiétudes selon lesquelles les fonctionnalités de génération d’images de Grok pourraient être détournées pour créer des deepfakes sans contrôles adéquats. Le régulateur a déclaré que la plateforme n’avait pas démontré de mesures techniques suffisantes pour prévenir les abus et s’appuyait trop sur le signalement des utilisateurs plutôt que sur une modération proactive. L’accès à l’outil a été restreint pendant que les autorités évaluaient le respect du contenu local et des règles de sécurité.
Grok est développé par xAI, qui est lié à X par une propriété commune. L’outil a attiré l’attention après que les utilisateurs ont démontré sa capacité à générer des images modifiées et sexualisées à partir de textes. Les critiques ont déclaré que de telles capacités présentaient des risques pour la vie privée et la sécurité personnelle, en particulier pour les femmes et les enfants.
Les deux gouvernements ont déclaré que ces restrictions étaient précautionnelles et axées sur la protection des utilisateurs. Les responsables indonésiens ont indiqué avoir demandé des clarifications à X et xAI sur la manière dont l’outil est utilisé localement et sur les mesures mises en place pour prévenir les abus. Les autorités malaisiennes ont déclaré que l’accès pourrait être rétabli si les opérateurs démontrent des contrôles efficaces respectant les normes réglementaires.
Ces blocages marquent les premières restrictions nationales connues à Grok liées spécifiquement à des préoccupations liées au deepfake. Ces mesures font suite à un examen international plus large des outils d’intelligence artificielle générative et de leur potentiel à créer du contenu nuisible ou trompeur. Les régulateurs de plusieurs pays ont déclaré que les lois existantes pourraient s’appliquer aux systèmes d’IA s’ils permettent des contenus illégaux ou nuisibles.
xAI a auparavant limité certaines fonctionnalités de génération d’images et ajusté les paramètres d’accès suite à des critiques. Les autorités de Malaisie et d’Indonésie ont indiqué que d’autres changements techniques et politiques seraient nécessaires avant que le service ne puisse reprendre ses opérations normales.