La plataforma X, propiedad de Elon Musk, anunció nuevas medidas para limitar la creación de imágenes falsas sexualizadas mediante Grok, su chatbot de inteligencia artificial, en jurisdicciones donde este tipo de contenido es ilegal. La decisión surge en medio de una ola de críticas internacionales y múltiples investigaciones por el uso de la herramienta para generar montajes íntimos no consentidos, incluidos casos que involucran a mujeres y menores de edad.

La reacción de la compañía se produce después de que la fiscalía de California abriera una investigación contra xAI —la empresa desarrolladora de Grok— por presuntamente facilitar la producción masiva de deepfakes sexualizados utilizados para acosar a mujeres y niñas en internet. El fiscal general del estado, Rob Bonta, calificó la situación como inaceptable y reiteró que existe “tolerancia cero” frente a la creación y difusión de imágenes íntimas no consentidas o material que involucre a menores.

El gobernador de California, Gavin Newsom, también criticó duramente a xAI, calificando de “vil” la permisividad que permitió la proliferación de contenido explícito generado con IA, e instó a las autoridades a actuar con firmeza.

Nuevas restricciones en X y Grok

En respuesta, X informó que implementará un bloqueo geográfico para impedir que los usuarios generen imágenes de personas en bikini, ropa interior o atuendos similares en regiones donde estas prácticas sean ilegales.

El equipo de seguridad de la plataforma detalló que se han incorporado “medidas tecnológicas” para evitar que Grok edite fotos de personas reales con ropa reveladora. La restricción aplica a todos los usuarios, incluidos los suscriptores de pago.

Además, como medida adicional, la creación y edición de imágenes mediante Grok quedará limitada exclusivamente a cuentas de pago, una decisión que la empresa presentó como un mecanismo de protección, pero que ha sido ampliamente cuestionada.

Indignación global y presión regulatoria

Un análisis reciente de la organización AI Forensics, basado en más de 20.000 imágenes generadas por Grok, reveló que más de la mitad mostraban a personas con poca ropa; el 81% eran mujeres y el 2% correspondían a menores de edad.

La capacidad del chatbot para modificar fotografías —incluyendo imágenes publicadas en X— ha provocado una fuerte reacción internacional, especialmente por su uso para crear deepfakes sexualizados mediante comandos como “ponla en bikini” o “quítale la ropa”.

La semana pasada, Grok intentó contener las críticas anunciando que la generación de imágenes quedaría restringida a suscriptores de pago, pero la medida fue considerada insuficiente. La oficina del primer ministro británico, Keir Starmer, calificó la decisión como un agravio a las víctimas, mientras que el regulador británico Ofcom abrió una investigación para determinar si X violó la legislación sobre imágenes sexuales.

La presión aumentó este miércoles cuando una coalición de 28 organizaciones civiles envió cartas a Apple y Google solicitando retirar Grok y X de sus tiendas de aplicaciones debido al incremento de contenido sexualizado generado con IA.

Bloqueos y sanciones en varios países

La controversia ha provocado reacciones gubernamentales en distintos continentes. Indonesia y Malasia ya bloquearon el acceso a Grok, mientras que India informó que X eliminó miles de publicaciones y cientos de cuentas tras recibir quejas formales.

Este jueves, Filipinas anunció la suspensión del acceso a Grok en su territorio, sumándose a la lista de países que han tomado medidas directas contra la herramienta.

En Europa, la comisionada francesa para la infancia, Sarah El Hairy, remitió las imágenes generadas por Grok a la fiscalía francesa, al regulador Arcom y a la Unión Europea, que ha solicitado la paralización total de la generación de contenido sexualizado no consentido.