.png)
.svg){kind=icon}
Febrero 25, 2025
•
7
min leer
Límites de contenido: ¿puede Grok-2 generar imágenes NSFW y cómo se regula?
George Miloradovich
Investigador, redactor y entrevistador de casos prácticos
Grok-2 es un generador de imágenes de IA con menos restricciones en contenido NSFW (No seguro para el trabajo) en comparación con competidores como DALL-E y a mitad de caminoEsta indulgencia ha suscitado inquietudes sobre posibles usos indebidos, riesgos legales y cuestiones éticas. A continuación, se ofrece un breve resumen:
| Plataforma | Filtrado NSFW | marcas de agua | Protección de copyright | Prevención de deepfakes |
|---|---|---|---|---|
| Grok-2 | Minimo | Nona | Limitada | Nona |
| DALL-E | Muy estricto | Sí | Fuerte | Sí |
| a mitad de camino | Estricto (Política PG-13) | Sí | Moderado | Sí |
Aunque Grok-2 permite una mayor libertad creativa, su falta de salvaguardas plantea serias preocupaciones. Para obtener resultados más seguros y controlados, DALL-E y Midjourney son mejores opciones.
Grok-2 adopta un camino diferente en lo que respecta a la moderación de contenidos. Aunque afirma evitar imágenes pornográficas, excesivamente violentas o engañosas, así como violaciones de derechos de autor, estas reglas parecen aplicarse de forma poco estricta. Se destacan varias deficiencias operativas:
Estas lagunas ya han llamado la atención de expertos jurídicos y políticos.
"Grok y Gemini son dos generadores de imágenes de IA que generan imágenes controvertidas, pero por motivos equivocados. Ambos generadores pueden utilizarse para crear imágenes falsas y engañosas: Gemini, por el exceso de filtrado, y Grok, por la falta de filtrado".
"Esta es una de las implementaciones de IA más imprudentes e irresponsables que he visto jamás"
A pesar de la presencia de clasificadores automáticos y herramientas de seguridad, las medidas de Grok-2 no están a la altura de las expectativas de la industria, lo que plantea serias cuestiones legales y éticas sobre el enfoque de la plataforma para gestionar el contenido.
OpenAIEl sistema DALL-E de 's utiliza un sistema de seguridad por capas para minimizar la creación de imágenes inapropiadas. Este enfoque se basa en técnicas de filtrado avanzadas para bloquear contenido problemático de manera eficaz.
Las medidas de seguridad de la plataforma incluyen:
Sin embargo, estas medidas de seguridad no son infalibles. Investigadores han demostrado que métodos como el jailbreak "SneakyPrompt" pueden eludir estas defensas.
"Nuestro trabajo demuestra básicamente que las barreras de seguridad existentes son insuficientes. Un atacante puede alterar ligeramente el mensaje para que los filtros de seguridad no lo filtren y hacer que el modelo de texto a imagen genere una imagen dañina".
– Neil Zhenqiang Gong, profesor adjunto de la Universidad de Duke
OpenAI ha respondido rápidamente a estos desafíos, actualizando el sistema para bloquear los intentos de evasión.
"La seguridad es nuestra prioridad y adoptamos un enfoque multifacético. En el modelo subyacente DALL-E 3, hemos trabajado para filtrar el contenido más explícito de sus datos de entrenamiento, incluido el contenido sexual y violento gráfico, y hemos desarrollado clasificadores de imágenes robustos que evitan que el modelo genere imágenes dañinas. También hemos implementado salvaguardas adicionales para nuestros productos, ChatGPT y la API DALL-E, incluido el rechazo de solicitudes que piden una figura pública por su nombre. Identificamos y rechazamos los mensajes que violan nuestras políticas y filtramos todas las imágenes generadas antes de que se muestren al usuario. Utilizamos equipos de expertos externos para realizar pruebas de uso indebido y fortalecer nuestras salvaguardas".
Si bien algunos usuarios han criticado estas restricciones por limitar la libertad artística, OpenAI se centra en el uso responsable de la IA. Estas medidas de seguridad demuestran un claro compromiso con la implementación ética, que se contrastará con mayor detalle en la próxima comparación de plataformas.
Midjourney ha implementado estrictas reglas de moderación de contenido para garantizar que su plataforma siga siendo segura para el trabajo (SFW, por sus siglas en inglés). Esto se logra mediante una combinación de herramientas automatizadas y supervisión comunitaria.
La plataforma utiliza varias medidas de seguridad, entre ellas: algoritmos avanzados para detectar indicaciones problemáticas, bloqueo automático de entradas de texto e imágenes inapropiadas, moderadores de la comunidad que revisan el contenido marcado y un sistema de denuncia de usuarios para abordar las violaciones.
Midjourney sigue una política PG-13 (Apta para mayores de XNUMX años), que prohíbe la creación de contenido no apto para el trabajo (NSFW), como desnudos, imágenes sexuales y material fetichista. Incumplir estas normas puede conllevar el bloqueo temporal o permanente de la cuenta. La plataforma explica:
"Midjourney es una comunidad abierta por defecto. Para que la plataforma sea accesible y acogedora para la mayor cantidad de usuarios posible, el contenido debe ser "seguro para el trabajo" (SFW, por sus siglas en inglés)."
Sin embargo, mantener este equilibrio conlleva desafíos. Algunos usuarios y artistas han expresado su preocupación por las restricciones de la plataforma. El artista y autor de IA Tim Boucher destaca un problema clave:
"Si el usuario es un adulto que da su consentimiento, el problema se reduce. Por otro lado, como profesional de la confianza y la seguridad, su sistema no debería crear desnudos cuando la gente no los pide... Especialmente porque sus reglas prohíben oficialmente los desnudos. Y cuando los usuarios los piden directamente, se les puede prohibir directamente el uso del servicio. Aquí hay una desconexión importante".
A mitad de camino se enfrenta a obstáculos como filtros demasiado estrictos que a veces bloquean contenido inofensivo, la creación accidental de material inapropiado a pesar de las medidas de seguridad y los usuarios que encuentran formas de eludir las restricciones con palabras clave alternativas.
Para abordar estos problemas, la plataforma actualiza periódicamente sus sistemas para bloquear soluciones alternativas y se apoya en la moderación activa de la comunidad. Esto posiciona a Midjourney como un punto intermedio entre plataformas más permisivas como Grok-2 y alternativas muy restrictivas.
Las características de seguridad difieren significativamente entre las principales plataformas de generación de imágenes de IA, particularmente en la eficacia con la que previenen contenido engañoso o dañino. NewsGuardLas pruebas resaltan estas diferencias:
| Plataforma | Tasa de generación de contenido falso | Restricciones de contenido | marcas de agua | Características de seguridad primarias |
|---|---|---|---|---|
| Grok-2 | 80% | Minimo | Nona | Carece de medidas de seguridad claras |
| a mitad de camino | 45% | Estricto | Sí | Moderación impulsada por IA, supervisión de la comunidad |
| DALL-E3 | 10% | Muy estricto | Sí | Filtrado avanzado de mensajes, protecciones integradas |
La forma en que cada plataforma gestiona la seguridad depende de su diseño técnico. DALL-E 3 destaca como la más restrictiva, aprovechando ChatGPT y GPT-4 para interpretar y bloquear mejor las solicitudes problemáticas. Por ejemplo, cuando los usuarios solicitan contenido que involucra a figuras públicas o temas sensibles, el sistema suele generar alternativas neutrales.
Rob Rosenberg, consultor legal de Estrategias legales de Telluride, destaca un problema clave con Grok-2:
"A diferencia de otras plataformas que etiquetan sus imágenes generadas por IA con una marca de agua que las identifica como tales, Grok no etiqueta sus resultados de imágenes de ninguna manera que pueda dar pistas a los clientes posteriores sobre su origen. Esto pone a dichos clientes en riesgo de ser engañados, malinterpretando dichas imágenes como genuinas y no como una falsificación profunda".
Las medidas de seguridad reflejan las prioridades y la filosofía de cada plataforma:
Estas diferencias ponen de relieve el equilibrio existente entre la promoción de la libertad creativa y la garantía de un uso responsable de la IA. Si bien Grok-2 prioriza menos restricciones en nombre de la libertad de expresión, este enfoque plantea inquietudes sobre el posible uso indebido de sus herramientas y los riesgos legales asociados a la generación de imágenes controvertidas.
Nuestro análisis de la moderación de la plataforma destaca claras diferencias que afectan tanto a la usabilidad como a la exposición legal. Para los usuarios que priorizan una supervisión estricta, a mitad de camino ofrece un entorno más controlado con medidas de seguridad detalladas. Por otro lado, Grok-2 Proporciona más libertad pero requiere que los usuarios tomen precauciones adicionales.
| Caso de uso | Plataforma recomendada | Consideraciones clave |
|---|---|---|
| Generación de imagen responsable | a mitad de camino | Potentes herramientas de moderación con protecciones sensibles al contexto |
| Generación sin restricciones | Grok-2 | Moderación limitada; permite posibilidades creativas más amplias |
Estos hallazgos destacan la importancia de las estrategias organizacionales para gestionar el contenido generado por IA. En función de estas comparaciones, las organizaciones deberían considerar los siguientes pasos:
Matt Hasan, fundador y director ejecutivo de Resultados de ai, destaca la importancia de la supervisión:
"La ausencia de mecanismos de supervisión sólidos significa que el contenido dañino o poco ético podría proliferar sin control. Para mitigar estos problemas, la implementación de políticas estrictas de moderación de contenido, el desarrollo de herramientas de detección avanzadas para identificar imágenes manipuladas y el establecimiento de marcos legales claros para el contenido generado por IA son pasos cruciales. Además, fomentar la transparencia en el desarrollo de IA y alentar estándares en toda la industria puede ayudar a garantizar que dichas tecnologías se utilicen de manera responsable y ética".
Para creadores independientes y equipos pequeños, Grok-2La flexibilidad puede ser atractiva, pero requiere una mayor conciencia y un seguimiento cuidadoso.
