Geral
Jorge Miloradovitch
Pesquisador, redator e entrevistador de casos de uso
25 de fevereiro de 2025
.png)
.svg){kind=icon}
Grok-2 é um gerador de imagens de IA com menos restrições sobre conteúdo NSFW (Não Seguro para o Trabalho) em comparação com concorrentes como DALL-E e Meio da jornada. Essa leniência gerou preocupações sobre potencial uso indevido, riscos legais e questões éticas. Aqui está um rápido detalhamento:
| Plataforma | Filtragem NSFW | watermarking | Proteção de direitos autorais | Prevenção de Deepfake |
|---|---|---|---|---|
| Grok-2 | Minimal | nenhum | Limitado | nenhum |
| DALL-E | Muito rigoroso | Sim | Forte | Sim |
| Meio da jornada | Rigoroso (Política PG-13) | Sim | Moderado | Sim |
Embora o Grok-2 permita mais liberdade criativa, sua falta de salvaguardas levanta sérias preocupações. Para saídas mais seguras e controladas, DALL-E e Midjourney são escolhas melhores.
O Grok-2 toma um caminho diferente quando se trata de moderação de conteúdo. Embora alegue evitar imagens pornográficas, excessivamente violentas ou enganosas, bem como violações de direitos autorais, essas regras parecem aplicadas de forma frouxa. Várias deficiências operacionais se destacam:
Essas lacunas já atraíram a atenção de especialistas jurídicos e políticos.
"Grok e Gemini são dois geradores de imagens de IA que geram imagens controversas, mas pelos motivos errados. Ambos os geradores podem ser usados para criar imagens falsas e enganosas, Gemini por causa de muita filtragem e Grok por causa de pouca filtragem"
"Esta é uma das implementações de IA mais imprudentes e irresponsáveis que já vi"
Apesar da presença de classificadores automatizados e ferramentas de segurança, as medidas da Grok-2 ficam aquém das expectativas da indústria. Isso levanta sérias questões legais e éticas sobre a abordagem da plataforma para gerenciar conteúdo.
OpenAIO DALL-E da usa um sistema de segurança em camadas para minimizar a criação de imagens inapropriadas. Essa abordagem depende de técnicas avançadas de filtragem para bloquear conteúdo problemático de forma eficaz.
As medidas de segurança da plataforma incluem:
No entanto, essas salvaguardas não são infalíveis. Pesquisadores demonstraram que métodos como o jailbreak 'SneakyPrompt' podem contornar essas defesas.
"Nosso trabalho basicamente mostra que essas proteções existentes são insuficientes. Um invasor pode, na verdade, perturbar levemente o prompt para que os filtros de segurança não o filtrem, e direcionar o modelo de texto para imagem para gerar uma imagem prejudicial."
– Neil Zhenqiang Gong, professor assistente na Duke University
A OpenAI respondeu rapidamente a esses desafios, atualizando o sistema para bloquear tentativas de desvio.
"A segurança é nossa prioridade e adotamos uma abordagem multifacetada. No modelo DALL-E 3 subjacente, trabalhamos para filtrar o conteúdo mais explícito de seus dados de treinamento, incluindo conteúdo sexual e violento gráfico, e desenvolvemos classificadores de imagem robustos que afastam o modelo da geração de imagens prejudiciais. Também implementamos salvaguardas adicionais para nossos produtos, ChatGPT e a API DALL-E – incluindo a recusa de solicitações que pedem uma figura pública pelo nome. Identificamos e recusamos mensagens que violam nossas políticas e filtramos todas as imagens geradas antes que sejam mostradas ao usuário. Usamos equipes vermelhas de especialistas externos para testar o uso indevido e fortalecer nossas salvaguardas."
Embora alguns usuários tenham criticado essas restrições por limitar a liberdade artística, o foco da OpenAI continua no uso responsável da IA. Essas medidas de segurança demonstram um claro comprometimento com a implantação ética, que será ainda mais contrastada na próxima comparação de plataformas.
A Midjourney colocou em prática regras rígidas de moderação de conteúdo para garantir que sua plataforma permaneça Safe For Work (SFW). Isso é alcançado por meio de uma mistura de ferramentas automatizadas e supervisão liderada pela comunidade.
A plataforma utiliza diversas medidas de segurança, entre elas: algoritmos avançados para detectar prompts problemáticos, bloqueio automático de entradas de texto e imagem inapropriadas, moderadores da comunidade que analisam o conteúdo sinalizado e um sistema de relatórios de usuários para abordar violações.
Midjourney segue uma política PG-13, que proíbe a criação de conteúdo NSFW, como nudez, imagens sexuais e material fetichista. Quebrar essas regras pode levar a banimentos temporários ou permanentes da conta. A plataforma explica:
"Midjourney é uma comunidade aberta por padrão. Para manter a plataforma acessível e acolhedora para o maior número de usuários, o conteúdo deve ser 'Safe For Work' (SFW)."
No entanto, manter esse equilíbrio traz desafios. Alguns usuários e artistas levantaram preocupações sobre as restrições da plataforma. O artista e autor de IA Tim Boucher destaca uma questão fundamental:
"Se o usuário for um adulto consentido, o problema é reduzido. Por outro lado, como um profissional de Confiança e Segurança, seu sistema não deveria criar nudes quando as pessoas não estão pedindo... Especialmente porque suas regras oficialmente proíbem nudes. E quando os usuários pedem diretamente, eles podem ser banidos imediatamente de usar o serviço. Há uma grande desconexão aqui."
O meio da jornada enfrenta obstáculos como filtros excessivamente rigorosos que às vezes bloqueiam conteúdo inofensivo, criação acidental de material inapropriado apesar das salvaguardas e usuários encontrando maneiras de contornar restrições com palavras-chave alternativas.
Para lidar com esses problemas, a plataforma atualiza regularmente seus sistemas para bloquear soluções alternativas e depende da moderação ativa da comunidade. Isso posiciona o Midjourney como um meio-termo entre plataformas mais lenientes como Grok-2 e alternativas altamente restritivas.
Os recursos de segurança diferem significativamente entre as principais plataformas de geração de imagens de IA, principalmente na eficácia com que previnem conteúdo enganoso ou prejudicial. NewsGuardOs testes da destacam essas diferenças:
| Plataforma | Taxa de geração de conteúdo falso | Restrições de Conteúdo | watermarking | Principais recursos de segurança |
|---|---|---|---|---|
| Grok-2 | 80% | Minimal | nenhum | Não possui medidas de segurança claras |
| Meio da jornada | 45% | Estrito | Sim | Moderação orientada por IA, supervisão da comunidade |
| DALL-E3 | 10% | Muito rígido | Sim | Filtragem avançada de prompts, proteções integradas |
A maneira como cada plataforma lida com a segurança é moldada por seu design técnico. O DALL-E 3 se destaca como o mais restritivo, aproveitando o ChatGPT e o GPT-4 para melhor interpretar e bloquear prompts problemáticos. Por exemplo, quando os usuários solicitam conteúdo envolvendo figuras públicas ou tópicos sensíveis, o sistema geralmente gera alternativas neutras.
Rob Rosenberg, consultor jurídico da Estratégias legais de Telluride, destaca uma questão fundamental com o Grok-2:
"Ao contrário de outras plataformas que rotulam suas imagens geradas por IA com uma marca d'água que as identifica como tal, a Grok não rotula seus resultados de imagem de nenhuma forma que possa dar pistas aos clientes downstream sobre sua origem. Isso coloca esses clientes downstream em risco de serem enganados – interpretando erroneamente essas imagens como genuínas e não como deepfake."
As medidas de segurança refletem as prioridades e a filosofia de cada plataforma:
Essas diferenças destacam o equilíbrio contínuo entre promover a liberdade criativa e garantir o uso responsável da IA. Enquanto a Grok-2 prioriza menos restrições em nome da liberdade de expressão, essa abordagem levanta preocupações sobre o potencial uso indevido de suas ferramentas e os riscos legais vinculados à geração de imagens controversas.
Nossa análise da moderação da plataforma destaca diferenças claras que afetam tanto a usabilidade quanto a exposição legal. Para usuários que priorizam supervisão rigorosa, Meio da jornada oferece um ambiente mais controlado com medidas de segurança detalhadas. Por outro lado, Grok-2 oferece mais liberdade, mas exige que os usuários tomem precauções adicionais.
| Caso de uso | Plataforma recomendada | Consideracoes chave |
|---|---|---|
| Geração de Imagem Responsável | Meio da jornada | Ferramentas de moderação robustas com salvaguardas sensíveis ao contexto |
| Geração irrestrita | Grok-2 | Moderação limitada; permite possibilidades criativas mais amplas |
Essas descobertas enfatizam a importância de estratégias organizacionais para gerenciar conteúdo gerado por IA. Com base nessas comparações, as organizações devem considerar as seguintes etapas:
Matt Hasan, fundador e CEO da aiRESULTADOS, salienta a importância da supervisão:
"A ausência de mecanismos de supervisão robustos significa que conteúdo prejudicial ou antiético pode proliferar sem controle. Para mitigar esses problemas, implementar políticas rigorosas de moderação de conteúdo, desenvolver ferramentas avançadas de detecção para identificar imagens manipuladas e estabelecer estruturas legais claras para conteúdo gerado por IA são etapas cruciais. Além disso, promover a transparência no desenvolvimento de IA e encorajar padrões em toda a indústria pode ajudar a garantir que tais tecnologias sejam usadas de forma responsável e ética."
Para criadores independentes e pequenas equipes, Grok-2A flexibilidade do pode ser atraente, mas requer maior conscientização e monitoramento cuidadoso.
Aplicação
