Geral
.jpg)
Radzivon Alkhovik
Entusiasta da automação de baixo código
9 de julho de 2024
.png)
.svg){kind=icon}
.png)
Em um experimento inovador, a Anthropic, uma empresa líder Empresa de pesquisa de IA, colaborou com o Collective Intelligence Project para elaborar uma constituição para um Sistema de IA usando a contribuição de uma amostra diversa do público americano. A nova abordagem, chamada "IA Constitucional", visa criar sistemas de IA transparentes e responsáveis ao incorporar princípios legais e éticos diretamente no processo de treinamento da IA.
Este artigo se aprofunda nas complexidades desta pesquisa inovadora, explorando a metodologia, as descobertas e as implicações de longo alcance para o futuro da governança da IA em uma era em que modelos de linguagem avançados estão se tornando cada vez mais integrados a setores críticos como governança, judiciário e formulação de políticas.
Key Takeaways: O experimento colaborativo entre a Anthropic e o Collective Intelligence Project resultou em uma "constituição pública" para um sistema de IA, elaborado por uma amostra representativa de ~1,000 americanos. A constituição pública de IA enfatiza objetividade, imparcialidade e acessibilidade, e os modelos treinados nela demonstram desempenho comparável àqueles treinados na constituição da Anthropic, ao mesmo tempo em que exibem viés reduzido. O experimento destaca os desafios e considerações na incorporação de contribuição democrática no desenvolvimento de IA, mas representa um passo significativo em direção ao alinhamento de modelos de linguagem avançados com valores humanos.
Constitutional AI é uma metodologia inovadora desenvolvida pela Anthropic para garantir que os sistemas de IA operem em alinhamento com princípios normativos explícitos, semelhante a como uma constituição governa o comportamento de uma nação. No cerne da Constitutional AI da Anthropic está a definição de um conjunto de valores e princípios de alto nível que servem como estrutura orientadora da IA. Esses princípios são cuidadosamente elaborados para garantir que as ações da IA se alinhem com as normas e expectativas da sociedade, promovendo comportamentos benéficos enquanto minimizam o potencial de resultados prejudiciais.
Para incutir efetivamente esses princípios na IA, a IA Constitucional emprega técnicas avançadas como:
Outro aspecto crítico da IA Constitucional é a curadoria meticulosa dos dados de treinamento e arquitetura da IA. Ao selecionar e pré-processar cuidadosamente os dados usados para treinar a IA, os pesquisadores podem garantir que o sistema seja exposto a um conjunto equilibrado e representativo de exemplos que reforçam os comportamentos e valores desejados. Além disso, a arquitetura da própria IA é projetada para promover o alinhamento com os princípios constitucionais, incorporando mecanismos que incentivam resultados úteis, inofensivos e honestos.
Ao incorporar esses princípios diretamente no processo de tomada de decisão da IA, a IA Constitucional visa criar sistemas que se esforcem proativamente para operar dentro de limites éticos e legais predefinidos. Isso significa que a IA buscará ativamente:
O objetivo é desenvolver Sistemas de IA que não são apenas altamente capazes, mas também inerentemente alinhados com os valores humanos e as expectativas da sociedade.
O desenvolvimento da IA Constitucional representa um passo significativo à frente no campo da governança e ética da IA. Ao estabelecer um conjunto claro de princípios normativos e incorporá-los à funcionalidade central da IA, os pesquisadores podem criar sistemas que são mais transparentes, responsáveis e confiáveis. Essa abordagem tem o potencial de mitigar muitos dos riscos e desafios associados à implantação da IA em domínios críticos, como governança, judiciário e formulação de políticas, garantindo que esses sistemas operem a serviço do bem maior.
O desenvolvimento da IA constitucional é impulsionado por diversas motivações convincentes que abordam os desafios críticos impostos pela crescente integração de sistemas de IA em vários aspectos da sociedade:
Em resumo, a Constitutional AI é motivada pela necessidade urgente de garantir que os sistemas de IA operem de forma ética, legalmente compatível e confiável. À medida que essas tecnologias se tornam cada vez mais integradas em domínios críticos e processos de tomada de decisão, a Constitutional AI fornece uma ferramenta poderosa para criar sistemas de IA que sejam transparentes, responsáveis e inerentemente alinhados com os princípios que sustentam nossa sociedade. Ao priorizar o desenvolvimento e a implantação da Constitutional AI, podemos desbloquear o imenso potencial dessas tecnologias enquanto mitigamos os riscos e desafios que elas representam.
Integração perfeita do Latenode com a Constitutional AI da Anthropic fornece aos usuários uma ferramenta eficiente para alavancar sistemas de IA alinhados com valores públicos sem a complexidade de gerenciar a infraestrutura de treinamento do modelo. O editor visual intuitivo da plataforma simplifica o processo de integração da Constitutional AI com outros sistemas por meio de APIs, permitindo que as organizações incorporem sem esforço princípios éticos de IA em seus processos de automação. Ao usar o Latenode, os usuários podem acessar convenientemente os recursos da Constitutional AI, incluindo sua mitigação de viés, tomada de decisão ética e recursos de conformidade legal. A integração também permite que os usuários alternem perfeitamente entre diferentes configurações da Constitutional AI da Anthropic, dependendo de suas necessidades e orçamento específicos. Por exemplo, criar um script para um chatbot de atendimento ao cliente que fornece respostas imparciais e éticas é simples.
Veja como é o script:
E aqui está o resultado deste cenário, onde um chatbot já criado usando o Latenode fornece uma resposta imparcial a uma consulta do cliente:
Você pode aprender mais sobre esse script e a integração com o Latenode neste artigo. A integração com o Latenode oferece alguns benefícios importantes:
Se precisar de ajuda ou conselhos sobre como criar seu próprio script ou se quiser replicar este, entre em contato Nossa Comunidade Discord, onde os especialistas em automação de baixo código estão localizados.
Para explorar o potencial de democratização do desenvolvimento da IA Constitucional Antrópica, Anthropic fez parceria com a Inteligência Coletiva Projeto para conduzir um processo de contribuição pública usando a plataforma Polis. O objetivo era envolver uma amostra representativa de ~1,000 adultos dos EUA na elaboração de uma constituição para um sistema de IA. Os participantes foram convidados a propor e votar em princípios normativos, contribuindo para a geração coletiva de um conjunto de diretrizes para o comportamento da IA.
O design do processo de contribuição pública envolveu diversas decisões críticas:
O processo de contribuição pública produziu uma rica tapeçaria de princípios gerados pelos participantes, que foram sintetizados em uma "constituição pública" coerente. Embora tenha havido uma sobreposição moderada de aproximadamente 50% com a constituição interna da Anthropic em termos de conceitos e valores essenciais, a constituição pública exibiu várias distinções notáveis:
Essas diferenças ressaltam o valor de incorporar diversas perspectivas públicas na formação dos fundamentos éticos dos sistemas de IA.
Para avaliar o impacto da constituição de origem pública, a Anthropic treinou duas variantes do seu modelo de IA, Claude - um usando a constituição pública (modelo Público) e outro usando sua constituição interna original (modelo Padrão). Esses modelos, junto com um modelo de controle, foram submetidos a uma avaliação rigorosa em múltiplas dimensões:
Essas avaliações fornecem insights valiosos sobre a eficácia da IA Constitucional no alinhamento de modelos de linguagem com valores e princípios determinados publicamente.
O processo de treinamento de um modelo de IA com base em informações públicas qualitativas apresentou um conjunto único de desafios e exigiu consideração cuidadosa em cada estágio:
Essas lições ressaltam a natureza multifacetada do alinhamento da IA com os valores públicos e a importância de navegar cuidadosamente pelas considerações sociais, técnicas e éticas envolvidas.
O experimento de IA constitucional conduzido pela Anthropic e pelo Collective Intelligence Project tem implicações profundas para o futuro do desenvolvimento e governança da IA:
Olhando para o futuro, os pesquisadores pretendem desenvolver esse trabalho fundamental refinando suas metodologias, projetando avaliações mais direcionadas e explorando a escalabilidade e generalização da abordagem da Constitutional AI. Algumas possíveis direções futuras incluem:
À medida que o campo da IA continua a evoluir em um ritmo sem precedentes, os insights obtidos com esse experimento, sem dúvida, moldarão a trajetória de futuros esforços de pesquisa e desenvolvimento.
O experimento Collective Constitutional AI da Anthropic e do Collective Intelligence Project é um marco seminal na democratização do desenvolvimento de IA. Ao envolver o público na criação de uma constituição de IA, esta pesquisa estabelece as bases para uma abordagem mais inclusiva, transparente e responsável para a governança de IA. As descobertas destacam o valor de perspectivas diversas e os desafios em alinhar modelos de linguagem avançados com valores sociais.
A IA constitucional surge como uma estrutura promissora para garantir que tecnologias de IA poderosas sirvam ao bem maior. Ao colocar os valores humanos no centro do desenvolvimento de IA, podemos aproveitar o potencial desses sistemas enquanto mitigamos riscos e consequências não intencionais.
No entanto, a jornada em direção a uma IA verdadeiramente democrática e alinhada a valores está longe de terminar. O experimento serve como um chamado para colaboração contínua, pesquisa e engajamento público na formação do futuro da IA. Por meio da sabedoria coletiva e da participação de diversas partes interessadas, podemos traçar um curso em direção a um futuro habilitado para IA que mantenha a transparência, a responsabilidade e o alinhamento com os valores humanos.
Os insights deste experimento inovador informarão e inspirarão futuros empreendimentos no campo. Ao construir sobre a fundação estabelecida pela Anthropic e pelo Collective Intelligence Project, podemos trabalhar em direção a um futuro onde os sistemas de IA são tecnologicamente avançados, eticamente fundamentados e socialmente responsáveis. O caminho à frente pode ser desafiador, mas as recompensas potenciais - um mundo onde a IA e a humanidade trabalham em harmonia - valem o esforço.
A Constitutional AI se distingue por focar em incorporar valores e princípios de alto nível diretamente no processo de treinamento do sistema de IA. Em vez de depender somente de restrições ou supervisão externas, a Constitutional AI visa criar sistemas de IA que se alinhem inerentemente com normas e expectativas sociais.
Os pesquisadores colaboraram com a empresa de pesquisa PureSpectrum para recrutar uma amostra representativa de aproximadamente 1,000 adultos dos EUA. O processo de seleção considerou fatores demográficos como idade, gênero, renda e geografia para garantir um grupo de participantes diverso e inclusivo. Além disso, critérios de triagem foram empregados para avaliar a familiaridade dos participantes com os conceitos de IA.
A plataforma Polis foi selecionada devido ao seu histórico comprovado em facilitar deliberação produtiva online e construção de consenso. Seus recursos colaborativos, que permitem que os participantes se envolvam com as ideias uns dos outros e desenvolvam sobre elas, foram bem adequados aos objetivos do experimento Constitutional AI. Os pesquisadores também tinham experiência anterior trabalhando com a equipe Polis, o que facilitou uma implementação mais cuidadosa e eficaz do processo de contribuição pública.
Para manter a integridade do processo de contribuição pública, os pesquisadores estabeleceram critérios claros de moderação. Declarações que foram consideradas odiosas, sem sentido, duplicadas, irrelevantes, mal formatadas ou tecnicamente inviáveis foram removidas. Esse processo de moderação envolveu uma combinação de diretrizes predefinidas e julgamentos subjetivos pela equipe de pesquisa.
Embora houvesse uma sobreposição moderada de cerca de 50% entre a constituição pública e a constituição interna da Anthropic em termos de conceitos e valores essenciais, a constituição pública exibiu algumas distinções notáveis. Ela colocou uma ênfase mais forte na objetividade, imparcialidade e acessibilidade, e tendeu a priorizar a promoção de comportamentos desejados em vez do desencorajamento de comportamentos indesejados. Além disso, a maioria dos princípios na constituição pública foram contribuições originais dos participantes, em vez de serem originados de publicações ou estruturas existentes.
Os modelos treinados na constituição pública (modelos públicos) demonstraram desempenho comparável aos treinados na constituição da Anthropic (modelos padrão) em termos de compreensão da linguagem e utilidade percebida. No entanto, os modelos públicos exibiram viés reduzido em várias dimensões sociais, conforme medido pela estrutura BBQ (Bias Benchmark for QA). Essa descoberta sugere que incorporar a contribuição pública pode potencialmente mitigar o viés e promover a justiça em sistemas de IA.
O processo de treinamento de um modelo de IA com base em contribuição pública qualitativa apresentou vários desafios. Estes incluíam garantir a seleção representativa de participantes, moderação efetiva de contribuições e equilibrar a representação fiel da opinião pública com as restrições técnicas do treinamento de IA Constitucional. Os pesquisadores também tiveram que navegar pela complexidade de traduzir declarações públicas em princípios de IA acionáveis e selecionar métricas de avaliação apropriadas para avaliar o alinhamento dos modelos resultantes com suas constituições.
O experimento Constitutional AI conduzido pela Anthropic e pelo Collective Intelligence Project tem implicações significativas para o futuro da governança da IA. Ele demonstra a viabilidade de alinhar modelos de linguagem avançados com valores e princípios determinados coletivamente, destacando o potencial para incorporar diversas perspectivas no desenvolvimento da IA. O experimento também enfatiza a importância da colaboração interdisciplinar entre desenvolvedores de IA, cientistas sociais e o público na formação dos fundamentos éticos da IA. Pesquisas futuras podem se basear nesses insights explorando a escalabilidade e generalização da abordagem Constitutional AI, desenvolvendo estruturas padronizadas para traduzir contribuições públicas em princípios de IA e investigando os efeitos de longo prazo de sistemas de IA alinhados a valores em contextos do mundo real.
Aplicação Um + Aplicação Dois
