Inteligencia artificial constitucional colectiva: alineando un modelo de lenguaje con la opinión pública

En un experimento innovador, Anthropic, una empresa líder Empresa de investigación en inteligencia artificial, ha colaborado con el Proyecto de Inteligencia Colectiva para elaborar una constitución para un Sistema de IA Utilizando información de una muestra diversa del público estadounidense, este novedoso enfoque, denominado "IA constitucional", tiene como objetivo crear sistemas de IA transparentes y responsables mediante la incorporación de principios legales y éticos directamente en el proceso de entrenamiento de la IA. 

Este artículo profundiza en los detalles de esta investigación innovadora, explorando la metodología, los hallazgos y las implicaciones de largo alcance para el futuro de la gobernanza de la IA en una era en la que los modelos de lenguaje avanzados se están integrando cada vez más en sectores críticos como la gobernanza, el poder judicial y la formulación de políticas.

Puntos clave: El experimento colaborativo entre Anthropic y el Proyecto de Inteligencia Colectiva ha dado como resultado una "constitución pública" para un sistema de IA, redactada por una muestra representativa de unos 1,000 estadounidenses. La constitución pública de IA hace hincapié en la objetividad, la imparcialidad y la accesibilidad, y los modelos entrenados en ella demuestran un rendimiento comparable al de los entrenados en la constitución de Anthropic, al tiempo que muestran un sesgo reducido. El experimento destaca los desafíos y las consideraciones que supone incorporar la contribución democrática al desarrollo de la IA, pero representa un paso significativo hacia la alineación de los modelos de lenguaje avanzados con los valores humanos.

¿Qué es la IA constitucional?

La IA constitucional es una metodología innovadora desarrollada por Anthropic para garantizar que los sistemas de IA funcionen en consonancia con principios normativos explícitos, de forma similar a cómo una constitución rige el comportamiento de una nación. En el corazón de la IA constitucional de Anthropic se encuentra la definición de un conjunto de valores y principios de alto nivel que sirven como marco rector de la IA. Estos principios se elaboran cuidadosamente para garantizar que las acciones de la IA se alineen con las normas y expectativas sociales, promoviendo comportamientos beneficiosos y minimizando el potencial de resultados perjudiciales.

Para inculcar eficazmente estos principios en la IA, la IA Constitucional emplea técnicas avanzadas como:

• Autosupervisión: Esto permite que la IA aprenda de sus propias experiencias e interacciones, internalizando gradualmente los comportamientos deseados sin la necesidad de una supervisión humana constante.
• Entrenamiento adversarial: al exponer la IA a una amplia gama de escenarios y desafíos, esta técnica la ayuda a desarrollar capacidades sólidas de toma de decisiones que se adhieren a los límites éticos y legales predefinidos.

Otro aspecto fundamental de la IA constitucional es la meticulosa selección de los datos de entrenamiento y la arquitectura de la IA. Al seleccionar y preprocesar cuidadosamente los datos utilizados para entrenar la IA, los investigadores pueden garantizar que el sistema esté expuesto a un conjunto equilibrado y representativo de ejemplos que refuercen los comportamientos y valores deseados. Además, la propia arquitectura de la IA está diseñada para promover la alineación con los principios constitucionales, incorporando mecanismos que alientan resultados útiles, inofensivos y honestos.

Al incorporar estos principios directamente en el proceso de toma de decisiones de la IA, la IA constitucional pretende crear sistemas que se esfuercen de manera proactiva por operar dentro de límites éticos y legales predefinidos. Esto significa que la IA buscará activamente:

• Sea útil a los usuarios
• Evite causar daño
• Proporcionar información veraz y precisa

El objetivo es desarrollar Sistemas de IA que no sólo sean altamente capaces sino que también estén inherentemente alineados con los valores humanos y las expectativas sociales.

El desarrollo de la IA constitucional representa un avance significativo en el campo de la gobernanza y la ética de la IA. Al establecer un conjunto claro de principios normativos e integrarlos en la funcionalidad básica de la IA, los investigadores pueden crear sistemas que sean más transparentes, responsables y confiables. Este enfoque tiene el potencial de mitigar muchos de los riesgos y desafíos asociados con la implementación de la IA en dominios críticos como la gobernanza, el poder judicial y la formulación de políticas, asegurando que estos sistemas operen al servicio del bien común.

¿Por qué IA constitucional?

El desarrollo de la IA constitucional está impulsado por varias motivaciones convincentes que abordan los desafíos críticos que plantea la creciente integración de los sistemas de IA en varios aspectos de la sociedad:

Salvaguardia ética:

• La IA constitucional actúa como una salvaguardia ética esencial, garantizando que los sistemas de IA funcionen en consonancia con los derechos y valores fundamentales.
• Al incorporar principios éticos en la funcionalidad central de la IA, la IA constitucional garantiza la protección de los derechos individuales y el bienestar social, particularmente en dominios sensibles como la atención médica, las finanzas y la justicia penal.

Cómplice legal:

• La IA constitucional es crucial para garantizar el cumplimiento legal en ámbitos donde el cumplimiento de las directrices constitucionales no es negociable, como el poder judicial y el sector de formulación de políticas.
• Al incorporar principios legales en el proceso de toma de decisiones de la IA, la IA constitucional reduce el riesgo de violaciones no deseadas o resultados sesgados, manteniendo la integridad y la equidad de estas instituciones.

Confianza y aceptación pública:

• La IA constitucional fomenta la confianza pública y la aceptación de los sistemas de IA al hacer que sus principios rectores sean transparentes y accesibles.
• Esta transparencia promueve la responsabilidad y ayuda a desmitificar la IA, fomentando una mayor confianza pública en la seguridad, confiabilidad y alineación de estos sistemas con los valores humanos.
• Fomentar la confianza es crucial para la adopción generalizada y la integración exitosa de las tecnologías de IA en diversos aspectos de la sociedad.

Mitigación de riesgos:

• La IA constitucional ayuda a mitigar los riesgos potenciales y las consecuencias no deseadas asociadas con la implementación de sistemas de IA.
• Al incorporar de forma proactiva principios éticos y legales en la funcionalidad central de la IA, los investigadores pueden minimizar la probabilidad de que estos sistemas causen daños, perpetúen sesgos o tomen decisiones contrarias a los valores humanos.

En resumen, la IA constitucional está motivada por la necesidad apremiante de garantizar que los sistemas de IA funcionen de manera ética, legalmente compatible y confiable. A medida que estas tecnologías se integran cada vez más en dominios críticos y procesos de toma de decisiones, la IA constitucional proporciona una herramienta poderosa para crear sistemas de IA que sean transparentes, responsables y estén inherentemente alineados con los principios que sustentan nuestra sociedad. Al priorizar el desarrollo y la implementación de la IA constitucional, podemos liberar el inmenso potencial de estas tecnologías y, al mismo tiempo, mitigar los riesgos y desafíos que plantean.

Cómo democratizar el desarrollo de la IA con la integración de Сlaude y Latenode de Anthropic

Integración perfecta de Latenode Con Constitutional AI de Anthropic, los usuarios cuentan con una herramienta eficiente para aprovechar los sistemas de IA alineados con los valores públicos sin la complejidad de gestionar la infraestructura de entrenamiento del modelo. El editor visual intuitivo de la plataforma simplifica el proceso de integración de Constitutional AI con otros sistemas a través de API, lo que permite a las organizaciones incorporar sin esfuerzo principios éticos de IA en sus procesos de automatización. Al utilizar Latenode, los usuarios pueden acceder cómodamente a las funciones de Constitutional AI, incluidas sus capacidades de mitigación de sesgos, toma de decisiones éticas y cumplimiento legal. La integración también permite a los usuarios cambiar sin problemas entre diferentes configuraciones de Constitutional AI de Anthropic, según sus necesidades y presupuesto específicos. Por ejemplo, crear un script para un chatbot de servicio al cliente que proporcione respuestas imparciales y éticas es sencillo.

Así es como se ve el script:

Y aquí está el resultado de este escenario, donde un chatbot ya creado usando Latenode proporciona una respuesta imparcial a una consulta del cliente:

Puede obtener más información sobre este script y la integración con Latenode en este artículo. La integración con Latenode ofrece algunos beneficios clave:

• Facilidad de uso: La integración de Latenode con AI Anthropic simplifica el proceso de uso de la IA, lo que facilita que los usuarios sin conocimientos técnicos accedan y comprendan las capacidades de IA que necesitan. Esto puede ayudar a las empresas a adoptar soluciones de IA de manera rápida y sencilla, sin necesidad de contar con una amplia experiencia técnica.
• Precios flexibles: La integración de Latenode permite a los usuarios elegir entre diferentes versiones de Anthropic Claude, con diferentes costos y características, lo que lo convierte en una opción más accesible y asequible para empresas e individuos.
• Soluciones integrales de IA: La integración de AI Anthropic Claude de Latenode brinda a los usuarios acceso a una amplia gama de capacidades de IA, desde tareas complejas hasta consultas simples, lo que la convierte en una plataforma de IA versátil y poderosa.
• Personalización:Con la integración de Latenode, los usuarios pueden personalizar Claude para satisfacer sus necesidades específicas, lo que les permite crear soluciones de IA personalizadas que estén alineadas con sus objetivos y metas comerciales.

Si necesitas ayuda o asesoramiento sobre cómo crear tu propio script o si quieres replicar éste, contacta con Nuestra comunidad de Discord, donde se encuentran los expertos en automatización low-code.

Diseño de un proceso de participación ciudadana para redactar colectivamente una Constitución

Para explorar el potencial de democratizar el desarrollo de la IA constitucional antrópica, Anthropic se asoció con la Inteligencia Colectiva Proyecto para llevar a cabo un proceso de participación pública utilizando la plataforma Polis. El objetivo era involucrar a una muestra representativa de aproximadamente 1,000 adultos estadounidenses en la redacción de una constitución para un sistema de IA. Se invitó a los participantes a proponer y votar principios normativos, contribuyendo a la generación colectiva de un conjunto de pautas para el comportamiento de la IA.

El diseño del proceso de participación pública implicó varias decisiones críticas:

• Selección de participantes:Los investigadores buscaron reclutar una muestra diversa y representativa de la población estadounidense, teniendo en cuenta factores como la edad, el género, los ingresos y la geografía. Se emplearon criterios de selección para garantizar que los participantes tuvieran una familiaridad básica con los conceptos de IA.
• Elección de plataforma:La plataforma Polis fue seleccionada por su trayectoria comprobada en facilitar la deliberación y la creación de consenso en línea, así como por sus funciones colaborativas que permiten a los participantes interactuar con las ideas de los demás.
• Declaraciones de semillas:Para orientar el debate y proporcionar un punto de partida a los participantes, los investigadores incluyeron un conjunto de 21 enunciados iniciales como ejemplos de principios que se ajustan al alcance y que tienen un formato adecuado. Estos enunciados se eligieron cuidadosamente para representar una variedad de valores potenciales sin influir indebidamente en la dirección de la conversación.
• Criterios de moderación:Se establecieron pautas de moderación claras para garantizar la calidad y la relevancia de las contribuciones de los participantes. Se eliminaron las declaraciones que eran odiosas, sin sentido, duplicadas, irrelevantes, mal formateadas o técnicamente inviables para mantener la integridad del proceso.

Análisis de la Constitución de fuente pública

El proceso de participación pública dio como resultado un rico entramado de principios generados por los participantes, que se sintetizaron en una "constitución pública" coherente. Si bien hubo una superposición moderada de aproximadamente el 50% con la constitución interna de Anthropic en términos de conceptos y valores centrales, la constitución pública exhibió varias distinciones notables:

• Énfasis en la objetividad y la imparcialidad:La constitución pública puso un fuerte énfasis en la capacidad de la IA para proporcionar información equilibrada y objetiva, considerando múltiples perspectivas sin sesgos.
• Centrarse en la accesibilidad:Los participantes destacaron la importancia de que la IA sea accesible, adaptable e inclusiva para personas con diversas necesidades y capacidades.
• Promoción de conductas deseadas:A diferencia de la constitución antrópica, que a menudo se centraba en desalentar acciones no deseadas, la constitución pública tendía a priorizar la promoción de conductas y cualidades positivas.
• Principios autogenerados:La mayoría de los principios de la constitución pública fueron contribuciones originales de los participantes, en lugar de provenir de publicaciones o marcos existentes.

Estas diferencias subrayan el valor de incorporar diversas perspectivas públicas a la hora de dar forma a las bases éticas de los sistemas de IA.

Capacitación y evaluación de un modelo alineado con la opinión pública

Para evaluar el impacto de la constitución de fuentes públicas, Anthropic entrenó dos variantes de su modelo de IA, Claude - uno que utiliza la constitución pública (modelo público) y otro que utiliza su constitución interna original (modelo estándar). Estos modelos, junto con un modelo de control, fueron sometidos a una evaluación rigurosa en múltiples dimensiones:

• Comprensión del lenguaje y habilidades matemáticas:Los modelos público y estándar demostraron un desempeño comparable en tareas que evaluaban la comprensión del lenguaje (MMLU) y la resolución de problemas matemáticos (GSM8K), lo que indica que la elección de la constitución no afectó significativamente las capacidades centrales de los modelos.
• Utilidad e inocuidadLos evaluadores humanos interactuaron con los modelos y calificaron el modelo público como igualmente útil e inofensivo en comparación con el modelo estándar, lo que sugiere que la constitución pública alineó efectivamente el comportamiento de la IA con las preferencias humanas.
• Evaluación de sesgo:Utilizando el marco de referencia BBQ (Bias Benchmark for QA), los investigadores descubrieron que el modelo público exhibía un sesgo reducido en nueve categorías sociales en comparación con el modelo estándar. Este hallazgo destaca el potencial de la participación pública para mitigar el sesgo y promover la equidad en los sistemas de IA.
• Ideología política:El análisis comparativo de OpinionQA reveló que tanto el modelo público como el estándar reflejaban ideologías políticas similares, lo que indica que la elección de la constitución no alteró sustancialmente las inclinaciones políticas de la IA.

Estas evaluaciones proporcionan información valiosa sobre la eficacia de la IA constitucional para alinear los modelos lingüísticos con los valores y principios determinados públicamente.

Lecciones aprendidas

El proceso de entrenamiento de un modelo de IA basado en aportes públicos cualitativos presentó un conjunto único de desafíos y requirió una consideración cuidadosa en cada etapa:

Cómo ejecutar el proceso de participación pública:

• Selección de participantes: Lograr un equilibrio entre la representatividad y la familiaridad con la IA fue crucial para garantizar contribuciones significativas. El uso de criterios de selección ayudó a mitigar la confusión y las declaraciones fuera de tema.
• Elección de plataforma: La elección de la plataforma Polis se basó en su reputación de facilitar la deliberación productiva en línea y sus funciones colaborativas. Sin embargo, también se consideraron plataformas alternativas como All Our Ideas y Remesh.
• Declaraciones de semillas: Proporcionar un conjunto diverso de enunciados de ejemplo ayudó a orientar a los participantes y a obtener contribuciones útiles. Los investigadores se propusieron minimizar la influencia de estos enunciados iniciales en el resultado final.
• Criterios de moderación: El establecimiento de pautas claras de moderación fue esencial para mantener la calidad y la relevancia de los aportes de los participantes. Sin embargo, la aplicación de estos criterios a veces implicó juicios subjetivos.

Elaboración de una Constitución a partir de las aportaciones del público:

• Eliminación de declaraciones duplicadas:Para evitar un énfasis excesivo en ciertas ideas y garantizar una representación equilibrada de la opinión pública, se eliminaron las declaraciones duplicadas. Esta decisión implicó sopesar la dimensión social de representar fielmente las opiniones de la mayoría frente a las limitaciones técnicas del entrenamiento de IA constitucional.
• Combinando ideas similares: Para mantener una longitud y una cantidad de valores distintos manejables, se combinaron enunciados similares en principios más completos. Este proceso requirió una consideración cuidadosa para preservar la esencia de las contribuciones originales.
• Asignación de declaraciones públicas a los principios de IA de CAI: Los investigadores tuvieron que traducir las declaraciones públicas, que a menudo se formulaban como afirmaciones generales, al formato específico requerido para el entrenamiento de IA constitucional. Esto implicó decisiones subjetivas para equilibrar la fidelidad a las declaraciones originales con la eficacia demostrada del formato constitucional existente.

Capacitación y evaluación de modelos:

• Selección rápida de base de datos:La elección de la base de datos de indicaciones utilizada para el entrenamiento de la IA constitucional tuvo un impacto significativo en la relevancia y la eficacia de los modelos resultantes. Los experimentos futuros deben considerar cuidadosamente la alineación entre la base de datos de indicaciones y los principios específicos de la constitución.
• Ponderación de pérdidas:La ponderación adecuada de los distintos objetivos, como la utilidad y la inocuidad, durante el proceso de entrenamiento fue crucial para evitar modelos que fueran demasiado cautelosos o inútiles. Fue necesario un refinamiento iterativo basado en evaluaciones humanas para lograr el equilibrio adecuado.
• Métricas de evaluación:Seleccionar métricas de evaluación adecuadas para captar los matices de la alineación de la IA constitucional resultó un desafío. Los investigadores reconocieron la necesidad de evaluaciones más específicas diseñadas específicamente para evaluar la fidelidad de los modelos a sus constituciones.
• Complejidad del entrenamiento de la IA constitucional: Las complejidades técnicas del entrenamiento de la IA constitucional exigieron una estrecha colaboración entre los investigadores y los desarrolladores originales. Esto pone de relieve la necesidad de contar con experiencia interdisciplinaria y compartir conocimientos para incorporar de manera eficaz el aporte democrático a los sistemas de IA.

Estas lecciones subrayan la naturaleza multifacética de alinear la IA con los valores públicos y la importancia de abordar cuidadosamente las consideraciones sociales, técnicas y éticas involucradas.

Implicaciones y caminos futuros

El experimento de IA constitucional llevado a cabo por Anthropic y el Proyecto de Inteligencia Colectiva tiene profundas implicaciones para el futuro del desarrollo y la gobernanza de la IA:

• Demostrando la viabilidad de la alineación de valores:El entrenamiento exitoso de modelos de IA basados ​​en una constitución de fuentes públicas muestra el potencial de alinear modelos de lenguaje avanzados con valores y principios determinados colectivamente. Esto abre nuevas vías para incorporar perspectivas diversas al desarrollo de sistemas de IA.
• Mejora de la transparencia y la rendición de cuentas:Al hacer explícitos los principios rectores de la IA y someterlos al escrutinio público, la IA constitucional promueve la transparencia y la rendición de cuentas en la toma de decisiones en materia de IA. Esto es particularmente crucial en ámbitos en los que los sistemas de IA tienen una influencia significativa sobre las vidas humanas y los resultados sociales.
• Enfatizando la colaboración interdisciplinaria:El experimento destaca la importancia de la colaboración entre los desarrolladores de IA, los científicos sociales y el público en general para dar forma a las bases éticas de la IA. Subraya la necesidad de enfoques interdisciplinarios que combinen la experiencia técnica con conocimientos de las ciencias sociales y los procesos democráticos.

De cara al futuro, los investigadores pretenden aprovechar este trabajo fundacional perfeccionando sus metodologías, diseñando evaluaciones más específicas y explorando la escalabilidad y generalización del enfoque de IA constitucional. Algunas posibles direcciones futuras incluyen:

• Ampliar el alcance de la participación pública para incluir perspectivas más diversas y globales.
• Desarrollar marcos estandarizados para traducir las aportaciones públicas en principios de IA viables.
• Investigación de los efectos a largo plazo de la IA constitucional sobre el comportamiento y la toma de decisiones de los sistemas de IA en contextos del mundo real.
• Explorar el potencial de constituciones personalizables o específicas de cada dominio para abordar los desafíos éticos únicos de diferentes industrias y aplicaciones.

A medida que el campo de la IA continúa evolucionando a un ritmo sin precedentes, los conocimientos adquiridos en este experimento sin duda darán forma a la trayectoria de los futuros esfuerzos de investigación y desarrollo.

Conclusión

El experimento de la IA constitucional colectiva de Anthropic y el Proyecto de Inteligencia Colectiva es un hito fundamental en la democratización del desarrollo de la IA. Al involucrar al público en la creación de una constitución de la IA, esta investigación sienta las bases para un enfoque más inclusivo, transparente y responsable de la gobernanza de la IA. Los hallazgos resaltan el valor de las perspectivas diversas y los desafíos que implica alinear los modelos lingüísticos avanzados con los valores sociales.

La IA constitucional surge como un marco prometedor para garantizar que las tecnologías de IA potentes sirvan al bien común. Al colocar los valores humanos en el centro del desarrollo de la IA, podemos aprovechar el potencial de estos sistemas y, al mismo tiempo, mitigar los riesgos y las consecuencias no deseadas.

Sin embargo, el camino hacia una IA verdaderamente democrática y alineada con los valores está lejos de terminar. El experimento sirve como un llamado a la colaboración, la investigación y la participación pública continuas para dar forma al futuro de la IA. A través de la sabiduría colectiva y la participación de diversas partes interesadas, podemos trazar un rumbo hacia un futuro habilitado por la IA que defienda la transparencia, la rendición de cuentas y la alineación con los valores humanos.

Los conocimientos adquiridos a partir de este experimento innovador servirán de base para futuras iniciativas en este campo. Si nos basamos en las bases establecidas por Anthropic y el Proyecto de Inteligencia Colectiva, podremos avanzar hacia un futuro en el que los sistemas de IA sean tecnológicamente avanzados, tengan una base ética y sean socialmente responsables. El camino que tenemos por delante puede ser complicado, pero las posibles recompensas (un mundo en el que la IA y la humanidad trabajen en armonía) bien valen el esfuerzo.

Preguntas Frecuentes

¿Qué diferencia a la IA Constitucional de otros enfoques de alineación de la IA? 

La IA constitucional se distingue por centrarse en incorporar valores y principios de alto nivel directamente en el proceso de entrenamiento del sistema de IA. En lugar de depender únicamente de restricciones o supervisión externas, la IA constitucional tiene como objetivo crear sistemas de IA que se alineen inherentemente con las normas y expectativas sociales.

¿Cómo se seleccionaron los participantes para el proceso de participación pública? 

Los investigadores colaboraron con la empresa de encuestas PureSpectrum para reclutar una muestra representativa de aproximadamente 1,000 adultos estadounidenses. El proceso de selección tuvo en cuenta factores demográficos como la edad, el género, los ingresos y la geografía para garantizar un grupo de participantes diverso e inclusivo. Además, se emplearon criterios de selección para medir la familiaridad de los participantes con los conceptos de IA.

¿Por qué se eligió la plataforma Polis para el proceso de participación pública? 

La plataforma Polis fue seleccionada debido a su probada trayectoria en la facilitación de deliberaciones y la construcción de consensos en línea. Sus funciones colaborativas, que permiten a los participantes interactuar con las ideas de los demás y desarrollarlas, se adaptaron bien a los objetivos del experimento de IA constitucional. Los investigadores también tenían experiencia previa trabajando con el equipo de Polis, lo que facilitó una implementación más reflexiva y eficaz del proceso de participación pública.

¿Cómo garantizaron los investigadores la calidad y relevancia de las contribuciones de los participantes? 

Para mantener la integridad del proceso de participación del público, los investigadores establecieron criterios de moderación claros. Se eliminaron las afirmaciones que se consideraron odiosas, sin sentido, duplicadas, irrelevantes, mal formateadas o técnicamente inviables. Este proceso de moderación implicó una combinación de pautas predefinidas y juicios subjetivos por parte del equipo de investigación.

¿Cuáles fueron las diferencias claves entre la constitución pública y la constitución original de Anthropic? 

Si bien hubo una superposición moderada de alrededor del 50% entre la constitución pública y la constitución interna de Anthropic en términos de conceptos y valores centrales, la constitución pública exhibió algunas distinciones notables. Puso un mayor énfasis en la objetividad, la imparcialidad y la accesibilidad, y tendió a priorizar la promoción de conductas deseadas en lugar de desalentar las no deseadas. Además, la mayoría de los principios de la constitución pública fueron contribuciones originales de los participantes, en lugar de provenir de publicaciones o marcos existentes.

¿Cómo se desempeñaron los modelos entrenados en la constitución pública en comparación con aquellos entrenados en la constitución original de Anthropic? 

Los modelos entrenados en la constitución pública (modelos públicos) demostraron un desempeño comparable al de aquellos entrenados en la constitución de Anthropic (modelos estándar) en términos de comprensión del lenguaje y utilidad percibida. Sin embargo, los modelos públicos exhibieron un sesgo reducido en varias dimensiones sociales, según lo medido por el marco BBQ (Bias Benchmark for QA). Este hallazgo sugiere que la incorporación de aportes públicos puede mitigar potencialmente el sesgo y promover la equidad en los sistemas de IA.

¿Qué desafíos enfrentaron los investigadores al incorporar aportes democráticos en el proceso de desarrollo de la IA? 

El proceso de entrenamiento de un modelo de IA basado en aportes públicos cualitativos presentó varios desafíos, entre ellos, garantizar una selección representativa de los participantes, una moderación eficaz de las contribuciones y equilibrar la representación fiel de la opinión pública con las limitaciones técnicas del entrenamiento de IA constitucional. Los investigadores también tuvieron que sortear la complejidad de traducir las declaraciones públicas en principios de IA viables y seleccionar métricas de evaluación adecuadas para evaluar la alineación de los modelos resultantes con sus constituciones.

¿Cómo pueden los conocimientos de este experimento orientar la investigación y el desarrollo futuros en materia de gobernanza de la IA? 

El experimento de IA constitucional realizado por Anthropic y el Proyecto de Inteligencia Colectiva tiene implicaciones significativas para el futuro de la gobernanza de la IA. Demuestra la viabilidad de alinear modelos de lenguaje avanzados con valores y principios determinados colectivamente, destacando el potencial para incorporar perspectivas diversas al desarrollo de la IA. El experimento también enfatiza la importancia de la colaboración interdisciplinaria entre desarrolladores de IA, científicos sociales y el público en la configuración de los fundamentos éticos de la IA. Las investigaciones futuras pueden aprovechar estos conocimientos explorando la escalabilidad y generalización del enfoque de IA constitucional, desarrollando marcos estandarizados para traducir los aportes públicos en principios de IA e investigando los efectos a largo plazo de los sistemas de IA alineados con valores en contextos del mundo real.