IA constitutionnelle collective : aligner un modèle linguistique sur les contributions du public

Dans une expérience révolutionnaire, Anthropic, une société leader Entreprise de recherche en IA, a collaboré avec le Collective Intelligence Project pour élaborer une constitution pour un Système AI en utilisant les données d'un échantillon diversifié du public américain. Cette nouvelle approche, appelée « IA constitutionnelle », vise à créer des systèmes d'IA transparents et responsables en intégrant des principes juridiques et éthiques directement dans le processus de formation de l'IA. 

Cet article se penche sur les subtilités de cette recherche innovante, en explorant la méthodologie, les résultats et les implications de grande portée pour l’avenir de la gouvernance de l’IA à une époque où les modèles linguistiques avancés sont de plus en plus intégrés dans des secteurs critiques tels que la gouvernance, le système judiciaire et l’élaboration des politiques.

Principaux plats à emporter: L'expérience collaborative entre Anthropic et le Collective Intelligence Project a abouti à une « constitution publique » pour un système d'IA, rédigée par un échantillon représentatif d'environ 1,000 XNUMX Américains. La constitution publique de l'IA met l'accent sur l'objectivité, l'impartialité et l'accessibilité, et les modèles formés sur cette base démontrent des performances comparables à ceux formés sur la constitution d'Anthropic tout en présentant une partialité réduite. L'expérience met en évidence les défis et les considérations liés à l'intégration de la contribution démocratique dans le développement de l'IA, mais représente une étape importante vers l'alignement des modèles de langage avancés sur les valeurs humaines.

Vous pouvez essayer gratuitement la dernière IA Anthropic Claude sur Latenode        

Commencer          

Qu'est-ce que l'IA constitutionnelle ?

L'IA constitutionnelle est une méthodologie révolutionnaire développée par Anthropic pour garantir que les systèmes d'IA fonctionnent en adéquation avec des principes normatifs explicites, de la même manière qu'une constitution régit le comportement d'une nation. Au cœur de l'IA constitutionnelle d'Anthropic se trouve la définition d'un ensemble de valeurs et de principes de haut niveau qui servent de cadre directeur à l'IA. Ces principes sont soigneusement élaborés pour garantir que les actions de l'IA s'alignent sur les normes et les attentes de la société, favorisant des comportements bénéfiques tout en minimisant le potentiel de résultats néfastes.

Pour inculquer efficacement ces principes à l’IA, Constitutional AI utilise des techniques avancées telles que :

• Auto-supervision : cela permet à l’IA d’apprendre de ses propres expériences et interactions, en internalisant progressivement les comportements souhaités sans avoir besoin d’une surveillance humaine constante.
• Entraînement contradictoire : en exposant l’IA à un large éventail de scénarios et de défis, cette technique l’aide à développer de solides capacités de prise de décision qui respectent les limites éthiques et juridiques prédéfinies.

Un autre aspect essentiel de l’IA constitutionnelle est la sélection minutieuse des données et de l’architecture de formation de l’IA. En sélectionnant et en prétraitant soigneusement les données utilisées pour former l’IA, les chercheurs peuvent s’assurer que le système est exposé à un ensemble équilibré et représentatif d’exemples qui renforcent les comportements et les valeurs souhaités. De plus, l’architecture de l’IA elle-même est conçue pour promouvoir l’alignement avec les principes constitutionnels, en intégrant des mécanismes qui encouragent des résultats utiles, inoffensifs et honnêtes.

En intégrant ces principes directement dans le processus décisionnel de l'IA, l'IA constitutionnelle vise à créer des systèmes qui s'efforcent de manière proactive de fonctionner dans des limites éthiques et juridiques prédéfinies. Cela signifie que l'IA cherchera activement à :

• Soyez utile aux utilisateurs
• Éviter de causer du tort
• Fournir des informations véridiques et exactes

Le but est de développer Systèmes d'IA qui sont non seulement hautement compétents, mais également intrinsèquement alignés avec les valeurs humaines et les attentes de la société.

Le développement de l’IA constitutionnelle représente une avancée significative dans le domaine de la gouvernance et de l’éthique de l’IA. En établissant un ensemble clair de principes normatifs et en les intégrant dans les fonctionnalités de base de l’IA, les chercheurs peuvent créer des systèmes plus transparents, responsables et dignes de confiance. Cette approche a le potentiel d’atténuer bon nombre des risques et des défis associés au déploiement de l’IA dans des domaines critiques tels que la gouvernance, le système judiciaire et l’élaboration des politiques, en veillant à ce que ces systèmes fonctionnent au service du bien commun.

Pourquoi l’IA constitutionnelle ?

Le développement de l’IA constitutionnelle est motivé par plusieurs motivations convaincantes qui répondent aux défis critiques posés par l’intégration croissante des systèmes d’IA dans divers aspects de la société :

Garantie éthique :

• L’IA constitutionnelle constitue une garantie éthique essentielle, garantissant que les systèmes d’IA fonctionnent en accord avec les droits et les valeurs fondamentaux.
• En intégrant des principes éthiques dans les fonctionnalités de base de l’IA, l’IA constitutionnelle garantit la protection des droits individuels et du bien-être de la société, en particulier dans des domaines sensibles tels que la santé, la finance et la justice pénale.

Conformité légale :

• L’IA constitutionnelle est essentielle pour garantir la conformité légale dans les domaines où l’adhésion aux directives constitutionnelles n’est pas négociable, comme les secteurs judiciaire et politique.
• En intégrant les principes juridiques dans le processus décisionnel de l’IA, l’IA constitutionnelle réduit le risque de violations involontaires ou de résultats biaisés, préservant ainsi l’intégrité et l’équité de ces institutions.

Confiance et acceptation du public :

• L’IA constitutionnelle favorise la confiance du public et l’acceptation des systèmes d’IA en rendant leurs principes directeurs transparents et accessibles.
• Cette transparence favorise la responsabilité et contribue à démystifier l’IA, encourageant une plus grande confiance du public dans la sécurité, la fiabilité et l’alignement de ces systèmes sur les valeurs humaines.
• Favoriser la confiance est essentiel pour l’adoption généralisée et l’intégration réussie des technologies de l’IA dans divers aspects de la société.

Atténuation des risques:

• L’IA constitutionnelle contribue à atténuer les risques potentiels et les conséquences imprévues associées au déploiement de systèmes d’IA.
• En intégrant de manière proactive des principes éthiques et juridiques dans les fonctionnalités de base de l’IA, les chercheurs peuvent minimiser la probabilité que ces systèmes causent des dommages, perpétuent des préjugés ou prennent des décisions contraires aux valeurs humaines.

En résumé, l’IA constitutionnelle est motivée par le besoin urgent de garantir que les systèmes d’IA fonctionnent de manière éthique, conforme à la loi et digne de confiance. Alors que ces technologies s’intègrent de plus en plus dans des domaines critiques et des processus décisionnels, l’IA constitutionnelle fournit un outil puissant pour créer des systèmes d’IA transparents, responsables et intrinsèquement alignés sur les principes qui sous-tendent notre société. En donnant la priorité au développement et au déploiement de l’IA constitutionnelle, nous pouvons libérer l’immense potentiel de ces technologies tout en atténuant les risques et les défis qu’elles posent.

Comment démocratiser le développement de l'IA avec l'intégration de Сlaude et Latenode d'Anthropic

L'intégration transparente de Latenode Avec Constitutional AI d'Anthropic, les utilisateurs disposent d'un outil efficace pour exploiter les systèmes d'IA alignés sur les valeurs publiques sans la complexité de la gestion de l'infrastructure de formation du modèle. L'éditeur visuel intuitif de la plateforme simplifie le processus d'intégration de Constitutional AI avec d'autres systèmes via des API, permettant aux organisations d'intégrer sans effort les principes d'IA éthique dans leurs processus d'automatisation. En utilisant Latenode, les utilisateurs peuvent accéder facilement aux fonctionnalités de Constitutional AI, notamment à ses capacités d'atténuation des biais, de prise de décision éthique et de conformité légale. L'intégration permet également aux utilisateurs de basculer de manière transparente entre différentes configurations d'Anthropic Constitutional AI, en fonction de leurs besoins spécifiques et de leur budget. Par exemple, la création d'un script pour un chatbot de service client qui fournit des réponses impartiales et éthiques est simple.

Voici à quoi ressemble le script :

Voici le résultat de ce scénario, où un chatbot déjà créé à l'aide de Latenode fournit une réponse impartiale à une question client :

Vous pouvez en apprendre davantage sur ce script et l'intégration avec Latenode dans cet article. L'intégration avec Latenode offre quelques avantages clés :

• Facilité d'utilisation: L'intégration de Latenode avec AI Anthropic simplifie le processus d'utilisation de l'IA, permettant aux utilisateurs non techniques d'accéder plus facilement aux fonctionnalités d'IA dont ils ont besoin et de les comprendre. Cela peut aider les entreprises à adopter rapidement et facilement des solutions d'IA, sans nécessiter d'expertise technique approfondie.
• Tarification flexible : L'intégration de Latenode permet aux utilisateurs de choisir entre différentes versions d'Anthropic Claude, avec des coûts et des fonctionnalités variables, ce qui en fait une option plus accessible et abordable pour les entreprises et les particuliers.
• Solutions d’IA complètes : L'intégration de l'IA Anthropic Claude par Latenode offre aux utilisateurs l'accès à un large éventail de fonctionnalités d'IA, des tâches complexes aux requêtes simples, ce qui en fait une plate-forme d'IA polyvalente et puissante.
• Personnalisation:Avec l'intégration de Latenode, les utilisateurs peuvent personnaliser Claude pour répondre à leurs besoins spécifiques, leur permettant de créer des solutions d'IA sur mesure qui correspondent à leurs objectifs et buts commerciaux. :

Si vous avez besoin d'aide ou de conseils pour créer votre propre script ou si vous souhaitez reproduire celui-ci, contactez Notre communauté Discord, où se trouvent les experts en automatisation low-code.

Reconnaître la puissance de l'IA Anthropic Claude avec Latenode        

Commencez gratuitement          

Concevoir un processus de participation publique pour rédiger collectivement une Constitution

Pour explorer le potentiel de démocratisation du développement de l'IA constitutionnelle anthropique, Anthropic s'associe à l'Intelligence Collective Projet visant à mener un processus de participation publique à l'aide de la plateforme Polis. L'objectif était d'impliquer un échantillon représentatif d'environ 1,000 XNUMX adultes américains dans la rédaction d'une constitution pour un système d'IA. Les participants ont été invités à proposer et à voter sur des principes normatifs, contribuant ainsi à la génération collective d'un ensemble de lignes directrices pour le comportement de l'IA.

La conception du processus de participation du public a impliqué plusieurs décisions cruciales :

• Sélection du participant:Les chercheurs ont cherché à recruter un échantillon diversifié et représentatif de la population américaine, en tenant compte de facteurs tels que l'âge, le sexe, le revenu et la géographie. Des critères de sélection ont été utilisés pour garantir que les participants avaient une connaissance de base des concepts de l'IA.
• Choix de la plate-forme:La plateforme Polis a été sélectionnée pour son expérience avérée dans la facilitation des délibérations et de la construction de consensus en ligne, ainsi que pour ses fonctionnalités collaboratives qui permettent aux participants d'interagir avec les idées des autres.
• Déclarations de semences:Pour guider la discussion et fournir un point de départ aux participants, les chercheurs ont inclus un ensemble de 21 énoncés de départ comme exemples de principes pertinents et correctement formatés. Ces énoncés ont été soigneusement choisis pour représenter une gamme de valeurs potentielles sans influencer indûment l'orientation de la conversation.
• Critères de modération:Des directives de modération claires ont été établies pour garantir la qualité et la pertinence des contributions des participants. Les déclarations haineuses, insensées, redondantes, non pertinentes, mal formatées ou techniquement irréalisables ont été supprimées pour préserver l'intégrité du processus.

Analyse de la Constitution de source publique

Le processus de participation du public a donné lieu à une riche mosaïque de principes générés par les participants, qui ont été synthétisés dans une « constitution publique » cohérente. Bien qu'il y ait un chevauchement modéré d'environ 50 % avec la constitution interne d'Anthropic en termes de concepts et de valeurs fondamentales, la constitution publique présente plusieurs distinctions notables :

• Accent sur l'objectivité et l'impartialité:La constitution publique a mis l’accent sur la capacité de l’IA à fournir des informations équilibrées et objectives, en prenant en compte de multiples perspectives sans parti pris.
• Focus sur l'accessibilité:Les participants ont souligné l’importance pour l’IA d’être accessible, adaptable et inclusive pour les personnes ayant des besoins et des capacités divers.
• Promotion des comportements souhaités:Contrairement à la constitution anthropique, qui visait souvent à décourager les actions indésirables, la constitution publique tendait à donner la priorité à la promotion de comportements et de qualités positifs.
• Principes auto-générés:La majorité des principes de la constitution publique étaient des contributions originales des participants, plutôt que de provenir de publications ou de cadres existants.

Ces différences soulignent l’importance d’intégrer diverses perspectives publiques dans l’élaboration des fondements éthiques des systèmes d’IA.

Former et évaluer un modèle en fonction des avis du public

Pour évaluer l’impact de la constitution de source publique, Anthropic a formé deux variantes de son modèle d’IA, Claude - l'un utilisant la constitution publique (modèle public) et l'autre utilisant leur constitution interne d'origine (modèle standard). Ces modèles, ainsi qu'un modèle de contrôle, ont fait l'objet d'une évaluation rigoureuse sur plusieurs dimensions :

• Compréhension du langage et capacités mathématiques:Les modèles public et standard ont démontré des performances comparables dans les tâches évaluant la compréhension du langage (MMLU) et la résolution de problèmes mathématiques (GSM8K), indiquant que le choix de la constitution n'avait pas d'impact significatif sur les capacités de base des modèles.
• Utilité et innocuité:Les évaluateurs humains ont interagi avec les modèles et ont évalué le modèle public comme étant tout aussi utile et inoffensif que le modèle standard, suggérant que la constitution publique alignait efficacement le comportement de l'IA sur les préférences humaines.
• Évaluation des biais:En utilisant le cadre BBQ (Bias Benchmark for QA), les chercheurs ont constaté que le modèle public présentait moins de biais dans neuf catégories sociales par rapport au modèle standard. Cette découverte met en évidence le potentiel de la participation du public pour atténuer les biais et promouvoir l'équité dans les systèmes d'IA.
• Idéologie politique:L'évaluation comparative OpinionQA a révélé que les modèles Public et Standard reflétaient des idéologies politiques similaires, indiquant que le choix de la constitution ne modifiait pas substantiellement les tendances politiques de l'IA.

Ces évaluations fournissent des informations précieuses sur l’efficacité de l’IA constitutionnelle pour aligner les modèles linguistiques sur les valeurs et principes déterminés publiquement.

Leçons apprises

Le processus de formation d’un modèle d’IA basé sur des contributions publiques qualitatives présentait un ensemble unique de défis et nécessitait une réflexion approfondie à chaque étape :

Exécution du processus de participation du public:

• Sélection des participants : Il était essentiel de trouver un équilibre entre représentativité et familiarité avec l’IA pour garantir des contributions significatives. L’utilisation de critères de sélection a permis d’atténuer la confusion et les déclarations hors sujet.
• Choix de la plateforme : La plateforme Polis a été choisie en raison de sa réputation de facilitateur de délibérations en ligne productives et de ses fonctionnalités collaboratives. Cependant, d’autres plateformes telles que All Our Ideas et Remesh ont également été envisagées.
• Déclarations sur les semences : L’apport d’un ensemble diversifié d’exemples d’énoncés a permis de guider les participants et de susciter des contributions utiles. Les chercheurs ont cherché à minimiser l’influence de ces énoncés de départ sur le résultat final.
• Critères de modération : Il était essentiel d’établir des directives claires en matière de modération pour maintenir la qualité et la pertinence des contributions des participants. Cependant, l’application de ces critères impliquait parfois des jugements subjectifs.

Élaborer une Constitution à partir des contributions du public:

• Suppression des déclarations en double:Pour éviter de mettre trop l’accent sur certaines idées et assurer une représentation équilibrée de l’opinion publique, les déclarations en double ont été supprimées. Cette décision a consisté à mettre en balance la dimension sociale de la représentation fidèle des opinions majoritaires avec les contraintes techniques de la formation de l’IA constitutionnelle.
• Combiner des idées similaires : Afin de conserver une longueur et un nombre raisonnables de valeurs distinctes, des énoncés similaires ont été combinés pour former des principes plus complets. Ce processus a nécessité une réflexion approfondie pour préserver l'essence des contributions originales.
• Mise en correspondance des déclarations publiques avec les principes de l'IA de la CAI : Les chercheurs ont dû traduire les déclarations publiques, souvent formulées comme des affirmations générales, dans le format spécifique requis pour la formation de l’IA constitutionnelle. Cela impliquait des décisions subjectives pour équilibrer la fidélité aux déclarations originales avec l’efficacité prouvée du format constitutionnel existant.

Modèle de formation et d'évaluation:

• Sélection rapide de la base de données:Le choix de la base de données d'invite utilisée pour la formation de l'IA constitutionnelle a eu un impact significatif sur la pertinence et l'efficacité des modèles obtenus. Les expériences futures doivent soigneusement examiner l'alignement entre la base de données d'invite et les principes spécifiques de la constitution.
• Pondération des pertes:Une pondération appropriée des différents objectifs, tels que l'utilité et l'innocuité, au cours du processus de formation était essentielle pour éviter les modèles trop prudents ou inutiles. Un affinement itératif basé sur des évaluations humaines était nécessaire pour trouver le bon équilibre.
• Mesures d'évaluation:La sélection de mesures d’évaluation appropriées pour saisir les nuances de l’alignement de l’IA constitutionnelle s’est avérée difficile. Les chercheurs ont reconnu la nécessité d’évaluations plus ciblées, spécifiquement conçues pour évaluer la fidélité des modèles à leurs constitutions.
• Complexité de la formation de l'IA constitutionnelle : Les subtilités techniques de la formation de l’IA constitutionnelle ont nécessité une étroite collaboration entre les chercheurs et les développeurs d’origine. Cela souligne la nécessité d’une expertise interdisciplinaire et d’un partage des connaissances pour intégrer efficacement les apports démocratiques dans les systèmes d’IA.

Ces leçons soulignent la nature multiforme de l’alignement de l’IA sur les valeurs publiques et l’importance d’aborder avec soin les considérations sociales, techniques et éthiques impliquées.

Conséquences et perspectives d’avenir

L’expérience d’IA constitutionnelle menée par Anthropic et le Collective Intelligence Project a de profondes implications pour l’avenir du développement et de la gouvernance de l’IA :

• Démontrer la faisabilité de l’alignement des valeurs:La formation réussie de modèles d’IA basés sur une constitution publique montre le potentiel d’alignement de modèles linguistiques avancés sur des valeurs et des principes déterminés collectivement. Cela ouvre de nouvelles perspectives pour intégrer diverses perspectives dans le développement de systèmes d’IA.
• Améliorer la transparence et la responsabilité:En rendant les principes directeurs de l'IA explicites et soumis à un examen public, l'IA constitutionnelle favorise la transparence et la responsabilité dans la prise de décision en matière d'IA. Cela est particulièrement crucial dans les domaines où les systèmes d'IA ont une influence significative sur la vie humaine et les résultats sociétaux.
• Mettre l’accent sur la collaboration interdisciplinaire:L’expérience souligne l’importance de la collaboration entre les développeurs d’IA, les chercheurs en sciences sociales et le public pour façonner les fondements éthiques de l’IA. Elle souligne la nécessité d’approches interdisciplinaires qui combinent l’expertise technique avec les connaissances des sciences sociales et des processus démocratiques.

À l’avenir, les chercheurs comptent s’appuyer sur ce travail fondamental en affinant leurs méthodologies, en concevant des évaluations plus ciblées et en explorant l’évolutivité et la généralisabilité de l’approche de l’IA constitutionnelle. Parmi les orientations futures potentielles, on peut citer :

• Élargir la portée de l’engagement public pour inclure des perspectives plus diverses et plus mondiales.
• Développer des cadres standardisés pour traduire les contributions du public en principes d’IA exploitables.
• Étudier les effets à long terme de l’IA constitutionnelle sur le comportement et la prise de décision des systèmes d’IA dans des contextes réels.
• Explorer le potentiel des constitutions personnalisables ou spécifiques à un domaine pour répondre aux défis éthiques uniques de différentes industries et applications.

Alors que le domaine de l’IA continue d’évoluer à un rythme sans précédent, les connaissances acquises grâce à cette expérience façonneront sans aucun doute la trajectoire des futurs efforts de recherche et de développement.

Conclusion

L’expérience d’IA constitutionnelle collective menée par Anthropic et le Collective Intelligence Project est une étape décisive dans la démocratisation du développement de l’IA. En impliquant le public dans la création d’une constitution de l’IA, cette recherche pose les bases d’une approche plus inclusive, transparente et responsable de la gouvernance de l’IA. Les résultats soulignent l’importance de perspectives diverses et les défis liés à l’alignement des modèles linguistiques avancés sur les valeurs sociétales.

L’IA constitutionnelle apparaît comme un cadre prometteur pour garantir que les technologies d’IA puissantes servent le bien commun. En plaçant les valeurs humaines au cœur du développement de l’IA, nous pouvons exploiter le potentiel de ces systèmes tout en atténuant les risques et les conséquences imprévues.

Cependant, le chemin vers une IA véritablement démocratique et conforme aux valeurs est loin d’être terminé. Cette expérience constitue un appel à la poursuite de la collaboration, de la recherche et de l’engagement public pour façonner l’avenir de l’IA. Grâce à la sagesse collective et à la participation de diverses parties prenantes, nous pouvons tracer la voie vers un avenir basé sur l’IA qui préserve la transparence, la responsabilité et l’alignement sur les valeurs humaines.

Les résultats de cette expérience révolutionnaire éclaireront et inspireront les efforts futurs dans ce domaine. En nous appuyant sur les bases posées par Anthropic et le Collective Intelligence Project, nous pouvons œuvrer pour un avenir où les systèmes d’IA seront technologiquement avancés, fondés sur l’éthique et socialement responsables. Le chemin à parcourir peut être semé d’embûches, mais les récompenses potentielles – un monde où l’IA et l’humanité travaillent en harmonie – valent bien l’effort.

Vous pouvez essayer gratuitement la dernière IA Anthropic Claude sur Latenode        

Commencer          

QFP

Qu’est-ce qui distingue l’IA constitutionnelle des autres approches d’alignement de l’IA ?

Constitutional AI se distingue par l'importance accordée à l'intégration de valeurs et de principes de haut niveau directement dans le processus de formation du système d'IA. Plutôt que de s'appuyer uniquement sur des contraintes ou une surveillance externes, Constitutional AI vise à créer des systèmes d'IA qui s'alignent intrinsèquement sur les normes et les attentes de la société.

Comment les participants au processus de consultation publique ont-ils été sélectionnés ?

Les chercheurs ont collaboré avec la société de sondage PureSpectrum pour recruter un échantillon représentatif d'environ 1,000 XNUMX adultes américains. Le processus de sélection a pris en compte des facteurs démographiques tels que l'âge, le sexe, le revenu et la géographie afin de garantir un bassin de participants diversifié et inclusif. En outre, des critères de sélection ont été utilisés pour évaluer la familiarité des participants avec les concepts de l'IA.

Pourquoi la plateforme Polis a-t-elle été choisie pour le processus de consultation publique ?

La plateforme Polis a été choisie en raison de son efficacité avérée dans la facilitation de délibérations en ligne productives et de la recherche de consensus. Ses fonctionnalités collaboratives, qui permettent aux participants de s'engager sur les idées des autres et de les développer, étaient bien adaptées aux objectifs de l'expérience d'IA constitutionnelle. Les chercheurs avaient également une expérience antérieure de travail avec l'équipe Polis, ce qui a facilité une mise en œuvre plus réfléchie et plus efficace du processus de participation du public.

Comment les chercheurs ont-ils assuré la qualité et la pertinence des contributions des participants ?

Pour préserver l’intégrité du processus de participation du public, les chercheurs ont établi des critères de modération clairs. Les déclarations jugées haineuses, insensées, redondantes, non pertinentes, mal formatées ou techniquement irréalisables ont été supprimées. Ce processus de modération impliquait une combinaison de directives prédéfinies et de jugements subjectifs de la part de l’équipe de recherche.

Quelles étaient les principales différences entre la constitution publique et la constitution originale d’Anthropic ?

Bien qu'il y ait un chevauchement modéré d'environ 50 % entre la constitution publique et la constitution interne d'Anthropic en termes de concepts et de valeurs fondamentales, la constitution publique présente quelques différences notables. Elle met davantage l'accent sur l'objectivité, l'impartialité et l'accessibilité, et tend à privilégier la promotion des comportements souhaités plutôt que la dissuasion des comportements indésirables. En outre, la majorité des principes de la constitution publique sont des contributions originales des participants, plutôt que de s'inspirer de publications ou de cadres existants.

Comment les modèles formés sur la constitution publique se sont-ils comportés par rapport à ceux formés sur la constitution originale d'Anthropic ?

Les modèles formés sur la constitution publique (modèles publics) ont démontré des performances comparables à celles des modèles formés sur la constitution d'Anthropic (modèles standards) en termes de compréhension du langage et d'utilité perçue. Cependant, les modèles publics ont montré une réduction des biais dans diverses dimensions sociales, telles que mesurées par le cadre BBQ (Bias Benchmark for QA). Ce résultat suggère que l'intégration de la contribution du public peut potentiellement atténuer les biais et promouvoir l'équité dans les systèmes d'IA.

Quels défis les chercheurs ont-ils dû relever pour intégrer la participation démocratique dans le processus de développement de l’IA ?

Le processus de formation d’un modèle d’IA basé sur des contributions publiques qualitatives a présenté plusieurs défis. Il s’agissait notamment de garantir une sélection représentative des participants, une modération efficace des contributions et un équilibre entre la représentation fidèle de l’opinion publique et les contraintes techniques de la formation de l’IA constitutionnelle. Les chercheurs ont également dû gérer la complexité de la traduction des déclarations publiques en principes d’IA exploitables et sélectionner des mesures d’évaluation appropriées pour évaluer l’alignement des modèles obtenus avec leurs constitutions.

Comment les enseignements tirés de cette expérience peuvent-ils éclairer la recherche et le développement futurs en matière de gouvernance de l’IA ?

L’expérience d’IA constitutionnelle menée par Anthropic et le Collective Intelligence Project a des implications importantes pour l’avenir de la gouvernance de l’IA. Elle démontre la faisabilité de l’alignement de modèles linguistiques avancés sur des valeurs et des principes déterminés collectivement, soulignant le potentiel d’intégration de perspectives diverses dans le développement de l’IA. L’expérience souligne également l’importance de la collaboration interdisciplinaire entre les développeurs d’IA, les chercheurs en sciences sociales et le public pour façonner les fondements éthiques de l’IA. Les recherches futures peuvent s’appuyer sur ces connaissances en explorant l’évolutivité et la généralisabilité de l’approche d’IA constitutionnelle, en élaborant des cadres standardisés pour traduire les contributions du public en principes d’IA et en étudiant les effets à long terme des systèmes d’IA alignés sur les valeurs dans des contextes réels.