Général
.jpg)
Radzivon Alkhovik
Passionné d'automatisation low-code
9 juillet 2024
.png)
.svg){kind=icon}
.png)
Dans une expérience révolutionnaire, Anthropic, une société leader Entreprise de recherche en IA, a collaboré avec le Collective Intelligence Project pour élaborer une constitution pour un Système AI en utilisant les données d'un échantillon diversifié du public américain. Cette nouvelle approche, appelée « IA constitutionnelle », vise à créer des systèmes d'IA transparents et responsables en intégrant des principes juridiques et éthiques directement dans le processus de formation de l'IA.
Cet article se penche sur les subtilités de cette recherche innovante, en explorant la méthodologie, les résultats et les implications de grande portée pour l’avenir de la gouvernance de l’IA à une époque où les modèles linguistiques avancés sont de plus en plus intégrés dans des secteurs critiques tels que la gouvernance, le système judiciaire et l’élaboration des politiques.
Principaux plats à emporter: L'expérience collaborative entre Anthropic et le Collective Intelligence Project a abouti à une « constitution publique » pour un système d'IA, rédigée par un échantillon représentatif d'environ 1,000 XNUMX Américains. La constitution publique de l'IA met l'accent sur l'objectivité, l'impartialité et l'accessibilité, et les modèles formés sur cette base démontrent des performances comparables à ceux formés sur la constitution d'Anthropic tout en présentant une partialité réduite. L'expérience met en évidence les défis et les considérations liés à l'intégration de la contribution démocratique dans le développement de l'IA, mais représente une étape importante vers l'alignement des modèles de langage avancés sur les valeurs humaines.
L'IA constitutionnelle est une méthodologie révolutionnaire développée par Anthropic pour garantir que les systèmes d'IA fonctionnent en adéquation avec des principes normatifs explicites, de la même manière qu'une constitution régit le comportement d'une nation. Au cœur de l'IA constitutionnelle d'Anthropic se trouve la définition d'un ensemble de valeurs et de principes de haut niveau qui servent de cadre directeur à l'IA. Ces principes sont soigneusement élaborés pour garantir que les actions de l'IA s'alignent sur les normes et les attentes de la société, favorisant des comportements bénéfiques tout en minimisant le potentiel de résultats néfastes.
Pour inculquer efficacement ces principes à l’IA, Constitutional AI utilise des techniques avancées telles que :
Un autre aspect essentiel de l’IA constitutionnelle est la sélection minutieuse des données et de l’architecture de formation de l’IA. En sélectionnant et en prétraitant soigneusement les données utilisées pour former l’IA, les chercheurs peuvent s’assurer que le système est exposé à un ensemble équilibré et représentatif d’exemples qui renforcent les comportements et les valeurs souhaités. De plus, l’architecture de l’IA elle-même est conçue pour promouvoir l’alignement avec les principes constitutionnels, en intégrant des mécanismes qui encouragent des résultats utiles, inoffensifs et honnêtes.
En intégrant ces principes directement dans le processus décisionnel de l'IA, l'IA constitutionnelle vise à créer des systèmes qui s'efforcent de manière proactive de fonctionner dans des limites éthiques et juridiques prédéfinies. Cela signifie que l'IA cherchera activement à :
Le but est de développer Systèmes d'IA qui sont non seulement hautement compétents, mais également intrinsèquement alignés avec les valeurs humaines et les attentes de la société.
Le développement de l’IA constitutionnelle représente une avancée significative dans le domaine de la gouvernance et de l’éthique de l’IA. En établissant un ensemble clair de principes normatifs et en les intégrant dans les fonctionnalités de base de l’IA, les chercheurs peuvent créer des systèmes plus transparents, responsables et dignes de confiance. Cette approche a le potentiel d’atténuer bon nombre des risques et des défis associés au déploiement de l’IA dans des domaines critiques tels que la gouvernance, le système judiciaire et l’élaboration des politiques, en veillant à ce que ces systèmes fonctionnent au service du bien commun.
Le développement de l’IA constitutionnelle est motivé par plusieurs motivations convaincantes qui répondent aux défis critiques posés par l’intégration croissante des systèmes d’IA dans divers aspects de la société :
En résumé, l’IA constitutionnelle est motivée par le besoin urgent de garantir que les systèmes d’IA fonctionnent de manière éthique, conforme à la loi et digne de confiance. Alors que ces technologies s’intègrent de plus en plus dans des domaines critiques et des processus décisionnels, l’IA constitutionnelle fournit un outil puissant pour créer des systèmes d’IA transparents, responsables et intrinsèquement alignés sur les principes qui sous-tendent notre société. En donnant la priorité au développement et au déploiement de l’IA constitutionnelle, nous pouvons libérer l’immense potentiel de ces technologies tout en atténuant les risques et les défis qu’elles posent.
L'intégration transparente de Latenode Avec Constitutional AI d'Anthropic, les utilisateurs disposent d'un outil efficace pour exploiter les systèmes d'IA alignés sur les valeurs publiques sans la complexité de la gestion de l'infrastructure de formation du modèle. L'éditeur visuel intuitif de la plateforme simplifie le processus d'intégration de Constitutional AI avec d'autres systèmes via des API, permettant aux organisations d'intégrer sans effort les principes d'IA éthique dans leurs processus d'automatisation. En utilisant Latenode, les utilisateurs peuvent accéder facilement aux fonctionnalités de Constitutional AI, notamment à ses capacités d'atténuation des biais, de prise de décision éthique et de conformité légale. L'intégration permet également aux utilisateurs de basculer de manière transparente entre différentes configurations d'Anthropic Constitutional AI, en fonction de leurs besoins spécifiques et de leur budget. Par exemple, la création d'un script pour un chatbot de service client qui fournit des réponses impartiales et éthiques est simple.
Voici à quoi ressemble le script :
Et voici le résultat de ce scénario, où un chatbot déjà créé utilisant Latenode fournit une réponse impartiale à une requête client :
Les
Vous pouvez en apprendre davantage sur ce script et l'intégration avec Latenode dans cet article. L'intégration avec Latenode offre quelques avantages clés :
Si vous avez besoin d'aide ou de conseils pour créer votre propre script ou si vous souhaitez reproduire celui-ci, contactez Notre communauté Discord, où se trouvent les experts en automatisation low-code.
Pour explorer le potentiel de démocratisation du développement de l'IA constitutionnelle anthropique, Anthropic s'associe à l'Intelligence Collective Projet visant à mener un processus de participation publique à l'aide de la plateforme Polis. L'objectif était d'impliquer un échantillon représentatif d'environ 1,000 XNUMX adultes américains dans la rédaction d'une constitution pour un système d'IA. Les participants ont été invités à proposer et à voter sur des principes normatifs, contribuant ainsi à la génération collective d'un ensemble de lignes directrices pour le comportement de l'IA.
La conception du processus de participation du public a impliqué plusieurs décisions cruciales :
Le processus de participation du public a donné lieu à une riche mosaïque de principes générés par les participants, qui ont été synthétisés dans une « constitution publique » cohérente. Bien qu'il y ait un chevauchement modéré d'environ 50 % avec la constitution interne d'Anthropic en termes de concepts et de valeurs fondamentales, la constitution publique présente plusieurs distinctions notables :
Ces différences soulignent l’importance d’intégrer diverses perspectives publiques dans l’élaboration des fondements éthiques des systèmes d’IA.
Pour évaluer l’impact de la constitution de source publique, Anthropic a formé deux variantes de son modèle d’IA, Claude - l'un utilisant la constitution publique (modèle public) et l'autre utilisant leur constitution interne d'origine (modèle standard). Ces modèles, ainsi qu'un modèle de contrôle, ont fait l'objet d'une évaluation rigoureuse sur plusieurs dimensions :
Ces évaluations fournissent des informations précieuses sur l’efficacité de l’IA constitutionnelle pour aligner les modèles linguistiques sur les valeurs et principes déterminés publiquement.
Le processus de formation d’un modèle d’IA basé sur des contributions publiques qualitatives présentait un ensemble unique de défis et nécessitait une réflexion approfondie à chaque étape :
Ces leçons soulignent la nature multiforme de l’alignement de l’IA sur les valeurs publiques et l’importance d’aborder avec soin les considérations sociales, techniques et éthiques impliquées.
L’expérience d’IA constitutionnelle menée par Anthropic et le Collective Intelligence Project a de profondes implications pour l’avenir du développement et de la gouvernance de l’IA :
À l’avenir, les chercheurs comptent s’appuyer sur ce travail fondamental en affinant leurs méthodologies, en concevant des évaluations plus ciblées et en explorant l’évolutivité et la généralisabilité de l’approche de l’IA constitutionnelle. Parmi les orientations futures potentielles, on peut citer :
Alors que le domaine de l’IA continue d’évoluer à un rythme sans précédent, les connaissances acquises grâce à cette expérience façonneront sans aucun doute la trajectoire des futurs efforts de recherche et de développement.
L’expérience d’IA constitutionnelle collective menée par Anthropic et le Collective Intelligence Project est une étape décisive dans la démocratisation du développement de l’IA. En impliquant le public dans la création d’une constitution de l’IA, cette recherche pose les bases d’une approche plus inclusive, transparente et responsable de la gouvernance de l’IA. Les résultats soulignent l’importance de perspectives diverses et les défis liés à l’alignement des modèles linguistiques avancés sur les valeurs sociétales.
L’IA constitutionnelle apparaît comme un cadre prometteur pour garantir que les technologies d’IA puissantes servent le bien commun. En plaçant les valeurs humaines au cœur du développement de l’IA, nous pouvons exploiter le potentiel de ces systèmes tout en atténuant les risques et les conséquences imprévues.
Cependant, le chemin vers une IA véritablement démocratique et conforme aux valeurs est loin d’être terminé. Cette expérience constitue un appel à la poursuite de la collaboration, de la recherche et de l’engagement public pour façonner l’avenir de l’IA. Grâce à la sagesse collective et à la participation de diverses parties prenantes, nous pouvons tracer la voie vers un avenir basé sur l’IA qui préserve la transparence, la responsabilité et l’alignement sur les valeurs humaines.
Les résultats de cette expérience révolutionnaire éclaireront et inspireront les efforts futurs dans ce domaine. En nous appuyant sur les bases posées par Anthropic et le Collective Intelligence Project, nous pouvons œuvrer pour un avenir où les systèmes d’IA seront technologiquement avancés, fondés sur l’éthique et socialement responsables. Le chemin à parcourir peut être semé d’embûches, mais les récompenses potentielles – un monde où l’IA et l’humanité travaillent en harmonie – valent bien l’effort.
Constitutional AI se distingue par l'importance accordée à l'intégration de valeurs et de principes de haut niveau directement dans le processus de formation du système d'IA. Plutôt que de s'appuyer uniquement sur des contraintes ou une surveillance externes, Constitutional AI vise à créer des systèmes d'IA qui s'alignent intrinsèquement sur les normes et les attentes de la société.
Les chercheurs ont collaboré avec la société de sondage PureSpectrum pour recruter un échantillon représentatif d'environ 1,000 XNUMX adultes américains. Le processus de sélection a pris en compte des facteurs démographiques tels que l'âge, le sexe, le revenu et la géographie afin de garantir un bassin de participants diversifié et inclusif. En outre, des critères de sélection ont été utilisés pour évaluer la familiarité des participants avec les concepts de l'IA.
La plateforme Polis a été choisie en raison de son efficacité avérée dans la facilitation de délibérations en ligne productives et de la recherche de consensus. Ses fonctionnalités collaboratives, qui permettent aux participants de s'engager sur les idées des autres et de les développer, étaient bien adaptées aux objectifs de l'expérience d'IA constitutionnelle. Les chercheurs avaient également une expérience antérieure de travail avec l'équipe Polis, ce qui a facilité une mise en œuvre plus réfléchie et plus efficace du processus de participation du public.
Pour préserver l’intégrité du processus de participation du public, les chercheurs ont établi des critères de modération clairs. Les déclarations jugées haineuses, insensées, redondantes, non pertinentes, mal formatées ou techniquement irréalisables ont été supprimées. Ce processus de modération impliquait une combinaison de directives prédéfinies et de jugements subjectifs de la part de l’équipe de recherche.
Bien qu'il y ait un chevauchement modéré d'environ 50 % entre la constitution publique et la constitution interne d'Anthropic en termes de concepts et de valeurs fondamentales, la constitution publique présente quelques différences notables. Elle met davantage l'accent sur l'objectivité, l'impartialité et l'accessibilité, et tend à privilégier la promotion des comportements souhaités plutôt que la dissuasion des comportements indésirables. En outre, la majorité des principes de la constitution publique sont des contributions originales des participants, plutôt que de s'inspirer de publications ou de cadres existants.
Les modèles formés sur la constitution publique (modèles publics) ont démontré des performances comparables à celles des modèles formés sur la constitution d'Anthropic (modèles standards) en termes de compréhension du langage et d'utilité perçue. Cependant, les modèles publics ont montré une réduction des biais dans diverses dimensions sociales, telles que mesurées par le cadre BBQ (Bias Benchmark for QA). Ce résultat suggère que l'intégration de la contribution du public peut potentiellement atténuer les biais et promouvoir l'équité dans les systèmes d'IA.
Le processus de formation d’un modèle d’IA basé sur des contributions publiques qualitatives a présenté plusieurs défis. Il s’agissait notamment de garantir une sélection représentative des participants, une modération efficace des contributions et un équilibre entre la représentation fidèle de l’opinion publique et les contraintes techniques de la formation de l’IA constitutionnelle. Les chercheurs ont également dû gérer la complexité de la traduction des déclarations publiques en principes d’IA exploitables et sélectionner des mesures d’évaluation appropriées pour évaluer l’alignement des modèles obtenus avec leurs constitutions.
L’expérience d’IA constitutionnelle menée par Anthropic et le Collective Intelligence Project a des implications importantes pour l’avenir de la gouvernance de l’IA. Elle démontre la faisabilité de l’alignement de modèles linguistiques avancés sur des valeurs et des principes déterminés collectivement, soulignant le potentiel d’intégration de perspectives diverses dans le développement de l’IA. L’expérience souligne également l’importance de la collaboration interdisciplinaire entre les développeurs d’IA, les chercheurs en sciences sociales et le public pour façonner les fondements éthiques de l’IA. Les recherches futures peuvent s’appuyer sur ces connaissances en explorant l’évolutivité et la généralisabilité de l’approche d’IA constitutionnelle, en élaborant des cadres standardisés pour traduire les contributions du public en principes d’IA et en étudiant les effets à long terme des systèmes d’IA alignés sur les valeurs dans des contextes réels.
Première demande + Deuxième demande
