Avant de quitter OpenAI, la présidente d'Anthropic s'entourait d'un « conseil de peluches »

AnthropicOpenAIdépart des fondateursSécurité de l'IAgouvernance d'entreprise
il y a 2 heuresSource: blockweeks.com
Avant de quitter OpenAI, la présidente d'Anthropic s'entourait d'un « conseil de peluches »

AI Safety

Auteur : Li Jia, Wall Street CN

Aujourd'hui, Anthropic a fait de la « sécurité de l'IA » son label principal, mais peu de gens savent que la cofondatrice et présidente de l'entreprise, Daniela Amodei, a un jour utilisé un groupe de peluches avec son mari Holden Karnofsky pour discuter de questions de management.

Ces peluches se sont vu attribuer des personnalités différentes : certaines étaient spécifiquement chargées de « faire moins de réunions et de se causer moins d'ennuis », d'autres mettaient l'accent sur les règles, les détails et l'exécution, et d'autres encore étaient chargées de rappeler aux décideurs de garder de la compassion.Face à un problème épineux au travail, Daniela et son mari faisaient en sorte que ces personnages virtuels « expriment chacun leur opinion », simulant ainsi les choix que différents types de managers pourraient faire.

Cet épisode assez personnel, voire un peu enfantin, a eu lieu à l'époque où Daniela travaillait encore chez OpenAI. Et c'est précisément durant cette période qu'elle et son frère Dario Amodei ont également progressivement développé des désaccords avec la direction d'OpenAI : Daniela a eu des frictions avec plusieurs cadres supérieurs au travail, tandis que Dario a commencé à se méfier de plus en plus de la gestion de l'entreprise et de la direction du développement de l'IA avancée.

En 2020, les deux frères et sœurs ont finalement décidé de quitter OpenAI. Cette séparation, plus tard qualifiée de « divorce » par des initiés, est également devenue le point de départ de la naissance d'Anthropic.

The Atlantic a récemment cité le livre à paraître du journaliste Kevin Roose, « The AGI Chronicles », pour révéler cette expérience peu connue. Dans une interview accordée à Roose en 2023, Daniela a déclaré que cette méthode était « très utile pour analyser différents types de personnalité ».

De l'utilisation de peluches pour former un « comité consultatif » à l'époque, jusqu'à devenir aujourd'hui un géant de l'IA comptant des milliers d'employés, Anthropic est passée d'une petite start-up de sécurité de l'IA à un acteur important du secteur. Selon les médias, la valorisation potentielle de l'entreprise lors de son introduction en bourse pourrait approcher les 2 000 milliards de dollars.

Comment un groupe de peluches est-il devenu un « comité consultatif » ?

Ce « groupe consultatif » informel n'était pas simplement une plaisanterie, mais une façon de penser qui simulait différents styles de prise de décision.

Parmi eux, Jinji était un chat décontracté qui tendait à réduire la charge de travail d'Amodei, par exemple en sautant les réunions inutiles ; l'ours rose Maura représentait le style complètement opposé — organisé, exigeant et soucieux des détails ; et le panda nommé Beary Bonds était configuré pour ajouter plus de compassion et de générosité aux discussions.

AI Safety

Face à un même problème professionnel, le couple Amodei faisait en sorte que les « personnalités » représentées par les différentes poupées répondent séparément.

La véritable fonction de cette méthode ne résidait pas dans les jouets, mais dans le fait de forcer les décideurs à s'écarter temporairement de leur propre position et à réexaminer le problème à travers une autre personnalité.

Essentiellement, il s'agissait d'une expérience de pensée à faible coût : sans véritables conseillers externes, il était encore possible de décomposer un même problème en différentes voies de décision grâce à la simulation de différents rôles.

Et presque personne au sein d'OpenAI n'était au courant de cette méthode.

Au-delà des peluches, les divisions au sein d'OpenAI s'élargissaient

En parallèle, la relation entre les frères et sœurs Amodei et OpenAI était également en train de changer.

Daniela Amodei a rejoint OpenAI en 2018, puis a accédé à un poste de direction au sein de l'équipe technique, et a eu des désaccords avec plusieurs cadres supérieurs, notamment Greg Brockman et Mira Murati.

Elle et Brockman étaient autrefois proches. Brockman avait pris la parole lors de son mariage en 2017 avec Holden Karnofsky, mais par la suite, leur relation de travail s'est progressivement détériorée.

Dario Amodei, quant à lui, s'est de plus en plus concentré sur la direction d'OpenAI et l'orientation du développement de l'IA avancée, et est devenu de plus en plus méfiant à l'égard de Sam Altman et Brockman.

En même temps, il a commencé à organiser en privé des activités avec un groupe de chercheurs qui voulaient mettre davantage l'accent sur les risques des systèmes d'IA puissants. En dehors de la structure normale de l'entreprise, ces personnes communiquaient et tenaient des réunions, et certains collègues appelaient cette faction « le petit cercle de Dario ».

Les conflits internes ont finalement atteint un stade inévitable.

En 2020, Dario a commencé à constituer une équipe prête à quitter OpenAI et à faire avancer la recherche sur l'IA avancée selon une philosophie de sécurité différente. Daniela est devenue l'une des figures centrales de ce départ et était chargée de négocier avec OpenAI pendant que l'équipe se préparait à partir.

Cette scission a ensuite été appelée en privé un « divorce » par les initiés.

Un départ a donné naissance à un géant de l'IA

En décembre 2020, les frères et sœurs Amodei ont officiellement quitté OpenAI et cofondé Anthropic.

Jack Clark, Sam McCandlish, Tom Brown, Chris Olah et Jared Kaplan ont également participé à la fondation de l'entreprise, et Ben Mann a ensuite été reconnu comme un autre cofondateur.

Anthropic n'était initialement qu'une petite institution de recherche centrée sur la sécurité de l'IA. Par la suite, l'entreprise s'est progressivement étendue à des milliers d'employés et est devenue l'un des concurrents les plus importants d'OpenAI.

Daniela Amodei occupe désormais le poste de présidente et de présidente du conseil d'administration d'Anthropic, avec une autorité couvrant la plupart de la recherche, de l'ingénierie, des produits et des opérations commerciales. Holden Karnofsky, qui était autrefois membre du conseil d'administration à but non lucratif d'OpenAI, a ensuite également rejoint Anthropic.

De l'utilisation de peluches pour simuler des managers, à la croissance actuelle en un géant de l'IA avec des milliers d'employés, cet épisode a également témoigné du parcours d'Anthropic, d'une startup à la maturité.