Zanim odeszła z OpenAI, prezes Anthropic miała "zespół doradców z pluszaków"

AnthropicOpenAIodejście założycielibezpieczeństwo AIład korporacyjny
2 godzin temuŹródło: blockweeks.com
Zanim odeszła z OpenAI, prezes Anthropic miała "zespół doradców z pluszaków"

AI Safety

Autor: Li Jia, Wall Street CN

Dziś Anthropic uczyniło z „bezpieczeństwa AI” swoją główną etykietę, ale niewiele osób wie, że współzałożycielka i prezes firmy, Daniela Amodei, wraz ze swoim mężem Holdenem Karnofskym użyła kiedyś grupy pluszowych zabawek do omawiania kwestii zarządzania.

Tym zabawkom nadano różne osobowości: niektóre były specjalnie odpowiedzialne za „mniej spotkań i mniej kłopotów dla siebie”, niektóre kładły nacisk na zasady, szczegóły i egzekwowanie, a inne były odpowiedzialne za przypominanie decydentom o zachowaniu współczucia.W obliczu trudnego problemu w miejscu pracy Daniela i jej mąż pozwalali tym wirtualnym postaciom na „wyrażenie swoich opinii”, symulując w ten sposób wybory, jakich mogliby dokonać menedżerowie różnych typów.

Ten dość osobisty, a nawet nieco dziecinny epizod miał miejsce w okresie, gdy Daniela wciąż pracowała w OpenAI. I właśnie w tym okresie ona i jej brat Dario Amodei stopniowo rozwijali również różnice zdań z kierownictwem OpenAI: Daniela miała tarcia w pracy z wieloma wyższymi menedżerami, podczas gdy Dario zaczął coraz bardziej nieufnie podchodzić do zarządzania firmą i kierunku rozwoju zaawansowanej AI.

W 2020 roku rodzeństwo ostatecznie zdecydowało się opuścić OpenAI. To rozstanie, nazwane później przez wtajemniczonych „rozwodem”, stało się również punktem wyjścia dla narodzin Anthropic.

The Atlantic niedawno powołał się na nadchodzącą książkę dziennikarza Kevina Roose’a „The AGI Chronicles”, aby ujawnić to mało znane doświadczenie. W wywiadzie z 2023 roku dla Roose’a Daniela powiedziała, że ta metoda była „bardzo przydatna do analizowania różnych typów osobowości”.

Od używania pluszowych zabawek do tworzenia „komitetu doradczego” w tamtym czasie, po obecne przekształcenie się w giganta AI zatrudniającego tysiące pracowników, Anthropic rozrosło się z małego startupu zajmującego się bezpieczeństwem AI w ważnego gracza w branży. Według doniesień medialnych potencjalna wycena IPO firmy może zbliżyć się do 2 bilionów dolarów.

Jak grupa pluszowych zabawek stała się „komitetem doradczym”?

Ta nieformalna „grupa doradcza” nie była zwykłym żartem, lecz sposobem myślenia symulującym różne style podejmowania decyzji.

Wśród nich Jinji był ugodowym kotem, który skłaniał się ku zmniejszaniu obciążenia pracą Amodei, na przykład pomijaniu niepotrzebnych spotkań; różowy miś Maura reprezentował całkowicie przeciwny styl—zorganizowany, wymagający i zorientowany na szczegóły; a panda o imieniu Beary Bonds została ustawiona tak, aby dodawać więcej współczucia i hojności do dyskusji.

AI Safety

W obliczu tego samego problemu w miejscu pracy małżeństwo Amodei pozwalało „osobowościom” reprezentowanym przez różne lalki odpowiadać osobno.

Prawdziwa funkcja tej metody nie tkwiła w zabawkach, lecz w zmuszaniu decydentów do tymczasowego odejścia od własnego stanowiska i ponownego przeanalizowania problemu przez inną osobowość.

Zasadniczo był to tani eksperyment myślowy: bez prawdziwych zewnętrznych doradców wciąż możliwe było rozbicie tego samego problemu na różne ścieżki decyzyjne poprzez symulację różnych ról.

I prawie nikt wewnątrz OpenAI nie wiedział o tej metodzie.

Poza pluszowymi zabawkami podziały wewnątrz OpenAI się pogłębiały

W tym samym czasie relacje między rodzeństwem Amodei a OpenAI również się zmieniały.

Daniela Amodei dołączyła do OpenAI w 2018 roku, później przeniosła się na stanowisko menedżerskie w zespole technicznym i miała nieporozumienia z wieloma starszymi menedżerami, w tym z Gregiem Brockmanem i Mirą Murati.

Ona i Brockman byli kiedyś blisko. Brockman przemawiał na jej ślubie z Holdenem Karnofskym w 2017 roku, ale później ich relacje zawodowe stopniowo się pogarszały.

Dario Amodei tymczasem coraz bardziej koncentrował się na przywództwie OpenAI i kierunku rozwoju zaawansowanej AI, i stawał się coraz bardziej nieufny wobec Sama Altmana i Brockmana.

Jednocześnie zaczął prywatnie organizować działania z grupą badaczy, którzy chcieli kłaść większy nacisk na ryzyko związane z potężnymi systemami AI. Poza normalną strukturą firmy, ci ludzie komunikowali się i odbywali spotkania, a niektórzy współpracownicy nazywali tę frakcję "małym kręgiem Dario".

Wewnętrzne konflikty ostatecznie osiągnęły etap, którego nie można było uniknąć.

W 2020 roku Dario zaczął gromadzić zespół gotowy opuścić OpenAI i rozwijać zaawansowane badania nad AI w oparciu o inną filozofię bezpieczeństwa. Daniela stała się jedną z centralnych postaci tego odejścia i była odpowiedzialna za negocjacje z OpenAI, podczas gdy zespół przygotowywał się do wyjścia.

Ten rozłam był później prywatnie nazywany przez wtajemniczonych "rozwodem".

Jedno odejście dało początek gigantowi AI

W grudniu 2020 roku rodzeństwo Amodei formalnie opuściło OpenAI i współzałożyło Anthropic.

Jack Clark, Sam McCandlish, Tom Brown, Chris Olah i Jared Kaplan również uczestniczyli w założeniu firmy, a Ben Mann został później uznany za kolejnego współzałożyciela.

Anthropic początkowo było tylko małą instytucją badawczą skupioną na bezpieczeństwie AI. Następnie firma stopniowo rozrosła się do tysięcy pracowników i stała się jednym z najważniejszych konkurentów OpenAI.

Daniela Amodei obecnie pełni funkcję prezesa i przewodniczącej zarządu Anthropic, a jej uprawnienia obejmują większość badań, inżynierii, produktu i operacji biznesowych. Holden Karnofsky, który kiedyś był członkiem non-profit zarządu OpenAI, później również dołączył do Anthropic.

Od używania pluszowych zabawek do symulowania menedżerów, po obecny rozwój w giganta AI z tysiącami pracowników, ten epizod był również świadkiem drogi Anthropic od startupu do dojrzałości.