„Z perspektywy globalnej alokacji zasobów sytuacja, w której wszyscy gromadzą deficytową pamięć DRAM we własnych komputerach, przez większość czasu bezczynną, jest «całkiem okropnym» rozwiązaniem; pamięć powinna być skoncentrowana w chmurowych centrach danych”.
Naprawdę to powiedział.
W ten czwartek, w wywiadzie dla kanału YouTube Cheeky Pint, CEO OpenAI Sam Altman przez cały czas pił piwo, w swobodnej atmosferze rozmawiał o lokalnym wnioskowaniu dużych modeli AI i wynikającym z tego problemie niewystarczającej pamięci w domowych komputerach, i mimochodem rzucił bombę.
Jak wiadomo, wywołany obecną globalną falą AI wzrost cen pamięci sprawił, że ceny komputerów PC i smartfonów już poszybowały w górę, stając się nieosiągalne dla indywidualnych konsumentów. Jednocześnie rozbudowa mocy produkcyjnych przez głównych producentów pamięci zajmie trochę czasu. Właśnie gdy wiodące firmy AI zgarniają lwią część pamięci, zaczęły już dyskutować, czy pamięć w komputerach osobistych jest w pełni wykorzystywana.
Altman wspomniał o hipotetycznym scenariuszu, w którym ludzie mogliby uruchamiać lokalną AI na własnych komputerach — komputerach, które mogą już posiadać, lub tych, które chcą zbudować z powodu rozwoju technologii dużych modeli AI. Uważa, że to zły pomysł.
„Z perspektywy globalnej alokacji zasobów pozostawianie przez wszystkich ograniczonej na świecie pamięci DRAM bezczynnie we własnych komputerach, z wykorzystaniem zaledwie 5%, jest w rzeczywistości całkiem okropne” — powiedział Altman. „Jeśli chcesz działać w środowisku, w którym podaż tego zasobu jest niezwykle napięta, to w chmurze powinieneś maksymalizować wykorzystanie zasobów. Ale z jakiegoś powodu intuicja wielu ludzi jest dokładnie odwrotna”.
Dziś główna działalność OpenAI opiera się na modelach zamkniętych działających w centrach danych na dużą skalę, a jego obrona modelu biznesowego własnej firmy wywołała debatę w całej społeczności AI.
To wzbudziło również obawy wielu osób: w przyszłości posiadanie własnego sprzętu lub oprogramowania może stać się jeszcze trudniejsze, a będziemy mogli jedynie rozważać wynajem chmurowych agentów i komputerów.
Chociaż pamięć używana w zwykłych komputerach PC, smartfonach i kartach akceleratorów AI nie jest taka sama, ich produkcja konkuruje o pewne moce produkcyjne na wyższym szczeblu waferów. Altman omawia alokację globalnych zasobów DRAM, a jeśli chodzi o to, kto ma prawo decydować, gdzie zostaną wykorzystane moce produkcyjne pamięci, przez większość czasu naturalnie jest to klient składający większe zamówienie.
Niektóre poglądy Altmana opierają się na założeniu, że budowa centrów danych nie zwolni. Zakłada również, że pamięć wykorzystywana całodobowo dla centrów danych AI jest cenniejsza niż pamięć używana do arkuszy kalkulacyjnych, przeglądania stron internetowych, gier, a nawet okazjonalnej lokalnej AI.
W rzeczywistości ten wywiad był bardzo długi, a Altman mówił także o luce w PHP, która wywołała globalną panikę w ciągu ostatnich dwóch tygodni, piaskownicach do trenowania modeli oraz badaniach AI w matematyce.
Zobaczmy, co głównie powiedział:
AI wywołuje falę podatności
W kwestii ogromnej podatności PHP ocena Altmana jest następująca: zdolność dużych modeli do wykrywania podatności stale i szybko rośnie, a powierzchnia kodu w internecie jest niezwykle rozległa. Kiedy ludzie zaczną systematycznie używać AI do skanowania całego kodu, „znajdziemy się w świecie, w którym poważne podatności znacznie przewyższą oczekiwania”. Uważa, że samo łatanie nie wystarczy i że architektury trzeba odbudować — routery, systemy operacyjne i warstwy aplikacji muszą zostać przeprojektowane dla świata, w którym „podatności staną się coraz bardziej inteligentne”. Dwa lata temu „przepisanie całego stosu technologicznego” wciąż brzmiało szaleńczo; teraz pojawiły się już startupy dążące do zbudowania całkowicie nowych stosów.
Rzadko przedstawiał samokrytykę branży: „Nie sądzę, żebyśmy dobrze wyjaśnili ludziom, dlaczego wszystkie potencjalne ryzyka negatywne tej technologii są tego warte”. Powiedział, że narracja branży AI to kiepska sprzedaż — z jednej strony obiecuje wyleczenie raka i obniżenie kosztów, z drugiej maluje przyszłość bezrobocia, utraty kontroli i potrzeby silnych regulacji. Powtórzył, że OpenAI upiera się przy iteracyjnym wdrażaniu i konfrontowaniu się z nadwyżką zdolności, ponieważ „kilka mil kwadratowych ludzi w San Francisco” nie powinno podejmować wszystkich decyzji.
Zapytany, czy dla modeli można zbudować „więzienie o maksymalnym rygorze”, Altman udzielił pesymistycznej odpowiedzi: piaskownice są skuteczne tylko do pewnego stopnia, a monitorowanie (w tym przegląd łańcucha myśli i monitorowanie aktywacji) może pójść dalej, ale ostatecznie musi istnieć wysoki stopień zaufania do alignmentu.Zapytał w odpowiedzi: stając w obliczu modelu miliony razy mądrzejszego niż najzdolniejszy badacz bezpieczeństwa, zdolnego odkryć nową naukę, której ludzie jeszcze nie rozumieją, czy naprawdę odważyłbyś się zaufać tej piaskownicy?
Wyraźnie powiedział, że nienawidzi terminu „roje agentów”, ponieważ rój przywodzi na myśl szarańczę, i upierał się przy nazywaniu ich zespołami agentów. Uważa, że wzajemne kontrole i równowaga między zespołami odpowiadają dokładnie mechanizmowi osiągania odporności poprzez pluralizm i że jest to kierunek bezpieczeństwa wart realizacji.
Eksplozja inteligencji i koszt odkryć naukowych
Altman nakreślił krzywą: w erze GPT-4 trudno było efektywnie wydać nawet 1 dolara mocy obliczeniowej na pojedynczy problem; łańcuch myśli pozwolił modelom „intensywnie myśleć”, a teraz możemy uruchomić cały zespół agentów równolegle dziesiątki tysięcy razy. Luka w użyciu między zwykłymi użytkownikami a najbardziej zaawansowanymi użytkownikami stale się powiększa.
O tym, jak OpenAI przydziela moc obliczeniową wewnętrznie, powiedział, że pracownicy cieszą się dużą swobodą, ale wysokie zużycie tokenów nigdy nie jest nagradzane: „Bycie wysoko na liście liderów tokenów jest właściwie trochę krępujące; z pewnością nie jest powodem do awansu”. Poddał przykład dowodu równań Naviera-Stokesa: pojedynczy dowód kosztował około 10 milionów dolarów, a w tym okresie sprawy „wymknęły się spod kontroli na tydzień”, ponieważ wówczas nikt nie wiedział nic o prawach skalowania zespołów agentów. Ale oczekuje, że rok później, dzięki mądrzejszym modelom i metodom, można by to powtórzyć za 1/100 kosztu.
Rzadko też okazywał emocje: sytuacja w tamtym czasie była naprawdę niewiarygodna. W weekend, gdy wewnętrznie uruchomiono pewien nowy model, wszyscy rzucili na model wszelkiego rodzaju najtrudniejsze problemy, a on faktycznie rozwiązał je jeden po drugim. Ludzie w ogóle nie spodziewali się, że model będzie w stanie to zrobić. Wspólnie byli świadkami, jak wiele najtrudniejszych problemów badawczych w karierze akademickiej ludzi zostało rozwiązanych jeden po drugim przez ten model, obejmujących wiele różnych dziedzin, a scena była po prostu zdumiewająca.
„Przez dwie noce ledwo spałem, bo byłem tak podekscytowany, że po prostu nie mogłem zasnąć. Wiele wyników, które później opublikowaliśmy, to w rzeczywistości problemy rozwiązane w tamtym czasie”.
Wtedy Altman czuł się niezwykle podekscytowany i szczęśliwy, jednocześnie doświadczając nieoczekiwanego smutku, melancholii i poczucia, że „pewna era dobiega końca”. To nie była tylko nostalgia, ale także empatia wobec ducha naukowców „usłyszeć Drogę rano, umrzeć zadowolonym wieczorem”. Utrzymuje, że ludzkość zasługuje na dostęp do podstawowej wiedzy, ale branża jest winna praktykom w tych dziedzinach rozwiązanie.
Chociaż mówienie o superinteligencji jest jeszcze przedwczesne, Altman uważa, że bilion nieco ponadludzkich AI jest lepszy niż jedna o ilorazie inteligencji biliona:
„Znacznie chętniej intuicyjnie widziałbym bilion AI o nieco ponadludzkiej inteligencji dołączających do społeczeństwa niż jedną AI o ilorazie inteligencji biliona dołączającą do społeczeństwa”.
"Intuicyjnie wolałbym, aby do społeczeństwa dołączył bilion AI o nieco ponadludzkiej inteligencji, niż jedno AI o ilorazie inteligencji biliona."
Jego argument jest taki: silna odporność społeczeństwa wynika z dużej liczby członków, którzy się nawzajem kontrolują, równoważą i współpracują; świat "jednego mózgu" nie ma tego rodzaju elastyczności. Podkreśla jednak, że nie stanie się to automatycznie i musi być aktywnie promowane.
Czy regulacja rynkowa przestaje działać w erze AI?
W kwestii globalnego niedoboru pamięci Altman przedstawił plan OpenAI: własne chipy (poprawa wydajności inteligencji na wat), własne centra danych, projekty robotyczne oraz jeszcze odważniejszą koncepcję "samoreplikujących się centrów danych", które wykorzystywałyby AI do sterowania robotami obsługującymi fabryki, budującymi turbiny i panele słoneczne oraz konstruującymi centra danych. Stwierdził, że "to jest już w naszym zasięgu".
Zapytany, dlaczego "rynek sam się reguluje" materializuje się tak wolno, powiedział, że obecny postęp jest dość zły, i podał logikę zachowań producentów pamięci: ta branża od dawna jest trudnym biznesem polegającym na inwestowaniu 20 miliardów dolarów w capex, aby zarobić 1,9 miliarda, a historycznie giganci wielokrotnie byli blisko bankructwa z powodu nadmiernej rozbudowy fabryk. Dziś każda firma może zarobić około 100 miliardów dolarów wolnych przepływów pieniężnych rocznie, ale bolesne wspomnienia czynią je niezwykle konserwatywnymi w kwestii zwiększania produkcji. Twierdził zatem, że "niewidzialna ręka zawodzi teraz".
Rozróżnił dwa rodzaje zdolności w branży chipów: w przypadku litografii "wygląda na to, że tylko jedna firma na Ziemi wie, jak to zrobić", ale projektowanie chipów (pliki ostatecznie wysyłane do fabryki) jest już doskonałym przypadkiem użycia AI.
Mówiąc o rzeczywistym poziomie rekurencyjnego samodoskonalenia (RSI), Altman powiedział, że modele potrafią już wykonywać zadania takie jak "znalezienie 5% poprawy wydajności obliczeniowej", ale nikt jeszcze nie wie, jak sprawić, by AI odkryła nową architekturę na poziomie transformera; brakuje mądrzejszych modeli. Przewidział nawet, że społeczeństwo może potrzebować na pewien czas zgodzić się na ograniczenie ilorazu inteligencji pojedynczego modelu, "a jeśli przyszły postęp będzie niewystarczający, będzie to wynikać z tej decyzji, a nie ze zdolności AI do prowadzenia badań".
Przedstawił swoją deflacyjną wiarę: obecny pięcioletni całkowity koszt posiadania każdego GW wiodącej mocy obliczeniowej AI wynosi około 70 miliardów dolarów, a byłoby jeszcze lepiej, gdyby mógł spaść do 20 miliardów, podczas gdy modele wciąż muszą poprawiać wydajność o kolejne 10x każdego roku. Ścieżką do osiągnięcia tego jest uczynienie energii tańszą i skompresowanie skumulowanych marż między "od piasku do wyjściowych tokenów".
W kwestii niepokoju przedsiębiorstw dotyczącego budżetów tokenów uważa, że bardziej powszechnym problemem dzisiaj nie jest zbyt częste używanie AI, lecz zbyt rzadkie.
Jak powinny być wyceniane osobiste agenty?
W kwestii niedawno popularnych produktów osobistych agentów (takich jak Muse) obecny osąd Altmana jest taki, że "moment Macintosha jeszcze nie nadszedł". Ludzie lubią te produkty, ale nie osiągnęły jeszcze punktu "nie wyobrażam sobie życia bez tego". Zwycięska forma będzie przypominać obecne produkty, ale "po prostu będzie działać", niezawodnie i zdolnie do obsługi bardziej złożonych zadań. Co do gry w kotka i myszkę dotyczącej korzystania z komputera, uważa, że ostatecznie zbiegnie się to do tego, że "masz prawo pozwolić AI obsługiwać swój własny komputer w swoim imieniu".
W kwestii komercjalizacji agentów Altman uważa, że przedsiębiorstwa kurczowo trzymają się wyskakujących okienek AI i HTML wewnątrz własnych produktów, obawiając się utraty relacji z klientami, ale konsumenci chcą, aby AI robiła wszystko w ich imieniu w ich głównej aplikacji do czatu. Uważa, że prawdziwa fosa pochodzi z marki, wyboru produktu i sieci realizacji, a nie z HTML. Sam zaoferował, że wybiera Amazon Pay 10 razy na 10, nawet po wyższej cenie, i chwalił sieć realizacji Amazona, przyznając jednocześnie, że platformy partnerskie w ChatGPT nie są wystarczająco dobre. Nazwał też wszystkie formularze internetowe "fałszywą pracą" i porównał teraźniejszość do ery App Store w tamtym czasie.
Właśnie z tego powodu, projektując cennik, OpenAI niemal poszło za AWS, wyceniając według zadania i całkowicie rezygnując z rozliczania opartego na tokenach, ale napotkało silny sprzeciw klientów: "Muszę wiedzieć, za co płacę", nawet jeśli płacą więcej, chcą zrozumiałej jednostki tokenów.
Treści referencyjne:
https://www.tomshardware.com/tech-industry/data-centers/openai-ceo-says-its-quite-terrible-for-your-pc-to-have-ram-sam-altman-says-data-centers-offer-better-utilization
https://www.youtube.com/watch?v=iMsUcCYNKqY
Ten artykuł pochodzi z publicznego konta WeChat "Machine Heart" (ID: almosthuman2014), autor: Zenan
