„Aus der Perspektive der globalen Ressourcenallokation ist es eine ‚ziemlich schreckliche‘ Anordnung, dass alle knappen DRAM in ihren eigenen Computern horten, die die meiste Zeit im Leerlauf sind; Speicher sollte in Cloud-Rechenzentren konzentriert werden.“
Er hat es wirklich angesprochen.
Diesen Donnerstag sprach Sam Altman, CEO von OpenAI, in einem Interview mit dem YouTube-Kanal Cheeky Pint durchgehend Bier trinkend in entspannter Atmosphäre über lokale Inferenz großer KI-Modelle und das daraus resultierende Problem unzureichenden Speichers in Heimcomputern und ließ dabei beiläufig eine Bombe platzen.
Wie wir wissen, hat der durch die aktuelle globale KI-Welle ausgelöste Speicherpreisanstieg bereits dazu geführt, dass die Preise für PCs und Smartphones in die Höhe geschossen sind und für einzelne Verbraucher unerschwinglich geworden sind. Gleichzeitig wird die Kapazitätserweiterung der großen Speicherhersteller noch eine Weile dauern. Gerade als die führenden KI-Unternehmen den Löwenanteil des Speichers für sich beanspruchen, haben sie bereits begonnen zu diskutieren, ob der Speicher in Personalcomputern vollständig genutzt wird.
Altman erwähnte ein hypothetisches Szenario, in dem Menschen lokale KI auf ihren eigenen Computern ausführen könnten – Computer, die sie möglicherweise bereits besitzen oder die sie aufgrund des Aufstiegs der Technologie großer KI-Modelle bauen möchten. Er hält dies für eine schlechte Idee.
„Aus der Perspektive der globalen Ressourcenallokation ist es tatsächlich ziemlich schrecklich, wenn alle den weltweit begrenzten DRAM mit nur 5 % Auslastung in ihren eigenen Computern im Leerlauf lassen“, sagte Altman. „Wenn man in einem Umfeld operieren möchte, in dem dieses Ressourcenangebot extrem knapp ist, dann sollte man in der Cloud die Ressourcenauslastung maximieren. Aber aus irgendeinem Grund ist die Intuition vieler Menschen genau das Gegenteil.“
Heute basiert das Kerngeschäft von OpenAI auf Closed-Source-Modellen, die in großen Rechenzentren laufen, und seine Verteidigung des Geschäftsmodells seines Unternehmens hat eine Debatte in der gesamten KI-Community ausgelöst.
Dies hat auch bei vielen Bedenken ausgelöst: In Zukunft könnte es für uns noch schwieriger werden, unsere eigene Hardware oder Software zu besitzen, und wir könnten nur noch in Betracht ziehen, cloudbasierte Agenten und Computer zu mieten.
Obwohl der in gewöhnlichen PCs, Smartphones und KI-Beschleunigerkarten verwendete Speicher nicht derselbe ist, konkurrieren ihre Produktion um einen Teil der vorgelagerten Wafer-Kapazität. Altman diskutiert die Allokation globaler DRAM-Ressourcen, und wenn es darum geht, wer das Recht hat zu entscheiden, wo Speicherkapazität eingesetzt wird, ist es die meiste Zeit natürlich der Kunde, der die größere Bestellung aufgibt.
Einige von Altmans Ansichten beruhen auf der Annahme, dass sich der Bau von Rechenzentren nicht verlangsamen wird. Er geht außerdem davon aus, dass rund um die Uhr für KI-Rechenzentren genutzter Speicher wertvoller ist als Speicher, der für Tabellenkalkulationen, Webbrowsing, Gaming oder sogar gelegentliche lokale KI verwendet wird.
Tatsächlich war dieses Interview sehr lang, und Altman sprach auch über die PHP-Schwachstelle, die in den vergangenen zwei Wochen weltweit Panik ausgelöst hat, über Sandboxing für das Training von Modellen und über KI-Forschung in der Mathematik.
Sehen wir uns an, was er hauptsächlich gesagt hat:
KI löst eine Welle von Schwachstellen aus
In Bezug auf die enorme PHP-Schwachstelle lautet Altmans Einschätzung: Die Fähigkeit großer Modelle, Schwachstellen zu entdecken, verbessert sich weiterhin rasant, und die Codeoberfläche im Internet ist extrem riesig. Wenn Menschen beginnen, KI systematisch zum Scannen des gesamten Codes einzusetzen, „werden wir uns in einer Welt wiederfinden, in der ernste Schwachstellen die Erwartungen bei Weitem übertreffen.“ Er ist der Ansicht, dass das bloße Patchen nicht ausreicht und dass Architekturen neu aufgebaut werden müssen – Router, Betriebssysteme und Anwendungsebenen müssen alle für eine Welt neu gestaltet werden, in der „Schwachstellen zunehmend intelligent werden.“ Vor zwei Jahren klang „den gesamten Tech-Stack neu zu schreiben“ noch verrückt; heute gibt es bereits Start-ups, die darauf abzielen, völlig neue Stacks aufzubauen.
Er bot selten Industriekritik an sich selbst: „Ich glaube nicht, dass wir den Menschen gut erklärt haben, warum all die potenziellen Abwärtsrisiken dieser Technologie es wert sind.“ Er sagte, die Erzählung der KI-Branche sei ein schlechter Verkaufsargument – einerseits verspreche man, Krebs zu heilen und Kosten zu senken, andererseits zeichne man eine Zukunft von Arbeitslosigkeit, Kontrollverlust und der Notwendigkeit starker Regulierung. Er bekräftigte, dass OpenAI auf iterativer Bereitstellung und der Konfrontation mit Capability Overhang beharrt, weil „ein paar Quadratmeilen Menschen in San Francisco“ nicht alle Entscheidungen treffen sollten.
Auf die Frage, ob ein „Hochsicherheitsgefängnis“ für Modelle gebaut werden könne, gab Altman eine pessimistische Antwort: Sandboxes seien nur bis zu einem gewissen Grad wirksam, und Überwachung (einschließlich Überprüfung der Gedankenkette und Aktivierungsüberwachung) könne weiter gehen, aber letztlich müsse es ein hohes Maß an Vertrauen in Alignment geben.Er fragte zurück: Wenn man einem Modell gegenübersteht, das millionenfach intelligenter ist als der intelligenteste Sicherheitsforscher, eines, das neue Wissenschaft entdecken kann, die Menschen noch nicht verstehen – würdest du wirklich wagen, dieser Sandbox zu vertrauen?
Er sagte ausdrücklich, dass er den Begriff „Agent Swarms“ hasse, weil Swarm Heuschrecken hervorrufe, und bestand darauf, sie Agent Teams zu nennen. Er glaubt, dass die gegenseitigen Kontrollen und Gleichgewichte zwischen Teams genau dem Mechanismus entsprechen, Robustheit durch Pluralismus zu erreichen, und dass dies eine Sicherheitsrichtung ist, die es wert ist, verfolgt zu werden.
Die Intelligenzexplosion und die Kosten wissenschaftlicher Entdeckungen
Altman skizzierte eine Kurve: In der GPT-4-Ära war es schwer, auch nur 1 Dollar Rechenleistung effektiv für ein einzelnes Problem auszugeben; die Gedankenkette ermöglichte es Modellen, „hart nachzudenken“, und jetzt können wir ein ganzes Agent Team parallel zehntausendfach laufen lassen. Die Nutzungslücke zwischen gewöhnlichen Nutzern und den fortgeschrittensten Nutzern wird ständig größer.
Zur internen Rechenleistungszuweisung bei OpenAI sagte er, die Mitarbeiter genössen große Freiheit, aber hoher Token-Verbrauch werde niemals belohnt: „Auf der Token-Bestenliste hoch zu stehen, ist tatsächlich ein wenig peinlich; es ist sicherlich kein Grund für eine Beförderung.“ Er nahm den Beweis der Navier-Stokes-Gleichungen als Beispiel: Ein einzelner Beweis kostete etwa 10 Millionen Dollar, und in dieser Zeit „geriet es eine Woche lang außer Kontrolle“, weil damals niemand etwas über die Skalierungsgesetze von Agent Teams wusste. Aber er erwartet, dass es ein Jahr später mit intelligenteren Modellen und Methoden zu 1/100 der Kosten wiederholt werden könnte.
Er zeigte auch selten Emotionen: Die Situation damals war wirklich unglaublich. Am Wochenende, als ein bestimmtes neues Modell intern eingeführt wurde, warfen alle dem Modell alle möglichen härtesten Probleme entgegen, und es löste sie tatsächlich eines nach dem anderen. Die Leute hatten überhaupt nicht erwartet, dass das Modell diese Dinge tun könnte. Gemeinsam erlebten sie, wie viele der härtesten wissenschaftlichen Forschungsprobleme in den akademischen Karrieren der Menschen nacheinander von diesem Modell gelöst wurden, mehrere verschiedene Bereiche abdeckend, und die Szene war einfach erstaunlich.
„Zwei Nächte lang habe ich kaum geschlafen, weil ich so aufgeregt war, dass ich einfach nicht schlafen konnte. Viele der Ergebnisse, die wir später veröffentlichten, waren tatsächlich die Probleme, die damals gelöst wurden.“
Damals fühlte sich Altman extrem aufgeregt und glücklich, während er gleichzeitig eine unerwartete Traurigkeit, Melancholie und ein Gefühl von „eine Ära geht zu Ende“ erlebte. Es war nicht nur Nostalgie, sondern auch Empathie für den Geist menschlicher Wissenschaftler, „am Morgen den Weg zu hören und am Abend zufrieden zu sterben.“ Er besteht darauf, dass die Menschheit Zugang zu grundlegendem Wissen verdient, aber die Branche schuldet den Praktikern in diesen Bereichen eine Lösung.
Obwohl es noch zu früh ist, über Superintelligenz zu sprechen, glaubt Altman, dass eine Billion leicht übermenschlicher KIs besser ist als eine mit einem IQ von einer Billion:
„Ich würde viel lieber intuitiv eine Billion KIs mit leicht übermenschlicher Intelligenz in die Gesellschaft aufnehmen als eine KI mit einem IQ von einer Billion in die Gesellschaft aufzunehmen.“
„Intuitiv würde ich lieber eine Billion KIs mit leicht übermenschlicher Intelligenz in die Gesellschaft aufnehmen als eine KI mit einem IQ von einer Billion.“
Sein Argument lautet: Die starke Robustheit der Gesellschaft rührt daher, dass eine große Zahl von Mitgliedern sich gegenseitig kontrolliert, ausgleicht und zusammenarbeitet; eine Welt des „Einzelgehirns“ besitzt diese Art von Widerstandsfähigkeit nicht. Er betont jedoch, dass dies nicht automatisch geschehen wird und aktiv gefördert werden muss.
Funktioniert die Marktregulierung im KI-Zeitalter nicht mehr?
In Bezug auf die globale Speicherknappheit stellte Altman das Engagement von OpenAI vor: selbst entwickelte Chips (Verbesserung der Intelligenzleistung pro Watt), selbst gebaute Rechenzentren, Robotikprojekte und ein noch kühneres Konzept, „selbstreplizierende Rechenzentren“, die KI nutzen würden, um Roboter zu steuern, die Fabs betreiben, Turbinen und Solarpaneele bauen und Rechenzentren errichten. Er erklärte, dass „dies bereits in unserer Reichweite liegt“.
Auf die Frage, warum „der Markt reguliert sich selbst“ so langsam Wirklichkeit werde, sagte er, der aktuelle Fortschritt sei ziemlich schlecht, und erläuterte die Verhaltenslogik der Speicherhersteller: Diese Branche sei lange ein hartes Geschäft gewesen, bei dem man 20 Milliarden Dollar an Capex investiert, um 1,9 Milliarden Dollar zu verdienen, und historisch seien die Giganten wiederholt wegen Überbauung von Fabriken kurz vor dem Bankrott gestanden. Heute könne jedes Unternehmen etwa 100 Milliarden Dollar freien Cashflow pro Jahr erwirtschaften, aber schmerzhafte Erinnerungen machten sie bei der Produktionserweiterung äußerst konservativ. Daher behauptete er, dass „die unsichtbare Hand jetzt versagt“.
Er unterschied zwei Arten von Fähigkeiten in der Chipindustrie: Bei der Lithografie „scheint nur ein Unternehmen auf der Erde zu wissen, wie es geht“, aber das Chipdesign (die Dateien, die letztlich an die Fab geschickt werden) sei bereits ein hervorragender Anwendungsfall für KI.
Über das tatsächliche Niveau der rekursiven Selbstverbesserung (RSI) sprach Altman davon, dass Modelle heute Aufgaben wie „eine 5-prozentige Verbesserung der Recheneffizienz finden“ erledigen können, aber noch niemand wisse, wie man KI dazu bringt, eine neue Architektur auf dem Niveau des Transformers zu entdecken; was fehle, seien intelligentere Modelle. Er sagte sogar voraus, dass die Gesellschaft möglicherweise für eine gewisse Zeit vereinbaren müsse, den IQ eines einzelnen Modells zu begrenzen, „und wenn der künftige Fortschritt unzureichend ist, wird das auf diese Entscheidung zurückzuführen sein, nicht auf die Fähigkeit der KI, Forschung zu betreiben“.
Er legte seinen deflationären Glauben dar: Die derzeitigen fünfjährigen Gesamtbetriebskosten für jedes GW führender KI-Rechenleistung betragen etwa 70 Milliarden Dollar, und es wäre noch besser, wenn sie auf 20 Milliarden Dollar sinken könnten, während die Modelle ihre Leistung noch jedes Jahr um das Zehnfache steigern müssen. Der Weg dahin besteht darin, Energie billiger zu machen und die gestapelten Margen zwischen „vom Sand bis zu den Ausgabe-Tokens“ zu komprimieren.
In Bezug auf die Angst von Unternehmen wegen Token-Budgets glaubt er, dass das heute häufigere Problem nicht der zu häufige Einsatz von KI ist, sondern der zu seltene.
Wie sollten persönliche Agenten bepreist werden?
In Bezug auf die kürzlich populären persönlichen Agentenprodukte (wie Muse) lautet Altmans aktuelle Einschätzung, dass „der Macintosh-Moment noch nicht gekommen ist“. Die Leute mögen diese Produkte, aber sie hätten noch nicht den Punkt erreicht, an dem „ich mir ein Leben ohne sie nicht mehr vorstellen kann“. Die siegreiche Form werde aktuellen Produkten ähneln, aber „es wird einfach funktionieren“, zuverlässig sein und komplexere Aufgaben bewältigen können. Was das Katz-und-Maus-Spiel bei der Computernutzung angeht, glaubt er, dass es sich letztlich so weit annähern wird, dass „Sie das Recht haben, die KI in Ihrem Namen Ihren eigenen Computer bedienen zu lassen“.
In Bezug auf die Kommerzialisierung von Agenten glaubt Altman, dass Unternehmen an den KI-Pop-ups und HTML innerhalb ihrer eigenen Produkte festhalten und den Verlust von Kundenbeziehungen fürchten, aber Verbraucher wollen, dass KI alles in ihrem Namen innerhalb ihrer Haupt-Chat-Anwendung erledigt. Er glaubt, dass der wahre Burggraben aus Marke, Produktauswahl und Fulfillment-Netzwerken kommt, nicht aus HTML. Er erklärte unaufgefordert, dass er sich 10 von 10 Mal für Amazon Pay entscheide, selbst zu einem höheren Preis, und lobte das Fulfillment-Netzwerk von Amazon, während er einräumte, dass die Partnerplattformen innerhalb von ChatGPT nicht gut genug seien. Er nannte außerdem alle Webformulare „Fake-Arbeit“ und verglich die Gegenwart mit der App-Store-Ära damals.
Genau aus diesem Grund folgte OpenAI bei der Gestaltung der Preisgestaltung fast AWS und bot nach Aufgaben an und verzichtete vollständig auf tokenbasierte Abrechnung, stieß jedoch auf starken Widerstand von Kunden: „Ich muss wissen, wofür ich bezahle“, selbst wenn sie mehr zahlen, wollen sie die verständliche Einheit der Tokens.
Referenzinhalt:
https://www.tomshardware.com/tech-industry/data-centers/openai-ceo-says-its-quite-terrible-for-your-pc-to-have-ram-sam-altman-says-data-centers-offer-better-utilization
https://www.youtube.com/watch?v=iMsUcCYNKqY
Dieser Artikel stammt vom WeChat-öffentlichen Konto „Machine Heart“ (ID: almosthuman2014), Autor: Zenan
