Minęły zaledwie dwa miesiące od wydania GPT-6 Astra, a GPT-6.2 Astra już majaczy na horyzoncie.
A jednak branża inteligencji ucieleśnionej jeszcze nie otrząsnęła się po poprzednim ciosie.
Wszystko stało się tak nagle i zaskoczyło ludzi znienacka.
Pamiętam jeszcze, że gdy GPT-6 Astra po raz pierwszy się pojawił, grupa praktyków AI ucieleśnionej zamarła. Zwłaszcza inżynierowie pracujący na pierwszej linii nad wstępnym trenowaniem drżeli o swoje posady.
Niedawno w branży zaczęły krążyć wieści, że niektóre firmy zajmujące się inteligencją ucieleśnioną zaczęły redukować stanowiska algorytmiczne.
Zdolności, które kiedyś wymagały ogromnej ilości danych, mocy obliczeniowej i inżynierów algorytmów, by je
Diandian
wypracować, GPT-6 Astra potrafi pokazać w niektórych testach bez dodatkowego dostrajania do konkretnych zadań.
Jak ludzie mają jeszcze konkurować???
Inżynier pracujący nad rozwojem modeli w firmie robotycznej powiedział Quantum位:
W porównaniu z faktem, że inteligencja ucieleśniona wciąż nie doczekała się przełomu na poziomie nowego paradygmatu, ogólne duże modele reprezentowane przez Astrę uderzają w branżę ucieleśnioną wertykalnie poprzez kodowanie. To jest prawdziwy wstrząs.
Presja wywołana tym wstrząsem nie pochodzi wyłącznie z Doliny Krzemowej.
W porównaniu z postępem technologicznym zagranicznych firm zajmujących się dużymi modelami, takich jak OpenAI, krajowe firmy ucieleśnione są bardziej wrażliwe na kolejne posunięcia lokalnych graczy dużych modeli.
Kimi
,
DeepSeek
, Zhipu... Te nazwy stają się zmiennymi, na które branża ucieleśniona musi zwracać uwagę.
W niedawno popularnej ewaluacji RoboDojo coraz więcej zespołów zaczęło również próbować wprowadzać ogólne duże modele (takie jak GPT-6 Astra) do własnych systemów robotycznych, z silną generalizacją i zdumiewającymi możliwościami.
Według Chen Tianxinga, pierwszego autora benchmarku ewaluacyjnego RoboTwin/RoboDojo, niektóre zespoły, które początkowo upierały się przy trenowaniu natywnych ucieleśnionych modeli bazowych, teraz również zaczynają zgłaszać rozwiązania łączące technologie takie jak Robot-Use-Agent (RUA), wykorzystując ogólne duże modele do realizacji zadań robotycznych.
Efekt jest dość bezpośredni. Modele, które początkowo zdobywały tylko 20 lub 30 punktów, po połączeniu z rozwiązaniami związanymi z Astrą mogą poprawić swoje wyniki ewaluacji do 50 lub 60 punktów.
Wyniki na liście rankingowej wzrosły, ale firmy ucieleśnione mają w głowach tylko jedną myśl:
Czy nadal trzeba rozwijać modele we własnym zakresie... (płacz)
Jako doktorant w kierunku inteligencji ucieleśnionej w MMLab Uniwersytetu w Hongkongu, Chen Tianxing uczestniczył w pisaniu raportu z oceny i ewaluacji RoboDojo dotyczącego GPT-6 Astra (zwanego dalej „raportem”).
△Wczesny raport z oceny zespołu RoboDojo dotyczący GPT-6 Astra
Wspominając pewien dzień w połowie września, Chen Tianxing powiedział Quantum位, że gdy jego partnerzy przynosili mu kolejno wyniki testów, przez kilka sekund był oszołomiony:
Widać, że jego wpływ na rekonstrukcję 3D, matematykę i różne inne dziedziny jest bezprecedensowy.
Przerażające, naprawdę całkiem przerażające.
Wszyscy byli oszołomieni przez GPT-6
„Ucieleśnione modele wewnętrzne wciąż dodają 0,1 i 0,2 punktu do 80 punktów, podczas gdy GPT-6 Astra przeskoczył już z 80 punktów do 90 punktów za jednym razem.”
To obrazowa analogia, której Chen Tianxing użył, podsumowując tę ocenę.
Jeszcze bardziej uderzające jest to, że w niektórych testach Astra nie przeszła nawet dodatkowego treningu dostrajającego dla konkretnych zadań, ani nie wykorzystywała demonstracji zadań; opierając się wyłącznie na instrukcjach językowych, była w stanie wykonać całkiem sporo zadań manipulacji robotycznej.
Najbardziej zaskoczyło go to, że Astra nagle wykazała trzy zdolności, które modele ucieleśnione wcześniej musiały skupiać się na przezwyciężaniu.
Pierwszą jest ICL (In-Context Learning).
Mówiąc prościej, pozwala robotowi szybko nauczyć się nowego zadania dzięki niewielkiej ilości informacji kontekstowych.
Na przykład, jeśli człowiek nagra wideo, na którym wykonuje jakąś operację, i doda opisy tekstowe, robot może zrozumieć, jak człowiek to zrobił, i spróbować odtworzyć to ramieniem robota.
W lipcu tego roku ICL był jeszcze dość popularnym kierunkiem badań w społeczności ucieleśnionej AI. Powszechnym paradygmatem jest demonstrowanie ludzkich operacji i skłanianie robota do ich naśladowania w celu nabycia nowych umiejętności — tak zwane jednorazowe uczenie w kontekście.
Jednak społeczność odkryła, że dostarczenie Astra demonstracji obrazowych lub tekstowych może przynieść wyższy wskaźnik sukcesu niż niedostarczanie demonstracji.
Jeszcze bardziej zaskakująca była jego zdolność adaptacji online. Badacze celowo zmienili widok kamery i układ współrzędnych działań, a Astra była w stanie dostosować swoją strategię po kilku rundach prób na podstawie rzeczywistych wyników wykonania, pomyślnie kończąc zadanie.
Innymi słowy, potrafi nie tylko rozumieć kontekst, ale także korygować się podczas działania.
Zdaniem Chen Tianxinga wynika to z tego, że modele ogólne same w sobie mają silne zdolności rozumienia kontekstu. Podczas zwykłej rozmowy potrafi zapamiętać wcześniejszą historię rozmowy; otrzymawszy wideo, potrafi również zrozumieć związek między treścią wideo a tekstem.
Przeniesienie tych zdolności do manipulacji robotycznej oznacza, że problem ICL, który pierwotnie wymagał dedykowanych badań, nagle ma gotowe rozwiązanie.
Drugą jest generalizacja OOD (Out-of-Distribution) i zdolność korekcji.
W rzeczywistych środowiskach roboty łatwo napotykają sytuacje wykraczające poza ich dane treningowe.
Na przykład ramię robota ma właśnie chwycić kubek, ale kubek zostaje nagle potrącony i zmienia położenie.
Model nadmiernie polegający na danych treningowych może nadal wykonywać ruch po pierwotnej trajektorii i ostatecznie chwycić w próżnię.
Astra może jednak dostosować swoje działania na podstawie zmienionych informacji wizualnych i podjąć próbę uchwycenia obiektu.
Brzmi to jak drobne działanie, ale kryje się za nim pytanie, czy robot potrafi dostosować się do rzeczywistego świata.
W końcu w rzeczywistym świecie nikt nie jest odpowiedzialny za odkładanie każdej filiżanki z powrotem na jej pozycję z czasu treningu.
Trzecia to manipulacja z otwartym słownikiem.
Ta zdolność obejmuje dopasowanie między językiem a działaniami.
Na przykład, jeśli użytkownik sformułuje żądanie operacji na różne sposoby, robot nadal potrafi je zrozumieć i wykonać.
W przeszłości często występował rozdźwięk między rozumieniem języka a wykonywaniem działań, a modele ucieleśnione wymagały treningu po wstępnym szkoleniu dla konkretnych zadań, aby lepiej osiągnąć dopasowanie.
Jednak Astra wykazała silniejsze możliwości w tym zakresie. W niektórych testach, nawet bez dodatkowego treningu po wstępnym szkoleniu i demonstracji dla konkretnych zadań, potrafiła wykonać całkiem sporo zadań manipulacji robotycznej wyłącznie na podstawie instrukcji językowych.
W opinii Chen Tianxinga, powyższe trzy były niegdyś niezwykle istotnymi tezami technologicznymi w dziedzinie ucieleśnionej AI, a w przeszłości każda z nich mogła zostać przedstawiona jako samodzielna historia startupu.
Teraz Astra rozwiązała wszystkie trzy naraz, co jest niemal wybuchowym wstrząsem dla pierwotnej ścieżki badawczo-rozwojowej modeli ucieleśnionych.
△Wyniki testów zero-shot na benchmarku RoboDojo-Sim nie oznaczają, że Astra potrafi już stabilnie wykonywać te zadania na rzeczywistych robotach.
W raporcie zespół RoboDojo zauważył, że testy Astry na rzeczywistych maszynach zostały kiedyś wstrzymane z powodu kwestii bezpieczeństwa.
Wysokie wyniki na symulacyjnej liście rankingowej nie mogą jeszcze być bezpośrednio utożsamiane z produktywnością w rzeczywistym świecie.
Ale to już wystarcza, aby firmy zajmujące się ucieleśnioną AI ponownie przeanalizowały swoje dotychczasowe inwestycje w badania i rozwój.
Dlaczego ogólny duży model, który pierwotnie nie był stworzony do manipulacji robotycznej, może szybko zbliżyć się do możliwości, które firmy ucieleśnione gromadziły przez lata?
To poniekąd niezamierzony sukces.
Chociaż ogólne duże modele nie zaczynały nauki robotyki od zera, wkroczyły do dziedziny robotyki, niosąc ze sobą szereg zdolności zgromadzonych podczas wstępnego szkolenia na dużą skalę, takich jak język, wizja, rozumowanie i kodowanie.
Te zdolności pierwotnie miały każde swoje zastosowanie, ale niespodziewanie, po zastosowaniu w robotach, można ich również bezpośrednio użyć.
W przeciwieństwie do tego, wiele firm ucieleśnionych trenuje mózgi robotów od zera, a dane, którymi dysponują, pochodzą głównie z samej manipulacji robotycznej.
Aby model rozumiał środowisko, rozumiał instrukcje i uczył się działań, wiele zdolności musi być
Diandian
wypracowanych z ograniczonych danych.
Jedno wkracza do robotyki z pełnym zestawem ogólnych zdolności, podczas gdy drugie wciąż inwestuje dane, moc obliczeniową i siłę roboczą osobno dla każdej zdolności.
W tym współzawodnictwie same linie startu są różne.
Czy nadal potrzebne są modele opracowywane samodzielnie?
GPT-6 Astra jest rzeczywiście bardzo silna, ale jeszcze nie na tyle silna, aby firmy ucieleśnione po prostu złożyły broń i się poddały.
Przynajmniej w prawdziwym świecie fizycznym wciąż jest wiele twardych orzechów do zgryzienia.
Xu Huazhe, założyciel Pokebot, dzieli zdolności inteligencji ucieleśnionej na trzy poziomy: semantyczne, przestrzenne i fizyczne uogólnienie.
Uważa, że Astra wypada znakomicie w pierwszych dwóch, ale wciąż staje przed wyzwaniami w złożonym kontakcie fizycznym, zmianach siły, deformacji obiektów i manipulacji o wysokiej precyzji.
Na przykład, pozwolenie robotowi, by wiedział, gdzie znajduje się kubek i że powinien wyciągnąć rękę, aby go chwycić, jest całkowicie czymś innym niż pozwolenie mu na stabilne chwycenie kubka.
Czy kubek jest miękki, czy twardy? Jaką siłę należy zastosować podczas chwytania? Jakie zmiany zachodzą po ściśnięciu lub zderzeniu obiektu?
Tych problemów nie da się rozwiązać jedynie poprzez rozumienie obrazu i pojmowanie instrukcji.
△Zrzut ekranu z raportu
Zespół RoboDojo również odkrył w swojej ocenie, że Astra nie wypada lepiej we wszystkich zadaniach.
Wyrównanie geometryczne i rozumienie instrukcji językowych to jej mocne strony, ale jeśli chodzi o ciągły kontakt i wieloetapową manipulację fizyczną, istniejące VLA wciąż mają dużo miejsca na poprawę.
Wang Qian, założyciel X Square Robot, stoi na stanowisku, że ogólne duże modele, aby wejść do ucieleśnionej AI, muszą wciąż zmierzyć się z kwestiami infrastrukturalnymi, takimi jak dane robotów, ocena w świecie rzeczywistym, sprzęt, symulacja i wdrożenie.
Te trudności nie znikną automatycznie tylko dlatego, że ktoś ma potężniejszy model językowy.
Pytanie brzmi, czy rzeczy, których Astra nie potrafi dziś dobrze wykonać, nagle staną się osiągalne jutro?
Obecnie inną powszechną krytyką Astry w branży jest to, że jej szybkość wnioskowania jest zbyt wolna.
Chen Tianxing również zauważył, że chmurowy interfejs API GPT-6 Astra ma stosunkowo wysokie opóźnienie wnioskowania, co jest rzeczywistą przeszkodą dla sterowania robotem w czasie rzeczywistym w pętli zamkniętej.
Pomyśl: gdyby robot musiał czekać, aż duży model myśli przez długi czas przed każdą akcją, prawdopodobnie trudno byłoby spełnić wymagania scenariuszy świata rzeczywistego.
Ale Chen Tianxing uważa, że ten problem nie jest fundamentalną barierą; istnieje już wiele istniejących rozwiązań wdrożeniowych LLM na urządzeniu, w tym technologie takie jak kwantyzacja modeli, destylacja i silniki wnioskowania na urządzeniu. Dopóki firmy zajmujące się dużymi modelami traktują robotykę jako ważny scenariusz komercyjny, mogą wykorzystać istniejący stos technologiczny do zakończenia optymalizacji opóźnień.
Za tym problemem kryje się koncepcja, którą bardzo łatwo pomylić: „częstotliwość wnioskowania modelu” i „częstotliwość sterowania robotem” to nie to samo.
Inżynier modeli ucieleśnionych, który poprosił o anonimowość, powiedział QbitAI:
Wolne wnioskowanie wciąż może pozwalać na szybkie sterowanie; poświęca się jedynie szybkość reakcji. W przypadku zadań na linii montażowej, które są bardziej zależne od rytmu, jest to właściwie nieistotne.
Na przykład w sortowaniu przesyłek kurierskich roboty muszą chwytać i odkładać w sposób ciągły i stabilny. Model wysokiego poziomu odpowiada za rozumienie zadania i planowanie działań, podczas gdy system sterowania niskiego poziomu wykonuje polecenia sterujące z wyższą częstotliwością.
Dopóki zadanie pozwala na planowanie z wyprzedzeniem lub ma pewną tolerancję na opóźnienie reakcji, duży model niekoniecznie musi uczestniczyć w każdym cyklu sterowania niskiego poziomu.
Oczywiście, w przypadku zadań obejmujących szybkie zmiany dynamiczne i złożony kontakt, szybkość reakcji jest nadal ważna.
Ale przynajmniej wolne wnioskowanie niekoniecznie oznacza, że sterowanie robotem nie jest szybkie.
Różne niedociągnięcia ujawniane przez dzisiejsze ogólne duże modele nie mogą być bezpośrednio traktowane jako fosa, na której firmy zajmujące się embodied AI będą opierać swoje przetrwanie w przyszłości.
Dla firm zajmujących się embodied AI ta prawda jest nieco bolesna do usłyszenia.
Ale fakty są takie. W tym roku OpenAI już zaczęło rekrutować na wiele stanowisk związanych z robotyką.
Jeśli ogólne modele w przyszłości wchłoną więcej danych dotyczących manipulacji robotami, granice możliwości należące pierwotnie do wyspecjalizowanych modeli embodied mogą być nadal zawężane.
Czy firmy zajmujące się embodied AI wciąż mają szanse? Czy samodzielne opracowywanie modeli jest nadal konieczne?
Ocena Chen Tianxinga jest taka, że szansa dla firm zajmujących się embodied AI nie leży w tym, czyj model jest mądrzejszy, ale w tym, kto potrafi stworzyć lepsze „korzyści ekonomiczne”.
To konto jest łatwe do obliczenia.
Na wysoce znormalizowanej przemysłowej linii montażowej, gdzie roboty codziennie powtarzają te same czynności, klienci najbardziej dbają o współczynnik sukcesu, czas cyklu, stabilność i koszt.
Jeśli wydanie kilku centów na wywołanie modelu może stabilnie wykonać zadanie, po co upierać się przy wydawaniu kilku dolarów na wywołanie GPT-6 Astra?
Nawet jeśli wymagany jest pewien poziom inteligencji i zdolności generalizacji, mały model, który został specjalnie zoptymalizowany, może być bardziej ekonomiczny niż bezpośrednie wywoływanie Astra.
Oczywiście, jeśli jest to robot domowy, sytuacja wygląda inaczej.
Dziś porządkuje stół, jutro szuka przedmiotów, a pojutrze pojawia się nowe zadanie, którego nigdy wcześniej nie widział.
W tak otwartym środowisku im bardziej zróżnicowane są zadania, tym wyższe wymagania dotyczące zdolności rozumienia, planowania i generalizacji. Silniejszy ogólny model może wręcz mieć więcej zalet.
6 listopada Chen Tianxing wyjaśnił tę różnicę na swoim osobistym blogu za pomocą dwóch osi.
Lewa strona to „wymagania scenariusza”, a prawa strona to „możliwości modelu”. Im wyżej, tym większy nacisk na ogólność; im niżej, tym większy nacisk na wydajność.
△Blog Chen Tianxinga
„Otwarte zadania mogą w większym stopniu polegać na ogólnych modelach, stabilne zadania mogą przyjmować reguły lub lekkie strategie, a scenariusze pomiędzy nimi pozostawiają miejsce dla modeli zoptymalizowanych pod kątem scenariusza” – powiedział Chen Tianxing.
Moim zdaniem połączenie obu osi sprowadza się do jednego zdania:
Jeśli coś można rozwiązać za pomocą reguł/lekkich strategii, nie ma potrzeby wprowadzania dużego modelu; jeśli zadanie można wykonać małym modelem, nie ma potrzeby za każdym razem wywoływać Astra.
Odwrotnie, jeśli zadania są zbyt zróżnicowane, wyspecjalizowane modele muszą stale zbierać dane i ponownie się trenować, więc bezpośrednie wywołanie ogólnego modelu może być bardziej opłacalne.
Decyzja, które podejście przyjąć, ostatecznie wymaga obliczenia pełnego rachunku ekonomicznego.
Jaki jest wskaźnik sukcesu pojedynczego zadania? Ile czasu to zajmuje? Ile ręcznej interwencji jest potrzebne po niepowodzeniu? Ile kosztuje zbieranie danych, trenowanie modelu i długoterminowe wdrożenie?
Te konkretne liczby decydują o tym, czy system robotyczny ma wartość komercyjną.
Zatem nie chodzi o to, że rozwój własny jest nieważny, ale o to, że „kierunki rozwoju własnego” firm zajmujących się embodied AI wymagają ponownego uporządkowania.
Zdolności, w których modele ogólne są już dobre, takie jak rozumienie języka i planowanie zadań, można rozważyć do bezpośredniego wykorzystania; kwestie związane z fizyczną interakcją, kontrolą konkretnego ciała, adaptacją do rzeczywistych scenariuszy i efektywnością wdrożenia nadal wymagają znacznych specjalistycznych badań i rozwoju.
Co do tego, czy konieczne jest dalsze trenowanie większego embodied foundation model od zera, zależy to od tego, czy może on zapewnić wystarczająco oczywiste i wystarczająco trwałe korzyści w rzeczywistych zadaniach.
Niektórzy znajomi z branży skarżyli się Quantum位, że wiele zespołów embodied wciąż ma dość silne nastawienie akademickie, zawsze myśląc o zbudowaniu modelu ogólnej inteligencji i chcąc wepchnąć wszystkie zadania do własnego modelu.
Ale sytuacja się zmieniła. GPT-6.2 Astra wkrótce nadejdzie.
Jeśli kierunek badań firmy jest odłączony od jej docelowej branży, niezależnie od tego, jak pięknie wytrenowany jest model, pętla komercyjna może niekoniecznie się domknąć.
Jeszcze jedno
W ciągu ostatnich 60 dni wielu praktyków branży embodied podczas prywatnych rozmów wciąż jest zdezorientowanych.
Tylko że w miejscach publicznych, gdy chodzi o obronę własnych interesów i stanowisk, wciąż muszą trwać przy swoim do końca.
Pewne jest to, że GPT-6 Astra rzeczywiście zakłócił pierwotny rytm branży embodied...
Efekt Mateusza, ponowna wycena branży po IPO Unitree, RSI stające się nowym gorącym punktem... wszystko to nałożone na siebie ostatecznie ukształtowało ostatnie nastroje w branży—
„Inwestorzy zaczynają przestawać inwestować w embodied AI.”
Może to być pewna przesada, ale całkowicie prawdą jest, że startupy zajmujące się inteligentnymi robotami embodied żegnają się z etapem Demo i palenia inwestycji.
Runda eliminacyjna bitwy stu maszyn już się rozpoczęła.
Ten artykuł pochodzi z publicznego konta WeChat „Quantum位” (ID: QbitAI), autor: Focus on Frontier Technology
