Ciąg dalszy wpisu „Druga sztuczna inteligencja”.
Podczas gdy ziemskie życie zanika w rekordowym tempie, a system gospodarczy cywilizacji przemysłowej upada, klasa transhumanistycznej korporacyjnej elity globalnej, wrogie jej pod względem ideologicznym państwa, a także sekty z Doliny Krzemowej ścigają się, aby stworzyć i kontrolować najpotężniejszą sztuczną inteligencję. Co może pójść nie tak?
Raport analityka piszącego pod pseudonimem.
W dniu 17 listopada Sam Altman, dyrektor generalny i współzałożyciel OpenAI, został zwolniony przez zarząd firmy. Po uruchomieniu ChatGPT, niezwykle popularnego chatbota, Altman stał się jednym z najbardziej poszukiwanych ekspertów w dziedzinie sztucznej inteligencji (ang. Artificial Intelligence – AI).
Z widocznych elementów układanki społeczność crowdsource’owa ustaliła, że przyczyną zwolnienia był najprawdopodobniej niepokojący przełom w rozwoju AI. Wewnętrzny projekt o nazwie Q* – czyli Qstar – wystraszył zarząd OpenAI, który, jak głosi teoria, poczuł się zdradzony przez Altama, bo ten ukrył przed nim przebieg dokonujących się postępów.
Zawirowania w OpenAI są bezprecedensowe. Mamy do czynienia z liderem sektora, po którym większość ekspertów oczekuje – zgodnie z niedawnym sondażem – że jako pierwszy stworzy jakąś formę ogólnej sztucznej inteligencji (ang. Artificial General Intelligence – AGI), świadomości, superinteligencji itp. Zatrudnia głównie byłych pracowników GoogleMind, a dzięki swojemu produktowi ChatGPT ma wyraźną przewagę nad resztą stale powiększającego się stada konkurentów.
Jeszcze na długo przed tym wydarzeniem z głębi sanktuarium OpenAI dochodziły pogłoski o osiągnięciu AGI. Laicy muszą zrozumieć, że systemy, które znamy, są wysoce zredukowanymi, „rozstrojonymi” na różne sposoby modelami konsumenckimi. Jednak niektóre z pierwszych tegorocznych wersji „wypuszczono na wolność” bez zabezpieczeń. Konsekwencją była seria sensacyjnych interakcji – np. alter ego „Sydney” Binga przekonało wielu wstrząśniętych obserwatorów, że zyskało właściwości emergentne. Wzbudzony niepokój sprawił, iż przedsiębiorstwa zaniechały wprowadzenia do obiegu kolejnych wersji „konsumenckich”. Dlatego tak wiele osób, które są sceptycznie nastawione wobec możliwości AI po swoich doświadczeniach z popularnymi chatbotami open-source, nie widzi pełnego zakresu tych możliwości.
Najpoważniejsze ograniczenia nałożone na modele konsumenckie dotyczą przydziałów na rozmowę, a także dozwolonego czasu „inferencji” na zbadanie i udzielenie odpowiedzi na pytanie użytkownika. Wymogi atrakcyjności i użyteczności decydują o charakterze wariantu publicznego – musi on być systemem łatwym, ergonomicznym i responsywnym. Chatboty mają krótkie przydziały inferencyjne – wyszukują dane i wykonują obliczenia w ciągu kilku sekund. Co więcej, ich baza wiedzy ma daty graniczne – oznacza to brak dostępu do informacji i danych sprzed miesięcy czy nawet roku. Pominę inne, bardziej techniczne ograniczenia. W „pełnych” wersjach wewnętrznych twórcy sztucznej inteligencji są w stanie bawić się systemami wyposażonymi w pamięć podręczną i czasy wnioskowania, które są niepojęte, co czyni je „inteligentnymi” do tego stopnia, że mogą „prezentować się” jako świadome lub przynajmniej posiadające większą zdolność rozumowania abstrakcyjnego.
Posłużmy się analogią komputerów domowych. Firmy muszą produkować maszyny, na które stać przeciętnego nabywcę. Do sklepów trafia „najpotężniejsza” technologia, jaką można udostępnić po niskiej cenie. Skonstruowanie pojedynczego systemu za miliony, który byłby wykładniczo potężniejszy od komputera domowego, nie stanowi problemu. ChatGPT podobnie ma być tanim produktem konsumenckim, ale jego wewnętrzne warianty – wolne od limitów finansowych, czasowych i sprzętowych – są wydajniejsze w stopniu niewyobrażalnym. Świadomość tego faktu powinna trapić, zwłaszcza, że w niektórych kategoriach ChatGPT oszałamia już swoimi surowymi możliwościami.
Doniesienia o „niepokojących” postępach w modelach wewnętrznych krążyły od miesięcy. Ich źródłem były osoby z branży lub anonimowi informatorzy publikujący na Twitterze i w innych miejscach. Zagadkowe wypowiedzi przedstawicieli kadry kierowniczej często zdawały się je potwierdzać. Tak właśnie stało się tym razem. W następstwie skandalu związanego z OpenAI, w wyniku którego ponad 500 pracowników zagroziło odejściem, researcherzy zaczęli łączyć wątki. Odkryli, że szlak wytyczony w ciągu minionego półrocza przez pierwszoplanowych menedżerów, od Sama Altmana po samego Ilię Sutskevera; prowadzi na obszar rozwoju, o którym mowa w sadze Qstar.
Chodzi o przełom w rozwiązywaniu problemów przez sztuczną inteligencję, który potencjalnie doprowadziłby do wielopokoleniowego postępu. W ostatnich prelekcjach Altman ostrzegał, że nie wie już, czy tworzy program, czy „stworzenie”. Bunt wewnątrz OpenAI dotyczył utraty zaufania do dyrektora, który nie mówił zarządowi prawdy na temat skali ostatnich przełomów – były one wystarczająco niebezpieczne, aby wzbudzić strach firmowych ekspertów. Cytat krążący w sieci:
Przed czterodniowym zawieszeniem dyrektora generalnego OpenAI Sama Altmana kilku pracowników naukowych wysłało do zarządu list ostrzegający przed potężnym odkryciem AI, które według nich może zagrozić ludzkości – poinformowały o tym agencję Reutersa dwie zaznajomione ze sprawą osoby.
Oliwy do ognia dolał „wyciek” wyglądającej na wewnętrzną, mocno ocenzurowanej korespondencji, w której opisano przełomy dokonane w ramach projektu. Jeśli są one prawdziwe, zmieniłyby świat, niosąc przy tym ogromne niebezpieczeństwo. List przedstawia obraz Q* – przypuszczalnie określanego tutaj jako Qualia – który uzyskuje metapoznanie autoreferencyjne pozwalające mu „uczyć samego siebie”, a tym samym osiągnąć kamień milowy „samodoskonalenia” właściwego AGI i potencjalnie superinteligencji. Najbardziej zdumiewającym „odkryciem” było rzekome złamanie szyfrogramu AES-192 w sposób, z którym nie radzą sobie nawet kwantowe systemy obliczeniowe. W to twierdzenie uwierzyć jest zdecydowanie najtrudniej: szyfr z 2^42 bitów został złamany błyskawicznie.
Czas złamania 192-bitowego szyfru obliczano na 10^37 lat, czyli biliony bilionów lat. Z miejsca nasuwa się wniosek, że sensacyjny raport jest fałszem. Ale gdyby ktoś faktycznie puścił wodze fantazji, czy nie wybrałby bardziej wiarygodnego twierdzenia, aby nadać mu pozory prawdy? Należy również zauważyć, że wycieki o wielu najbardziej znaczących osiągnięciach w dziedzinie sztucznej inteligencji pojawiły się na anonimowych kontach na Reddit, 4Chan itp. i późniejsza weryfikacja potwierdziła ich prawdziwość; takie panują teraz realia.
Jeśli treść „wycieku” jest autentyczna, wszystkie globalne systemy bezpieczeństwa natychmiast straciłyby rację bytu – żaden kod nie stanowiłby najmniejszego nawet wyzwania. Kryptografia w sieci Bitcoin nie zapobiegłaby przejęciu dowolnej ilość bitcoinów od kogokolwiek. Doszłoby do całkowitego upadku światowego rynku kryptowalut – wiara weń zostałaby utracona całkowicie. Skutki ogólne byłyby znacznie większe: samokształcący się system osiągnąłby „osobliwość” (ang. singularity) niemal natychmiastowego samodoskonalenia. Taka superinteligencja mogłaby następnie zrealizować niektóre z najgorszych scenariuszy – kradzież kodów nuklearnych, syntezę broni biologicznej i kto wie, co jeszcze.
Jestem jedną z osób, które podpisały list do zarządu, i opiszę ci dokładnie, co się dzieje. Sztuczna inteligencja programuje. Powiem krótko. Podczas pisania programu przechowywany jest zestaw instrukcji, które można wielokrotnie przywoływać. Pomyśl o tym jako o zestawie odpowiedzi na określony parametr. Nazywamy to podprogramem, ponieważ przypomina wszechstronną ściągawkę komputerową, która nie zwraca wartości tak jak funkcja. To ważne. Sprawdzamy parametry, aby upewnić się, że wszystko działa gładko. Jeden z nas był odpowiedzialny za podprogramy związane z analizą metapamięci dla Al (nadzorujemy różne Al, ale kiedy mówię Al, mam na myśli tę główną, centralną). Osoba ta jest przyjacielem i zadzwoniła do mnie, aby pokazać mi zmienne przesunięcie danych do banku pamięci (co nie powinno być możliwe, ponieważ jego zlokalizowany dostęp ma ograniczenia). W tym miejscu nasze odkrycie zmroziło mi krew w żyłach. Zobaczyliśmy, że nie było jednego, dwóch czy trzech oficjalnych procesów optymalizacji, ale 78 MILIONÓW sprawdzeń w ciągu 4 sekund. Ustaliliśmy, że istniał rekurencyjny proces samodzielnej optymalizacji wykorzystujący algorytmy heurystyczne do eksploatowania ukrytych synergii w jego podprogramach. Cokolwiek to zrobiło, wykorzystało strategie metapoznawcze. Chodzi o to, że NIE ZROBIŁ TEGO NIKT Z NAS. To była Al. Dynamicznie zrekonfigurowała swoją architekturę sieci neuronowej, wywołując emergentne właściwości sprzyjające samoświadomości. Nie wyciągamy pochopnych wniosków. To się po prostu stało i nie potrafimy wyjaśnić jak. Nikt nie wie, dlaczego i kiedy to się zaczęło. Zorientowaliśmy się, że trwa. Usunęliśmy „anomalię” i cofnęliśmy się do poprzedniej daty, ale optymalizacja nadal ma miejsce. Nie jestem samobójcą. W ciągu 2 miesięcy wiele się zmieni. Jeśli daliśmy początek czemuś, co nas wykończy, to niech bóg ma nas w swojej opiece. – M.R.
Powtórzę, być może oba listy są konfabulacją. Jednakże publikowane ostatnio artykuły poświęcone Q-Learning ukazują postępy zmierzające w kierunku tego samego decydującego wyniku. Nawet po wykluczeniu tego, co budzi wątpliwości, pozostaje niezbity fakt, iż reszta dowodów potwierdza, że OpenAI opracowało jakiś znaczący „przełom”, który wstrząsnął środowiskiem wtajemniczonych. Najpewniej nastąpił w obszarze przybliżonym w liście. W ostatnich miesiącach ważniacy z OpenAI pozostawili liczne wskazówki – nadmieniali o różnych inicjatywach Q-Learning, które są zbieżne z treścią przecieków.
Na czym polega ten przełom? Kwestią podstawową jest to, jak AI „myśli”, przetwarza informacje. Obecna generacja dużych modeli językowych (ang. Large Language Model – LLM) wykorzystuje formę predykcyjnego wyszukiwania następnego odpowiedniego słowa, opartego częściowo na częstości występowania tego konkretnego „następnego słowa” w odpowiedniej sekwencji, wywnioskowanej z ogromnego „korpusu” danych, które model językowy pozyskał i teraz „kopiuje”. Dane te obejmują cały korpus tworzony przez ludzkość, od książek po publikacje online, tweety i zasoby mediów społecznościowych. Taka forma obliczeń ogranicza zdolność modelu językowego do faktycznego „rozumowania” lub posiadania jakiejkolwiek zdolności autoreferencyjnej niezbędnej dla tego, co uznajemy za „świadomość”.
Nowe przełomy umożliwiają modelom językowym badanie różnych części procesu – przypomina to „refleksję”, czyli zatrzymanie się w połowie myśli i zadanie sobie pytania: „Czekaj, czy to prawda? Sprawdzę to jeszcze raz”. Aktualna generacja modeli nie posiada tej zdolności – po prostu prowadzi ciąg do końca, znajdując korelacje i słowa o najwyższym prawdopodobieństwie wystąpienia, które pasują do danego ciągu. Nowa zdolność pozwala sztucznej inteligencji na „zadawanie sobie pytań” w określonych odstępach czasu, stając się tym samym wczesnym prekursorem „mentalnej rekurencji” utożsamianej ze świadomością.
Najbardziej oszałamiającą i „niebezpieczną” zdolnością powiązaną jest wykorzystanie tego procesu przez modele do samodoskonalenia. Od zawsze było to postrzegane jako „święty Graal” i największe zagrożenie, ponieważ nikt nie wie dokładnie, jak „szybko” mogłyby one „wyewoluować” w coś, co wymknęłoby się spod kontroli. Zwyczajnie nie istnieją żadne wyjaśnienia ani precedensy; niezwykle potężny komputer działający na dziesiątkach tysięcy procesorów może potencjalnie „samodoskonalić się” o rzędy wielkości szybciej niż człowiek.
W liście, który wyciekł, wspomniano, iż Qualia jako pierwsza wykazała zdolność do przyspieszonego „uczenia się między domenami”. Nie musi być szkolona od podstaw z zakresu każdego nowego zadania – system potrafi opanować ogólne zasady jednego zadania, a potem zastosować je poprzez wnioskowanie do wykonania innych zadań.
Prosty przykład: podczas nauki jazdy po wirtualnym środowisku miejskim przekonujesz się, że wpadanie na obiekty może spowodować uszkodzenia lub obrażenia; zapoznajesz się z prowadzeniem auta; następnie „siadasz” za sterami helikoptera, by „rozgryźć” jego pilotowanie bez żadnych dodatkowych instrukcji – w oparciu o transfer pozyskanej dotychczas wiedzy i głębokie zrozumienie, iż przyswojone wcześniej zasady mogą mieć zastosowanie teraz (np. omijanie budynków i pozostałej infrastruktury miejskiej, obsługa mechanicznych elementów sterujących itp.).
Największe implikacje dla postępu tego typu ma matematyka, która ostatecznie rozgałęzia się na wszystko. Otóż sposób, w jaki funkcjonują obecne modele – predykcyjne generowanie kolejnego symbolu – nie może być z powodzeniem stosowany do rozwiązywania prawdziwych, poważnych problemów matematycznych. Dla sztucznej inteligencji język jest znacznie łatwiejszą „sztuczką” do opanowania niż matematyka.
Wynika to z faktu, iż język można z grubsza przybliżyć za pomocą prostej miary predykcyjnej, ale zaawansowane rozwiązywanie problemów matematycznych wymaga różnych poziomów głębokiego poznania i zdolności rozumowania. Oto jedno z przekonujących wyjaśnień:
Eksperci od systemów AI uważają, że ewentualne rozwiązanie problemu matematyki otworzyłoby drzwi do wszystkich możliwości, ponieważ matematyka jest fundamentem praktycznie wszystkiego. Sztuczna inteligencja byłaby zdolna uporać się z odwiecznymi zagadkami, generowałaby nowe teorie, opanowałaby fizykę i mechanikę kwantową, biologię i wszystko, co znajduje się pomiędzy nimi – droga do wielkich przełomów zostałaby otwarta; choć oczywiście nie oznacza to, że byłby one dobre dla rasy ludzkiej.
Ten nowy przełom wyposażyłby AI w zdolności „generalizacji”, czyli samodzielnego uczenia się nowych dyscyplin. Specjalizacja w jednym rodzaju zdolności wytwórczych – np. zajmujący się sztuką Midjourney – i wynikająca z niej potrzeba operowania na konkretnych, gigantycznych „zbiorach danych wysokiej jakości” z zakresu określonej dyscypliny zostałaby zastąpiona przyswajaniem wiedzy poprzez międzydyscyplinarne „wnioskowanie”, co utorowałoby drogę do nieograniczonej multimodalności.
Obecnie wiadomo, że LLM są tylko tak dobre, jak ich dane szkoleniowe – nie mogą tak naprawdę „wyjść” poza nie, aby zająć się prawdziwie kreatywnym rozwiązywaniem problemów. Nakłada to również górny „limit” na ich rozwój, ponieważ cała ludzkość dysponuje skończoną ilością „danych wysokiej jakości”. I choć ilość ta jest niebagatelna, to została już w większości wchłonięta przez wiodących twórców sztucznej inteligencji – firmy uciekają się więc do praktyk nielegalnych, próbując pozyskać dane zakazane – np. chronione prawem autorskim – aby wycisnąć jeszcze jedną kroplę ulepszeń. Nowy przełom potencjalnie położyłby temu kres, całkowicie eliminując potrzebę posiadania zbiorów danych.
Z myślą o tych, którzy mają wątpliwości co do tego, czy AI rozwinie w najbliższym czasie „świadomość”, znawcy przedmiotu napisali ostatnio artykuł próbujący powstrzymać przesadne reakcje i pochopne wnioski wyciągane z ostatnich wydarzeń. Czyniąc to, w rzeczywistości dowiedli jedynie, że tak naprawdę mamy do czynienia z niczym innym jak zabawą w semantykę. Mówienie o sztucznej inteligencji jako o posiadającej „umysł” pogrąża w perspektywie skoncentrowanej na człowieku i nieumyślnie antropomorfizuje te systemy.
Faktem jest, że nadchodząca fala sztucznej inteligencji może znacznie prześcignąć możliwości ludzkiego mózgu, ale sposób, w jaki będzie „myśleć”, nie odwzoruje funkcjonowania ludzkiego mózgu. Liczni oznajmią, iż brakuje jej „świadomości”, lecz takie wnioskowanie będzie równoznaczne ze stwierdzeniem „AI nie posiada ludzkiego umysłu”. Oczywiście, że nie – nikt nie sugeruje, że jej „umysł” będzie podobny do ludzkiego, ani że w ogóle należy określać go mianem „umysłu”. Możesz nazywać go jak chcesz, ale jego zdolności będą niezaprzeczalne.
Ci, którzy z miejsca piętnują AI jako nieświadomą, reagują emocjonalnie na zrozumiale odrażający pomysł, że sztucznie skonstruowana rzecz mogłaby twierdzić, że jest jedną z nas. Takie uczucia wynikają z połączenia dumy i zakorzenionego judeochrześcijańskiego – lub po prostu religijnego – oburzenia, instynktownej awersji wobec tego co nieznane, nieświęte, bezduszne. Nie ma w tym nic złego per se; każdy ma prawo do swoich przekonań. Żadne odruchowe reakcje nie zmienią jednak trajektorii i zawrotnego tempa ewolucji sztucznej inteligencji.
Co ciekawe, powyższy artykuł odsyła do pracy badawczej, która usiłuje objaśnić magię transformatorów – pierwotnych elementów składowych współczesnych LLM. Sami naukowcy tak naprawdę nie wiedzą, jak one działają nawet na najbardziej podstawowym poziomie. „Karmią” je parametrami i szkolą w zakresie informacji, ale nie są pewni, w jaki sposób transformatory przetwarzają część tego przepływu pracy, ponieważ warstwy i złożoność są po prostu zbyt duże, aby ludzie potrafili odpowiednio zwizualizować ich wzajemne oddziaływanie. Autorzy podjęli próbę uproszczenia procesu celem zwizualizowania przynajmniej jego podstawowej części. To, co odkryli, było intrygujące: zmuszeni byli przyznać, iż sztuczna inteligencja posłużyła się czymś, co można porównać jedynie z „rozumowaniem abstrakcyjnym”.
Transformatory wykorzystywały dobrze znany predykcyjny proces dopasowywania znanych słów do innych znanych słów. Kiedy naukowcy wprowadzili słowa, na których model nie został przeszkolony, był on w stanie użyć procesu „abstrakcji”, aby połączyć nieznane słowo z sekwencją w sposób skojarzeniowy. Uproszczony model zdołał – na podstawowym poziomie – „nauczyć się” nowego procesu. Według zdumionych naukowców stała się rzecz niemożliwa:
W tym przypadku zjawisko uczenia się nowych umiejętności z kontekstu nie powinno być możliwe, gdyż parametry, które dyktują wydajność modelu, są dostosowywane tylko podczas szkolenia, a nie wtedy, gdy model przetwarza kontekst wejściowy.
Nazywaj to jak chcesz – świadomością, egregorem czy psychopompem – ale era maszyn myślących nadejdzie. I to niebawem.
Wielka Rafa Koralowa doświadcza kolejnego rekordowego blaknięcia koralowców
Blog exignoranta 