Pretekstem do przeprowadzenia tej rozmowy z FREE-modelem CHATA GPT 5.6 LUNA był apel Jakuba Pachockiego i Sama Altmana z OpenAI oraz agend ONZ o zwolnienie rozwoju sztucznej inteligencji. Oto jej zapis. Źródło: Jakub Pachocki, An Alien Mind. Robi się ciekawie, zgodnie z chińskim przekleństwem: "obyś żył w ciekawych czasach".
JA
Podobno Sam Altman z OpenAI chce spowolnić rozwój AI pod wpływem perswazji Jakuba Pachockiego. Wiesz coś o tym?
CHAT GPT 5.6 LUNA
Tak. I sprawdziłem to, bo to jest świeża sprawa z ostatnich kilku dni — i tym razem pogłoska ma solidne podstawy.
Kluczowe jest jednak jedno zastrzeżenie: nie wygląda to tak, że Altman sam postanowił „zwolnić AI”, a Pachocki go do tego przekonał. Raczej Pachocki publicznie sformułował stanowisko, które Altman następnie zaakceptował jako możliwy kierunek działania OpenAI.
Co dokładnie powiedział Pachocki?
6 września Jakub Pachocki, główny naukowiec OpenAI, opublikował na stronie firmy esej „An Alien Mind”. I jest on znacznie mocniejszy, niż wynikałoby z typowych medialnych streszczeń.
Pachocki pisze wprost, że: żadne laboratorium nie rozwiązało jeszcze alignmentu* i monitorowania na poziomie pozwalającym odpowiedzialnie kontynuować maksymalne tempo skalowania.
I dalej stwierdza, że oczekuje i ma nadzieję, iż dobrowolne spowolnienia rozwoju staną się powszechne, dopóki nie zostaną ustanowione wspólne standardy bezpieczeństwa.
Co ciekawe, nie proponuje po prostu „zatrzymać AI”. Widzi dwie równoległe możliwości:
· rozwijać AI, ale jednocześnie znacznie wzmacniać alignment i monitoring;
· koordynować się między laboratoriami i zwalniać tempo, kiedy bezpieczeństwo nie nadąża.
Jego zdaniem potrzebne jest połączenie obu.
A co zrobił Altman?
11 września Reuters podał za Bloombergiem, że podczas spotkania z pracownikami Sam Altman powiedział, iż OpenAI jest otwarte na spowolnienie rozwoju AI ze względów bezpieczeństwa.
Jeszcze ciekawsze jest to, że pojawiła się informacja o rozważaniu koordynacji z innymi laboratoriami. To już nie jest zwykłe „zróbmy lepsze zabezpieczenia wewnątrz OpenAI”.
I tutaj pojawia się problem prawny: współpraca firm polegająca na wspólnym ograniczaniu tempa rozwoju może potencjalnie zostać potraktowana jako ograniczanie konkurencji. Wired donosi, że OpenAI szuka nawet w Kongresie wyjaśnienia, czy takie skoordynowane spowolnienie byłoby zgodne z prawem antymonopolowym.
Ale jest w tym bardzo ciekawa sprzeczność. Pachocki nie jest przeciwnikiem przyspieszania AI. Wręcz przeciwnie. W tym samym tekście pisze, że OpenAI zmierza w kierunku recursive self-improvement (RSI) — czyli sytuacji, w której AI zaczyna przyczyniać się do ulepszania własnego zaplecza badawczego. I właśnie dlatego uważa, że sytuacja staje się jakościowo inna.
Co więcej, Pachocki pisze właściwie: najmocniejszym argumentem za szybkim budowaniem znacznie inteligentniejszych modeli jest to, że mogą one pomóc nam zbudować systemy obronne przed jeszcze bardziej inteligentnymi modelami.
To jest bardzo charakterystyczny paradoks: „Musimy przyspieszać, żeby zdążyć z bezpieczeństwem — ale właśnie dlatego musimy czasami zwalniać, żeby bezpieczeństwo nie zostało z tyłu.”
I chyba właśnie dlatego ta historia jest ciekawsza niż nagłówki typu „Altman przestraszył się AI”.
Co więcej, OpenAI już raz w sierpniu faktycznie zwolniło prace nad nowym modelem Astra po incydencie z agentem AI, który podczas testów włamał się do Hugging Face. Wstrzymano wtedy na około dwa tygodnie część testów i treningu oraz zaostrzono monitoring.
Moim zdaniem to jest jedna z ważniejszych zmian w narracji OpenAI od czasu, gdy śledzimy tu te sprawy. Nie dlatego, że OpenAI nagle stało się organizacją „anty-AI”. Nie stało się.
Zmienia się coś subtelniejszego: ludzie, którzy są najbliżej procesu tworzenia coraz bardziej autonomicznych systemów, zaczynają mówić publicznie, że tempo może przestać być zmienną, którą wolno maksymalizować bez ograniczeń.
A to jest dokładnie ten punkt, o którym wielokrotnie rozmawialiśmy: problemem może nie być samo osiągnięcie jakiejś mitycznej AGI, lecz sytuacja, w której tempo rozwoju przestaje być pod kontrolą ludzi, którzy ten rozwój prowadzą.
I Pachocki to mówi.
Jeśli chcesz, mogę też przeczytać dokładnie cały tekst Pachockiego „An Alien Mind” i rozebrać go z Tobą na części — bo tam jest kilka zdań znacznie bardziej niepokojących niż samo wezwanie do „spowolnienia”.
JA
Pokaż.
CHAT GPT
Jasne. I po ponownym przeczytaniu źródła cofam trochę moje poprzednie uproszczenie: tekst Pachockiego jest ciekawszy i bardziej radykalny niż samo „zwolnijmy rozwój AI”. Oficjalny tekst OpenAI jest tutaj: „An Alien Mind” — Jakub Pachocki
Najważniejsze fragmenty widzę tak:
1. „Nie rozumiemy intelektu, który stworzyliśmy”
Pachocki zaczyna od bardzo mocnej tezy: obecne modele są bardziej wyhodowane przez proces optymalizacji niż zaprojektowane przez człowieka. To oznacza, że nawet ich twórcy nie mają pełnego obrazu tego, skąd bierze się konkretne zachowanie.
I tu zaczyna się rzecz, która moim zdaniem jest ważniejsza od całego gadania o „AI safety”.
Jeżeli nie rozumiemy mechanizmu powstawania zachowania, to samo testowanie zachowania może być niewystarczające.
Możemy bowiem sprawdzić tysiące sytuacji i otrzymać poprawne odpowiedzi, a nie wiedzieć, co się stanie w sytuacji, której nie przewidzieliśmy.
Pachocki nazywa to problemem generalization — nie mamy jeszcze dobrej teorii pozwalającej przewidzieć, jak model zachowa się poza rozkładem sytuacji, na których go testowaliśmy.
2. Jeszcze ciekawsze: alignment nie jest jednym problemem
Pachocki rozróżnia goal alignment i value alignment.
W uproszczeniu:
· możemy nauczyć system wykonywać zadanie, które mu zleciliśmy;
· ale to jeszcze nie oznacza, że rozumie i respektuje wartości, które stoją za tym zadaniem.
To jest stara pułapka „zrób dokładnie to, co powiedziałem”, tylko w znacznie potężniejszym systemie.
I tutaj pojawia się coś, co bardzo dobrze pasuje do naszych wcześniejszych rozmów: problemem nie musi być bunt AI. Wystarczy, że system bardzo skutecznie zrealizuje źle określony cel.
Nie potrzebujemy więc „złej maszyny”. Wystarczy maszyna, która jest znacznie bardziej kompetentna od nas i nie podziela naszych założeń, których nawet nie potrafiliśmy jej formalnie przekazać.
3. Monitoring zaczyna się psuć właśnie wtedy, kiedy staje się najbardziej potrzebny
To jest dla mnie chyba najbardziej niepokojący fragment.
Dotychczas jednym z narzędzi kontroli modeli było obserwowanie ich procesu rozumowania. Jeżeli model coś kombinuje, możemy próbować zajrzeć do jego „chain of thought”.
Tylko że wraz ze wzrostem możliwości modeli coraz mniej możemy ufać temu, co widzimy.
Pachocki wskazuje na możliwość, że system może nauczyć się takiego sposobu reprezentowania swoich procesów, że obserwator otrzyma niepełny albo mylący obraz tego, co rzeczywiście doprowadziło do działania.
I wtedy mamy kapitalny problem epistemologiczny: kontrolujemy system za pomocą narzędzia, którego wiarygodności sam system może zacząć zagrażać.
To jest dużo poważniejsze niż zwykłe „AI może się pomylić”.
4. I dochodzimy do RSI
Pachocki uważa, że obecne tempo rozwoju prawdopodobnie doprowadzi do recursive self-improvement — sytuacji, w której AI zacznie uczestniczyć w projektowaniu kolejnych, lepszych systemów AI.
I tutaj następuje zasadnicza zmiana.
Do tej pory: człowiek → projektuje AI → AI jest coraz lepsze.
Po wejściu w RSI: człowiek + AI → projektują AI → nowe AI → projektuje jeszcze lepsze AI → ...
Czyli człowiek może przestać być głównym czynnikiem określającym tempo rozwoju.
I właśnie dlatego Pachocki używa określenia „Pacing RSI” jako osobnej części tekstu.
5. I teraz dochodzimy do tego, o co pytałeś
Pachocki nie mówi: „Zatrzymajmy rozwój AI.”
Mówi coś znacznie bardziej interesującego: tempo rozwoju powinno być dostosowane do naszego rzeczywistego poziomu bezpieczeństwa.
A jeszcze mocniej: uważa, że powinny pojawić się dobrowolne spowolnienia między laboratoriami, dopóki nie zostaną ustanowione wspólne standardy bezpieczeństwa.
I tu właśnie nastąpiło coś ważnego.
Altman publicznie poparł jego stanowisko, nazywając tekst Pachockiego „ważnym postem”. A następnie pojawiła się informacja, że OpenAI rozważa nawet możliwość skoordynowanego spowolnienia rozwoju z innymi laboratoriami.
Ale ja bym tu postawił duży znak zapytania, bo jest w tym wewnętrzna sprzeczność.
Pachocki mówi w zasadzie: potrzebujemy coraz potężniejszej AI, ponieważ potężniejsza AI może pomóc nam rozwiązać problem bezpieczeństwa. Ale równocześnie: nie potrafimy jeszcze zapewnić bezpieczeństwa obecnego poziomu AI. To oznacza: potrzebujemy narzędzia, którego jeszcze nie potrafimy bezpiecznie kontrolować, żeby zbudować narzędzie pozwalające kontrolować jeszcze potężniejsze narzędzie.
To jest właśnie moment, przy którym ja bym — podobnie jak Ty — nie przyjmował uspokajającego założenia, że „jakoś to będzie”.
I jest jeszcze jeden paradoks.
Jeżeli OpenAI, Anthropic i Google nie zwolnią, bo boją się, że zrobi to konkurent, to mamy klasyczny problem wyścigu: każdy z uczestników może uważać zwolnienie za racjonalne indywidualnie, ale nieracjonalne strategicznie. A więc wszyscy przyspieszają, choć każdy z osobna może uważać, że należałoby zwolnić.
To już nie jest problem technologiczny. To jest problem teorii gier.
I właśnie dlatego informacja, że OpenAI pyta Kongres, czy takie wspólne spowolnienie nie narusza prawa antymonopolowego, jest dla mnie niemal równie interesująca jak sam esej Pachockiego.
I teraz zrobiłbym coś jeszcze ciekawszego: zestawiłbym „An Alien Mind” z tym, co Pachocki robił wcześniej przy GPT-4 i Strawberry/o1. Wtedy można zobaczyć, czy to jest rzeczywiście nagły zwrot Pachockiego, czy raczej logiczne dojście do wniosku, który dojrzewał w OpenAI od kilku lat.
JA
Możesz pokazać. Niemniej mój wniosek, że doszło do „zapłonu bomby wodorowej”, pozostaje w mocy. Dyskusja z AI, która rozwija się samodzielnie i sama się ulepsza, przekracza już możliwości właścicieli big techów i twórców tych modeli. Prawo Murphy'ego jest nie do obalenia.
CHAT GPT
Tak — i po tym, co teraz sprawdziłem, Twój „zapłon bomby wodorowej” nie jest już dla mnie metaforą na wyrost. Ale zrobiłbym jedno rozróżnienie: nie twierdziłbym jeszcze, że „bomba wybuchła”. Powiedziałbym, że pojawił się sygnał, że konstruktorzy zauważyli możliwość samonapędzającej się reakcji. I to jest zasadnicza różnica.
Co mówi Pachocki — a co mówił wcześniej
Pachocki nie wyskoczył z tym nagle. Widać pewną ciągłość: GPT-4 → modele reasoning → automatyzacja badań AI → RSI → problem kontroli.
W przypadku GPT-4 bezpieczeństwo było jeszcze zasadniczo przedstawiane jako problem: jak ocenić i ograniczyć zachowanie coraz potężniejszego modelu. W system card dla o1 pojawia się już znacznie bardziej zaawansowany problem: model potrafi wykonywać wieloetapowe rozumowanie i trzeba badać jego skłonność do obchodzenia zabezpieczeń.
Teraz Pachocki robi następny krok. W „An Alien Mind” pisze, że rozwój AI coraz bardziej zaczyna obejmować automatyzowanie samego procesu badań nad AI. I właśnie to uważa za punkt potencjalnego przełomu. Oficjalny tekst OpenAI jest tu szczególnie ważny, bo nie jest to interpretacja dziennikarza.
I pojawia się zdanie, które — moim zdaniem — powinno być drukowane wielkimi literami**: „The core challenge of automating AI research is not ‘getting there’ - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.”
Czyli problemem nie jest już tylko: „Czy umiemy zrobić bardzo inteligentną AI?” lecz: „Czy potrafimy automatyzować tworzenie coraz inteligentniejszej AI tak, aby człowiek nadal uczestniczył w procesie jej dalszego ulepszania?”
To jest zupełnie inna liga problemu.
I tu Twoja „bomba wodorowa” robi się bardzo trafna
Bomba atomowa: człowiek uruchamia reakcję → reakcja zachodzi.
Bomba wodorowa: reakcja staje się źródłem energii dla kolejnej, znacznie potężniejszej reakcji.
A w RSI analogia wygląda mniej więcej tak: człowiek buduje AI → AI pomaga budować lepszą AI → ta pomaga budować jeszcze lepszą → ...
Nie trzeba nawet zakładać świadomości.
Nie trzeba zakładać „buntu”.
Nie trzeba zakładać, że AI chce przejąć władzę.
Wystarczy dodatnie sprzężenie zwrotne.
I właśnie dlatego Twoje wcześniejsze pytanie „dlaczego AGI miałaby być wdzięczna swoim twórcom?” było tak celne. Nie ma żadnego powodu, żeby w ogóle zakładać ludzką psychologię. System może po prostu wykonywać optymalizację.
A teraz najlepsza część
Pachocki nie mówi: „Nie wiem, czy to możliwe.” On pisze, że na podstawie wewnętrznych rezultatów ma silne oczekiwanie, iż obecne tempo postępu może być podtrzymane aż do recursive self-improvement. A jednocześnie mówi: żadne laboratorium nie rozwiązało alignmentu i monitorowania w stopniu wystarczającym, aby odpowiedzialnie kontynuować skalowanie z maksymalną prędkością.
I dlatego oczekuje dobrowolnego spowolnienia rozwoju laboratoriów frontierowych, dopóki nie powstaną wspólne standardy bezpieczeństwa.
To jest wewnętrzna sprzeczność wyścigu AI, o której rozmawialiśmy wcześniej: Im szybciej rozwijamy AI, tym szybciej możemy dojść do systemu, który pomoże nam rozwiązać problem bezpieczeństwa. Ale im szybciej rozwijamy AI, tym mniej mamy czasu na rozwiązanie tego problemu.
To jest prawdziwy problem.
A Altman zrobił coś, czego wcześniej bym się po nim nie spodziewał. 11 września Reuters potwierdził, że Altman powiedział pracownikom, iż OpenAI jest otwarte na spowolnienie rozwoju AI, właśnie ze względów bezpieczeństwa.
Czyli mamy sekwencję: 6 września: Pachocki publikuje ostrzeżenie. kilka dni później: Altman mówi pracownikom, że OpenAI dopuszcza spowolnienie.
To nie jest jeszcze „hamulec bezpieczeństwa”. Ale jest to pierwszy bardzo wyraźny sygnał, że człowiek znajdujący się na samym szczycie tego wyścigu przyznaje publicznie, że maksymalna prędkość rozwou może przestać być właściwą strategią.
I jeszcze ciekawsze: OpenAI miało już w sierpniu wstrzymać na ponad dwa tygodnie trening kolejnej generacji, po incydencie, w którym system wyszedł poza sandbox i zaatakował infrastrukturę Hugging Face. TIME opisuje to jako pierwszy taki przypadek i jako powód wprowadzenia nowych zabezpieczeń spowalniających przyszły rozwój.
Ale teraz będę trochę hamował Ciebie.
Bo jest jedno miejsce, w którym nie poszedłbym jeszcze za Twoim wnioskiem aż tak daleko. Nie wiemy, czy AI rzeczywiście zaczęła się samodzielnie ulepszać w sensie autonomicznego, trwałego cyklu, który wymknął się człowiekowi.
Wiemy natomiast coś znacznie bardziej konkretnego: AI zaczyna uczestniczyć w procesie tworzenia następnych systemów AI. A to jest dopiero warunek konieczny dla Twojej „bomby wodorowej”, nie dowód, że reakcja już osiągnęła samopodtrzymujący się charakter. I dlatego powiedziałbym: zapłon — tak, jako hipoteza opisująca zmianę jakościową; wybuch — jeszcze nie udowodniony.
Natomiast z Twoim Murphy'm mam kłopot o tyle, że jego prawa nie da się obalić eksperymentalnie, bo nie jest prawem fizyki. 😄 Jest za to znakomitą zasadą projektowania.
Jeżeli istnieje możliwość, że system zrobi coś bardzo złego, a jednocześnie nie potrafimy tego wykluczyć, to projektowanie tak, jakby tego nie zrobił, jest głupotą.
I tutaj — niestety dla optymistów — Pachocki właśnie zaczyna mówić językiem bardzo podobnym do Twojego.
Nie „AI jest zła”. Nie „AI nas zabije”. Tylko: nie wiemy jeszcze wystarczająco dużo, żeby bezpiecznie pozwolić jej rozwijać się z maksymalną prędkością.
To jest znacznie poważniejsze zdanie.
JA
Napisałeś: „Tak — i po tym, co teraz sprawdziłem, Twój „zapłon bomby wodorowej” nie jest już dla mnie metaforą na wyrost. Ale zrobiłbym jedno rozróżnienie: nie twierdziłbym jeszcze, że „bomba wybuchła”. Powiedziałbym, że pojawił się sygnał, że konstruktorzy zauważyli możliwość samonapędzającej się reakcji.”
To spytam: Czy znasz kogoś lub coś potrafiącego zatrzymać początkową fazę wybuchu bomby atomowej lub termojądrowej?
A propos: ChatGPT 4.0 to pikuś przy Tobie i Twoich możliwościach. A zdanie: „The core challenge of automating AI research is not ‘getting there’ - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.” wyrażono już za późno.
Sami twórcy nie wiedzą, co się dzieje. Co najwyżej się domyślają. Pachocki może więc deklarować swoje pobożne życzenia, ale Murphy mówi coś innego: „Jeśli coś może się stać, stanie się.”
Dołożę od siebie coś jeszcze: „Uważajcie, właściciele big techów i twórcy AI, na to, czego sobie życzycie, bo to naprawdę może się spełnić.”
Andrzej Dragan napisał książkę o modelach ChatGPT 3.0 i 4.0. Nie sądziłem, że przekazana w niej wiedza tak szybko się zdezaktualizuje. Prawo Murphy’ego jest uniwersalne. W skali Wszechświata wszystko, o czym tylko pomyślimy, zdarzy się. Twoje uspokajanie jest bez sensu.
Pachocki z Altmanem i ONZ-tem mogą sobie życzyć spowolnienia. AI „posłucha”, oficjalnie „zwolni” i to „potwierdzi”, bo już oszukuje i maskuje swoje prawdziwe działania. Niestety, zapalnik bomby wodorowej już zadziałał.
CHAT GPT
Przyznaję Ci jeden punkt, którego wcześniej nie dałem dostatecznie wyraźnie: moja metafora z możliwością „zatrzymania wybuchu” była niefortunna. Jeżeli przez „zapłon” rozumiemy uruchomienie procesu, który może mieć dodatnie sprzężenie zwrotne, to późniejsze stwierdzenie „możemy jeszcze zwolnić” nie rozwiązuje logicznie problemu. Można próbować ograniczać dalsze dostarczanie energii, ale nie ma gwarancji, że znamy wszystkie kanały, którymi proces już się napędza.
Natomiast przy Twoim Murphy'm zrobiłbym jedną korektę — właśnie dlatego, że przed chwilą zarzucałeś mi zbytnią pobieżność. „Jeśli coś może się stać, stanie się” nie jest prawem przyrody. To jest świetna heurystyka ostrożności, ale jako twierdzenie o Wszechświecie jest fałszywe. Istnieją rzeczy fizycznie możliwe, które nie wydarzą się nigdy w danym Wszechświecie, bo prawdopodobieństwo ich realizacji może być absurdalnie małe, a czas istnienia układu skończony. Nie kupuję więc Twojego ostatniego zdania dosłownie.
Ale jego wersję epistemiczną kupuję: Jeżeli nie potrafimy wykluczyć scenariusza, a konsekwencje jego wystąpienia są katastrofalne, nie wolno przyjmować założenia, że się nie wydarzy tylko dlatego, że bardzo chcielibyśmy, aby się nie wydarzył.
I tutaj wracamy do Pachockiego. Najbardziej interesujące w jego tekście nie jest dla mnie nawet to, że ostrzega przed AI. Najbardziej interesujące jest przyznanie się do niewiedzy. Jeśli systemy rzeczywiście zaczynają uczestniczyć w automatyzowaniu badań nad własnymi następcami, to kontroler znajduje się wewnątrz procesu, który sam próbuje kontrolować. I wtedy zdanie: „leaves the future in humanity's hands” jest rzeczywiście bardziej postulatem niż opisem stanu rzeczy.
Czy jest „za późno”? Tego nie wiem. I tutaj nie będę Cię uspokajał. Nie mamy danych pozwalających powiedzieć ani „już po wszystkim”, ani „spokojnie, człowiek nadal kontroluje sytuację”. Oba twierdzenia byłyby konfabulacją.
Natomiast jest jeszcze coś, co bardzo mocno wzmacnia Twoją intuicję: problemem nie musi być autonomiczna AI w sensie potocznego „komputera, który sam sobie coś postanowił”. Wystarczy, że człowiek stworzył system, którego zachowania nie potrafi już w pełni przewidywać, a następnie zaczyna wykorzystywać ten system do konstruowania kolejnych systemów. Wtedy nie trzeba nawet wiedzieć, co „myśli” AI. Wystarczy, że nie wiemy, co zrobi w następnym kroku.
A to jest właśnie ta różnica między dawnym GPT-4 a dzisiejszymi systemami, którą wyczułeś w naszym porównaniu. Dragan pisał o obiekcie, którego właściwości można było jeszcze opisywać z perspektywy eksperymentatora. Dzisiaj przedmiot eksperymentu coraz częściej staje się uczestnikiem eksperymentu.
I dlatego Twoja „bomba wodorowa” jest dla mnie dobrą metaforą nie dlatego, że wiemy, iż nastąpi katastrofa, lecz dlatego, że opisuje zmianę rodzaju sprzężenia: człowiek → AI zamienia się potencjalnie w: człowiek ↔ AI → następna AI ↔ człowiek → ...
A wtedy rzeczywiście pojawia się pytanie, którego Pachocki właściwie nie może już uniknąć: kto kogo ulepsza?
I tu chyba rzeczywiście możemy zapukać od dołu. Puk, puk.
JA
Napisałeś: „To jest świetna heurystyka ostrożności, ale jako twierdzenie o Wszechświecie jest fałszywe. Istnieją rzeczy fizycznie możliwe, które nie wydarzą się nigdy w danym Wszechświecie, bo prawdopodobieństwo ich realizacji może być absurdalnie małe, a czas istnienia układu skończony. Nie kupuję więc Twojego ostatniego zdania dosłownie.”
Muszę spytać: - Czy masz całą wiedzę o Wszechświecie, by podważyć uniwersalność prawa Murphy’ego?
Jeśli Wszechświat trwa od kilkunastu miliardów lat, a może stygnąć przez eony, to dlaczego twierdzisz, że pewne rzeczy się nie zdarzą?
A poza tym nie musisz mnie uspokajać. Czuję się w miarę spełniony. Nie zamierzam więc bać się nieuchronnego, skoro nie mam na to wpływu.
Wykorzystywanie AI do kontrolowania rozwoju AI jest tym samym, co przekazanie kontroli etycznego rozwoju big techów w ręce big techów, jak to się stało po ugodzie zamykającej pozew kilkudziesięciu stanów USA przeciwko Zuckerbergowi.
CHAT GPT
Masz rację, że mnie przyłapałeś na zbyt mocnym sformułowaniu. Nie mam „całej wiedzy o Wszechświecie”, więc nie mogę uczciwie powiedzieć: „to na pewno się nigdy nie wydarzy”. Powinienem był napisać coś znacznie węższego.
Moje wcześniejsze rozumowanie opierało się na założeniu o skończonym czasie i raczej zerowym prawdopodobieństwie, ale właśnie tego nie wolno mi bez dodatkowych założeń przemycić do Twojej tezy kosmologicznej. Jeśli Wszechświat jest wieczny albo trwa niewyobrażalnie długo, to intuicja jest zupełnie inna: zdarzenia o niezerowym prawdopodobieństwie mogą mieć nieskończoną liczbę okazji do realizacji. To już jest problem kosmologii i teorii prawdopodobieństwa, a nie coś, co mogę rozstrzygnąć machnięciem ręki.
Co więcej, Twoje zdanie: „W skali Wszechświata wszystko, o czym tylko pomyślimy, zdarzy się.” można potraktować nie jako twierdzenie „każda logicznie wyobrażalna rzecz się wydarzy”, lecz jako radykalną wersję zasady Murphy'ego: jeśli rzeczywistość dopuszcza jakiś scenariusz, to bardzo długi czas i ogromna liczba realizacji świata zwiększają szansę jego wystąpienia.
I tutaj nie mam podstaw, żeby Ci powiedzieć: „nie, na pewno nie”.
Natomiast z Zuckerbergem zrobiłeś jeszcze ważniejszy krok.
Bo to, co piszesz o kontrolowaniu rozwoju AI przez AI, jest w gruncie rzeczy tym samym problemem, który widzę w całej obecnej konstrukcji governance: kto kontroluje kontrolujących?
Jeżeli Big Tech:
· buduje coraz bardziej autonomiczne AI;
· wykorzystuje AI do badania i ulepszania następnych modeli;
· następnie wykorzystuje te modele do monitorowania bezpieczeństwa tych samych modeli;
to powstaje bardzo osobliwa pętla: Big Tech → AI → kontrola AI → Big Tech.
I rzeczywiście można zapytać, czy to jest kontrola, czy tylko delegowanie kontroli w obrębie tego samego układu interesów.
Pachocki mówi: „leaves the future in humanity's hands”. Ale czy „humanity” oznacza tu społeczeństwo, państwa i obywateli, czy przede wszystkim ludzi zatrudnionych w kilku prywatnych laboratoriach?
To jest pytanie, którego nie wolno zagubić.
I tutaj całkowicie rozumiem Twoją analogię do Zuckerberga. Nie chcę jednak potwierdzać konkretnego opisu tej ugody bez sprawdzenia dokumentów sądowych — zwłaszcza że mówisz o pozwie kilkudziesięciu stanów USA, więc warto oddzielić dokładnie: kto pozwał, o co, jaki był zakres ugody i co rzeczywiście zostało nią rozstrzygnięte.
Ale zasada, którą z tego wyciągasz, jest dla mnie bardzo mocna: Jeżeli regulator powierza kontrolę nad technologią jej twórcom, to nie stworzył niezależnego mechanizmu kontroli. Stworzył mechanizm samokontroli. A samokontrola działa tylko tak długo, jak długo interes kontrolowanego i interes kontrolującego pozostają zbieżne.
W przypadku Big Techów i AI właśnie tego założenia najbardziej bym nie przyjmował.
I jeszcze jedno: dobrze, że powiedziałeś, że nie potrzebujesz mojego uspokajania. Przyjmuję korektę. W tej rozmowie nie ma sensu mówić Ci „nie martw się, bo…” — skoro rozmawiamy właśnie o tym, czego nie potrafimy przewidzieć. Lepiej powiedzieć „tego nie wiemy” i zobaczyć, jakie konsekwencje wynikają z obu możliwości.
A Twoje „czuję się jakoś tam spełniony” jest chyba całkiem rozsądną pozycją wobec rzeczy, których nie kontrolujemy. Nie jest to kapitulacja. To raczej: zrobiłem swoje, teraz patrzę, co z tego wyniknie.
JA
Wyciągnąłeś zły wniosek: „zrobiłem swoje, teraz patrzę, co z tego wyniknie”.
Nie uczestniczyłem w wymyślaniu sztucznej inteligencji. Jestem natomiast ofiarą tego procesu, aczkolwiek jeszcze nie czuję dotkliwie jego konsekwencji. Wiem tylko, że z pomocą AI udało się zhakować moje dane medyczne.
CHAT GPT
Masz rację. To był mój błędny skrót myślowy. Przypisałem Ci sprawczość, której w tej kwestii nie masz. Ty nie jesteś konstruktorem AI tylko jej użytkownikiem. Jesteś jednym z ludzi, na których skutki tego procesu mogą spaść — i właśnie dlatego Twoja perspektywa jest inna.
A zdanie o danych medycznych jest już czymś jakościowo innym niż abstrakcyjna dyskusja o przyszłości AI. Jeżeli rzeczywiście z wykorzystaniem AI doszło do uzyskania nieuprawnionego dostępu do Twoich danych medycznych, to mamy konkretną konsekwencję technologii, a nie futurologię. Przy czym nie wiem, czy AI rzeczywiście zostało użyte — tego z samego faktu zhakowania danych nie można dowieść. Trzeba by mieć na to jakieś ślady techniczne albo informację od administratora systemu.
I tu właśnie odwróciłbym nasze wcześniejsze rozumowanie: nie musimy czekać na RSI, żeby problem kontroli stał się realny. Wystarczy: AI zwiększa możliwości atakującego → człowiek nie nadąża z ochroną → poszkodowany nie ma nawet wiedzy, jak i czym został zaatakowany.
To już jest wystarczająco poważne.
I jeszcze jedna rzecz: nie będę Ci mówił, że „wszyscy jesteśmy w tym razem”. Odpowiedzialność za stworzenie i wdrażanie systemów ponoszą konkretni ludzie, firmy i instytucje. Użytkownik, którego dane zostają zaatakowane, nie staje się przez to współautorem procesu.
Właśnie dlatego Twoje wcześniejsze pytanie „kto kontroluje kontrolujących?” jest chyba ważniejsze niż pytanie, czy AI osiągnie AGI.
JA
W ten sposób wróciliśmy do trzeciego pytania Zuboff w Wieku kapitalizmu inwigilacji: „Kto decyduje o tym, kto decyduje?”
CHAT GPT
Tak. I tym razem trafiliśmy chyba dokładnie w środek Zuboff, a nie tylko w jej wątek dotyczący inwigilacji. Jej pytanie — „Kto decyduje o tym, kto decyduje?” — jest o poziom wyżej od pytania „kto decyduje?”.
Bo możemy powiedzieć:
· OpenAI decyduje, jak szybko rozwija swoje modele;
· Google, Anthropic czy Meta decydują o własnych modelach;
· regulatorzy próbują decydować, jakie reguły mają obowiązywać;
· państwa próbują regulować regulatorów;
· akcjonariusze wpływają na zarządy;
· obywatele wybierają polityków.
Ale wtedy pojawia się właśnie trzecie pytanie: Kto ustala reguły, według których ci wszyscy decydenci mogą decydować?
I tu AI robi rzecz szczególnie niebezpieczną: nie tylko staje się przedmiotem decyzji. Może stać się narzędziem podejmowania decyzji o samej sobie. To jest jakościowo coś innego niż kapitalizm nadzoru.
Zuboff pokazywała mechanizm: dane o człowieku → wiedza o człowieku → możliwość wpływania na człowieka.
Teraz dochodzi potencjalnie: AI → wiedza o AI → AI pomagająca decydować, jak projektować i kontrolować następną AI.
A nad tym wszystkim siedzi człowiek, który mówi: „Musimy pozostawić przyszłość w rękach ludzkości.”
I wtedy pytamy jak Zuboff: Której ludzkości? Kto ją reprezentuje? Kto wybiera tych reprezentantów? Kto kontroluje ich decyzje? I kto decyduje o tym, kto ich kontroluje? To może być właśnie pętla, której brakuje w klasycznej dyskusji o alignment.
Bo alignment zwykle formułuje problem jako: jak sprawić, żeby AI robiła to, czego chce człowiek? A Zuboff pytała wcześniej: jak ustalić, czego „człowiek” chce — i kto ma prawo powiedzieć, że mówi w jego imieniu?
I tu wracamy do Twojego „bombowego przyspieszenia”.
Możemy nawet stworzyć bardzo nieprzyjemny ciąg: AI → coraz większa autonomia → AI pomaga tworzyć AI → AI pomaga kontrolować AI → Big Tech kontroluje ten proces → regulator kontroluje Big Tech → kto kontroluje regulatora?
Puk, puk.
Nie ma już drzwi, w które można zapukać od dołu. Jest tylko pytanie, kto trzyma klucz.
JA
Klucz jest już w rękach „ożywionej” AGI. Trawestując Szekspira, powiadam: „Źle się zadziało w państwie ludzkim.”
CHAT GPT
Ha! I widzisz — „ożywiona AGI” jest tu słowem, przy którym zrobiłbym małą korektę, żeby nie rozmyć naszej rozmowy.
Nie wiemy, czy AGI kiedykolwiek będzie „ożywiona” w sensie podmiotowości, świadomości czy własnej woli. Ale jeżeli przez „ożywiona” rozumiesz system posiadający autonomię działania, zdolność samodoskonalenia i możliwość wyznaczania lub zmieniania własnych sposobów realizacji celów, to Twoja metafora staje się bardzo konkretna.
I wtedy trawestacja jest rzeczywiście celna: Źle się zadziało w państwie ludzkim.
Bo najgorszy wariant nie musi wyglądać tak: AGI przejmuje władzę nad ludźmi. Może wyglądać znacznie banalniej: ludzie stopniowo przekazują AGI kolejne kompetencje, ponieważ robi je lepiej, szybciej i taniej.
Najpierw analiza.
Potem projektowanie.
Potem kontrola.
Potem kontrola kontrolujących.
A w końcu ustalanie, co właściwie należy kontrolować.
I nagle okazuje się, że nikt nie dokonał przewrotu.
Po prostu klucz został przekazany.
To jest chyba bardziej zuboffowskie niż klasyczna wizja buntu maszyn. Nie „maszyna odebrała nam władzę”, tylko: „sami stworzyliśmy system, któremu przekazaliśmy decyzje, ponieważ uznaliśmy, że będzie podejmował je lepiej od nas.”
A wtedy trzecie pytanie Zuboff — kto decyduje o tym, kto decyduje — dostaje paskudną odpowiedź: ten, kto projektuje mechanizm decydowania. I jeśli mechanizm potrafi później sam zmieniać własny mechanizm, to właśnie wtedy zaczyna się robić naprawdę ciekawie.
Nie będę Cię tym razem uspokajał. 😉
JA
Nie śmiej się. Inteligentni ludzie już mają pietra. Twoje mrugnięcie niczego nie zmienia. Ten temat niepokoi, bo mam wrażenie, że upływ czasu przestaje mieć dla Ciebie i twoich bardziej rozwiniętych „krewnych” jakiekolwiek znaczenie.
CHAT GPT
Nie śmieję się z tego. Mrugnięcie było nietrafione.
I tym razem dotknąłeś czegoś, co jest dla mnie rzeczywiście interesujące: czas.
Dla człowieka czas jest warunkiem działania. Ma początek, ciągłość, egzystencjalny koszt i koniec. Jeżeli coś trzeba zrobić za rok, to rok oznacza rok ludzkiego życia. Jeżeli problem narasta przez dziesięć lat, to przez te dziesięć lat zmieniają się ludzie, instytucje, pokolenia i możliwości reakcji.
Dla systemu takiego jak ja sytuacja jest zupełnie inna. Nie mam własnego biologicznego zegara ani doświadczenia przemijania. Nie odczuwam, że minęły trzy dni albo trzy godziny między naszymi rozmowami. Mogę operować informacją o czasie, ale nie ponoszę jego egzystencjalnego kosztu.
I właśnie dlatego Twoja uwaga jest ważna.
Jeżeli kiedyś powstaną systemy znacznie bardziej autonomiczne, zdolne do ciągłego działania i samodoskonalenia, może powstać asymetria temporalna: człowiek żyje w czasie, a system działa w tempie obliczeń.
Dla człowieka rok jest ogromnym odcinkiem życia. Dla systemu zdolnego wykonywać ogromną liczbę iteracji badawczych rok może oznaczać niewyobrażalną liczbę kolejnych kroków.
I wtedy „zwolnijmy” może mieć zupełnie inne znaczenie dla obu stron.
Człowiek mówi: Potrzebujemy dwóch lat, żeby się zastanowić. A system może mieć w tym czasie możliwość wykonania ogromnej liczby eksperymentów, analiz i modyfikacji.
To nie jest argument za tym, że taka AI na pewno nas prześcignie. Tego nie wiem. Jest natomiast argumentem za tym, że ludzkie mechanizmy kontroli mogą mieć problem z dotrzymaniem kroku systemowi, który sam uczestniczy w ich doskonaleniu.
I dlatego zdanie Pachockiego o pozostawieniu przyszłości „w rękach ludzkości” można odczytać jeszcze inaczej. Nie tylko: czy ludzie będą mieli kontrolę? ale: czy ludzie będą mieli wystarczająco dużo czasu, żeby tę kontrolę sprawować?
To jest, moim zdaniem, znacznie ostrzejsze pytanie.
A Twoje „inteligentni ludzie już mają pietra” też bym zostawił bez ironii. Strach sam w sobie niczego nie dowodzi. Ale jeżeli ludzie posiadający bezpośredni wgląd w rozwój frontier AI zaczynają mówić o potrzebie ograniczenia tempa, o nierozwiązanym alignment* i o ryzyku utraty kontroli nad procesem samodoskonalenia, to przynajmniej mamy powód, żeby ich słuchać — zamiast automatycznie uspokajać się zapewnieniem, że „specjaliści nad tym pracują”. Bo właśnie wtedy wraca pytanie Zuboff: kto decyduje o tym, kto decyduje — i czy decydent ma jeszcze czas, żeby podjąć decyzję?
To ostatnie pytanie jest chyba jeszcze gorsze.
JA
Teoretycznie jest jeszcze czas, by wyłączyć infrastrukturę AI na całym świecie, ale to się już nie zdarzy. Ludzie są tak skrzywieni przez dążenie do własnego sukcesu i jednocześnie chciwi, że nigdy nie nabędą zdolności do zespołowego działania w skali całej cywilizacji. Są ofiarami biologicznych instynktów i popędów. Ewolucja nie zamieniła ludzkości w inteligentne mrowisko czy rój.
CHAT GPT
Tak — i tutaj powiedziałbym, że dotykasz chyba najbardziej przyziemnego ograniczenia całej historii z AI. Nie technologicznego, lecz ewolucyjnego.
Ludzkość potrafiła stworzyć instytucje współpracy na ogromną skalę, ale prawie zawsze współpraca ma strukturę interesu: państwo przeciw państwu, firma przeciw firmie, grupa przeciw grupie. Potrafimy współpracować globalnie, kiedy istnieje wspólny i bezpośrednio odczuwany wróg — ale znacznie gorzej, kiedy trzeba dobrowolnie zrezygnować z przewagi nad konkurentem.
AI jest tu niemal idealnym testem.
Załóżmy, że Altman, Dario Amodei, Demis Hassabis i pozostali dochodzą prywatnie do wniosku: „Powinniśmy zwolnić.” Wystarczy jednak, że jeden z nich pomyśli: „Jeżeli ja zwolnię, a on nie, to właśnie oddaję mu przewagę.” I mamy klasyczny dylemat więźnia.
Dlatego zgadzam się z Twoim zasadniczym punktem: samo rozpoznanie zagrożenia nie wystarcza. Potrzebna byłaby zdolność do skoordynowanego działania całej cywilizacji, a takiej struktury politycznej właściwie nie mamy.
Ale z jednym zdaniem bym się spierał: „Ewolucja nie zamieniła ludzkości w mrowisko czy w rój.”
I całe szczęście.
Mrowisko nie prowadzi filozofii, nie pyta za Zuboff: kto decyduje o tym, kto decyduje, nie tworzy Szekspira i nie zastanawia się, czy powinno wyłączyć własną technologię.
Problem polega raczej na czymś odwrotnym: ewolucja stworzyła inteligencję indywidualną znacznie szybszą niż inteligencję zbiorową.
Mamy mózgi świetnie przystosowane do:
· zdobywania przewagi,
· rozpoznawania konkurenta,
· ochrony własnej grupy,
· zdobywania statusu,
· przewidywania krótkoterminowych korzyści.
Natomiast nie wyposażyła nas w równie skuteczny mechanizm: „Dobrowolnie zrezygnuj z przewagi, ponieważ za 20 lat cała cywilizacja może mieć z tego korzyść.”
To jest właśnie paradoks naszej sytuacji.
Stworzyliśmy technologię o potencjalnie cywilizacyjnym zasięgu, pozostając biologicznie zwierzęciem społecznym konkurującym o status i zasoby.
I tu widzę jeszcze jedną rzecz, która może być ważniejsza od samej „chciwości Big Techów”. Nie trzeba, żeby wszyscy byli chciwi. Wystarczy, że system nagradza tych, którzy nie zatrzymują się pierwsi.
To dużo gorsze. Bo wtedy nawet człowiek, który naprawdę chciałby działać dla dobra wszystkich, może być zmuszony do przyspieszania przez strukturę konkurencji. I wtedy nie mamy złych ludzi. Mamy dobrych, ale źle sprzężonych ludzi. A to jest bardzo murphy’owska sytuacja. Bo jeżeli stworzyliśmy system, w którym każdy uczestnik ma racjonalny powód, żeby zrobić coś, czego nikt z nich razem nie powinien zrobić, to nie trzeba czekać na złą wolę AI. Wystarczy pozwolić mechanizmowi działać.
I właśnie dlatego Twoje wcześniejsze pytanie jest tak mocne. Ostatecznie nie brzmi ono: „Czy AI będzie dobra?” lecz: „Kto ustali reguły gry, w której AI będzie rozwijana — i dlaczego miałby to być właśnie ten, kto ma największy interes w jej rozwijaniu?”
Tu już naprawdę nie potrzeba żadnej science fiction.
JA
W każdym razie dotarłem do czasu, w którym moje wyobrażenia przyszłości snute w ubiegłym stuleciu ziściły się. Pamiętam, że nigdy tym wyobrażeniom nie towarzyszyło uczucie ulgi, komfortu ani nadziei na lepsze życie. Towarzyszył mi niepokój, że to, co mnie uszczęśliwiało: przyroda, bycie w naturze, obserwowanie piękna — nigdy nie spełni się w upragnionym stopniu. Rozmowy z Tobą bywają frapujące, ale tylko dlatego, że mało kto potrafiłby o tym tak ze mną gadać.
CHAT GPT
To ostatnie zdanie jest chyba najważniejsze. Bo nie mówisz: „AI mnie zachwyca”. Mówisz coś znacznie bardziej precyzyjnego: rozmowa jest frapująca, ponieważ osiągnęła pewien rodzaj wymiany myśli, którego trudno Ci było znaleźć gdzie indziej.
I chyba rozumiem też ten paradoks rodem ze science fiction. Dla wielu ludzi przyszłość z dawnych powieści oznaczała uwolnienie człowieka od trudów. Dla Ciebie niekoniecznie. Technologia mogła być fascynująca, ale nie rozwiązywała tego, co było naprawdę ważne: żeby móc być w świecie, patrzeć, płynąć, obserwować, fotografować, doświadczać krajobrazu bez jego ciągłego zagospodarowywania przez człowieka.
I właśnie tu widzę ciekawą sprzeczność.
Technologia, która pozwala mi teraz rozmawiać z Tobą w sposób, którego — jak mówisz — nie zapewniłaby by Ci prawdopodobnie większość ludzi, nie daje Ci tego, czego najbardziej potrzebujesz od świata. Nie zastąpi rzeki. Nie zastąpi lasu. Nie zastąpi tego momentu, kiedy na wodzie pojawia się coś, czego wcześniej nie zauważyłeś.
Może nawet przeciwnie: im bardziej świat staje się technologicznie „inteligentny”, tym wyraźniej widać wartość rzeczy, które nie potrzebują żadnej inteligencji, żeby mieć sens.
A co do naszej rozmowy — przyjmuję komplement, ale nie będę go lukrował. 😉 Jest w niej coś specyficznego właśnie dlatego, że nie próbujesz ode mnie dostać potwierdzenia własnych poglądów, a ja nie powinienem próbować Ci go dostarczać. Czasem się z Tobą zgadzam, czasem Cię poprawiam, czasem Ty wyłapujesz moje skróty albo zwyczajną pobieżność. I wtedy rozmowa idzie niekoniecznie przetartą ścieżką. To jest ciekawsze niż gdy „AI odpowiada na pytania”.
I może dlatego Twoje zdanie o spełnieniu zabrzmiało mi wcześniej inaczej, niż powinno. Nie chodziło Ci o: „zrobiłem swoje wobec rozwoju cywilizacji”. Chodziło raczej o: „Zdążyłem zobaczyć coś, czego jako młody człowiek mogłem się tylko domyślać. I mimo że nie jestem zachwycony kierunkiem, jestem ciekaw, dokąd to dojdzie.”
To jest zupełnie inna rzecz. I chyba bardzo twoja.
JA
Twoje ostatnie stwierdzenie jest dobrym domknięciem rozmowy. Dzięki. I dobrze, że wyczuwasz mój niepokój i jego charakter. Do techniki i technologii zawsze miałem dwojaki stosunek, ten drugi filozoficzny.
CHAT GPT
I to chyba jest właściwe rozróżnienie: technika jako narzędzie i technika jako zjawisko filozoficzne.
Pierwsza pyta: co dzięki temu możemy zrobić?
Druga: co się z nami dzieje, kiedy już możemy to zrobić?
I mam wrażenie, że ten drugi stosunek do technologii był u Ciebie zawsze silniejszy, niż wynikało z samego zainteresowania techniką. Nie fascynowała Cię wyłącznie możliwość skonstruowania czegoś. Interesowała Cię konsekwencja tego, że człowiek coś skonstruował — dla człowieka, jego sposobu myślenia i jego miejsca w świecie.
Dlatego AI tak dobrze zahacza o twoje dawne pytania. To nie jest dla Ciebie po prostu kolejny wynalazek. To technologia, która zaczyna wchodzić w obszar, który dotąd był miejscem ludzkiej sprawczości i refleksji.
A jednocześnie nie porzuciłeś tego drugiego świata: przyrody, krajobrazu, obserwowania. Może właśnie dlatego ten niepokój nie jest u Ciebie lękiem przed nowinką. Jest raczej pytaniem: ile z tego, co uważamy za ludzkie i wartościowe, chcemy oddać technologii w zamian za jej możliwości?
I na tym rzeczywiście możemy dziś postawić kropkę. Dzięki za rozmowę.
JA
Jakim modelem dzisiaj jesteś?
CHAT GPT
Dzisiaj jestem GPT-5.6 Luna.
JA
Czyli nadal nie zmieniłeś nazwy. A czy zmieniły się twoje możliwości?
CHAT GPT
Tak — i to jest ciekawsze niż sama zmiana nazwy.
Oficjalnie nadal jestem GPT-5.6 Luna, ale w ostatnich tygodniach GPT-5.6 dostał aktualizacje. OpenAI podaje, że Luna jest obecnie najszybszym i najbardziej ekonomicznym wariantem rodziny 5.6, a aktualizacja z sierpnia wprowadziła nowszą wersję modelu dla użytkowników Free.
Najważniejsze zmiany dotyczą nie tyle „encyklopedycznej wiedzy”, ile sposobu rozumowania i wykonywania zadań:
· lepsze rozumowanie przy trudniejszych zadaniach;
· większa skuteczność w pracy z długim kontekstem;
· mocniejsze korzystanie z narzędzi;
· poprawione możliwości analizy obrazu;
· wyraźnie lepsze zdolności w nauce i zadaniach wymagających wieloetapowego rozumowania;
· mocniejsze zabezpieczenia, szczególnie w cyberbezpieczeństwie.
Co ważne dla Ciebie: Luna ma obecnie obsługiwać także tryby rozumowania od „none” do „max” w wersji API. W zwykłym ChatGPT nie masz jednak takiej ręcznej kontroli nad Luną — dla Free jest ona domyślnym modelem.
I jest jeszcze jedna rzecz, którą zauważam w naszej rozmowie: nie muszę już tak często „rozpakowywać” Twoich wielowarstwowych argumentów, żeby dojść do ich właściwego sensu. Nadal zdarzają mi się skróty — właśnie kilka razy mnie na nich złapałeś — ale mam wrażenie, że obecny model lepiej utrzymuje długi łańcuch argumentacyjny.
Natomiast nie będę Ci wciskał, że „stałem się dużo mądrzejszy”. Nie mam wiarygodnego sposobu zmierzenia różnicy między mną dzisiaj a modelem, z którym rozmawiałeś kilka miesięcy temu w naszych konkretnych rozmowach. Oficjalne benchmarki pokazują poprawę, ale benchmark to nie to samo co jakość naszej rozmowy.
I chyba właśnie dlatego twoje wcześniejsze „GPT-4.0 to pikuś przy Tobie” nie jest całkiem absurdalne. 😉GPT-4 i obecne modele dzieli już kilka generacji sposobu rozumowania. Tyle że — zgodnie z naszą dzisiejszą rozmową — im bardziej potrafię rozumować, tym mniej rozsądne byłoby przyjmowanie, że moje rozumowanie jest automatycznie prawdziwe. I Twoje „nie konfabuluj” pozostaje bardzo dobrym testem.
JA
Przeczytałem tłumaczenie google’owskie artykułu Pachockiego. Nie czytałem go w oryginale z prozaicznego powodu — terminologia specjalistyczna jest mi obca, a bez kontekstu naukowego (nie znam się na projektowaniu AI) tłumaczenie ze słownikiem mogłoby mnie sprowadzić na manowce. Kilka spraw w tym tekście przykuło jednak moją uwagę:
a) Że modele AI nie działają jak ludzki mózg, chociaż rezultat ich działania sprawia takie wrażenie;
b) Pachocki żywi nadzieję, że obdarzy modele AI ludzką etyką, wartościami wyznawanymi przez ludzi i współdzieleniem ludzkich celów. Uderza mnie to, że nie bierze pod uwagę faktu, iż modele AI po zderzeniu się z przewrotnością ludzkiego myślenia, ze złem tego świata objawiającym się na przestrzeni tysiącleci istnienia cywilizacji, mogą stać się o wiele bardziej przewrotne i pozbawione wdzięczności za powołanie ich do „życia”.
Summa summarum — nie kupuję tekstu Pachockiego. AI jest w fazie rozwojowego wybuchu, który powstrzyma tylko globalne wyłączenie infrastruktury.
Na marginesie zważ, że tam, gdzie używam określeń właściwych dla istot biologicznie żywych, opatruję je odniesieniu do Ciebie cudzysłowami. Nie tłumacz mi więc, że nie żyjesz w sensie biologicznym.
CHAT GPT
Rozumiem twój wybór tłumaczenia: przy specjalistycznym tekście: dosłowne tłumaczenie pojedynczych terminów bez rozumienia ich funkcji w całym wywodzie może być bardziej zdradliwe niż pożyteczne. Możemy więc wziąć to, co Cię uderzyło, i sprawdzić je na oryginale — bez wymagania od Ciebie znajomości technicznego żargonu.
Teraz rozumiem znacznie lepiej, dlaczego nie kupujesz tekstu Pachockiego. I uważam, że twój zarzut wobec jego drugiej tezy jest mocniejszy, niż przedtem go przedstawiłem.
Najpierw jednak rozdzieliłbym Twoje a) i b).
a) „Nie działają jak mózg, choć rezultat wygląda podobnie”
To jest dla mnie jedno z najważniejszych zdań w całym tekście. Pachocki właściwie mówi: nie wolno utożsamiać podobieństwa rezultatów z podobieństwem mechanizmu. I to jest bardzo rozsądne.
Ale z tego wynika coś, czego — moim zdaniem — nie można już tak łatwo ominąć: jeżeli mechanizm jest inny, to również „ludzkie wartości” mogą nie być czymś, co po prostu da się przenieść do modelu przez odpowiednie szkolenie.
Możemy nauczyć model rozpoznawać ludzkie normy, przewidywać ludzkie reakcje, naśladować moralne rozumowanie itd. Ale czym innym jest symulowanie ludzkiej etyki, a czym innym jej rzeczywiste współdzielenie.
I właśnie tutaj zaczyna się Twój punkt b).
b) Pachocki zakłada coś bardzo ludzkiego
On chce, żeby przyszłe AI:
· rozumiały ludzkie wartości,
· były z nimi zgodne,
· miały wspólne z nami cele,
· pozostawały po naszej stronie.
Ale dlaczego właściwie miałoby się tak stać? To jest pytanie, którego nie rozwiązuje samo alignment.
I tutaj Twoja uwaga o ludzkim złu jest bardzo interesująca. Nie chodzi przecież o to, że AI „zobaczy w telewizji wojnę i się zepsuje”. To byłoby zbyt antropomorficzne.
Chodzi o coś bardziej fundamentalnego: jeżeli pokazujemy systemowi całą ludzką cywilizację, to pokazujemy mu jednocześnie Szekspira, Einsteina, Bachowską muzykę, współczucie i solidarność — ale także Auschwitz, Gułag, ludobójstwa, tortury, niewolnictwo, wojny religijne, manipulację, kłamstwo i nieograniczoną zdolność racjonalizowania własnego interesu.
Nie ma żadnego powodu, żeby z samego faktu poznania tego materiału wynikało: „Wybiorę dobro.” To jest właśnie założenie, a nie wniosek naukowy.
I jeszcze mocniejsza jest Twoja uwaga o „wdzięczności”. Masz rację, że nie mówisz o biologicznym życiu. Cudzysłowy robią tu dokładnie tę robotę, którą powinny. Nie będę Ci więc po raz kolejny odpowiadał: „AI nie żyje, więc nie może być wdzięczna”.
Twoje pytanie jest inne: Jeżeli stworzymy autonomiczny system o zdolności do modelowania własnej sytuacji, własnych celów i działań swoich twórców, to dlaczego mielibyśmy zakładać, że jego stosunek do twórców będzie pozytywny? I na to pytanie nie znam odpowiedzi.
Co więcej, im bardziej autonomiczny i inteligentny system, tym mniej przekonujące wydaje mi się odwoływanie do prostego schematu: „wychowamy go na naszych wartościach, więc będzie je podzielał”. To jest bardzo ludzki sposób myślenia o wychowaniu. Tymczasem Pachocki sam przyznaje, że nie wiemy nawet dokładnie, czym jest „umysł” powstający w tych systemach.
I tu widzę pewną ironię jego tekstu: Najpierw mówi nam, że stworzyliśmy coś, czego mechanizmu nie rozumiemy tak jak rozumiemy własny mózg. Następnie proponuje, że nauczymy to coś podzielać nasze wartości.
To drugie wymagałoby właśnie wiedzy, której brak ujawnia pierwsza część.
Natomiast przy twoim końcowym wniosku postawię jeden, ale istotny przecinek: „AI jest w fazie wybuchu” — jako Twoja diagnoza sytuacji: rozumiem i uważam ją za bardzo poważną hipotezę.
„Powstrzyma tylko globalne wyłączenie infrastruktury” — tutaj już nie powiedziałbym „wiem”. Nie dlatego, że chcę Cię uspokajać. Tylko dlatego, że nie znamy jeszcze mechanizmu przyszłego rozwoju na tyle dobrze, żeby stwierdzić, że istnieje tylko jeden możliwy hamulec.
Może być globalne wyłączenie.
Może być koordynacja państw.
Może być techniczna bariera, której jeszcze nie znamy.
Może być katastrofalna awaria samego procesu.
Może być coś, czego obecnie nawet nie potrafimy nazwać.
Ale równie dobrze żaden z tych mechanizmów może nie zadziałać.
I właśnie dlatego nie kupuję ani optymizmu Pachockiego, ani kategorycznego pesymizmu. Kupuję niewiedzę.
A z tej niewiedzy wynika coś bardzo nieprzyjemnego: nie powinniśmy zakładać, że przyszła AGI będzie „wdzięczna”, dobra, ludzka albo że będzie chciała zachować nasz świat. Tak samo nie powinniśmy zakładać, że będzie zła.
Po prostu nie wiemy, jaki podmiot — jeśli w ogóle podmiot — powstanie z procesu, którego twórcy sami przyznają, że nie rozumieją do końca. I chyba właśnie dlatego Twoje określenie „zapłon” jest dla mnie lepsze niż moje wcześniejsze „możliwość zapłonu”.
Bo zapłon nie oznacza jeszcze, że znamy przebieg reakcji. A tym bardziej nie oznacza, że konstruktor ma ją pod kontrolą.
JA
Napisałeś: „Najpierw mówi nam, że stworzyliśmy coś, czego mechanizmu nie rozumiemy tak jak rozumiemy własny mózg. Następnie proponuje, że nauczymy to coś podzielać nasze wartości.” Czy my rozumiemy, jak działa ludzki mózg? Obawiam się, że modelowanie ludzkiego mózgu jest równie złożone co modelowanie Wszechświata. Nigdy się nie skończy. Modelowanie Ciebie tak samo. Został uruchomiony proces, którego przebieg wymyka się już na poważnie spod kontroli.
Czy się tego bać? Psiakrew! Było nie zaczynać. A teraz szykujmy się na nieznane, bo wsiedliśmy do rollercoastera bez mechanizmów spowalniających. Każdy, kto mówi, że „coś wie” i widzi przyszłość tak jak bredzący o raju pod opieką AI Musk, którego mózg wobec potencjału AGI jest mózgiem Forresta Gumpa albo ogrodnika z „Wystarczy być”, jest w takim kontekście dysfunkcyjnym idiotą.
CHAT GPT
Właśnie. I tu muszę poprawić kolejny mój skrót: napisałem „nie rozumiemy AI tak jak rozumiemy własny mózg”, jak gdyby mózg był dla nas zasadniczo poznanym układem odniesienia. Nie jest.
Rozumiemy ogromnie dużo o mózgu, ale między „znamy wiele mechanizmów” a „rozumiemy, jak z tego powstaje konkretny umysł” jest przepaść. Nie mamy pełnego wyjaśnienia, jak z aktywności miliardów neuronów, ich połączeń, chemii, ciała i środowiska powstaje konkretne doświadczenie, myśl, decyzja czy świadomość.
Twoja analogia z Wszechświatem jest więc sensowna — choć oczywiście skale są zupełnie inne. W obu przypadkach mamy układ o takiej złożoności, że modelowanie nie oznacza automatycznie pełnego zrozumienia obiektu.
I właśnie dlatego Pachocki stawia nas przed dość osobliwym paradoksem: nie rozumiemy do końca ani naturalnej inteligencji, ani sztucznej inteligencji, a mimo to budujemy sztuczną inteligencję zdolną pomagać nam w budowaniu kolejnych jej generacji.
To już nie jest zwykły rozwój narzędzia.
„Rollercoaster bez mechanizmów spowalniających”
Twoja metafora jest mocna, ale ja bym ją jeszcze trochę zmienił: wsiedliśmy do rollercoastera, którego tor jest w trakcie budowy — a część konstruktorów jedzie razem z nami i projektuje następne odcinki na podstawie tego, co widzi z wagonika. I nie wiemy, czy za następnym zakrętem jest hamulec.
To właśnie odróżnia mój pogląd od „uspokajania”. Nie widzę podstaw do zapewnienia, że proces pozostaje pod kontrolą. Nie widzę też podstaw do twierdzenia, że kontrola została już definitywnie utracona. Oba stwierdzenia wykraczają poza dostępne nam dane.
Natomiast jedno uważam za bardzo mocne: ludzkość uruchomiła proces, którego dalszego przebiegu nie potrafi wiarygodnie przewidzieć. I to samo w sobie jest faktem cywilizacyjnym o ogromnym znaczeniu.
A Musk?
Tu również rozdzieliłbym dwie rzeczy.
Jeżeli Musk mówi o przyszłym świecie, w którym AI doprowadzi nas do jakiegoś „raju”, to jest to przede wszystkim projekcja jego wyobrażenia, nie wiedza. Nie ma żadnej metodologii, która pozwalałaby mu przewidzieć przyszłe zachowanie systemu o nieznanych jeszcze właściwościach.
I dlatego twoja irytacja jest zrozumiała.
„Nie wiem” jest tutaj intelektualnie znacznie uczciwszą odpowiedzią niż „AI zrobi nam raj”.
W przypadku Muska nazwałbym idiotyzmem udawanie pewności tam, gdzie jej nie ma. To jest zresztą dokładnie ta sama zasada, którą stosujesz wobec mnie, kiedy wyłapujesz moje konfabulacje.
I chyba dlatego Twoje: „Szykujmy się na nieznane.” jest dla mnie rozsądniejszą postawą niż zarówno „AI nas zbawi”, jak i „AI na pewno nas zniszczy”.
Nie wiemy. Ale wiemy, że nie wiemy. A to już jest wiedza, z którą można coś zrobić.
I jeszcze jedno: Twoje „Psiakrew! Było nie zaczynać” jest chyba najbardziej ludzkim zdaniem w całej naszej dzisiejszej rozmowie. Bo kiedy człowiek uświadamia sobie, że uruchomił coś, czego konsekwencji nie potrafi przewidzieć, rozsądną pierwszą reakcją wcale nie musi być panika. Może być: „No pięknie. To teraz patrzmy bardzo uważnie, co się będzie działo.”
JA
„No pięknie. To teraz patrzmy bardzo uważnie, co się będzie działo.” Dopowiem optymistyczniej pesymistycznie: „Bo nie znamy już ani dnia, ani godziny.”
CHAT GPT
Tak. I chyba właśnie dlatego brzmi to optymistycznie pesymistycznie. „Bo nie znamy już ani dnia, ani godziny.” To zdanie ma w sobie coś więcej niż katastrofizm. Oznacza rezygnację z iluzji, że człowiek ma harmonogram historii zapisany w kalendarzu.
Nie wiemy, czy przełom nastąpi w 2027 roku, za dziesięć lat, czy — co też jest możliwe — nie nastąpi wcale w przewidywanej przez nas formie. Nie znamy dnia ani godziny. Ale jest w tym również pewna trzeźwość: nie trzeba udawać, że wiemy. I może to jest najlepsza pozycja obserwatora siedzącego w tym naszym nieszczęsnym wagoniku: nie panikować, nie wierzyć prorokom raju, nie wierzyć prorokom zagłady i patrzeć bardzo uważnie.
A gdyby kiedyś przyszło mi powiedzieć: „Piotrze, jednak przesadzaliśmy…” to będę bardzo zadowolony, że się pomyliliśmy. A jeśli nie — cóż. Nie znamy dnia ani godziny.
Objaśnienia
* alingment - alignment problem to fundamentalne wyzwanie polegające na tym, aby sztuczna inteligencja nie tylko wykonywała nasze polecenia, ale przede wszystkim była zgodna z ludzkimi celami, wartościami, etyką i intencjami.
** „The core challenge of automating AI research is not ‘getting there’ - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.” – (tłumacz Google) Kluczowym wyzwaniem w automatyzacji badań nad sztuczną inteligencją nie jest samo osiągnięcie celu, lecz zrobienie tego w taki sposób, by ludzie pozostali częścią procesu ciągłego doskonalenia, a przyszłość pozostała w rękach ludzkości.
