291. Newcombov problém a ľutovanie rozumnosti

Nasledujúca úloha je asi tá najkontroverznejšia dilema v histórii teórie rozhodovania:

Superinteligencia z inej galaxie, ktorú nazývame Omega, príde na Zem a začne hrať čudnú hru. V tejto hre si Omega vyberie nejakého človeka, postaví pred neho dve krabice a odletí preč.

Krabica A je priehľadná a obsahuje tisíc dolárov.

Krabica B je nepriehľadná a obsahuje buď milión dolárov alebo nič.

Môžete si vziať obe krabice, alebo vziať iba krabicu B. A chyták je v tom, že Omega dala do krabice B milión dolárov vtedy a iba vtedy, ak Omega predpovedala, že si vezmete iba krabicu B.

Omega mala pravdu v každom z doteraz pozorovaných 100 prípadov - každý, kto si vzal obe krabice, zistil, že krabica B je prázdna a dostal iba tisíc dolárov; každý, kto si vzal iba krabicu B, zistil, že krabica B obsahuje milión dolárov. (Predpokladáme, že ak si vezmete iba krabicu B, krabica A sa rozplynie v oblaku dymu; nikto iný si nemôže dodatočne vziať krabicu A.)

Skôr než si vyberiete, Omega už odletela a hrá niekde inde ďalšiu svoju hru. Krabica B už je prázdna, alebo už je plná.

Omega položí dve krabice na zem pred vás a odletí preč. Vezmete si obe krabice, alebo iba krabicu B?

* * *

A štandardná filozofická konverzácia sa vyvíja takto:

Jednokrabičkár: "Ja si samozrejme vezmem iba krabicu B. Radšej budem mať milión ako tisíc."

Dvojkrabičkár: "Ale Omega už odišla. Buď je krabica B už plná alebo je už prázdna. Ak je krabica B už prázdna, potom vziať obe krabice mi dá 1000 dolárov, a vziať iba krabicu B mi dá 0 dolárov. Ak je krabica B už plná, potom vziať obe krabice mi dá 1 001 000 dolárov, a vziať iba krabicu B mi dá 1 000 000 dolárov. V oboch prípadoch je výhodnejšie vziať obe krabice, a menej výhodné nechať tisíc dolárov ležať - budem teda rozumný a vezmem si obe krabice."

Jednokrabičkár: "Keď si taký rozumný, prečo nie si aj bohatý?"

Dvojkrabičkár: "Nie je to moja chyba, že sa Omega rozhodla odmeňovať iba ľudí s nerozumnými sklonmi, ale pre mňa je už neskoro, aby som s tým niečo urobil."

Na tému problémov ako je Newcombov existuje rozsiahla literatúra - najmä ak vezmeme Väzenskú dilemu ako jej špeciálny prípad, čo sa tak zvyčajne berie. Nebudem tu preberať celú literatúru, ale v modernej teórii rozhodovania prevláda zhoda, že človek by mal vziať obe krabice, a že Omega jednoducho odmeňuje činiteľov s nerozumnými sklonmi. Tento prevládajúci názor sa nazýva "kauzálna teória rozhodovania".

Nebudem tu skúšať predkladať svoju vlastnú analýzu. To je príliš dlhý príbeh, ešte aj na moje pomery.

Ale dokonca aj kauzálni rozhodovací teoretici sa zhodnú, že ak máte schoposť vopred sa zaviazať, že v Newcombovom probléme vezmete iba jednu krabicu, mali by ste to urobiť. Ak sa tak zaviažete ešte predtým ako vás Omega preskúma, potom ste priamo spôsobili, že krabica B bude plná.

Moja oblasť - v prípade, že ste zabudli, je to sebamodifikujúca umelá inteligencia (UI) - toto v preklade znamená, že ak postavíte UI, ktorá by si v Newcombovom probléme vybrala dve krabice, táto sa zmení, aby si v Newcombovom probléme vyberala iba jednu krabicu, ak predpokladá, že sa dostane do takejto situácie. Činitelia s voľným prístupom k svojmu zdrojovému kódu majú lacnú metódu zaväzovania sa.

Čo ak očakávate, že by ste sa vo všeobecnosti mohli stretnúť s problémom ako je ten Newcombov, ale nepoznáte presnú podobu problému? Potom by ste sa mohli zmeniť na taký druh činiteľa, ktorý má také sklony, že vo všeobecnosti dostáva vysoké odmeny v problémoch ako je ten Newcombov.

Ako ako vlastne vyzerá taký činiteľ, ktorý je vo všeobecnosti dobre prispôsobený problémom ako je ten Newcombov? Dá sa to formálne špecifikovať?

Áno, ale keď som to skúšal napísať, uvedomil som si, že začínam písať malú knihu. A nebola to tá najdôležitejšia kniha na napísanie, tak som to odložil do šuflíka. Moje pomalé písanie je naozaj kliatbou mojej existencie. Zdá sa, že teória, na ktorej som pracoval, má veľa pekných vlastností okrem toho, že sa hodí na problémy ako je ten Newcombov. Bola by z nej pekná dizertačná práca, keby som našiel niekoho, kto by to prijal ako moju dizertačnú prácu. Ale to je viacmenej jediný dôvod, prečo by som tento projekt opäť vybral zo šuflíka. Inak neviem zdôvodniť taký časový výdavok, nie pri rýchlosti, akou teraz píšem knihy.

Toto všetko hovorím, pretože existuje častý postoj, že "Slovné argumenty pre jednu krabicu sa ľahko vymýšľajú, ťažké je však vyvinúť dobrú teóriu rozhodovania, ktorá si vyberá jednu krabicu" - koherentnú matematiku, ktorá si vyberá jednu krabicu v Newcombovom probléme bez toho, že by niekde inde produkovala absurdné výsledky. Ja tomu rozumiem, aj som sa pokúsil vyvinúť takú teóriu, ale moje písanie veľkých článkov je také pomalé, že to nedokážem publikovať. Či mi veríte alebo nie, je to pravda. Tak či tak by som rád predložil niektoré z mojich motívov ohľadom Newcombovho problému - dôvody, ktoré ma poháňajú hľadať novú teóriu - pretože ilustrujú moje základné postoje k rozumnosti. Aj keď neviem predložiť celú teóriu, ktorú tieto motivácie motivujú...

V prvom rade, ako základ, nado všetko ostatné:

Rozumní činitelia by mali VYHRÁVAŤ.

Ale v každom prípade VYHRAJTE. Neprehrajte rozumne, VYHRAJTE.

Existujú obrancovia kauzálnej teórie rozhodovania, ktorí hovoria, že dvojkrabičkári robia to najlepšie, čo môžu, aby vyhrali, a nemôžu si pomôcť, ak boli prekliati Predpovedačom, ktorý nadŕža nerozumným. Tejto obrane sa budem o chvíľu venovať. Ale najprv chcem ukázať rozdiel medzi kauzálnymi teoretikmi rozhodovania, ktorí veria, že dvojkrabičkári naozaj robia to najlepšie, čo môžu, aby vyhrali; verzus niekto, kto si myslí, že dvojkrabičkovanie je tá rozumná alebo racionálna vec, ktorú treba urobiť, ale že v tomto prípade tento rozumný krok zhodou okolností predvídateľne prehrá. Existuje veľa ľudí, ktorí si myslia, že rozumnosť predvídateľne prehráva v rôznych problémoch - aj to je súčasť hollywoodskeho stereotypu rozumnosti, kde je Kirk predvídateľne lepší než Spock.

Ďalej sa venujme obvineniu, že Omega nadŕža nerozumným. Viem si predstaviť superbytosť, ktorá odmeňuje iba ľudí narodených s konkrétnym génom, bez ohľadu na ich voľby. Viem si predstaviť superbytosť, ktorá odmeňuje ľudí, ktorých mozgy obsahujú konkrétny algoritmus: "Opíš svoje možnosti po anglicky, a potom si vyber poslednú možnosť v abecednom poradí," ale neodmeňuje nikoho, kto si vyberie rovnakú možnosť, ale z iného dôvodu. Lenže Omega odmeňuje ľudí, ktorí si vezmú iba krabicu B, bez ohľadu na to, aký algoritmom došli k tomuto záveru, a preto nesúhlasím s obvinením, že Omega odmeňuje nerozumných. Omega sa nestará o to, či ste sa riadili alebo neriadili nejakým konkrétnym rituálom poznávania; Omega sa stará iba o vaše predpovedané rozhodnutie.

Môžeme si vyberať ľubovoľným algoritmom uvažovania, a budeme odmenení alebo potrestaní iba za to, čo si tento algoritmus vyberie, na ničom inom to nezávisí - Omega sa stará o to, kam ideme, ale nie, ako sme sa tam dostali.

A práve toto pochopenie, že príroda sa nestará o náš algoritmus, nám umožňuje nasledovať Cestu vyhrávania - bez pripútanosti s ľubovoľnému konkrétnemu rituálu poznávania, okrem nášho názoru, že vyhráva. Každé pravidlo sa dá obísť, okrem pravidla, že vyhrávame.

Ako povedal Miyamoto Musashi - naozaj sa to oplatí zopakovať:

Môžete vyhrať pomocou dlhej zbrane, a predsa môžete vyhrať aj pomocou krátkej zbrane. V skratke, škola Way of the Ichi je duch vyhrávania, bez ohľadu na zbraň a jej veľkosť.

"Lenže," povie kauzálny teoretik rozhodovania, "aby ste vzali iba jednu krabicu, musíte nejako veriť, že vaša voľba dokáže ovplyvniť, či je krabica B prázdna alebo plná - a to je nerozumné! Omega už odišla! Je to fyzicky nemožné!"

Nerozumné? Ja som racionalista: prečo by som sa staral o to, čo je nerozumné? Nemusím sa podriaďovať žiadnemu konkrétnemu rituálu poznávania. Nemusím si vybrať krabicu B iba kvôli tomu, že verím, že moja voľba ovplyvňuje krabicu, hoci Omega už odišla. Môžem si jednoducho... zobrať iba krabicu B.

Od Jamesa Joycea, Základy kauzálnej teórie rozhodovania:

Rachel má úplne dobrú odpoveď na otázku: "Prečo nie si bohatá?" "Nie som bohatá," povie, "pretože nie som ten typ človeka, o ktorom si psychológ myslí, že by odmietol tieto peniaze. Skrátka nie som ako ty, Irene. Keďže viem, že som ten typ, ktorý si vezme peniaze, a keďže ten psychológ vie, že som tento typ, je rozumné, aby som si myslela, že tých 1 000 000 dolárov nie je na mojom účte. Tých 1000 dolárov je maximum, čo môžem získať, nech robím čokoľvek. Takže jediná rozumná možnosť pre mňa je vziať si ich."

Irene môže chcieť ešte trochu pritlačiť a opýta sa: "Ale neželala by si, aby si bola ako ja, Rachel? Neželáš si, aby si bola ten odmietajúci typ?" Máme sklon si myslieť, že Rachel, ako oddaná kauzálna teoretička rozhodovania, musí na túto otázku odpovedať záporne, čo znie očividne nesprávne (keďže keby bola ako Irene, bola by bohatá). Toto nie je ten prípad. Rachel môže a mala by priznať, že by radšej bola taká ako Irene. "Bolo by pre mňa lepšie," môže priznať, "keby som bola ten odmietajúci typ." V tomto bode Irene vyhlási: "Priznala si to! Nebolo teda až také chytré vziať si tie peniaze." Nanešťastie pre Irene, jej záver nevyplýva z Racheliných predpokladov. Rachel jej trpezlivo vysvetlí, že želať si byť odmietačom v Newcombovom probléme nie je nekonzistentné s myslením si, že človek by mal vziať tých 1000 dolárov bez ohľadu na to, aký typ je. Keď si Rachel želá, aby bola ten typ ako Irene, želá si, aby mala také možnosti ako Irene, neschvaľuje tým jej voľbu.

Povedal by som, že je všeobecným princípom rozumnosti - ba priam časť toho, ako rozumnosť definujem - že by ste nikdy nemali skončiť tak, že niekomu závidíte samotnú jeho voľbu. Môžete niekomu závidieť jeho gény, ak Omega odmeňuje gény, alebo ak mu gény vo všeobecnosti dávajú šťastnejší život. Ale v tomto prípade Rachel závidí Irene jej voľbu, a iba jej voľbu, bez ohľadu na to, aký algoritmus Irene použila, aby k nej došla. Rachel si želá iba, aby mala schopnosť vybrať si inak.

Nemali by ste tvrdiť, že ste rozumnejší než niekto a zároveň mu závidieť jeho voľbu - iba voľbu samotnú. Jednoducho konajte tým spôsobom, ktorý závidíte.

Pokúšam sa povedať, že rozumnosť je Cesta vyhrávania, ale kauzálni rozhodovací teoretici trvajú na tom, že vziať si obe krabice je to, čo naozaj vyhráva, pretože predsa nemôže byť lepšie nechať 1000 dolárov na stole... aj keď jednokrabičkári odchádzajú z pokusu s väčším množstvom peňazí. Dávajte si pozor na tento typ argumentu, vždy keď sa pristihnete, že definujete ako "víťaza" niekoho iného než toho činiteľa, ktorý sa práve usmieva z vrchu vysokej hromady úžitku.

Alebo tu je iný spôsob, ako na to pozerať: Keby ste sa stretli s Newcombovým problémom, chceli by ste naozaj pozorne hľadať dôvod veriť, že je dokonale rozumné a racionálne vziať si iba krabicu B; pretože, keby taký argument existoval, mohli by ste si vziať iba krabicu B a zistiť, že je plná peňazí?

Boli by ste ochotní venovať tomu hodinu navyše, aby ste si to premysleli, keby ste si boli istí, že na konci tejto hodiny dokážete presvedčiť sami seba, že krabica B je tá rozumná voľba? Aj toto je pomerne nezvyčajná situácia. Za bežných okolností je úlohou rozumnosti zistiť, ktorá voľba je najlepšia - nie nájsť dôvod, prečo veriť, že nejaká konkrétna možnosť je najlepšia.

Možno je príliš ľahké povedať, že "by ste mali" vziať dve krabice v Newcombovom probléme, že toto je tá "rozumná" vec, pokiaľ tie peniaze nie sú naozaj pred vami. Možno ste dovtedy len boli unavení filozofickými dilemami. Čo keby vaša dcéra mala chorobu, ktorá je na 90 % smrteľná, a v krabici A by bolo sérum, ktoré ju uzdraví s pravdepodobnosťou 20 %, a v krabici B by bolo sérum, ktoré ju uzdraví s pravdepodobnosťou 95 %? Čo keby sa na Zem rútil asteroid, a krabica A by obsahovala odchyľovač asteroidov, ktorý funguje v 10 % prípadov, a krabica B by obsahovala odchyľovač asteroidov, ktorý funguje v 100 % prípadov?

Boli by ste v takomto momente v pokušení vybrať si nerozumne?

Keby v krabici B bolo niečo, čo nemôžete nechať len tak? Niečoho omnoho dôležitejšie než to, či sa správate rozumne? Keby ste absolútne museli vyhrať - naozaj vyhrať, nie len definovať si, že ste vyhrali?

Želali by ste si zo všetkých síl, aby "rozumné" rozhodnutie bolo vziať si iba krabicu B? Potom je možno načase aktualizovať svoju definíciu rozumnosti.

Údajní racionalisti by nemali zisťovať, že závidia púhe rozhodnutia údajných neracionalistov, pretože vaše rozhodnutie môže byť také, aké len chcete. Keď zistíte, že ste v takejto pozícii, nemali by ste karhať toho druhého za to, že sa nepodriaďuje vašej predstave rozumnosti. Mali by ste si uvedomiť, že chápete Cestu nesprávne.

Podobne je to, keby ste sa niekedy pristihli, že si osobitne pamätáte "rozumné" názory, verzus názory, ktoré sú pravdepodobne naozaj pravdivé. Buď ste nepochopili rozumnosť, alebo je vaša druhá intuícia jednoducho nesprávna.

Nemôžete však zároveň definovať "rozumnosť" ako vyhrávajúcu Cestu, a definovať "rozumnosť" ako bayesovskú teóriu pravdepodobnosti a teóriu rozhodovania. Ale to je ten argument, ktorý tu predkladám, a ponaučenie mojej rady Dôverovať Bayesovi, že zákony, ktorými sa riadi vyhrávanie, sa naozaj ukázali byť matematika. Keby sa niekedy ukázalo, že Bayes zlyháva - dostáva systematicky nižšie odmeny za niektoré problémy, v porovnaní s lepšou alternatívou, na základe púhych svojich odpovedí - potom Bayesa treba vyhodiť z okna. "Rozumnosť" je iba nálepka, ktorou označujem moje názory na vyhrávajúcu Cestu - na Cestu činiteľa, ktorý sa usmieva z vrchu obrovskej hromady úžitku. V súčasnosti táto nálepka označuje bayesovské remeslo. Rozumnosť je systematizované vyhrávanie.

"Ale," namietate, "rozumný človek nie vždy vyhrá!"

Čo tým myslíte? Myslíte tým, že každý druhý týždeň niekto, kto si kúpil žreb v lotérii so zápornou očakávanou hodnotou, vyhrá lotériu a stane sa bohatším než vy? To nie je systematická strata; to je selektívne spravodajstvo médií. Zo štatistického pohľadu výhercovia lotérie neexistujú - nebyť selektívneho spravodajstva, za celý svoj život by ste nestretli ani jedného. Dokonca aj dokonale rozumní činitelia môžu prehrať. Akurát nemôžu vopred vedieť, že prehrajú. Nemôžu očakávať, že sa im bude dariť horšie než ľubovoľnej inej vykonateľnej stratégii, lebo inak by ju jednoducho vykonali.

Uvedomujem si, že toto nie je zdrvujúca kritika kauzálnej teórie rozhodovania - to by si vyžiadalo skutočnú knihu a/alebo dizertačnú prácu - ale dúfam, že to ilustruje niektoré moje základné postoje k tomuto poňatiu "rozumnosti".

[Doplnené 2015: Už som napísal knihu s úvodom do rozhodovacej teórie, ktorá dominuje kauzálnej teórii rozhodovania, "Bezčasová teória rozhodovania". Kryptograf Wei Dai reagoval inou alternatívou ku kauzálnej teórii rozhodovania, bezaktualizačnou teóriou rozhodovania, ktorá dominuje aj kauzálnej aj bezčasovej teórii rozhodovania.]

Nemali by ste zistiť, že rozlišujete vyhrávajúcu voľbu od rozumnej voľby. Nemali by ste zistiť, že rozlišujete rozumný názor od názoru, ktorý je s najväčšou pravdepodobnosťou pravdivý.

To je dôvod, prečo používam slovo "rozumný" na označenie mojich názorov na presnosť a vyhrávanie - nie aby som označil slovné uvažovanie, alebo stratégie, ktoré prinášajú zaručený úspech, alebo to, čo sa dá logicky dokázať, alebo to, čo sa dá verejne predviesť, alebo to, čo je rozumné.

Ako povedal Miyamoto Musashi:

Prvoradou vecou, keď uchopíš meč do rúk, je tvoj zámer ťať nepriateľa, akýmkoľvek spôsobom. Kedykoľvek odrážaš, udieraš, bodáš, sekáš, alebo sa dotýkaš nepriateľovho tnúceho meča, musíš v tom istom pohybe ťať nepriateľa. Je podstatné toto dosiahnuť. Ak myslíš iba na odrážanie, udieranie, bodanie, sekanie, alebo dotýkanie sa nepriateľa, nedokážeš ho naozaj sťať.

Dodatok (Matej Athos):

Za predpokladu, že Omega dokáže predpovedať ľudské rozhodnutie vopred s úspešnosťou 100 zo 100, tak nejde o to, že by človek teraz menil predpoveď Omegy, ak si vyberie iba krabicu B, ale že Omega predpovedala ľudské rozhodovacie algoritmy ešte predtým, než sa zapnú a rozhodnú, podobne ako človek vie predpovedať správanie počítačovej postavy v hre. Nie je na mieste snažiť sa Omegu oklamať, ak vás číta lepšie než vy sami seba (navyše aj pomer odmien je zadaný jasne v prospech jednej krabice).

Podobne ako fyzici si neuvedomili, že sa sami skladajú z častíc, dvojkrabičkári si neuvedomili, že oni sami sú súčasťou zadania, a nemajú teraz schopnosť aktualizovať to, čo Omega už prečítala. Nie je vôbec intuitívne naozaj chápať samých seba ako fyzike podliehajúce častice, ani ako už daný rozhodovací algoritmus, ktorého reakcie môže niekto vedieť vopred predpovedať. Nevieme sa cítiť ako predpovedateľné stroje ani len v hypotetickej úlohe, riešime otázky akoby sme my sami boli nad nimi a potom tu máme takéto hrozné chyby obhajované na akademickej úrovni.