278. Hodnota je krehká
Keby som si mal vybrať jednu vetu, ktorá sa opiera o obsah blogu Overcoming Bias viac než hocijaká iná, akú som napísal, tá veta by bola: Ľubovoľná Budúcnosť Ľudstva, ktorú nevytvaruje systém cieľov s podrobnou spoľahlivou dedičnosťou od ľudskej morálky a metamorálky, nebude obsahovať takmer nič hodnotné.
"Nuž," povie niekto, "možno podľa tvojich provinčných ľudských hodnôt by sa tebe nepáčila. Ale ja si viem ľahko predstaviť galaktickú civilizáciu plnú činiteľov, ktorí vôbec nie sú takí ako ty, a predsa nachádzajú veľkú hodnotu a záujem vo svojich vlastných cieľoch. A to je podľa mňa v poriadku. Nie som taký bigotný ako ty. Nechajme Budúcnosť ísť svojou vlastnou cestou, a nepokúšajme sa ju naveky pripútať k smiešne primitívnym predsudkom tlupy štvornohých Mäkkých Vecí..."
Milý priateľ, ja nemám problém s predstavou budúcich civilizácii, ktoré budú značne iné ako tá naša... plných zvláštnych bytostí, ktoré zďaleka nevyzerajú ako ja, a ani si ma nevedia predstaviť... hľadajúcich radosti a zážitky, do ktorých sa nedokážem vžiť... obchodujúce na trhu s nepredstaviteľnými statkami... spájajúcimi sa za nepochopiteľnými zámermi... ľuďmi, ktorých životné príbehy by som nikdy nepochopil.
Takto bude Budúcnosť vyzerať, ak veci dopadnú dobre.
Ak sa reťaz dedičnosti od ľudskej (meta)morálky pretrhne, Budúcnosť nebude vyzerať takto. Neskončí ako čarovne, úžasne nezrozumiteľná. S veľmi vysokou pravdepodobnosťou skončí ako napohľad nudná. Nezmyselná. Niečo, za čoho stratou by ste nesmútili.
Vidieť toto ako samozrejmosť, to si vyžaduje ohromné množstvo vysvetlenia základov...
Predstavte si, že vaša matka je uväznená v horiacej budove a vy ste zhodou okolností na kolieskovom kresle; nemôžete tam vbehnúť osobne. Môžete kričať: "Dostaňte moju matku z tej budovy!" ale nikto vás nepočuje.
Našťastie máte vo vrecku Pumpu na výsledky. Toto užitočné zariadenie dokáže stlačiť tok času a preliať pravdepodobnosť z jedných výsledkov do druhých.
Pumpa na výsledky nemá rozum. Obsahuje malý stroj času, ktorý vráti čas naspäť, okrem prípadu, keď nastane zadaný výsledok. Napríklad keby ste pripojili senzory Pumpy na výsledky k minci a zadali by ste, že stroj času má vracať čas dovtedy, kým neuvidí, že na minci padla hlava, a potom by ste naozaj hodili mincou, vy by ste videli, že na minci padla hlava. (Fyzici by povedali, že každá budúcnosť, v ktorej nastane "reset" je nekonzistentná a preto v prvom rade nikdy nenastane - takže v skutočnosti nezabíjate svoje alternatívne verzie.)
Akýkoľvek výrok, ktorý sa vám podarí zadať ako vstup do Pumpy na výsledky, sa nejako stane, ale nikdy nie spôsobom, ktorý by porušil fyzikálne zákony. Ak sa pokúsite zadať výrok, ktorý je príliš nepravdepodobný, stroj času utrpí spontánne mechanické zlyhanie predtým než tento výsledok nastane.
V zúfalstve teda vytrhnete Pumpu na výsledky z vrecka - vaša matka je stále uväznená v horiacej budove, pamätáte? - a pokúsite sa opísať svoj cieľ: dostaň moju matku von z budovy!
Používateľské rozhranie nepoužíva slovné vstupy. Pumpa na výsledky nemá rozum, pamätáte? Ale má 3D skener blízkeho okolia a zabudované nástroje na porovnávanie vzorov. Podržíte teda fotografiu, na ktorej je hlava a plecia vašej matky; porovnáte s fotografiou; použijete súvislosť objektov na označenie celého jej tela (nie iba hlavy a pliec); a definujete funkciu budúcnosti pomocou vzdialenosti vašej matky od stredu budovy. Čím ďalej od stredu budovy sa dostane, tým menšia je pravdepodobnosť resetu stroja času.
Pre šťastie zakričíte "Dostaň moju matku von z tej budovy!" a stlačíte Enter.
Chvíľku sa zdá, že sa nič nedeje. Obzriete sa, čakáte, že sa objaví požiarne vozidlo a prídu záchranári - alebo aspoň nejaký silný a rýchly bežec, ktorý by vašu matku vytiahol z budovy...
BUM! S hromovým revom vybuchne prívod plynu pod budovou. Ako sa budova rozpadá, akoby v spomalenom filme, zazriete rozbité telo svojej matky vymrštené vysoko do vzduchu, rýchlo letiace, prudko zvyšujúce svoju vzdialenosť od bývalého stredu budovy.
Na boku Pumpy na výsledky je núdzové tlačidlo ľútosti. Každá funkcia budúcnosti má automaticky definovanú veľkú zápornú hodnotu pre stlačenie tlačidla ľútosti - pravdepodobnosť časového resetu takmer 1 - takže je extrémne nepravdepodobné, že by Pumpa na výsledky urobila niečo, čo by používateľa zarmútilo natoľko, že stlačí tlačidlo ľútosti. Sotva ste sa začali načahovať po tlačidle ľútosti (načo už je to teraz dobré?), z oblohy spadol horiaci drevený trám a rozpučil vás na placku.
Čo nebolo presne to, čo ste chceli, ale malo to veľmi vysoké skóre v definovanej funkcii budúcnosti...
Keby vás niekto požiadal, aby ste dostali jeho nešťastnú matku z horiacej budovy, mohli by ste pomôcť, alebo by ste mohli predstierať, že ho nepočujete. Ale ani by vám nenapadlo vyhodiť budovu do vzduchu. "Dostaň moju matku z budovy" znie ako omnoho bezpečnejšie želanie než je v skutočnosti, pretože vám ani nenapadne uvažovať nad plánmi, ktorým pripisujete extrémne negatívne hodnoty.
Spomeňte si opäť na tragédiu skupinového selekcionizmu: Niektorí raní biológovia tvrdili, že skupinová selekcia na nízku veľkosť subpopulácie by vytvorila individuálnu zdržanlivosť v rozmnožovaní; a predsa skutočné vynucovanie skupinového výberu v laboratóriu vytvorilo kanibalizmus, najmä nedospelých samičiek. Pri spätnom pohľade je zrejmé, že pri silnom selekčnom tlaku na malé subpopulácie sa kanibali budú rozmnožovať rýchlejšie než jedinci, ktorí sa dobrovoľne vzdajú príležitostí na rozmnožovanie. Ale jedenie malých dievčatiek je natoľko neestetické riešenie, že Wynne-Edwards, Allee, Brereton a ďalší skupinoví selekcionisti naň ani nepomysleli. Videli iba tie riešenia, ktoré by použili oni sami.
Predstavme si, že sa pokúsite zaplátať funkciu budúcnosti zadaním, že Pumpa na výsledky nesmie vyhodiť budovu do vzduchu: výsledky, v ktorých sú materiály budovy rozmiestnené na príliš veľkom objeme, budú mať pravdepodobnosť časového resetu ~1.
Vaša matka teda vypadne z okna na druhom poschodí a zlomí si väzy. Pumpa na výsledky našla v čase inú cestu, ktorá stále končí tým, že vaša matka je mimo budovy, a stále to nie je to, čo by ste chceli, a stále to nie je riešenie, ktoré by napadlo ľudskému záchrancovi.
Kiež by Open-Source Wish Project radšej vyvinul želanie, ako dostať vašu matku z horiacej budovy:
Želám si posunúť moju matku (definovanú ako ženu, s ktorou mám spoločnú polovicu génov a ktorá ma porodila) mimo hraníc horiacej budovy, ktorá je v tejto chvíli najbližšie pri mne a práve horí; ale nie výbuchom budovy; nie zrútením stien budovy, takže budova už nemá hranice; ani čakaním, kedy budova dohorí a záchranár vytiahne telo...
Všetky tieto špeciálne prípady, napohľad neobmedzené množstvo potrebných záplat, pripomína pridávanie ďalších pravidiel typu: "pätnásť plus pätnásť sa rovná tridsať, avšak pätnásť plus šestnásť sa rovná tridsať jeden".
Ako vy vylučujete výsledok, kde budova vybuchne a vymrští vašu matku do oblohy? Pozriete dopredu, predvídate, že vaša matka skončí mŕtva, a tento dôsledok nechcete, preto skúšate zakázať udalosti, ktoré k nemu vedú.
Vo vašom mozgu nie je zakódované konkrétne dopredu pripravené tvrdenie, že "vyhodiť do vzduchu horiacu budovu obsahujúcu moju matku je zlý nápad." A napriek tomu sa pokúšate dopredu nahrať toto konkrétne tvrdenie do funkcie budúcnosti Pumpy na výsledky. Preto vaše želanie vybuchuje, premieňa sa na obrovskú vyhľadávaciu tabuľku, ktorá zaznamenáva vaše úsudky pre všetky možné cesty časom.
Zabudli ste si vypýtať to, čo naozaj chcete. Chceli ste, aby vaša matka naďalej žila, ale želali ste si, aby bola ďalej od stredu tejto budovy.
Akurát že to nie je všetko, čo chcete. Ak vašu matku zachránia z budovy, ale bude hrozne popálená, takýto výsledok by ste na vašom rebríčku preferencií hodnotili horšie než výsledok, kde bude zachránená a zdravá. Takže si ceníte nielen život ale aj zdravie svojej matky.
A ceníte si nielen jej telesné zdravie, ale aj jej duševný stav. Záchrana spôsobom, ktorý by ju traumatizoval - napríklad keby sa odnikadiaľ vynorila obrovská purpurová príšera a schmatla by ju - je horšie než keď sa objaví požiarnik a vyvedie ju von po nehoriacej trase. Na druhej strane, dali by ste prednosť tomu, keby ju zachránila príšera, než keby zhorela zaživa.
Čo keby sa spontánne otvorila červia diera a premiestnila ju na opustený ostrov? Lepšie než keby bola mŕtva; ale horšie než keby bola živá, zdravá, netraumatizovaná a v ďalšom kontakte s vami a ostatnými členmi jej spoločenskej siete.
Bolo by v poriadku zachrániť život vašej matky za cenu života rodinného psa, keby utekal upozorniť požiarnika, ale potom by ho prešlo auto? Iste áno, ale bolo by lepšie vyhnúť sa zabitiu psa. Nechceli by ste jej život vymeniť za iný ľudský život, ale čo povedzme život usvedčeného vraha? Záležalo by na tom, či tento vrah zomrie pri pokuse o jej záchranu, motivovaný dobrom v jeho srdci? Čo dvaja vrahovia? Keby cenou za život vašej matky bolo zničenie každej kópie Bachovej Malej fúgy v G mol vrátane spomienok na ňu, stálo by to za to? Čo keby mala smrteľnú chorobu, takže by aj tak zomrela o osemnásť mesiacov?
Keby nohu vašej matky rozdrvil horiaci trám, stálo by za to zachraňovať jej zvyšok? Čo keby bola rozdrvená jej hlava, ale zostalo by telo? Čo keby bolo rozdrvené telo, a zostala by iba hlava? Čo keby vonku čakal kryonický tím pripravený uložiť jej hlavu? Je zmrazená hlava človek?
Váš mozog nie je nekonečne zložitý, ale hoci je táto zložitosť konečná, nie je malá. Ceníme si veľa vecí a nie, nie sú redukovateľné na cenenie si "šťastia" alebo cenenie si "reprodukčnej spôsobilosti".
Neexistuje žiadne bezpečné želanie menšie než celá ľudská morálka. Existuje príliš veľa možných ciest časom. Nedokážete si predstaviť všetky cesty vedúce k cieľu, ktorý zadáte džinovi. "Maximalizuj vzdialenosť medzi mojou matkou a stredom budovy" sa dá ešte efektívnejšie dosiahnuť odpálením jadrovej zbrane. Alebo na vyššej úrovni moci džin vyhodí jej telo zo slnečnej sústavy. Alebo na vyššej úrovni inteligencie džin urobí niečo, na čo by nikto z nás ani nepomyslel, rovnako ako by šimpanz nepomyslel na odpálenie jadrovej zbrane. Nedokážete si predstaviť všetky cesty časom, rovnako ako nedokážete naprogramovať šachový stroj tak, že mu natvrdo zadáte pohyb pre každú možnú pozíciu na šachovnici.
A skutočný život je omnoho zložitejší než šach. Nedokážete vopred predpovedať, ktoré z vašich hodnôt budú potrebné na posúdenie cesty časom, ktorú si džin vyberie. Najmä ak si želáte niečo dlhodobejšie alebo ďalekosiahlejšie než záchranu svojej matky z horiacej budovy.
Jediný bezpečný džin je taký, ktorý pozná všetky vaše hodnotiace kritériá, a v tom bode vám stačí povedať: "Želám si, aby si urobil to, čo by som si mal želať."
Vlastne by ani nemalo byť potrebné niečo povedať. Aby bol džin bezpečným plničom želaní, musí mať s vami spoločné hodnoty, ktoré vás viedli k vysloveniu želania. V opačnom prípade by si džin nemusel vybrať cestu časom, ktorá vedie do vami zamýšľaného cieľa, alebo by sa nemusel vyhnúť desivým vedľajším účinkom, kvôli ktorým by vám ani nenapadlo uvažovať o taktomto pláne. Želania sú presakujúce zovšeobecnenia, odvodené z obrovskej ale konečnej štruktúry, ktorou je vaša celá morálka; iba zahrnutím celej tejto štruktúry môžete upchať všetky priesaky.
Ak je džin bezpečný, želania sú nadbytočné. Stačí džina spustiť.
Ak uvoľníte svoje držanie ľudskej morálky a metamorálky - výsledok nebude tajomný a mimozemský a krásny podľa štandardov ľudskej hodnoty. Aby ste sa zmenili z ľudskej morálky smerom k zlepšeniu a nie k entropii, potrebujete kritérium zlepšenia; a toto kritérium by bolo fyzicky reprezentované v našich mozgoch, a iba v našich mozgoch.
Uvoľnite držanie vesmíru ľudskou hodnotu, a skončí ako vážne bezcenný. Nie čudný a mimozemský a úžasný, šokujúci a desivý a krásny nad ľudskú predstavivosť. Jednoducho vyplnený kancelárskymi spinkami.
To totiž iba niektorí ľudia, ako vidíte, majú túto predstavu, že by sme mali prijať mnohoraké rozmanitosti mysle - že by sme mali chcieť, aby Budúcnosť bola niečo väčšie než minulosť - že by sme nemali byť pripútaní k svojmu starému ja - že by sme sa mali chcieť meniť a posúvať vpred.
Maximalizátor kancelárskych spiniek si iba vyberie tú činnosť, ktorá vedie k najväčšiemu množstvu kancelárskych spiniek.
Žiaden obed zadarmo. Chcete mať úžasný a tajomný vesmír? To je vaša hodnota. To je vaša práca, aby ste túto hodnotu vytvorili. Nechajte tú hodnotu pôsobiť silou cez vás, ktorí ju predstavujete, nechajte ju robiť vo vás rozhodnutia, ktoré vytvarujú budúcnosť. A možno naozaj získate úžasný a tajomný vesmír.
Vy máte hodnoty, dokonca aj keď sa snažíte byť "kozmopolitný", pokúšate sa prejaviť správne cnostné ocenenie mimozemských myslí. Váš mozog pravdepodobne ani nevygeneruje alternatívu takú strašnú, že by vás to prebudilo a donútilo povedať: "Nie! Niečo sa pokazilo!" dokonca aj pri vašej maximálnej kozmopolitnosti. Napríklad: "nevedomý optimalizátor pohlcuje všetku hmotu vo svojom svetelnom kuželi a vypĺňa vesmír kancelárskymi spinkami." Vy si iba predstavujete zvláštne mimozemské svety, ktoré by ste si cenili.
Pokúšať sa byť "kozmopolitný" - byť občanom vesmíru - iba odstraňuje pozlátko na povrchu z cieľov, ktoré vyzerajú očividne "ľudské".
Ale ak nechcete, aby Budúcnosť bola vyplnená kancelárskymi spinkami, a radšej by ste mali civilizáciu plnú...
...vedomých bytostí...
...s príjemnými zážitkami...
...ktoré nie sú tie isté zážitky znovu a znovu dokola...
...a týkajú sa niečoho iného, okrem toho, že sú to iba postupnosti vnútorných príjemných pocitov...
...ktoré sa učia, objavujú, vyberajú si z možností...
...no, práve som prešiel cez články o teórii zábavy, ktoré rozoberajú skryté podrobnosti týchto krátkych slov.
Hodnoty, ktoré by ste mohli chváliť ako kozmopolitné alebo univerzálne alebo základné alebo samozrejmý zdravý rozum, sú reprezentované vo vašom mozgu rovnako ako tie hodnoty, ktoré by ste zamietli ako iba ľudské. Tieto hodnoty pochádzajú z dlhej histórie ľudstva a z morálne zázračnej hlúposti evolúcie, ktorá nás vytvorila.
Tieto hodnoty nevznikajú vo všetkých možných mysliach. Neobjavia sa len tak z ničoho, aby skritizovali a odvolali funkciu úžitku maximalizátora očakávaných kancelárskych spiniek. Dotknite sa príliš silno v nesprávnom rozmere, a fyzické reprezentácie týchto hodnôt sa roztrieštia - a nevrátia sa späť, pretože nezostane nič, čo by ich chcelo priviesť späť. A referent týchto hodnôt - hodnotný vesmír - už viac nebude mať žiaden fyzický dôvod vzniknúť.
Pustite kormidlo, a Budúcnosť havaruje.
