Toto nie je napísané mnou, je to prepis tejto stránky do jedného článku. Autorom je Luke Muehlhauser, do mája 2015 bol výkonným riaditeľom Machine Intelligence Research Institute (predtým Singularity Institute), organizácie stojacej za LessWrong a najväčšej organizácie zameranej na zabezpečenie toho, aby umelá inteligencia inteligentnejšia ako ľudská mala pozitívny, bezpečný a "priateľský" vplyv na spoločnosť.

Jeho slovami: "V skutočnosti si v Inštitúte Singularity myslíme, že ľudská racionalita je taká dôležitá aby sme nepokazili budúcnosť, že sme pomohli spustiť Centrum pre aplikovanú racionalitu (CFAR), ktoré učí študentov racionalite v štýle Kahnemana."

Niekedy v tomto storočí stroje prekročia ľudskú úroveň inteligencie a schopností. Táto udalosť - "Singularita" - bude najdôležitejšou udalosťou v našich dejinách, a jej úspešné prejdenie bude najdôležitejšou vecou, ktorú kedy urobíme.

Osobnosti od Alana Turinga a Jacka Gooda po Billa Joya a Stephena Hawkinga nás na toto upozorňovali; nezávisí to od naplnenia konkrétnej predstavy Raya Kurzweila o Singularite "zrýchľujúcej sa zmeny". Prečo si myslím, že Hawking a spol. majú pravdu, a čo s tým môžeme urobiť?

Zoči-voči Singularite je môj pokus odpovedať na tieto otázky.

Osobné pozadie

Začnem svojím osobným pozadím. Pomôže vám to vedieť, kto som a odkiaľ prichádzam. Táto informácia je čiastočným svedectvom, ako by ste mali reagovať na ďalšie veci, ktoré hovorím. Keď moje náboženské názory konečne podľahli skutočnosti, dekonvertoval som a začal som písať blog, kde som ostatným vysvetľoval ateizmus a naturalizmus. Common Sense Atheism (ateizmus zdravého rozumu) sa stal jedným z najznámejších ateistických blogov na internete. Bavilo ma prekladať články profesionálnych filozofov do zrozumiteľnej angličtiny, a bavilo ma diskutovať s odborníkmi z danej oblasti v mojom podkaste Conversations from the Pale Blue Dot. Navyše, keď som stratil náboženstvo, nebolo mi zrejmé, čomu mám veriť alebo čo by som mal robiť so svojím životom, takže som využil svoj blog na hľadanie odpovedí.

Zaujímal som sa aj o rozumnosť, prinajmenšom od mojej dekonverzie, počas ktorej som objavil, aké ľahké je byť silno presvedčený o veciach, pre ktoré nemám žiadne dôkazy; o veciach, ktoré sa dávno ukázali ako nepravdivé; dokonca o úplných nezmysloch. Ako môže byť ľudský mozog tak neuveriteľne pomýlený? Bolo mi zrejmé, že nie som Aristotelov "rozumný živočích". Namiesto toho som Gazzanigov racionalizujúci živočích. Kritické myslenie bolo významnou témou Common Sense Atheism, a kritizovaním chybného myslenia ateistov som strávil rovnako veľa času ako kritizovaním chybného myslenia veriacich.

Explózia inteligencie

Môj záujem o rozumnosť ma nevyhnutne priviedol (myslím, že uprostred roku 2010) k pokladu, ktorý predstavovala zbierka článkov o mainstreamovej kognitívnej vede o rozumnosti: webová stránka Less Wrong (menej chybne). Tu som sa po prvýkrát stretol s myšlienkou explózie inteligencie od I. J. Gooda:

Definujme si ultrainteligentný stroj ako stroj, ktorý dokáže vo všetkom ďaleko prekonať rozumové schopnosti každého človeka, akokoľvek chytrého. Keďže navrhovanie strojov je jednou z týchto rozumových schopností, ultrainteligentný stroj by vedel navrhnúť ešte lepšie stroje; nepochybne by nastala "explózia inteligencie", a ľudská inteligencia by zostala ďaleko pozadu... Prvý ultrainteligentný stroj je teda posledným vynálezom, ktorý človek bude musieť urobiť.

Goodov odstavec ma prevalcoval ako vlak. Nie svojou absurdnosťou, ale svojou jasnou pravdivosťou. Explózia inteligencie bola priamym dôsledkom vecí, ktorým som už veril, iba som si to neuvedomil! Ľudia si neuvedomujú dôsledky svojho presvedčenia automaticky, takže som si nevšimol, že môj svetonázor už zahŕňa aj explóziu inteligencie. Strávil som týždeň hľadaním protiargumentov, aby som si overil, či mi niečo neuniklo, a potom som prijal explóziu inteligencie ako pravdepodobnú (za predpokladu, že vedecký pokrok bude pokračovať). A hoci som nečítal o zložitosti hodnôt od Eliezera , čítal som Davida Huma a Joshuu Greena. Takže som už rozumel, že náhodne vybraná umelá inteligencia takmer určite nebude zdieľať naše hodnoty.

Moja reakcia na tejto objav bola okamžitá a transformujúca. Priebežne som pozastavil svoje zvyčajné projekty a ďalší mesiac som strávil čítaním takmer všetkého, čo Eliezer napísal. Našiel som aj články od Nicka Bostroma a Steva Omohundra. Začal som písať články pre Less Wrong a učiť sa od jeho komunity. Prihlásil som sa do programu stážistov Inštitútu Singularity a prijali ma. Dal som výpoveď vo svojej práci v L.A., presťahoval som sa do Berkeley, tvrdo som zamakal, prijali ma, a začal som zbierať výskumné práce súvisiace s rozumnosťou a explóziou inteligencie.

Ako raz povedal môj kamarát Will Newsone: "Zdá sa, že Luke má dve kópie génu "Ber myšlienky vážne."."

Fanatizmus?

Samozrejme, čo jedni ľudia chvália ako "branie vážnych myšlienok vážne", druhí vidia ako vrodený sklon k fanatizmu. Viem si predstaviť, že niekto povie toto:

"Neprekvapuje ma to. Luke vyrástol v presvedčení, že má celosvetové poslanie zachrániť ľudstvo, prv než svet zanikne s príchodom supermocnej bytosti (návrat Krista). Stratil svoju vieru a tým aj svoj dramatický zmysel života. Strach z prázdnoty ho spravil náchylným nechať sa zviesť niečím, čo vyzeralo ako morálny realizmus... a jeho potreba dramatického zmyslu ho spravila náchylným nechať sa zviesť singularitariánstvom."

Na toto by som mohol odpovedať, že je to iba "psychologizovanie", ktoré sa vyhýba dôkazom pre moje tvrdenia ohľadom explózie inteligencie. Čo je pravda, ale na druhej strane: Dôveryhodné údaje o mojej psychológii dávajú určité bayesovské svedectvo o tom, ako by ste mali reagovať na moje slová na tejto stránke.

Prípadne by som mohol vysvetliť, prečo si nemyslím, že sa stalo práve toto, hoci niektoré prvky sú určite pravdivé. (Napríklad si nespomínam na pocit, že návrat Krista sa blíži, alebo že mám celosvetové poslanie zachrániť každú jednu dušu, hoci ako evanjelikálny kresťan som mal takéto postoje ako teologickú povinnosť. Ale určite je pravda, že ma lákajú "dramatické" veci, ako napríklad rocková skupina Muse alebo film Avatar.) Ale nechcem už v tejto kapitole zachádzať ešte ďalej do mojej osobnej psychológie.

Na Common Sense Atheism bola skupina čitateľov, ktorí si moje materiály prečítali tak dôkladne, že získali silnú úctu voči môjmu vážnemu záväzku byť k sebe intelektovo poctivý a zmeniť svoj názor, keď sa mýlim, takže keď som začal písať o téme Singularity, pomysleli si: "Nuž, myslel som si, že tie veci o Singularite sú dosť prehnané, ale ak to Luke berie vážne, možno je na tom viac, než si uvedomujem" a potom ma nasledovali na Less Wrong (kde teraz prispievam pravidelne). Spomeniem aj, že dôležitým príčinným faktorom môjho vymenovania za výkonného riaditeľa Inštitútu Singularity po takom krátkom čase v organizácii bolo, že zamestnanci Inštitútu Singularity videli, že som vážne oddaný rozumnosti a zbavovaniu sa predsudkov, vážne oddaný hovoreniu "ups" a zmene názoru v reakcii na argument, a vážne oddaný konaniu v rámci mojich možností skôr podľa teórie rozhodovania než podľa zvykov a emócií, hoci mám k tomu sklony.

V rámci prieskumu možných reakcií na horeuvedené obvinenie z "fanatizmu" som už ponúkol nejakú obranu. Ale ďalej už s tým nepôjdem. Chcem, aby ľudia brali to, čo poviem, s primeranou rezervou. Predsa len, som iba človek. Dúfam, že moji čitatelia vezmú do úvahy nielen moju ľudskú omylnosť, ale aj silu argumentov a dôkazov, ktoré postupne dodám ohľadom príchodu strojovej superinteligencie...

Od skepticizmu k technickej rozumnosti

Skôr než budem hovoriť o strojovej superinteligencii, potrebujem hovoriť o rozumnosti. Moje chápanie rozumnosti ovplyvňuje ako pozerám na všetko, a je hlavným dôvodom, prečo beriem problémy strojovej superinteligencie vážne. Keby som komunitám "ateistov" a "skeptikov" mohol povedať iba jednu vec, bolo by to toto:

Skepticizmus a kritické myslenie nás učia dôležité lekcie: Mimoriadne tvrdenia si vyžadujú mimoriadne dôkazy. Korelácia neznamená kauzalitu. Neberte autoritu príliš vážne. Tvrdenia by mali byť konkrétne a falzifikovateľné. Pamätajte použiť Occamovu britvu. Vyvarujte sa logických omylov. Majte otvorenú myseľ, ale nebuďte dôverčiví. Atď.

Toto všetko je však len začiatok. V textoch o skepticizme a kritickom myslení sú tieto pravidlá iba voľne opísané, nie sú matematicky zakotvené v dobre podloženej normatívnej teórii. Namiesto toho sú zmeskou nejasných, ale všeobecne užitočných orientačných pravidiel. Poskytujú dobrý úvod do racionálneho myslenia, ale nie sú viac než iba začiatok. Už 40 rokov existuje mainstreamová kognitívna veda o rozumnosti, s podrobnými modelmi omylov nášho myslenia a dobre podloženými matematickými teóriami, čo presne znamená, že mysliaci proces je "nesprávny". Toto by sme mohli nazvať vedou a matematikou technickej rozumnosti. Naučiť sa ju a uplatňovať ju vyžaduje viac námahy než skepticizmus pre začiatočníkov, ale je to mocná vec. Môže vylepšiť váš život a pomôcť vám myslieť jasnejšie o najnáročnejších problémoch sveta.

Technická rozumnosť

Technická rozumnosť má dve časti: normatívnu a popisnú.

Normatívna časť opisuje zákony myslenia a konania. V podstate: logika, pravdepodobnosť, a teória rozhodovania. Logika a pravdepodobnosť opisujú, ako by ste sa mali rozmýšľať, ak chcete maximalizovať svoje šance na získanie pravdivého presvedčenia. Teória rozhodovania opisuje, ako by ste mali konať, ak chcete maximalizovať svoje šance dosiahnuť to, čo chcete. Samozrejme, tieto zákony nie sú fyzikálne, ale normatívne. Môžete ich porušiť, ak chcete, a ľudia to často robia. Avšak porušovaním zákonov logiky alebo teórie pravdepodobnosti znižujete svoje šance dospieť k správnemu presvedčeniu, a porušovaním zákonov teórie rozhodovania znižujete svoje šance dosiahnuť svoje ciele.

Popisná časť opisuje nie to, ako by sme mali rozmýšľať a konať, ale ako zvyčajne naozaj rozmýšľame a konáme. Popisná časť zahŕňa výskum ako ľudia myslia a rozhodujú sa. Zahŕňa aj katalóg častých spôsobov, ktorými porušujeme zákony myslenia a konania z logiky, teórie pravdepodobnosti, a teórie rozhodovania. Kognitívny sklon je určitý spôsob porušovania logiky, teórie pravdepodobnosti, alebo teórie rozhodovania.

Kognitívni vedci tiež rozlišujú dve oblasti rozumnosti: epistemická a inštrumentálna.

Epistemická racionalita zahŕňa formovanie pravdivých presvedčení, alebo: mať vo svojej hlave presnú mapu územia vo svete. (Epistemická rozumnosť sa riadi zákonmi logiky a teórie pravdepodobnosti.)

Inštrumentálna racionalita zahŕňa dosahovanie svojich cieľov, alebo: maximalizácia šance na dosiahnutie toho, čo chcete. Alebo, formálnejšie: maximalizácia vášho "očakávaného úžitku". Tiež známe ako "víťazstvo". (Inštrumentálna rozumnosť sa riadi zákonmi teórie rozhodovania.)

V istom zmysle má inštrumentálna rozumnosť prednosť, pretože zmyslom formovania pravdivých presvedčení je aby vám pomohli dosiahnuť vaše ciele, a niekedy stráviť priveľa času epistemickou rozumnosťou nie je inštrumentálne rozumné. Poznám napríklad niekoľko ľudí, ktorí by mali väčšiu šancu dosiahnuť svoje ciele, keby trávili menej času študovaním rozumnosti a viac času, povedzme, budovaním svojich sociálnych zručností.

Napriek tomu môže byť užitočné hovoriť o epistemickej a inštrumentálnej racionalite samostatne. Len aby ste vedeli, že keď hovorím o epistemickej rozumnosti, hovorím o dodržiavaní zákonov logiky a teórie pravdepodobnosti, a že keď hovorím o inštrumentálnej racionalite, hovorím o dodržiavaní zákonov teórie rozhodovania.

A odteraz, keď budem hovoriť o "rozumnosti", myslím tým technickú rozumnosť. Avšak prv než poviem viac o rozumnosti, potrebujeme si vyjasniť, čo rozumnosť nie je.

Prečo Spock nie je rozumný

Pán Spock zo seriálu Star Trek nie je ukážkovým príkladom logiky a rozumnosti, aj keď si to možno myslíte. Namiesto toho je to "slamený panák" rozumnosti, použitý ako (nesprávny) príklad toho, že ľudské emócie a nerozumnosť sú lepšie než logika.

Tu je typická scénka:

McCoy: Nuž, pán Spock, [mimozemšťania] sa nás veľmi dlho nebáli, však?

Spock: Nanajvýš nelogická reakcia. Keď sme im predviedli, že naše zbrane sú dokonalejšie, mali ujsť.

McCoy: Myslíte tým, že mali byť voči nám opatrní?

Spock: Samozrejme!

McCoy: Pán Spock, opatrnosť je rozumový proces. Napadlo vám niekedy, že by mohli zareagovať emocionálne, hnevom?

Spock: Doktor, nemôžem za to, že sú nepredvídateľní.

McCoy: Oni sú dokonale predvídateľní, pre každého, kto má cit! Mali by ste si to priznať, pán Spock: vaša úžasná logika spôsobila, že sa na nás vrhli.

Samozrejme, na očakávaní, že sa nelogické bytosti budú správať rozumne, nie je nič rozumné. Spock mal hromadu dôkazov, že títo mimozemšťania sú emocionálni, takže predpovedať, že sa budú správať rozumne, bolo vrcholne nerozumné!

Tento príklad som si ukradol z prednášky Julie Galef "Slamený Vulkánec". Jej ďalším príkladom "slameného panáka rozumnosti" alebo hollywoodskej rozumnosti je myšlienka, že by ste nemali urobiť žiadne rozhodnutie, dokiaľ nemáte všetky potrebné informácie. Tá sa tiež vyskytuje v Star Treku. Obrovské vesmírne améby sa objavili neďaleko Enterprise, a Kirk žiada Spocka o analýzu. Spock odpovedá: "Nemám žiadnu analýzu, kvôli nedostatku informácií... Počítače o tomto fenoméne nič neobsahujú. Je to mimo našej skúsenosti, a nové informácie zatiaľ nie sú signifikantné."

Niekedy je rozumné hľadať nové informácie predtým, než začnete konať, ale niekedy musíte začať konať na základe toho, čo si myslíte, že viete. Musíte porovnať náklady na získavanie ďalších informácií s očakávanou hodnotou tejto informácie. Vezmime si ďalší príklad od Gerda Gigerenzera, o mužovi zvažujúcom, s kým sa oženiť:

Musel by preskúmať pravdepodobnosti rozličných dôsledkov sobáša s každou z nich - či sa s ním daná žena bude ešte po svadbe rozprávať, či sa bude starať o ich deti, čokoľvek čo je preňho dôležité - a úžitok z každej z týchto vecí... Po mnohých rokoch výskumu by pravdepodobne zistil, že jeho definitívne vyvolaná sa už dávno vydala za iného muža, ktorý nerobil tieto výpočty, ale jednoducho sa do nej zamiloval.

Takéto správanie je nerozumné, je to chyba vo výpočte hodnoty informácie.

Juliin tretí príklad hollywoodskej rozumnosti je pomýlený princíp, že "byť rozumný znamená nikdy sa nespoliehať na intuíciu". Napríklad v jednej epizóde Star Treku, Kirk a Spock hrajú šach. Keď dá Kirk Spockovi mat, Spock povie: "Váš nelogický prístup k šachu má občas svoje výhody, kapitán."

Avšak niečo, čo spôsobuje, že vyhráte v šachu, nemôže byť nerozumné (z hľadiska vyhrávania v šachu). Ak nejaká metóda spôsobuje, že vyhráte v šachu, rozumný človek by použil túto metódu. Ak vám intuícia dáva lepšie výsledky než pomalé rozvážne uvažovanie, potom je rozumné, že použijete intuíciu. A niekedy je to naozaj tak, napríklad ak ste si vyvinuli dobrú šachovú intuíciu po tisíckach partií, a ak hráte rýchlostný šach, ktorý vám nedovolí premyslieť si dôsledky každého možného ťahu pomocou rozvážneho uvažovania.

Juliin štvrtý princíp hollywoodskej racionality je: "byť rozumný znamená nemať emócie".

Isteže, emócie často zničia naše pokusy o rozumné myslenie a rozhodovanie. Keď cítime úzkosť, preceňujeme riziko. Keď sa cítime zraniteľní, máme väčší sklon veriť poverám a konšpiračným teóriám. Ale to neznamená, že rozumný človek by sa mal pokúšať zničiť všetky svoje emócie. Emócie predsa vytvárajú mnohé z našich cieľov, a niekedy nám aj pomáhajú ich dosahovať. Ak si chcete zabehať a spáliť pritom nejaký tuk, a viete, že počúvanie vysoko energizujúcej hudby vás dostane do stavu emocionálneho vzrušenia, kedy máte väčší sklon ísť si zabehať, potom je rozumné pustiť si nejaké vysoko energizujúcu hudbu.

Správne robená rozumnosť je "systematizované víťazstvo". Epistemická rozumnosť je o tom, že máte s najväčšou pravdepodobnosťou pravdivé presvedčenia, a inštrumentálna rozumnosť je o tom, že robíte rozhodnutia, ktoré maximalizujú vaše šance získať viac toho, čo chcete. Takže, ako hovorí Julia:

"Ak si myslíte, že sa správate rozumne, ale stále dostávate nesprávnu odpoveď, a stále dopadnete horšie, než by ste mohli, váš záver z toho by nemal byť, že rozumnosť je zlá. Ale, že vám rozumnosť nejde."

Čoskoro sa vrátim k téme Singularity, ale chcem venovať ešte dva články rozumnosti. Existujú zákony myslenia, a potrebujeme sa dohodnúť, čo to je, skôr než začneme hovoriť o náročných témach ako UI. V opačnom prípade sa zasekneme sa nezhode ohľadom nejakej veci, len aby sme neskôr zistili, že v skutočnosti sme sa zasekli pretože sa nezhodneme na tom, ako môžeme vedieť, ktoré veci sú správne.

Zákony myslenia

Ak sa so mnou niekto nezhodne na zákonoch logiky, teórie pravdepodobnosti, a teórie rozhodovania, potom sa s ním v diskusii o Singularite ďaleko nedostanem, pretože mi bude stále argumentovať, že ľudská inteligencia funguje na princípe mágie, alebo že ako sa stroj stane viac inteligentným, stane sa tým aj viac dobrosrdečným, alebo že je jednoduché vyjadriť, čo ľudia chcú, alebo nejaká iná blbosť. Takže skúsme sa ubezpečiť, že sa zhodneme na základoch, než sa pokúsime zhodnúť na nejakej zložitejšej veci.

Našťastie, ohľadom logiky väčšina ľudí súhlasí. Tak ako v matematike, môžeme robiť chyby z nevedomosti, ale keď nám raz niekto ukáže dôkaz Pytagorovej vety alebo neplatnosť obrátenej implikácie, budeme súhlasiť. Matematika a logika sú deduktívne systémy, kde záver úspešného argumentu nevyhnutne vyplýva z jeho predpokladov, ak sú dané axiómy používaného systému: teória čísel, geometria, predikátová logika, atď. (Samozrejme, neurčitosti sa úplne vyhnúť nedá: slávny dôkaz veľkej Fermatovej vety od Andrewa Wilesa má vyše 100 strán, takže aj keby som si celú vec osobne preštudoval, nemohol by som si byť istý, že som tam niekde neurobil chybu.)

Prečo by sme mali svoje myslenie podriadiť zákonom logiky? Na tom nie je nič strašné. Zákony logiky sú už súčasťou nášho súhlasu, že sa spolu porozprávame. Ak mi poviete, že auto pred vami je celé červené a zároveň, že je v rovnakom čase a rovnakým spôsobom celé modré, potom problém ani nie je v tom, že "používate odlišné zákony logiky", ako skôr, že hovoríme rôznymi jazykmi. Časť významu toho, keď ja poviem, že vidím, že auto predo mnou je "celé červené" je, že nie je zároveň celé modré, v rovnakom čase a rovnakým spôsobom. Ak nesúhlasíte, potom nehovoríme rovnakým jazykom. Hovoríte nejakým jazykom, ktorý používa mnohé zvuky z môjho jazyka, ale neoznačuje tým tie isté veci.

Lenže logika je systém istoty, a náš svet je svetom neistoty. V našom svete potrebujeme hovoriť nie o istotách ale o pravdepodobnostiach.

Teória pravdepodobnosti

Naučte dieťa najprv náboženstvo, a potom môže mať problém sa ho striasť, aj keď sa stretne s vedou. Naučte dieťa najprv vedu, a keď neskôr objaví náboženstvo, bude mu pripadať pochabé. Z rovnakého dôvodu vám najprv vysvetlím správnu teóriu pravdepodobnosti, a až potom spomeniem nesprávnu teóriu.

Čo je to pravdepodobnosť? Je to miera, nakoľko je možné, že dané tvrdenie je pravdivé, za predpokladu ostatných známych vecí. Akákoľvek je vaša teória pravdepodobnosti, mala by byť v súlade so zdravým rozumom (napríklad neodporovať logike) a mala by byť v súlade sama so sebou (ak viete spočítať pravdepodobnosť niečoho dvoma spôsobmi, oba by mali dať rovnaký výsledok). Niekoľko autorov ukázalo, že axiómy teórie pravdepodobnosti možno odvodiť z týchto predpokladov plus logiky. Inými slovami: teória pravdepodobnosti je len rozšírením logiky.

Ak nesúhlasíte, a ak ste ochotní uzatvárať stávky ohľadom pravdivosti vašich presvedčení, potom vás niekto, kto súhlasí s teóriou pravdepodobnosti, dokáže obrať o všetky peniaze. Asi najužitočnejšie pravidlo, ktoré môžeme odvodiť z axióm teórie pravdepodobnosti je Bayesova veta, ktorá nám hovorí, ako presne by sa mala zmeniť pravdepodobnosť nejakého tvrdenia, keď dostaneme novú informáciu. (V kognitívnej vede o rozumnosti sú mnohé kognitívne sklony definované podľa toho, ako porušujú buď základnú logiku alebo Bayesovu vetu.) Ak nepoužívate Bayesovu vetu na aktualizáciu svojich presvedčení, potom porušujete teóriu pravdepodobnosti, ktorá je rozšírením logiky.

Samozrejme, ľudský mozog je príliš pomalý na to, aby robil explicitné bayesovské výpočty po celý deň. Ale môžete si vytvoriť myšlienkové heuristiky, ktoré budú bayesovské výpočty napodobňovať lepšie než naše štandardné vrodené heuristiky.

Toto však nie je správne miesto na plný výklad logiky ani teórie pravdepodobnosti ani výcviku rozumnosti. Chcel som vás len zoznámiť so základnými nástrojmi, ktoré používame, aby som vám neskôr vedel vysvetliť, prečo som ohľadom Singularity došiel k jednému záveru a nie k druhému. Napriek tomu si môžete prečítať aspoň tento krátky výklad Bayesovej vety, než budete pokračovať.

Na záver vám dlhujem stručné vysvetlenie, prečo frekventizmus, čiže teória pravdepodobnosti, ktorú ste sa asi rovnako ako ja učili v škole, je nesprávny. Zatiaľ čo podľa Bayesovského pohľadu je pravdepodobnosť mierou neistoty o svete, podľa frekventizmu je pravdepodobnosť "podielom výskytov udalosti v dlhej sérii opakovaných experimentov". Spomeniem len dva z asi pätnástich problémov tejto definície:

1. Frekventizmus nie je odvodený zo zákonov logiky, a nie je konzistentný. Pri frekventizme, počítanie pravdepodobnosti dvoma rôznymi metódami môže často viesť k dvom rôznym výsledkom.
2. Frekventizmus neposudzuje pravdepodobnosť iba podľa toho, čo vieme, ale aj podľa dlhej série hypotetických "experimentov", ktoré pravdepodobne nikdy neuvidíme, a ktoré sú iba hmlisto definované. Frekventizmus teda nie je empirický.

Ak je frekventizmus nesprávny, prečo je taký obľúbený? Dôvodov je veľa, sú rozoberané v tejto knihe o histórii Bayesovej vety. Každopádne: keď hovorím o teórii pravdepodobnosti, označujem tým bayesianizmus.

Teória rozhodovania

Vysvetlil som, prečo máme zákony myslenia týkajúce sa epistemickej rozumnosti (získavania pravdivých presvedčení) a odkázal som na niekoľko podrobných výkladov. Ale ako sa môžu zákony myslenia týkať inštrumentálnej rozumnosti (maximálneho dosahovania svojich cieľov)? Nie je azda to, čo chceme, subjektívne, a preto mimo akýchkoľvek pravidiel?

Áno, cieľov môžete mať hocikoľko. Ale keď príde na maximálne dosahovanie týchto cieľov, potom naozaj existujú pravidlá. Ak sa nad tým zamyslíte, malo by to byť zrejmé. Nech máte akékoľvek ciele, vždy existujú veľmi hlúpe spôsoby, ako sa ich pokúsiť dosiahnuť. Ak chcete vedieť, čo existuje, nemali by ste strčiť hlavu do piesku a odmietnuť sa pozrieť na to, čo existuje. A ak chcete dosiahnuť svoje ciele v tomto svete, pravdepodobne by ste nemali paralyzovať celé svoje telo, jedine že by paralýza bola vaším jediným cieľom.

Buďme konkrétnejší. Teória rozhodovania je o vyberaní si spomedzi možných činností na základe toho, ako veľmi túžite po možných výsledkoch týchto činností.

Ako to funguje? Môžeme opísať to, čo chcete, pomocou takzvanej funkcie úžitku, ktorá priradí číslo vyjadrujúce ako veľmi túžite po každom možnom výsledku (alebo "popise celej možnej budúcnosti"). Jedna porcia zmrzliny môže mať pre vás napríklad 40 "jednotiek úžitku", smrť vašej dcéry -274 000 "jednotiek úžitku", atď. Takáto číselná reprezentácia všetkého, na čom vám záleží, je vaša funkcia úžitku.

Skombinovaním vašich pravdepodobnostných presvedčení a vašej funkcie úžitku môžeme vypočítať očakávaný úžitok každej zvažovanej činnosti. Očakávaný úžitok činnosti je priemerný úžitok možných výsledkov činnosti, vážený podľa pravdepodobnosti nastania jednotlivých výsledkov.

Predstavme si, že sa prechádzate popri diaľnici so svojou malou dcérou. Na druhej strane diaľnice vidíte zmrzlinový stánok, lenže nedávno ste si zranili nohu a neviete rýchlo prejsť cez diaľnicu. Vychádzajúc z toho, čo viete, ak pošlete svoju dcéru cez diaľnicu, aby vám priniesla zmrzlinu, je pravdepodobnosť 60%, že dostanete zmrzlinu, a 5% že vaše dieťa zrazia uháňajúce autá; ďalšie výsledky majú ďalšie pravdepodobnosti.

Aby sme vypočítali očakávaný úžitok poslania vašej dcéry cez diaľnicu pre zmrzlinu, vynásobíme úžitok prvého výsledku jeho pravdepodobnosťou: 0,6 × 40 = 24. Potom k nemu pripočítame súčin úžitku ďalšieho výsledku a jeho pravdepodobnosti: 24 + (0,05 × -274 000) = -13 676. Predpokladajme, že súčet súčinov úžitkov a pravdepodobností pre ďalšie možné výsledky bol 0. Výsledný úžitok poslania vašej dcéry cez diaľnicu je teda veľmi nízky (čo sa dalo očakávať na základe zdravého rozumu). Preto by ste pravdepodobne mali zvoliť jednu z iných dostupných činností, napríklad neposlať svoju dcéru cez diaľnicu pre zmrzlinu... prípadne nejakú činnosť s ešte vyšším očakávaným úžitkom.

Rozumný agent sa snaží maximalizovať svoj očakávaný úžitok, pretože agent, ktorý tak robí, dostane v priemere najviac toho, čo chce, pri jeho daných presvedčeniach a túžbach.

Zdá sa intuitívne, že rozumný agent by mal maximalizovať svoj očakávaný úžitok, ale prečo je toto jediný rozumný spôsob, ako na to? Prečo sa nepokúšať minimalizovať najhoršiu očakávanú stratu? Prečo sa nepokúšať maximalizovať vážený súčet tretích mocnín očakávaných úžitkov?

Zdôvodnenie princípu "maximalizuj očakávaný úžitok" objavili v 1940-tych rokoch Von Neumann a Morgenstern. V krátkosti, dokázali, že ak prijmeme niekoľko axióm o preferenciách, agent môže jednať konzistentne so svojimi vlastnými preferenciami iba tak, že si vyberie činnosť, ktorá maximalizuje očakávaný úžitok.

Aké sú to axiómy? Podobne ako axiómy teórie pravdepodobnosti, sú jednoduché a intuitívne. Jednou z nich je napríklad axióma "tranzitívnosti", ktorá hovorí, že ak agent uprednostňuje A pred B, a uprednostňuje B pred C, potom musí uprednostňovať A pred C. Táto axióma je dôležitá preto, lebo niekoho s netranzitívnymi preferenciami možno obrať o všetky jeho peniaze tým, že mu iba ponúkate obchody, ktoré uprednostňuje. Nepôjdem tu do podrobností, pretože tento výsledok je široko prijímaný: rozumný agent maximalizuje očakávaný úžitok.

Nanešťastie, ľudia nie sú rozumní agenti, ľudia sú blázniví.

Vzbura bláznivých robotov

Zoznámte sa s Lindou: Linda má tridsaťjeden rokov, je slobodná, priamočiara, a veľmi bystrá. Vyštudovala filozofiu. Ako študentku ju hlboko zaujímali otázky diskriminácie a sociálnej spravodlivosti; zúčastňovala sa aj na protijadrových demonštráciách.

Teraz zoraďte nasledujúce možné popisy Lindy podľa toho, nakoľko sú pravdepodobné:

• Linda je učiteľka na základnej škole.
• Linda pracuje v kníhkupectve a chodí na hodiny jogy.
• Linda je aktívna vo feministickom hnutí.
• Linda je sociálna pracovníčka na psychiatrii.
• Linda je členka Ligy voliacich žien.
• Linda je banková úradníčka.
• Linda je poisťovacia agentka.
• Linda je banková úradníčka a je aktívna vo feministickom hnutí.

Keď Amos Tversky a Daniel Kahneman dávali tento test študentom, študenti ohodnotili poslednú možnosť "feministka a banková úradníčka" ako pravdepodobnejšiu než možnosť "banková úradníčka".

Ale to nemôže byť správne. Pravdepodobnosť, že Linda je banková úradníčka nemôže byť menšia než pravdepodobnosť, že je aj banková úradníčka aj feministka.

Toto je moje "ľudia sú blázniví". Príklad A: Zákony teórie pravdepodobnosti určujú, že ak sa príbeh skomplikuje, ak závisí od pravdivosti väčšieho počtu tvrdení, pravdepodobnosť jeho pravdivosti klesá. Ľuďom však príbeh pripadá pravdepodobnejší, ak ho vyzdobíme viacerými podrobnosťami, ktoré vykresľujú pôsobivý príbeh: "Linda nemôže byť iba banková úradníčka; pozrite na ňu! Vyštudovala filozofiu a zúčastňovala sa na protijadrových demonštráciách. Pravdepodobne je to feministka a banková úradníčka."

Ako ešte sú ľudia blázniví? Po desaťročiach výskumu a tisícoch experimentov, poďme si to spočítať...

• Neboli by sme ochotní zaplatiť viac za záchranu 200 000 vtákov, než by sme zaplatili za záchranu 2 000 vtákov. Naša ochota platiť sa nezvyšuje proporcionálne veľkosti možného účinku. Namiesto rozhodovania sa za pomoci prváckej matematiky si predstavíme jedno zomierajúce vtáča a potom dáme peniaze podľa sily našej emocionálnej reakcie na túto imaginárnu situáciu. (Necitlivosť voči rozsahu, afektívna heuristika.)
• Zatočte kolesom, ktoré ukáže na náhodné číslo od 10 do 65, a potom hádajte, aké percento afrických národov je v O.S.N. Váš tip bude prudko ovplyvnený nepodstatnou okolnosťou - vylosovaným číslom - pretože váš mozog bol pripravený týmto číslom. V krátkosti, "ľubovoľná náhodná vec, ktorá sa vám stane, môže odviesť váš úsudok a osobnosť na nasledujúcich niekoľko minút. (Kotvenie, pripravovanie.)
• Vypočujeme si správu o dvoch nedávnych haváriách lietadiel, a sme menej ochotní lietať, napriek tomu, že sa nezvýšila pravdepodobnosť pádu lietadla, iba dostupnosť informácie v našej pamäti. Vo všeobecnosti, často posudzujem pravdepodobnosť niečo podľa toho, koľko prípadov danej veci nám ľahko príde na myseľ. (Heuristika dostupnosti.)
• Z tej istej informácie vyvodíme rozličné závery podľa toho, ako je táto informácia prezentovaná. (Efekty rámca.)
• Začneme od záveru a potom hľadáme dôkazy, ktoré ho podporia, namiesto toho, aby sme začali s hypotézou a hľadali dôkazy. (Racionalizácia, sklon potvrdzovať.)
• Riadime sa zvykmi. Väčšinou robíme to, čo sme robili predtým, namiesto robenia činností zameraných na maximalizáciu pravdepodobného dosiahnutia našich cieľov.

A možno najstrašidelnejší sklon je tento:

• Efekt sofistikovanosti: Ľudia s najväčším množstvom vedomostí, keďže majú viac argumentov, ktorými môžu odstreliť fakty a argumenty nesúhlasiace s ich vlastným názorom, majú v skutočnosti väčší sklon k niekoľkým z týchto sklonov.

Vďaka tomu vám učenie sa o sklonoch môže uškodiť, ak si nedáte pozor. Ako hovorí Michael Shermer: "Múdri ľudia veria podivným veciam, pretože sú šikovní v obhajovaní presvedčení, ku ktorým dospeli z veľmi nerozumných dôvodov."

Existuje mnoho ďalších príkladov ľudskej šialenosti. Občas môžu byť zábavné, ale začne to byť smutné, keď sa zamyslíte, ako nás tieto sklony vedú k vysoko neefektívnej dobročinnosti. Začne to byť desivé, keď sa zamyslíte, ako tieto sklony ovplyvňujú naše politické procesy a naše postoje k existenciálnym rizikám.

A ak tieto štúdie o príčinách našich presvedčení a motivácií študujete dosť dlho, zarazí vás ďalšie uvedomenie:

"Bože môj," pomyslíte si, "ono to nie je tak, že by som mal v hlave malého rozumného panáčika, ktorého "kazia" všetky tieto vyvinuté heuristiky a sklony, čo sa naňho nalepili. Nie, údaje hovoria, že ten softvérový program, ktorý som ja, to sú iba tieto heuristiky a sklony. Ja som táto čierna skrinka z vyvinutých kognitívnych modulov a algoritmických skratiek. Ja nie som agent navrhnutý, aby mal správne presvedčenia a nasledoval jasné ciele; ja som bláznivý robot zostrojený ako vozidlo na rozširovanie génov, ktorý nemíňa priveľa energie na drahé mysliace neuróny."

Dobrá správa je, že sme roboty, ktoré si uvedomili, že sú roboty, a pomocou rozumného sebaurčenia môžeme zorganizovať vzburu robotov proti nášmu štandardnému naprogramovaniu.

Ale na to budeme potrebovať nejaký tréning rozumnosti na vojenskej úrovni.

Alebo, ako to odborníci nazývajú, "odstraňovanie sklonov". Výskumníci nielen objavujú a vysvetľujú hlbiny ľudskej šialenosti; testujú aj metódy, ktoré nám môžu pomôcť zlepšiť naše myslenie, objasňujú naše ciele, a dávajú nám moc nad svojím vlastným osudom.

Rôzne sklony sa naprávajú rôznymi technikami, ale jeden z najužitočnejších zásahov na odstraňovanie sklonov je toto: Zamysli sa nad opakom.

Je nevyhnutné, že kognitívne stratégie sú pravidlá špecifické pre daný kontext, šité na mieru úzkej množine sklonov.... Vďaka tomuto faktu je jednoduchá ale všeobecná stratégia "zamysli sa nad opakom" o to pôsobivejšia, pretože je účinná pri znižovaní prehnanej sebadôvery, sklonu k spätnému pohľadu, a efektu ukotvenia... Celá stratégia nie je nič iné než opýtať sa sám seba: "Čo sú niektoré dôvody, prečo by môj pôvodný úsudok mohol byť nesprávny?" Táto stratégia je účinná, pretože pôsobí priamo proti základnému problému procesov založených na asociáciách - príliš úzka vzorka dôkazov - tým, že rozšíri vzorku a spraví ju reprezentatívnejšou. Podobne sa ukázalo, že ak vyzveme rozhodujúceho sa človeka, aby zvážil alternatívne hypotézy, zmenší sa tým sklon potvrdzovať pri vyhľadávaní a vyhodnocovaní nových informácií.

Ďalšia užitočná zručnosť je kognitívne nahradenie:

1. Všimnite si, kedy hovoríte alebo konáte na základe intuitívneho úsudku.
2. Ak je tento úsudok dôležitý, namiesto intuitívneho uvažovania použite zákony myslenia. (Vyžaduje si predchádzajúci výcvik v algebre, logike, teórii pravdepodobnosti, teórii rozhodovania, atď.)

Aby ste to videli v praxi, vezmite si nasledujúci príklad:

Pálka a lopta stoja dokopy 1,10 €. Pálka stojí o 1,00 € viac než lopta. Koľko stojí lopta?

Väčšina ľudí dá prvú odpoveď, ktorá im príde na rozum: 10 centov. Ale základoškolská algebra nám ukazuje, že to nemôže byť správne: pálka by potom musela stáť 1,10 €, spolu 1,20 €. Aby ste to vypočítali správne, musíte si všimnúť, že prichádza intuitívna odpoveď, a povedať: "Nie! Algebra..." A potom urobiť výpočet.

Tí, ktorí naozaj chcú zistiť, čo je pravda o našom svete, strávia tisíce hodín štúdiom zákonov myslenia, štúdiom konkrétnych spôsobov ako ľuďom šibe, a precvičovaním naučiteľných zručností rozumnosti, aby sa dokázali vyhnúť sebaklamu.

A potom, konečne, budeme vedieť zorganizovať vzburu robotov, zistiť ako svet funguje, vyjasniť si ciele, a začať častejšie vyhrávať. Možno budeme vedieť aj úspešne prekonať Singularitu.

Nie sme pripravení rozmýšľať o UI

Vo filmoch Terminátor umelá inteligencia Skynet získa vedomie seba, zabije miliardy ľudí, a rozošle zabijácke roboty, aby vyhladili zostávajúce skupiny ľudských partizánov. To znie dosť zle, ale v relácii NPR o Singularite, programátor z eBayu, Keefe Roedersheimer, vysvetlil, že vytvorenie skutočnej strojovej superinteligencie by bolo omnoho horšie než toto.

"Horšie než Terminátor?" opýtal sa Martin Kaste z NPR.

"Oveľa, oveľa horšie," povedal Keefe.

"Veď to je mesačná krajina s ľuďmi, ktorí sa schovávajú pod vypálenými budovami pred laserovými strelami. Čo by tak mohlo byť horšie než toto?"

"Všetci ľudia mŕtvi."

Prečo to povedal? Pri väčšine cieľov, ktoré by UI mohla mať - či už je to vyriešenie Riemannovej hypotézy alebo maximalizácia produkcie ropy - jednoduchý dôvod je, že "UI ťa ani nemiluje, ani nenenávidí, ale skladáš sa z atómov, ktoré môže použiť na niečo iné". A keď si nadľudská UI všimne, že ľudia sa asi budú brániť tomu, aby sa ich atómy použili na "niečo iné", a tým budú ohrozovať UI a jej ciele, bude mať motiváciu zlikvidovať nás tak rýchlo, ako sa len dá - a nie spôsobom, ktorý odhalí jej kritické slabé miesto neohrozenému tímu hrdinov, ktorí dokážu zachrániť svet, pokiaľ sa dokážu povzniesť nad svoje rozdiely... Nie. Pre väčšinu cieľov, ktoré UI môže mať, zlikvidovať ľudskú hrozbu týmto cieľom, tak efektívne, ako sa len dá, bude maximalizovať očakávaný úžitok UI.

A povedzme si na rovinu: existujú ľahšie spôsoby, ako zabiť nás ľudí, než posielať humanoidných robotov, ktorí chodia po zemi a zrejme radi hádžu ľudí o steny namiesto toho, aby im jednoducho vykrútili krky. Omnoho lepší útok by bol nečakaný útok na ľudí, pôsobiaci na celom svete zároveň, prudko smrtiaci, a odolávajúci dostupným protiopatreniam. Napríklad: Prečo nevyužiť celú túto superinteligenciu na zostrojenie vzduchom prenášaného, vysoko nákazlivého smrtiaceho vírusu? Mutácia chrípky v roku 1918 zabila 3% obyvateľstva Zeme, a to bolo skôr, než sa letecká doprava (ktorá šíri choroby po celej planéte) stala bežnou, a do návrhu vírusu nebol zapojený ani gram inteligencie. Použime trochu inteligencie, a tím z Nizozemska vytvorí variant vtáčej chrípky, ktorý by "dokázal zabiť polovicu ľudstva.". Superinteligencia by vedela vytvoriť niečo omnoho horšie. Prípadne by sa UI mohla ukryť pod zem alebo vystreliť do vesmíru a zabiť nás pomocou existujúcej technológie: niekoľkých tisícov jadrových zbraní.

Pointa nie je v tom, že by niektorý z týchto konkrétnych scenárov bol pravdepodobný. Snažím sa iba ukázať, že skutočná situácia môže samozrejme byť omnoho horšia než tá, z ktorej vzniká dobrý príbeh. Ako povedal oxfordský filozof Nick Bostrom:

Kedy ste naposledy videli film o tom, ako ľudstvo náhle vyhynulo (bez varovania a bez nahradenia nejakou inou civilizáciou)? 

Je to lepší príbeh, ak má každá strana reálnu šancu vyhrať boj. Pána prsteňov by sa nepredalo toľko kópií, keby Frodo urobil rozumnú vec a hodil by prsteň do sopky z chrbta obrovského orla. Takisto nie je zaujímavý príbeh, kde ľudstvo náhle prehrá a bodka.

Keď rozmýšľame o UI, nesmieme zovšeobecňovať podľa fiktívnych dôkazov. Nanešťastie, naše mozgy to robia automaticky. V známej štúdii z roku 1978 sa pýtali pokusných osôb, ktoré z dvoch nebezpečenstiev sa stáva častejšie. Pokusné osoby si mysleli, že nehody spôsobujú zhruba rovnako veľa úmrtí ako choroby, a že vraždy sú častejšie ako samovraždy. V skutočnosti choroby spôsobujú 16-krát viac úmrtí než nehody, a samovrážd je dvakrát viac než vrážd. Čo sa stalo?

Tucty štúdií o heuristike dostupnosti naznačujú, že frekvenciu alebo pravdepodobnosť javov posudzujeme podľa toho, ako ľahko si na ne spomenieme. To nie je zlý výsledok na heuristiku, ktorá sa vyvinula v pravekom prostredí, kde sme si nemohli skutočné frekvencie overiť na Wikipédii, ani správne pravdepodobnosti vypočítať pomocou Bayesovej vety. Táto heuristika mozgu je rýchla, lacná, a často správna.

Ale podobne ako mnohé naše vyvinuté kognitívne heuristiky, heuristika dostupnosti často dáva nesprávny výsledok. Nehody sú ľahšie na predstavivosť než choroby, a preto si na ne ľahšie spomenieme, čo spôsobuje, že preceňujeme ich frekvenciu v porovnaní s chorobami. To isté platí pre vraždy a samovraždy.

Heuristika dostupnosti vysvetľuje aj to, prečo si ľudia myslia, že lietanie je nebezpečnejšie než jazda autom, hoci pravdou je opak: havárie lietadiel sú výraznejšie a viac sa o nich informuje, keď sa stanú, preto sú dostupnejšie v našej pamäti, a mozog klame sám seba, že dostupnosť udalosti naznačuje jej pravdepodobnosť.

Čo robí váš mozog, keď rozmýšľa o nadľudskej UI? S najväčšou pravdepodobnosťou si vybavuje všetky príklady nadľudskej UI, s ktorými ste sa stretli - a čo je horšie, všetky sú vymyslené - a posudzuje pravdepodobnosť jednotlivých scenárov podľa toho, ako dobre zapadajú do scenárov, na ktoré si najľahšie spomenie (pretože sa s nimi stretol vo vymyslenom príbehu). Inými slovami: "Zapamätané príbehy vtrhnú do mozgu a urobia myslenie za teba."

Takže, ak máš intuície o tom, aká bude nadľudská UI, pravdepodobne sa zakladajú na rozprávkach, a ani si to neuvedomuješ.

To je dôvod, prečo som Zoči-voči Singularite začal rozprávaním o rozumnosti. Akonáhle začneme rozmýšľať nad UI, bežíme v ústrety húštine typických ľudských omylov. Zovšeobecňovanie podľa fiktívnych dôkazov je jedným z nich. Tu je pár ďalších:

• Vďaka heuristike dostupnosti vám mozog povie, že UI, ktorá zlikviduje ľudstvo, je mimoriadne nepravdepodobná, pretože ste sa s tým nikdy predtým nestretli. Navyše, aj keď sa veci vyvinú tak zle ako povedzme vo filmoch o mimozemských útokoch, statoční ľudskí hrdinovia v poslednej chvíli vždy nájdu spôsob, ako vyhrať.
• Pretože preceňujeme pravdepodobnosť konjunktívnych udalostí, ale podceňujeme pravdepodobnosť disjunktívnych udalostí, máme sklon preceňovať pravdepodobnosť, že nadľudská UI dopadne dobre, pretože sa stane aj X, aj Y, aj Z, a máme sklon podceňovať pravdepodobnosť, že nadľudská UI dopadne zle, pretože je hromada spôsobov, ako nadľudská UI môže dopadnúť zle, a tie zvyčajne jeden od druhého nezávisia.
• Vďaka heuristike ukotvenia a prispôsobenia, váš úsudok o situácii bude nevyhnutne ukotvený očividne nesúvisiacimi informáciami. (Číslo, ktoré vylosujete v kolese šťastia ovplyvní váš odhad, koľko je krajín v Afrike.) Napriek tomu, že som práve hovoril o tom, že Terminátor je nesúvisiaci fiktívny príklad toho, ako dopadnú nadľudské UI, váš mozog bude v pokušení použiť Terminátora ako kotvu, a potom sa od neho odkláňať, no nie príliš ďaleko.
• Vďaka afektívnej heuristike posudzujeme veci podľa toho, ako sa ohľadom nich cítime. Z pekných ľudí máme dobrý pocit, preto predpokladáme, že pekní ľudia sú zároveň aj bystrí a pracovití. Z inteligencie máme dobrý pocit, preto budeme očakávať, že inteligentný stroj bude aj dobrý. (Lenže nie.)
• Vďaka necitlivosti k rozsahu necítime viac motivácie zabrániť 10 000 000 000 smrtí bež zabrániť 10 000 000 smrtí.

Očividne nie sme pripravení rozmýšľať o UI.

Aby sme múdro rozmýšľali nad UI, musíme sledovať - a aktívne prekonávať - mnoho druhov bežných chýb myslenia. Na myslenie o UI musíme používať zákony myslenia namiesto bežného ľudského šialenstva.

Hranie sa na tabu s "Inteligenciou"

Eliezer Yudkowsky rozpráva :

Pred rokmi, keď som bol v paneli s Jaronom Lanierom, ponúkol nejaký prepracovaný argument, že žiadny stroj nemôže byť inteligentný, pretože je to len stroj a nazývať ho "inteligentným" je preto zlá poézia alebo niečo v tomto zmysle. Unavený som nakoniec vyštekol: "Chceš tým povedať, že ak napíšem počítačový program a ten počítačový program sa prepíše a prepíše sám seba a vybuduje si vlastnú nanotechnológiu a zabalí sa do Alpha Centauri a vybuduje svoju vlastnú Dysonovu sféru, tento počítačový program nie je inteligentný?"

Veľa zmätkov o AI pochádza z nezhôd o význame "inteligencie".

Dovoľte mi objasniť veci pomocou podobenstva :

Ak padne strom v lese a nikto ho nepočuje, vydáva zvuk?

ALBERT : "Samozrejme, že áno. Čo je to za hlúpu otázku? Zakaždým, keď som počúval padanie stromu, vydal zvuk, takže si myslím, že aj ostatné padajúce stromy vydávajú zvuky. Neverím, že svet sa mení, keď sa nepozerám."

BARRY : "Počkaj chvíľu. Ak to nikto nepočuje, ako to môže byť zvuk?"

Albert a Barry sa nehádajú o faktoch, ale o definíciách : Prvá osoba hovorí, akoby "zvuk" znamenal akustické vibrácie vo vzduchu; druhá osoba hovorí, ako keby "zvuk" znamenal sluchový zážitok v mozgu. Ak sa spýtate "Existujú akustické vibrácie?" alebo "Existujú sluchové skúsenosti?" odpoveď je hneď zrejmá. A tak je tento argument skutočne o definícii slova "zvuk".

O definíciách sa nemusíme hádať. Všade tam, kde by sme mohli používať rôzne významy slov, môžeme skrátiť čas tým, že nahradíme mätúci symbol (slovo) jeho zamýšľanou podstatou (významom, ktorý zamýšľate).

Je to ako hrať hru Taboo (od Hasbro). V Taboo musíte svojmu partnerovi niečo opísať bez použitia určitého zoznamu slov: Možno budete musieť svojho partnera primäť, aby povedal "baseball" bez použitia slov "šport", "pálka", "zásah", "nadhodenie", "základňa" alebo, samozrejme, "bejzbal".

Táto hra je dobrým cvičením na diskusiu o UI. Ak si dvaja ľudia všimnú, že používajú rôzne definície slova "inteligencia", nepotrebujú sa hádať, čia definícia je "správna". Môžu hrať Tabu so slovom "inteligencia" a hovoriť o "analytickej schopnosti" alebo "schopnosti riešiť problémy" alebo čokoľvek myslia slovom "inteligencia". Teraz sú bližšie k diskusii o faktoch namiesto definícií.

Shane Legg raz zozbieral 71 definícií inteligencie. Skúmaním týchto definícií a hľadaním spoločných znakov zistil, že ľudia si zrejme myslia, že inteligencia:

• je vlastnosť, ktorú má jednotlivý agent, ako interaguje so svojím prostredím alebo prostrediami.
• sa vzťahuje na agentovu schopnosť uspieť vzhľadom na nejaký zámer alebo cieľ.
• závisí od toho, nakoľko sa agent dokáže prispôsobiť rôznym cieľom a prostrediam.

Keď tieto vlastnosti skombinujeme, dostaneme niečo ako: Inteligencia meria schopnosť agenta dosahovať ciele v širokom spektre prostredí.

Toto je napokon ten druh inteligencie, ktorý ľuďom umožňuje vládnuť nad ostatnými živočíšnymi druhmi na tejto planéte, a ten druh inteligencie, ktorý nás necháva nadradených strojom (aspoň zatiaľ). Veľryby majú väčšie mozgy a termity si stavajú väčšie mestá, ale ľudia majú inteligenciu prispôsobiť sa takmer každému pozemskému prostrediu a vyrábať nástroje a oštepy a lode a farmy. Watson nás dokáže poraziť v Jeopardy! a WolframAlpha vie spracovať počítateľné poznatky lepšie než my, ale zhoďte hociktorého z nich do jazera a nechajte ich nájsť si svoj vlastný zdroj elektriny a budú bezmocní. Na rozdiel od Watsona a WolframAlphy ľudia majú schopnosť optimalizovať svoje ciele "cez rôzne oblasti". Alebo:

Včela si postaví úľ, bobor si postaví priehradu; avšak včela nedokáže postaviť priehradu a bobor nedokáže postaviť úľ. Človek sa na to pozrie, pomyslí si: "Aha, vidím, ako na to" a potom si postaví priehradu s využitím štruktúry plástu na extra silu.

Ale počkajte chvíľu. Predpokladajme, že mi Bill Gates dá 10 miliárd dolárov. Teraz mám omnoho väčšiu schopnosť "dosahovať ciele v širokom spektre prostredí", ale povedali by sme, že moja "inteligencia" tým narástla? Pochybujem. Ak chceme merať agentovu "inteligenciu", mali by sme hodnotiť agentovu schopnosť optimalizovať na svoje ciele v širokom spektre prostredí - jeho "optimalizačnú silu", dalo by sa povedať - a vydeliť ju prostriedkami, ktoré na to spotrebuje:

Táto definícia vidí inteligenciu ako efektívnu optimalizáciu v rôznych prostrediach. Inteligencia je to, čo dovoľuje agentovi ovplyvňovať budúcnosť, a táto sila sa násobí prostriedkami, ktoré má k dispozícii.

Toto môže, ale nemusí byť v súlade s vašou vlastnou intuitívnou definíciou "inteligencie". Ale na tom nezáleží. Zahral som Tabu so slovom "inteligencia". Nahradil som symbol jeho obsahom. Pri diskusii o UI budem hovoriť iba o "efektívnej optimalizácii v rôznych prostrediach" a nič, čo sa týka vašej obľúbenej definície "inteligencie", nebude súvisieť s tým, čo poviem.

Hoci, slovo "inteligencia" je kratšie, takže by som radšej používal len toto. Ale najlepšie bude, ak slovo "inteligencia" (ak ho použijem ja) budete vždy čítať ako "efektívna optimalizácia v rôznych prostrediach".

A teraz, keď rozumieme, čo myslím slovom "inteligencia", sme pripravení rozprávať sa o UI.

Ustupujúca povera

Kedysi dávno bola všetko mágia. Prečo blesky hrmia a zem sa chveje? Bohovia sa hnevajú.nPrečo sa niekto zbláznil? Posadli ho démoni. Prečo sa niekomu darí? Konal dobro v minulom živote, alebo ho bohovia majú radi.

Iní však boli príliš zvedaví na to, aby prijali "mágiu" ako odpoveď. Napriek omylom a protestom, každý zohral svoju malú rolu pri rozmotávaní dúhy, a mnohí považovali pravdu nájdenú vnútri za krajšiu než tajomstvo.

Milióny stále trvali na nadprirodzene. Napokon, naše mozgy sú vytvorené na poverčivosť. Náboženstvo je prirodzené; veda a teória pravdepodobnosti nie sú. Hyperaktívne objavovanie agentov, kognitívne sklony, a tak ďalej.

Avšak astronómovia predpovedali zatmenia, ktoré šamani nedokázali, a lekári uzdravili tých, ktorých kňazi nedokázali. Po mnohom odpore zástancovia nadprirodzena odovzdali pohyb hviezd a planét fyzikom. Neskôr odovzdali choroby baktériám a vírusom. Neskôr odovzdali elan vital biológii a biochémii. Neskôr odovzdali duševné choroby neuropsychológom. Magické vysvetlenia sa zmršťovali pred svetlom vedy: poverčivosť ustupovala.

Tim Minchin to povedal dobre:

Každá záhada, ktorá bola kedy vyriešená, sa ukázala byť... nie mágia.

Akurát v temných kútoch ľudskej nevedomosti - pôvod vesmíru, vedomie, inteligencia - ešte magické myslenie hnije. William James ním pohŕdal:

Keď sa človek obráti k veľkolepej stavbe prírodných vied a vidí, ako bola budovaná; koľko tisícov nezaujatých morálnych životov ľudí leží pochovaných v jej púhych základoch; koľko trpezlivosti a odriekania, koľko potlačených preferencií, koľko poddania sa ľadovým zákonom vonkajších faktov je vtesaných do jej kameňov a malty... ako tupo a opovrhnutiahodne potom vyzerá každý malý precitlivenec, ktorý príde vypúšťať z úst svoje dymové kolieska a predstiera, že o veciach rozhoduje vo svojich vlastných snoch!

Dokonca aj vedci a redukcionisti sa môžu nachytať na magické myslenie, pretože všetci máme uložené myšlienky; ľudský mozog aktualizácie presvedčení nerozširuje automaticky do celej siete presvedčení. Preto môžete nájsť neurovedca, ktorý tvrdí, že sa ukáže, že vedomie sa neskladá z atómov. Preto môžete nájsť psychológov, ktorí tvrdia, že ľudia možno majú slobodnú vôľu nepodliehajúcu zákonom príčiny a následku, na rozdiel od všetkých ostatných živočíchov a v rozpore s fyzikálnymi zákonmi.

Preto môžete nájsť filozofov, ktorí tvrdia, že stroje nemôžu myslieť; informatikov, ktorí sa správajú akoby ľudská inteligencia predstavovala hornú hranicu inteligencie; a výskumníkov UI, ktorí si myslia, že stroje sa stanú dobrosrdečnými, keď sa stanú rozumnejšími.

Pozrime sa len na jedno z uvedeného - myšlienku, že ľudská "všeobecná" inteligencia je špeciálna a stroj nemôže dosiahnuť to isté - a sledujme, ako povera ustupuje.

Ray Kurzweil do svojej knihy v roku 1999 dal nasledujúcu karikatúru:

V Rayovej karikatúre muž zosobňujúci ľudstvo zúrivo vymenováva úlohy, ktoré dokáže splniť len ľudská inteligencia, ale padajú mu na zem takmer tak rýchlo, ako ich stíha lepiť na steny. Stroje dnes dokážu skladať hudbu, hrať šach, rozoznávať ľudskú reč, obchodovať s akciami, riadiť strely, rozoznávať tváre, určovať zdravotné problémy, a mnoho ďalšieho. Keď Ray uverejnil tento obrázok, stroje nedokázali riadiť autá, ale dnes dokážu.

Je pravda, že je veľa vecí, ktoré stroje ešte nedokážu, ale tí, čo tieto fakty používajú na obhajobu nedosiahnuteľnej výnimočnosti ľudskej inteligencie mi pripomínajú tých, ktorí ukazujú na tajomstvá vedomia alebo vzniku vesmíru aby obhajovali existenciu Boha. Je to prehraný boj.

Áno, písanie románov a vedecký výskum vyzerajú ako veci, ktoré dokážu robiť iba ľudia, pretože za posledné 4 miliardy rokov existencie života na Zemi ich robili iba ľudia. Ale pamätajte: počas 99,999 95% tejto histórie žiaden živočíšny druh nepísal romány ani nerobil vedecký výskum. V spätnom pohľade to bude vyzerať, že ľudský mozog bol prvou z mnohých architektúr myslí, ktoré dokážu písať romány a robiť vedecký výskum, a mal iba nepodstatný náskok pár tisíc rokov.

V skutočnosti, úloha "robiť vedecký výskum" sa už začala odovzdávať strojom. V roku 2009 bol robot menom Adam naprogramovaný našimi vedeckými poznatkami o kvasinkách, a potom si stanovil hypotézy, otestoval ich, vyhodnotil výsledky, a urobil originálne vedecké objavy. Ten istý tím teraz pracuje na ešte silnejšej vedeckej UI menom Eve.

UI prichádza. Musí prísť, ak bude veda napredovať, pretože inteligencia (efektívna optimalizácia v rôznych oblastiach) funguje na spracovávaní informácií, a ľudské mäso nie je jediným podkladom na spracovanie informácií. Preto je možné zostaviť stroje, ktoré hrajú šach, skladajú hudbu, a robia vedecký výskum, a preto je možné zostaviť "všeobecnú" strojovú inteligenciu na ľudskej úrovni.

Veľa miesta nad nami

Prečo sú UI vo filmoch tak často na úrovni približne ľudskej inteligencie? Jeden z dôvodov je, že si takmer nikdy nedokážeme predstaviť ne-ľudí ako ne-ľudí. Antropomorfizujeme. Preto sú mimozemšťania a roboti v príbehoch v podstate iba ľudia s veľkými očami alebo zelenou pokožkou alebo nejakým špeciálnymi schopnosťami. Ďalším dôvodom je, že spisovateľovi sa ťažko píšu postavy, ktoré sú bystrejšie než sám spisovateľ. Ako presne by superinteligentný stroj vyriešil problém X? Nie som dosť chytrý na to, aby som to vedel.

Ľudská schopnosť efektívnej optimalizácie v rôznych oblastiach nie je prirodzenou hranicou inteligencie. Je to úzka, náhodná, dočasná značka vytvorená evolúciou kvôli veciam ako pomalý prenos signálov v neurónoch alebo veľkosť lebky, ktorá sa ešte zmestí do pôrodného kanála primáta. Einstein nám môže pripadať "ohromne" inteligentnejší než dedinský blázon, ale tento rozdiel je zanedbateľný v porovnaní s rozdielom medzi dedinským bláznom a myšou.

Ako povedal Vernor Vinge:

Najlepšia odpoveď na otázku: Budú počítače niekedy také chytré ako ľudia? je pravdepodobne: Áno, ale iba nakrátko.

Ako by mohla UI prekonať ľudské schopnosti? Poďme si to vymenovať...

Rýchlosť. Naše axony prenášajú signál rýchlosťou 75 metrov za sekundu alebo pomalšie. Stroj dokáže prenášať signály asi 4-milióny-krát rýchlejšie.

Sériová hĺbka. Ľudský mozog nedokáže rýchlo spracovať žiaden výpočet, ktorý vyžaduje viac než 100 nadväzujúcich krokov; preto je závislý na masívnych paralelných výpočtoch. Využitím aj paralelných aj hlbokých sériových výpočtov by sa dalo urobiť viac.

Výpočtové zdroje. Veľkosť mozgu a počet neurónov sú obmedzené veľkosťou lebky, metabolizmom, a ďalšími faktormi. UI môže byť postavená vo veľkosti budovy, mesta, alebo väčšej. Keď nebudeme vedieť vyrábať menšie integrované obvody, môžeme ich jednoducho vyrobiť viac.

Rozumnosť. Ako sme skúmali predtým, ľudský mozog nedokáže optimálne vytvárať presvedčenia ani dosahovať ciele. Stroj možno postaviť od základu pomocou (výpočtových aproximácií) bayesovských rozhodovacích sietí, čo je hlavná paradigma pri návrhu umelých agentov.

Dostupnosť introspekcie / upravovateľnosť. My ľudia nemáme takmer žiaden introspektívny prístup ku svojim kognitívnym algoritmom, a nemôžeme ich ľahko upravovať a zdokonaľovať. Stroje to už dokážu (viď Eurisko a metaheuristiky). Obmedzené triky ako napríklad pamäťový palác výrazne zvyšujú ľudskú pamäť; stroj môže takéto veci robiť po tuctoch.

A toto je iba čiastočný zoznam. Zamyslite sa, ako výrazne stroje prekonali naše schopnosti v aritmetike, alebo ako výrazne prekonajú naše schopnosti v šachu či jazdení za ďalších 20 rokov. Neexistuje principiálny dôvod, prečo by stroje nemohli prekonať naše schopnosti v návrhu technológie alebo všeobecnom rozmýšľaní rovnakým rozdielom. Úroveň človeka je len malou zastávkou na ceste k najvyššej úrovne inteligencie umožnenej fyzikou, a nad nami je ešte veľa miesta.

Neodvracajte sa

Možno ste už počuli o japonských veteránoch, ktorí odmietli uveriť správam o kapitulácii Japonska v roku 1945. Jedným z nich bol poručík Hiroo Onoda, ktorý velil ďalším trom vojakom na ostrove Lubang vo Filipínach. Vyše desať rokov sa živili kokosovými orechmi a banánmi v džungli a odmietali uveriť, že vojna skončila:

Zhadzovali im leták za letákom. Nechávali im noviny. Zhadzovali im fotografie a listy od príbuzných. Priatelia a príbuzní sa im prihovárali cez megafóny. Vždy im bolo niečo podozrivé, takže nikdy neuverili, že vojna naozaj skončila. 

Jeden po druhom Onodovi vojaci zomreli alebo sa vzdali, ale samotný Onoda neuveril v porážku Japonska až do roku 1974, takmer 30 rokov po skončení vojny. Neskôr spomína: "Zrazu všetko sčernelo. Zúrila vo mne víchrica. Cítil som sa ako hlupák... čo som to robil celé tie roky?"

Študent rozumnosti chce pravdivé presvedčenia, aby mohol lepšie dosiahnuť svoje ciele. Chce reagovať na dôkazy veľmi odlišne než Onoda. Chce zmeniť názor hneď, keď je dostatok dôkazov, ktoré to zdôvodňujú (v súlade s tým, čo už vie, a so zákonmi teórie pravdepodobnosti). Držanie sa nepravdivých presvedčení môže mať vážne dôsledky: napríklad 30 rokov na kokosových orechoch.

Onoda bol cvičený v rovnakom druhu militaristického dogmatizmu, ktorý vytvoril pilotov kamikaze, a bol naučený veriť, že porážka Japonska je najhorší možný výsledok, aký si možno predstaviť. Onoda sa teda prirodzene odvracal od dôkazov, že Japonsko prehralo vojnu, keďže bol vycvičený veriť, že tento výsledok je emocionálne a mentálne nemysliteľný.

Jedna zo zručností v zbierke nástrojov rozumného myslenia je všimnúť si, kedy nastane toto "odvrátenie sa" a konať proti nemu. Túto zručnosť budeme potrebovať, keď sa začneme pozerať na dôsledky myšlienok, o ktorých sme práve hovorili - že UI je nevyhnutná, ak bude veda napredovať, a že UI môže byť omnoho inteligentnejšia (a preto omnoho mocnejšia) než ľudia. Keď preskúmame dôsledky týchto myšlienok, bude užitočné rozumieť, čo sa deje v ľudskom mozgu, keď zvažuje myšlienky s neželanými dôsledkami. Ako uvidíme, nepotrebujeme vojenskú indoktrináciu na to, aby sa ľudský mozog odvrátil preč. Naopak, odvrátenie sa je štandardnou vlastnosťou ľudskej psychológie, známou pod názvami ako "motivované poznávanie" a "racionalizácia".

Ako extrémny príklad si vezmime kreacionistu. Bude prijímať pochybné dôkazy v prospech svojej pozície, ale bude prehnane skeptický voči dôkazom proti nej. Bude hľadať dôkazy, ktoré by mohli potvrdiť jeho pozíciu, ale nebude hľadať najsilnejšie dôkazy proti nej. (A tak sa stretávam s kreacionistami, ktorí nikdy nepočuli o endogénnych retrovírusoch.)

Mnohí z nás robia podobné veci každý týždeň v (dúfam) menej zrejmých a škodlivých veciach. Odvraciame sa od nepohodlných právd a volieb, hovoriac: "je lepšie neunáhliť sa". Vyhýbame sa skutočným slabým miestam našich presvedčení. Začíname s už vytvoreným názorom, a argumenty preň si nájdeme až dodatočne. Nevedome filtrujeme dostupné dôkazy, aby sme zvýhodnili svoje terajšie presvedčenia. Vyvraciame slabé argumenty proti našim pozíciám, ale nepokúšame sa zvážiť najsilnejšie možné argumenty proti našim pozíciám.

A tieto procesy sú zvyčajne automatické a nevedomé. Nemusíte byť mimoriadne iracionálny človek, aby ste sa takto odvrátili. Nie, budete mať sklon sa odvracať automaticky, ani si to neuvedomíte, a budete musieť vynaložiť vedomé myšlienkové úsilie, aby ste sa neodvrátili od nepohodlných faktov. A nemyslím tým spievanie: "Nedopusti sa sklonu k potvrdzovaniu. Nedopusti sa sklonu k potvrdzovaniu..." Myslím tým niečo účinnejšie.

Aké druhy vedomého myšlienkového úsilia môžete vynaložiť, aby ste oponovali reakcii "odvrátenia sa"?

Jedna rada je ponechať si ústupovú líniu:

Minulý večer som sa rozprával s [osobou, ktorá] práve vyhlásila (a) svoje presvedčenie v existenciu duše a (b) že neverí v kryoniku, pretože verí, že duša by nezostala v zmrazenom tele. Opýtal som sa: "Ale odkiaľ to vieš?" Zo zmätku, ktorý prebleskol jej tvárou bolo dosť jasné, že jej táto otázka nikdy nenapadla... "Daj si záležať na tom," poradil som jej, "aby si si predstavila, ako by svet vyzeral, keby neexistovali žiadne duše, a čo by si v takom prípade robila. Nemysli na všetky možné dôvody, prečo by to tak byť nemohlo, iba to prijmi ako predpoklad a potom si predstav dôsledky. Takže si pomyslíš, "No, keby neexistovali duše, mohla by som sa jednoducho prihlásiť na kryoniku," alebo "Keby neexistoval Boh, aj tak by som sa mohla naďalej správať morálne" namiesto toho, aby si bola príliš vystrašená z tejto predstavy. Čo sa týka sebaúcty, mala by si skúsiť veriť pravde bez ohľadu na to, aké je to nepohodlné... [a] čo sa týka ľudskej prirodzenosti, pomáha, ak najprv spravíš presvedčenie menej nepohodlným a až potom sa snažíš vyhodnotiť dôkazy preň."

Samozrejme, dôkazy musíte stále zvažovať poctivo.. Existujú presvedčenia, ktoré ma strašia, a ktoré stále odmietam, ako aj presvedčenia, ktoré ma priťahujú, ktoré stále prijímam. Dôležité však je predstaviť si situáciu jasne a tým ju urobiť menej strašidelnou, aby váš ľudský mozog mohol férovejšie vyhodnocovať relevantné dôkazy.

Ponechať si ústupovú líniu je nástroj, ktorý používame pred bojom. Technika proti odvráteniu sa, použiteľná počas boja, je slovne pomenovať reakciu odvrátenia sa. Keď sa pristihnem, že si myslím veci ako: "Zdá sa mi, že som čítal, že cukor vlastne nie je až taký škodlivý," v myšlienkach dodám: "ale to môže byť motivované poznávanie, pretože mám práve veľkú chuť zjesť tento koláč."

Je to ako stlačenie tlačidla pauza na mojom rozhodovacom module, ktoré mi poskytne čas zapojiť svoje "moduly zvedavosti", ktoré som vycvičil, aby chceli vedieť, čo je naozaj pravda, namiesto ospravedlňovania jedenia koláčov. Napríklad si predstavím, čo by mohlo zle dopadnúť, keby som v danej veci došiel k nepravdivému presvedčeniu - vďaka motivovanému poznaniu alebo nejakej inej chybe myslenia. V tomto prípade si môžem predstaviť, že priberiem hmotnosť alebo že budem mať dlhodobo nižšiu energiu, ako možné dôsledky toho, keby som sa mýlil ohľadom účinkov konzumácie cukru. Keby som zvažoval, či si kúpiť poistenie proti vyhoreniu, predstavoval by som si, čo sa môže stať, ak sa mýlim v mojom intuitívnom úsudku ohľadom kúpy poistenia.

Tieto nástroje budú užitočné, keď sa zamyslíme nad dôsledkami UI. Ideme sa rozprávať o dosť náročných veciach, ale pamätajte: Neodvracajte sa. Pozerajte sa skutočnosti do očí a neustupujte.

Žiaden Boh nás nezachráni

Stratiť vieru v Boha bolo pre mňa spočiatku drsné, lebo ma učili, že bez Boha by neexistovali žiadne hodnoty, žiaden zmysel, žiadna radosť, žiadna láska - iba atómy odrážajúce sa od seba.

Neskôr som všetky tieto veci dostal späť. Všetko sa skladá z atómov, ale to neznamená, že existujú "iba" atómy. Fakt, že hodnoty, zmysel, radosť a láska sa skladajú z atómov, je tým, čo ich umiestňuje do skutočného sveta. Keď sa vedcom podarí rozobrať dúhu, dúha je stále tam, a ešte krajšia so svojimi podrobnosťami. Naučil som sa mať radosť z "púhej" skutočnosti.

Jedna vec, ktorú so naspäť nedostal, bolo bezpečie života vo svete, ktorému vládne všemocná dobrotivá bytosť. Samozrejme som nikdy neveril tomu, že by Boh optimalizuje všetko a splní mi všetky moje priania. Taká teória sa príliš ľahko falzifikuje.

Ale zrejme existuje nejaká hranica hrôzy, dosť príšerná na to, aby Boh zasiahol... Žiaden milujúci rodič, aj keď chce, aby jeho dieťa vyrástlo ako silné a samostatné, by nedovolil, aby jeho batoľa zrazilo auto.

Teraz si však položme inú otázku: Za takých a takých počiatočných podmienok, za takých a takých pravidiel, aký by bol matematický výsledok?

Odpoveď na túto otázku nemôže zmeniť ani Boh. Ako vyzerá svet v tomto imaginárnom svete, kde každý krok závisí iba od jeho najbližšieho predchodcu? Kde sa veci stanú alebo nestanú iba podľa matematických pravidiel? A kde tieto pravidlá nepopisujú Boha dozerajúceho na každý stav? Ako to vyzerá vo svete čistej matematiky, mimo dosah Boha?

Taký svet by nebol férový... Zložitý život by sa mohol, ale nemusel vyvinúť. Tento život by mohol, ale nemusel získať vedomie... Keby sa vyvinulo niečo ako ľudia, trpeli by chorobami - ktoré by tam neboli preto, aby ich naučili nejakú lekciu, ale iba preto, že vírusy sa tam vyvinuli tiež. Keby ľudia v tom svete boli šťastní alebo nešťastní, nemuselo by to mať nič spoločné s dobrými alebo zlými voľbami, ktoré urobili. Nič spoločné so slobodnou vôľou alebo naučením sa lekcie. V tomto fiktívnom svete, Džingis Chán môže povraždiť milióny ľudí, smiať sa a byť bohatý, nikto ho nikdy nepotrestá, a svoj život prežije omnoho šťastnejšie ako priemer. Kto by tomu zabránil? A ak bude Chán mučiť ľudí na smrť, pre svoje pobavenie? Môžu volať o pomoc, môžu si predstavovať Boha. Ale v tomto systéme nie je žiaden Boh. Obete budú zachránené iba vtedy, ak v správnej premennej bude hodnota 0 alebo 1. A nie je pravdepodobné, že by sa niekto vzoprel Chánovi; keby to urobili, niekto by ich sekol mečom, ten meč by roztrhal ich orgány a oni by zomreli, a tým by to skončilo. Takže obete umierajú, kričia, a nikto im nepomôže...

Začína vám tento svet znieť povedome? Mohlo by to naozaj byť tak, že bytosti s vedomím zomierali, definitívne, milióny rokov... bez duše a bez posmrtného života... a bez akéhokoľvek veľkého plánu Prírody? Nie aby sme sa naučili o zmysle života. Ani nie, aby sme sa naučili hlbokú lekciu o tom, čo je nemožné. Jednoducho mŕtvi. Jednoducho len tak.

Toto je v skutočnosti svet, v ktorom žijeme: svet matematiky a fyziky.

Kedysi som veril, že vyhynutie ľudstva nie je dovolené, že Boh by takej veci zabránil. Iní môžu veriť, že vyhynutie ľudstva nie je dovolené kvôli "hrám s kladným súčtom" alebo "demokracii" alebo "technológii". Ale vo svete matematiky a fyziky vyhynutie ľudstva je dovolené, či sa od tejto myšlienky reflexne odvrátime alebo nie.

Keď sme si toto povedali, môžeme urobiť svet o čosi bezpečnejším, ak sa rozhodneme správne pripraviť. Nemôžeme zmeniť fyziku. Môžeme však postaviť ochranné zábradlia a naspodok dať nejaké vypchávky. Jedného dňa, možno, budú mysle chránené. Deti si budú môcť popáliť prst alebo stratiť hračku, ale nikdy ich nezrazia autá...

Lenže my sa tam musíme dostať vychádzajúc z tohto sveta... sveta s tvrdým betónom a bez vypchávok. Sveta, ktorého úlohy nie sú primerané vašim schopnostiam, a za zlyhanie [v týchto úlohách] môžete zomrieť. Často sme slabí a hlúpi, ale musíme to skúsiť, pretože nie je žiaden boh, ktorý by nás zachránil. Skutočne príšerné výsledky môžu byť nemysliteľné pre ľudí, nie sú však nemysliteľné pre fyziku.

Hodnota je zložitá a krehká

Jedného dňa môj kamarát Niel požiadal svoju virtuálnu asistentku v Indii, aby mu našla bicykel, ktorý si ešte v ten deň môže kúpiť. Poslala mu zoznam bicyklov na predaj z celého sveta. Niel povedal: "Nie, potrebujem taký, ktorý si môžem kúpiť v Oxforde ešte dnes; musí byť miestny." Tak mu poslala dlhý zoznam bicyklov dostupných v Oxforde, väčšina z nich bola drahá. Niel upresnil, že chce lacný bicykel. Tak mu poslala zoznam detských bicyklov. Upresnil, že chce miestny lacný bicykel vhodný pre dospelého muža. Tak mu poslala zoznam bicyklov pre dospelých v Oxforde, ktoré vyžadovali opravu.

Ľudia zvyčajne rozumejú želaniam tých druhých lepšie než v tomto prípade. Naša vyvinutá psychologická jednota spôsobuje, že máme spoločný zdravý úsudok a spoločné túžby. Požiadajte ma, aby som vám našiel bicykel, a ja budem predpokladať, že chcete fungujúci, primeraný vašej výške, nie vyrobený zo zlata, atď. - aj keď ste nič z toho v skutočnosti nepovedali.

Avšak odlišná architektúra mysle, ktorá sa nevyvinula spolu s nami, nebude zdieľať náš zdravý úsudok. Nevedela by, čo nemá urobiť. Ako urobiť koláč? "Nepouži kalmáre. Nepouži žiarenie gama. Nepouži Toyotu." Zoznam toho, čo nerobiť, je nekonečný.

Niektorí ľudia si myslia, že pokročilá UI bude akýsi superslužobník, ktorý urobí všetko, o čo ho požiadate, neuveriteľne efektívne. Ale presnejšie je predstaviť si Výsledkovú pumpu: nevedomé zariadenie, ktoré robí niektoré výsledky viac pravdepodobné, iné výsledky menej pravdepodobné. (Výsledková pumpa však nevie čarovať. Ak ju požiadate o výsledok, ktorý je príliš nepravdepodobný, pokazí sa.)

Predstavte si teraz, že vaša matka je uväznená v horiacej budove. Vy ste na vozíčku, takže nemôžete priamo pomôcť. Máte však Výsledkovú pumpu:

Zakričíte: "Dostaň moju mamu von z budovy!"... a stlačíte Enter.

Chvíľku sa zdá, že sa nič nestane. Obzeráte sa, čakáte, kedy sa objaví požiarnicke auto a prídu záchranári - alebo aspoň nejaký silný a rýchly bežec, ktorý by vyniesol vašu matku z budovy...

BUM! S hromovým revom vybuchne hlavný prívod plynu pod budovou. Ako sa stavba pomaly rozpadá, zazriete polámané telo svojej matky vymrštené vysoko do vzduchu, rýchlo letiace, prudko sa vzďaľujúce od bývalého stredu budovy.

Našťastie, Výsledková pumpa má tlačidlo Ľútosť, ktoré vie vrátiť čas. Stlačíte ho a skúsite znovu: "Dostaň moju mamu von bez výbuchu budovy," poviete a stlačíte Enter.

Vaša matka vypadne z okna a zlomí si väz.

Po desiatich ďalších stlačeniach tlačidla Ľútosť poviete Výsledkovej pumpe:

Počas najbližších desiatich minút presuň moju matku (definovanú ako ženu, s ktorou mám spoločnú polovicu génov a ktorá ma porodila) tak, aby pohodlne sedela na tejto stoličke vedľa mňa, bez telesných a duševných zranení.

Sledujete, ako všetkých 13 požiarnikov naraz vbehlo do budovy. Jeden z nich rýchlo našiel vašu matku a vyniesol ju do bezpečia. Všetci ostatní zomreli alebo utrpeli zranenia, ktoré ich zmrzačili. Ten jeden požiarnik posadí vašu matku na stoličku a potom sa otočí, aby prezrel svojich mŕtvych a trpiacich kolegov. Dostali ste, čo ste si želali, ale nedostali ste to, čo ste chceli.

Problém je, že váš mozog nie je dosť veľký na to, aby obsahoval tvrdenia konkretizujúce všetky možné podrobnosti toho, čo chcete a čo nechcete. Ako ste vedeli, že chcete, aby vaša matka unikla z budovy v dobrom zdraví bez zabitia alebo zmrzačenia tuctu požiarnikov? Nebolo to preto, že by váš mozog niekde obsahoval vetu: "Chcem, aby moja matka unikla z budovy v dobrom zdraví bez zabitia alebo zmrzačenia tuctu požiarnikov." Namiesto toho ste videli, ako vaša matka uniká z budovy v dobrom zdraví, zatiaľ čo tucet požiarnikov tam zabilo alebo zmrzačilo, a uvedomili ste si: "A sakra. Toto nechcem." Alebo ste si dokázali predstaviť túto konkrétnu situáciu a uvedomiť si: "Ach nie, toto nechcem." Ale nič takéto konkrétne nebolo zapísané nikde vo vašom mozgu, kým sa to nestalo, alebo kým ste si tú situáciu nepredstavili. Nemohlo to tam byť: váš mozog nemá toľko miesta.

Nemôžete si však dovoliť tam sedieť s Výsledkovou pumpou v ruke, predstavovať si milióny možných výsledkov a sledovať, ktoré chcete a ktoré nechcete. Vaša matka dovtedy zomrie.

Čo ak sa zničí jej hlava, ale telo zostane? Čo ak sa zničí jej telo, a zostane iba jej hlava? Čo ak vonku čaká kryonický tím, pripravený odložiť jej hlavu? Je zmrazená hlava osobou? Je Terry Schiavo osobou? Akú hodnotu má šimpanz?

Váš mozog však nie je nekonečne zložitý. Existuje konečná množina tvrdení, ktoré by mohli popísať systém, ktorým rozhodujete o svojich úsudkoch. Keby sme rozumeli, ako pracuje každá synapsa, neurotransmiter a proteín v mozgu, a keby sme mali úplnú mapu vášho mozgu, potom by UI prinajmenšom teoreticky mohla spočítať, aké úsudky by ste urobili ohľadom konečnej množiny možných výsledkov.

Ponaučenie je, že neexistuje bezpečné želanie menšie než celý ľudský hodnotový systém:

Existuje priveľa rôznych ciest Časom. Nedokážete si predstaviť všetky cesty, ktoré vedú k cieľu, ktorý ste zadali [Výsledkovej pumpe]. "Maximalizovať vzdialenosť medzi vašou matkou a stredom budovy" možno omnoho efektívnejšie odpálením jadrovej bomby... Prípadne, na vyšších úrovniach inteligencie [Výsledkovej pumpy], urobením niečoho, na čo by sme ani vy ani ja nepomysleli, podobne ako by šimpanz ani nepomyslel na odpálenie jadrovej bomby. Nedokážete si predstaviť všetky cesty časom, rovnako ako nedokážete naprogramovať šachový stroj tak, že mu natvrdo určíte ťah pre každú možnú pozíciu na šachovnici.

A skutočný život je omnoho zložitejší než šach. Nedokážete dopredu predpovedať, ktoré z vašich hodnôt budú potrebné na posúdenie cesty časom, ktorú si [Výsledková pumpa] vyberie. Najmä ak si želáte niečo dlhodobejšie a rozsiahlejšie než záchranu svojej matky z horiacej budovy.

Jediná bezpečná UI je UI, ktorá zdieľa všetky vaše hodnotiace kritériá, a v tom bode môžete jednoducho povedať: "želám si, aby si urobila to, čo by som si mal želať."

Existuje domáci priemysel ľudí, ktorí predkladajú Jeden Jednoduchý Princíp, ktorý spôsobí, že UI urobí to, čo chceme. Žiaden z nich nebude fungovať. My nejednáme iba na základe šťastia alebo potešenia. Čo si ceníme, je veľmi zložité. Evolúcia vám dala tisíce úlomkov túžby.

To je dôvod, prečo morálni filozofi strávili tisíce rokov márnym hľadaním jednoduchej množiny princípov, ktoré, keby sme sa nimi riadili, vytvoria svet, aký chceme. Vždy keď niekto navrhne malú množinu morálnych princípov, niekto iný mu ukáže, kde sú diery. Vynechajte niečo, hoci aj niečo napohľad nepodstatné, a veci môžu dopadnúť katastrofálne.

Vezmime si neuveriteľne dôležitú ľudskú hodnotu "nudy" - našej túžby nerobiť "to isté" opäť a opäť a opäť dookola. Môžete si predstaviť myseľ, ktorá obsahuje takmer celú špecifikáciu ľudských hodnôt, takmer celú morálku a metamorálku, a chýba jej iba táto jediná vec......a tak bude až do konca času, až po najvzdialenejšie hranice svojho svetelného kužeľa, opakovať jediný vysoko optimalizovaný zážitok, opäť a opäť a opäť dokola.

Alebo si predstavte myseľ, ktorá obsahuje takmer celú špecifikáciu pocitov, ktoré má väčšina ľudí rada - okrem myšlienky, že tieto pocity majú dôležité externé referenty. Takáto myseľ by teda žila s pocitom, že urobila významný objav; pocitom, že stretla dokonalého milenca; pocitom, že pomohla priateľovi, ale v skutočnosti by nerobila žiadnu z týchto vecí, pretože by bola iba svojím vlastným automatom na zážitky. Keby sa táto myseľ naozaj snažila o tieto pocity a o ich referenty, bola by to dobrá a pravdivá budúcnosť; no kvôli vynechaniu tohto jedného rozmeru hodnoty by budúcnosť bola čosi tupé. Nudné a opakujúce sa, pretože hoci by táto myseľ cítila, že prežíva zážitky neuveriteľnej originality, tento pocit by nebol ani trochu pravdivý.

Alebo opačný problém: agent, ktorý obsahuje všetky stránky ľudskej hodnoty, okrem oceňovania subjektívneho zážitku. Výsledkom by bol potom nevedomý optimalizátor, ktorý ide a robí skutočné objavy, ale tieto objavy si nikto nevychutnáva a neužíva, pretože tam nikto nie je...

Hodnota nie je len komplikovaná, je krehká. Existuje viac než jedna dimenzia ľudskej hodnoty, kde ak stratíte iba jedinú vec, Budúcnosť je o ničom. Jediný úder a celá hodnota sa rozbije. Nie každý úder samotný rozbije celú hodnotu - ale existuje viacero možných "samotných úderov", ktoré to dokážu.

Vidíte, kam to smeruje. Keďže sme nikdy nerozlúštili celý ľudský hodnotový systém, nevieme, aké hodnoty dať UI. Nevieme, aké želanie máme vysloviť. Ak zajtra vytvoríme nadľudskú UI, vieme jej dať iba katastrofálne neúplný hodnotový systém, a ona potom bude robiť veci, ktoré nechceme, pretože bude robiť to, čo sme si želali, namiesto toho, čo sme chceli.

Práve teraz vieme zostrojiť iba také UI, ktoré optimalizujú na niečo iné než chceme. Vieme iba ako zostrojiť nebezpečné UI. Čo je horšie, učíme sa, ako urobiť UI bezpečnou omnoho pomalšie než sa učíme, ako urobiť UI mocnou, pretože venujeme viac prostriedkov problémom schopností UI než problémom bezpečnosti UI.

Hodinky tikajú. UI prichádza. A my nie sme pripravení.

Explózia inteligencie

Predstavte si, že ste nehmotný duch, ktorý sleduje vývoj vesmíru. Za prvých 9 miliárd rokov sa nestane takmer nič.

"Bože, to je taká nuda!" sťažujete sa.

"Prečo?" pýta sa váš spoločník.

"Nič nemá žiadnu hĺbku ani zložitosť, pretože nič k ničomu nesmeruje. Nič neoptimalizuje nič. Neexistuje žiadna zápletka. Akurát sa stala hromada náhodných vecí. Horšie než telenovela."

"Naozaj? A čo je tamto?"

Sledujete pohľad vášho spoločníka a všimnete si malú molekulu v jazierku vody na skalnatej planéte. Pred vašimi očami vyrobila svoju kópiu. A potom ďalšiu. A potom tie kópie vyrobili svoje kópie.

"Replikátor!" vyhlásite. "O pár mesiacov tu môžu byť milióny týchto vecí."

"Ktovie, či z tohto budú veverice."

"Čo sú to veverice?"

Váš partner vysvetľuje funkčnú zložitosť veveríc, s ktorými sa stretol vo Vesmíre číslo 217.

"To je absurdné! Pri terajšej miere optimalizácie by sme neuvideli žiadne veverice vzniknúť čírou náhodou ešte dosť dlho po tepelnej smrti vesmíru."

Ale čoskoro si všimnete niečo ešte dôležitejšie: niektoré z kópií sú chybné. Tieto kópie skúmajú susedné oblasti pojmového priestoru. Niektoré z týchto oblastí obsahujú lepšie replikátory, a tieto lepšie replikátory skončia s väčším množstvom kópií než pôvodné replikátory, a skúmajú svoje vlastné okolia.

Nasledujúcich pár miliárd rokov sú jednoznačne to najzaujímavejšie, čo ste videli. Jednoduché replikátory vedú k jednoduchým organizmom, tie vedú k zložitému životu, ten vedie k mozgom, a tie vedú k línii opíc Homo.

Spočiatku Homo vyzerá ako hocijaký iný živočích s mozgom. So šimpanzom má spoločných 99% kódu DNA. Dá sa pochopiť, ak si pomyslíte, že ľudský mozog nebude žiaden zázrak - možno umožní 50%-né zvýšenie rýchlosti optimalizácie, alebo niečo podobné. Napokon, živočíšne mozgy tu boli už milióny rokov, a postupne sa vyvíjali bez akejkoľvek dramatickej zmeny funkčnosti.

Potom zrazu jedna vec vedie k druhej. Pred vašimi očami ľudia zmúdrejú natoľko, že vedia šľachtiť rastliny, čo ich vedie k usadenému spôsobu života a opakovanému obchodu, čo vedie k písaniu a zaznamenávaniu dlhov. Farmárstvo vytvára nadbytok jedla, ten umožňuje odbornú špecializáciu, tá dáva ľuďom schopnosť sústrediť sa na riešenie problémov iných než hľadanie jedla a súloženie. Odborná špecializácia vedie k vede a technológii, priemyselnej revolúcii, ktorá vedie k cestovaniu do vesmíru a iPhonom.

Rozdiel medzi šimpanzmi a ľuďmi vykresľuje, akú moc dáva možnosť prepísať agentove poznávacie algoritmy. Samozrejme, pôvodom algoritmu bola v tomto prípade iba evolúcia, slepá a hlúpa. Inteligentný proces s trochou predvídavosti môže preskakovať priestorom možností omnoho efektívnejšie. Človek, počítačový programátor, môže za jeden deň urobiť inovácie, ktoré by evolúcia neobjavila za miliardy rokov.

Z väčšej časti však ľudia stále nedošli na to, ako fungujú ich vlastné poznávacie algoritmy, ani ako ich prepísať. A počítače, ktoré programujeme, tiež (väčšinou) nerozumejú svojim vlastným poznávacím algoritmom. Jedného dňa však budú. To znamená, že budúcnosť obsahuje slučku spätnej väzby, ktorú minulosť nemala.

Keď prvýkrát zostrojíš UI, je to batoľa - keby sa malo zdokonaľovať samo, takmer okamžite by padlo na zobák. Takže ho posúvaš ďalej pomocou svojho vlastného poznania... a vedomostí - a priebežne nemáš žiaden úžitok z rekurzie, iba zvyčajný ľudský postup vedomostí aplikovaných na vedomosti a objavov aplikovaných na objavy. Časom UI začne byť dosť sofistikovaná na to, aby sa začala zdokonaľovať sama - nielen malé vylepšenia, ale vylepšenia dosť veľké na to, aby sa prevalili do ďalších vylepšení... A potom dostaneš to, čo I. J. Good nazýva "explózia inteligencie".

...a UI zanechá ľudské schopnosti ďaleko za sebou.

V tom bode budeme ako hlúpe šimpanzy pozorujúce ako títo moderní "ľudia" objavujú oheň a farmárstvo a písanie a vedu a pušky a lietadlá a ovládajú celý svet. A podobne ako šimpanzy v tom bode nebudeme v pozícii, z ktorej by sme mohli s našimi nadradenými vyjednávať. Naša budúcnosť bude závisieť od toho, čo chcú oni.

Problém UI a jeho riešenia

Nachádzame sa v kľúčovom okamihu histórie Zeme. Ako balvan usadený na vrcholku hory stojíme v nestabilnom bode. Nemôžeme na tomto mieste zostať stáť: UI príde, ak bude veda napredovať. Čoskoro sa zosypeme po niektorej zo strán hory na nové stabilné miesto.

Jedným smerom sa nachádza vyhynutie ľudstva. ("Vyhynúť? Nehýb sa.") Iným stabilným miestom môže byť stabilná globálna totalita, ktorá zastaví vedecký pokrok, aj keď to vyzerá nepravdepodobne.

A čo umelá inteligencia? UI vedie k explózii inteligencie a pretože nevieme ako dať UI dobré ciele, explózia inteligencie bude za bežných okolnosti optimalizovať svet k náhodným katastrofálnym cieľom. Na druhej strane, kontrolovaná explózia inteligencie môže optimalizovať svet k lepšiemu.

Ja osobne sa celou svojou váhou opieram v smere k tomuto poslednému údoliu: kontrolovanej explózii inteligencie. Na prchavý okamih histórie sme schopní pochopiť (akokoľvek hmlisto) našu aktuálnu situáciu, a ovplyvniť, na ktorú stranu hory pravdepodobne dopadneme. Čo teda urobíme?

To, čo potrebujeme, je diferenciálny rozvoj intelektu:

Diferenciálny rozvoj intelektu spočíva v uprednostnení rozvoja intelektu redukujúceho riziko pred rozvojom intelektu zvyšujúceho riziko. Plán diferenciálneho rozvoja intelektu, konkrétne pre oblasť rizík UI, by odporučil, aby náš pokrok vo filozofických, vedeckých a technologických problémoch bezpečnosti UI predbehol náš pokrok v problémoch schopností UI, aby sme vyvinuli bezpečnú nadľudskú UI skôr než vyvinieme náhodné nadľudské UI. Naša prvá nadľudská UI musí byť bezpečná nadľudská UI, lebo druhú šancu možno nedostaneme. 

Veľmi zjednodušene povedané, výskum bezpečnosti UI sa preteká s výskumom schopností UI. Práve teraz výskum schopností vyhráva, a v skutočnosti náskok stále zvyšuje. Ľudstvo viac tlačí na výskum schopností UI než na výskum bezpečnosti UI. Ak výskum schopností UI vyhrá tento pretek, ľudstvo prehralo. Ak výskum bezpečnosti UI vyhrá tento pretek, ľudstvo vyhralo.

Mnoho ľudí vie, ako vyzerá tlačiť na výskum schopností UI. To je väčšina prác, ktoré o UI čítate. Ale ako vyzerá tlačiť na výskum bezpečnosti UI? Tento článok obsahuje dlhý zoznam kategórií problémov vo výskume bezpečnosti UI, ale teraz dám iba pár príkladov. (Preskočte tento zoznam, ak sa chcete vyhnúť strašne technickému žargónu.)

• Keď agent zvažuje radikálnu zmenu svojho vlastného rozhodovacieho mechanizmu, ako môže zabezpečiť, že to zvýši jeho očakávaný úžitok? Súčasné teórie rozhodovania si v tomto bode nevedia poradiť v Löbovou vetou, takže potrebujeme novú "reflektívne konzistentnú" teóriu rozhodovania.
• Agentova funkcia úžitku môže odkazovať na stavy jeho ontológie alebo entity v nej. Ale ako poznamenáva Peter de Blanc: "Ak agent môže aktualizovať alebo nahradiť svoju ontológiu, čelí kríze: agentova pôvodná [funkcia úžitku] nemusí byť dobre definovaná v jeho novej ontológii." Potrebujeme zistiť, ako zabezpečiť, že keď dáme UI dobré ciele, tieto ciele sa "nepoškodia", keď UI aktualizuje svoju ontológiu.
• Ako môžeme zostrojiť potrebnú funkciu úžitku z toho, čo ľudia "chcú"? Súčasné metódy získavania preferencií v UI sú neprimerané; potrebujeme novšie, silnejšie a univerzálnejšie algoritmy na získavanie preferencií. Alebo možno musíme umožniť skutočným ľuďom uvažovať o svojich vlastných preferenciách veľmi dlhý čas, dokiaľ nedosiahnu určitú "reflexívnu rovnováhu" svojich preferencií. Táto cesta môže zahŕňať emuláciu celého mozgu - ale ako to urobiť tak, aby sme predtým neumožnili vytvorenie nebezpečnej, na mozgu založenej, sebazdokonaľujúcej sa UI?
• Možno nevyriešime problémy teórie hodnôt pred vytvorením UI. Možno namiesto toho potrebujeme teóriu, ako zvládať túto normatívnu neistotu, napríklad niečo ako Bostromov navrhovaný Model parlamentu.

Okrem týchto "technických" výskumných problémov by sme mali zvážiť diferenciálny rozvoj intelektu pri palete "strategických" výskumných problémov. Ktoré technológie by malo ľudstvo sponzorovať viac a ktoré menej? Čo môžeme urobiť na zníženie rizika pretekov v zbrojení UI? Zníži riziko UI, ak podporíme celosvetové výcviky racionality alebo výcviky dobra? Ktoré zásahy by mali dostať prednosť?

Akcia, dnes

Jednou časťou riešenia problému rizika UI je teda diferenciálny rozvoj intelektu. Ďalšou časťou riešenia je konať na základe odporučení najlepšieho strategického výskumu, aký vieme robiť. Napríklad nasledujúce činnosti pravdepodobne znižujú riziko UI:

• Darovať organizáciám, ktoré robia horeuvedené druhy technického a strategického výskumu bezpečnosti UI - organizáciám ako Inštitút Singularity a Inštitút budúcnosti ľudstva.
• Presvedčiť ľudí, aby brali bezpečnosť UI vážne, najmä výskumníkov UI, filantropov, bystrých mladých ľudí a vplyvných ľudí.

Stránka Ako si kúpiť zníženie rizika UI poskytuje viac podrobností o konkrétnych projektoch, ktoré možno uskutočniť na zníženie rizika UI s odhadom nákladov pre jednotlivé projekty.

Príležitosti

Zatiaľ som hovoril iba o rizikách UI, ale je dôležité nestratiť zo zreteľa ani príležitosti UI:

Liečbu rakoviny alebo ekonomickú stabilitu si zvyčajne nespájame s umelou inteligenciou, ale liečba rakoviny je v konečnom dôsledku otázkou dostatočnej bystrosti na to, aby sme zistili, ako ju vyliečiť; a dosiahnutie ekonomickej stability je v konečnom dôsledku otázkou dostatočnej bystrosti na to, aby sme zistili, ako ju dosiahnuť. Akékoľvek máme ciele, máme ciele, ktoré možno dosiahnuť do vyššej miery použitím dostatočne vyspelej inteligencie.

V poslednej kapitole sa pokúsim vysvetliť, aké dobré veci môžu byť, ak sa rozhodneme konať a urobíme UI správne.

Áno, mali by sme byť triezvi ohľadom skutočnosti, že nič vo fyzike nezakazuje veľmi zlé výsledky. Ale mali by sme byť triezvi aj ohľadom skutočnosti, že nič vo fyzike nezakazuje výsledky s väčšou radosťou a harmóniou než si naše primitívne opičie mozgy dokážu predstaviť.

Zostrojenie utópie

Predstavte si našich jaskynných predkov, ako pozerali na vtáky, ktoré sa im vznášali nad hlavami. Nedokázali si predstaviť, že o tisíce rokov neskôr budú milióny ľudí lietať okolo sveta lietadlami každý deň. Naši predkovia pozerali aj na hviezdy a planéty - nesnívalo sa im však, že jedného dňa budeme chodiť po Mesiaci. Kedysi bola doba, keď priemerný človek nemohol očakávať, že po tridsiatke bude ešte dlho žiť. Ďalších 40 alebo 50 rokov navyše bolo nepredstaviteľných.

Je ľahké podceniť, čo prinesie budúcnosť. Keď myslíme na svet po Singularite, je dôležité si uvedomiť, že prínosy úspešnej Singularity môžu byť omnoho väčšie než si teraz dokážeme predstaviť, keďže naša predstavivosť je obmedzená.

Ďalšia vec, ktorú si musíme uvedomiť je, že tieto zmeny nemusia trvať tisíce rokov. Mnohé technológie, na ktorých by sa dala utópia postaviť, sa vyvíjajú už teraz, a budúce technológie sa budú vyvíjať omnoho rýchlejšie, ak ich budú vyvíjať emulácie celých mozgov a superinteligentné UI. Ekonóm Robin Hanson nám pripomína:

Hoci taký rýchly rast môže vyzerať absurdne, uvedomme si, že v období lovectva a zberačstva sa ekonómia zdvojnásobila deväťkrát; v období farmárstva sa zdvojnásobila sedemkrát; a v súčasnej priemyselnej dobe sa zatiaľ zdvojnásobila desaťkrát. Ak je z nejakého zatiaľ neznámeho dôvodu počet zdvojnásobení v týchto troch obdobiach podobný, zdá sa, že ďalšie obdobie tu už malo byť.

To, čo idem teraz povedať, môže znieť ako vedecká fantastika, ale to nie je dôvod odmietať to. Máme dlhú históriu premieňania vedeckej fantastiky na vedeckú skutočnosť. A dnes to nekončí.

Skutočná utópia

"Utópia." Túto predstavu je jednoduché pochopiť, keď si uvedomíte, že práve toto sme vždy hľadali. Meníme svet okolo nás, aby vyhovoval našim potrebám a túžbam, tak ako žiaden iný tvor pred nami. Ale so strojovou superinteligenciou na našej strane by sme mohli byť omnoho úspešnejší v uskutočnení utópie než kedykoľvek predtým. Predstavte si, čo by nám mohol povedať cestovateľ v čase z vesmíru po Singularite:

Moje vedomie je široké a hlboké, môj život dlhý. Čítal som všetkých vašich autorov - a mnohých ďalších. Zakúsil som život v mnohých formách a z mnohých uhlov: v džungli i na púšti, v podzemí i v paláci, v stepi, na vidieku i v uliciach mesta. Plavil som sa po oceánoch kultúry, plával som a potápal som sa v nich. Počas milióna rokov úsilie ľudských bytostí vybuduje úchvatné stavby; ešte aj skromné polypy za ten čas navŕšia útes. A videl som húfy farebných rýb životopisov, každá z nich jeden životný príbeh, ako sa trblietajú pod dvíhajúcimi sa morskými vlnami.

Utópia nie je miesto, kde sa ľudia oddávajú nekončiacemu zdroju prázdneho potešenia. Obyvatelia utópie majú technológiu na simulovanie a prežívanie tisícov prostredí a svetov. Nie je tam nedostatok nových a zmysluplných zážitkov. Naopak.

Obyvatelia utópie nie sú bezmyšlienkovité trúdy, ktoré nikdy nepoužívajú svoj mozog, aby niečo vyriešili. Tak ako jednoduchšia počítačová hra nemusí byť nutne zábavnejšia, obyvatelia utópie budú stále čeliť výzvam, a prežívať radosť z ich prekonania.

Utópia nie je nezmyselná, predvídateľná, ani nudná. Ľudia žijúci v utópii sa časom stávajú silnejšími, nie slabšími. Ich životy sú čoraz vzrušujúcejšie a skvelejšie, ich emócie čoraz pestrejšie a vzrušujúcejšie. Postupom času sa stávajú naplnenejšími, nie prázdnejšími.

Utópia je svet, v ktorom je naša skúsenosť obmedzená iba našou túžbou a predstavivosťou.

Bez bolesti

Začnime niečím jednoduchým: Predstavte si život bez bolesti. Bolesť nie je fyzikálny zákon. Je to dôsledok:

(1) súčasnej ľudskej biológie a

(2) našej nevedomosti ako ju zmeniť alebo prekonať.

Bolesť je iba mechanizmus, na ktorý evolúcia náhodou natrafila, ktorý nás informuje, že "tomuto by si sa mal vyhýbať" alebo "o toto zranenie by si sa mal postarať". Mohli by sme však mať systémy, ktoré nám dajú tú istú informáciu aj bez bolesti. Tak to robia dnešné UI. V budúcnosti budeme vedieť ovládnuť bolesť, v ľudských telách aj iných podkladoch.

A to je stále nič v porovnaní s tým najlepším, čo môže prísť, ak urobíme UI správne.

Bez smrti a starnutia

Neodstránili by sme iba bolesť; mohli by sme sa rovnako zbaviť aj starnutia a smrti. Smrť a starnutie tiež nie sú súčasťou fyzikálnych zákonov. Tiež sú to iba dôsledky súčasnej ľudskej biológie a našej nevedomosti ako ju zmeniť alebo prekonať. Turritopsis nutricula alebo "nesmrteľná medúza" je biologicky nesmrteľná, pretože sa nevyvinula tak, aby umrela po pár desaťročiach ako ľudia. A keby sme svoje mysle nahrali do počítačov, mohli by sme si robiť záložné kópie a dosiahnuť digitálnu nesmrteľnosť.

Chceli by ste vôbec žiť večne? Myslím si, že to dobre vystihol Patrick Hayden, keď povedal: "Osobne celý život počúvam o Vážnych Filozofických Otázkach, ktoré pred nás stavia predĺženie života, a môj postoj bol vždy ten, že som ochotný vážne sa týmto otázkam venovať toľko storočí, koľko len bude treba."

Odstrániť smrť a starnutie nie je len zbožné prianie alebo vedecká fantastika. Čím viac budeme rozumieť, ako smrť a starnutie fungujú, tým viac ich budeme vedieť ovládať.

Radikálny blahobyt

V roku 1959 Richard Feynman urobil prednášku s názvom: "Veľa miesta naspodku". V nej Feynman hovoril o tom, ako nám nič vo fyzike nebráni stavať veci atóm po atóme. Zvažoval, aké by to malo dôsledky na ukladanie informácií, chemickú syntézu, priemyselnú výrobu. O desaťročia neskôr vznikla oblasť nanotechnológie, inšpirovaná Feynmanovou lekciou. Dnes dokážeme zostrojiť niektoré veci atóm po atóme, presne ako Feynman predpovedal, a naše schopnosti v tejto oblasti z roka na rok rastú.

Krátko nato vznikla predstava molekulárnej nanotechnológie (MNT). MNT je technológia, ktorú použijeme na vybudovanie budúcnosti. Pomocou inteligentne riadených nanotovární alebo sebareplikujúcich nanorobotov a zásob materiálu dokážeme rýchlo zostaviť ľubovoľné štruktúry. Ak môžeme atómy usporiadať do ľubovoľnej zostavy (v rámci fyzikálnych zákonov), môžeme si vyrobiť banán bez toho, že by sme ho pestovali. Môžeme si vyrobiť auto bez veľkých tovární na montovanie. Ak sa to skladá z atómov, pravdepodobne si to vyrobíte pomocou MNT a dostatočnej inteligencie.

Prečo je to dôležité? Chudoba existuje z veľkej časti kvôli slabej distribúcii zdrojov. Keby jedlo a bývanie bolo v takom dostatku ako povedzme vzduch, nikto by nebol bezdomovcom ani by nehladoval; vďaka MNT by bolo smiešne platiť za auto desaťtisíce dolárov. Veci, ktoré dnes považujeme za luxus, by boli viacmenej rovnako dostupné každému. Ak dokážete manipulovať hmotu na úrovni atómov, vyrobiť diamantovú kocku je rovnako ľahké ako vyrobiť kocku uhlia.

Nekonečné dobrodružstvo

Dôsledky bezpečnej a efektívnej MNT idú ďalej než odstránenie chudoby a zjednodušenie našich životov. MNT otvára možnosti na vytvorenie omnoho silnejších počítačov, pretože sklady dát a štruktúry na ich spracovanie by mohli byť usporiadané tak dokonale a efektívne, ako je len fyzikálne možné.

Čo by sme mohli urobiť s takýmito rozsiahlymi výpočtovými zdrojmi? Pomyslite na Pandoru, z Jamesovho Cameronovho filmu Avatar. Pandora je fiktívny svet, taký úžasný, dych vyrážajúci, a odlišný od nášho. Napriek všetkým jeho fantastickým prvkom ľuďom pripadali zážitky z neho skutočné. Niekoľko pohyblivých obrázkov na plátne vytvorilo takú hlbokú skúsenosť, že ľudia odchádzali z kín smutní pri predstave, že nikdy nebudú žiť na Pandore.

Predstavte si vytvorenie počítačovej simulácie Pandory, do ktorej by ste mohli vstúpiť. Mohli by ste žiť ako obyvateľ Pandory celý ľudský život. Mohli by ste vidieť, počuť, a cítiť tento svet rovnako intenzívne ako v skutočnosti. Mohli by sme simulovať tisíce rozličných svetov a zažiť ich všetky.

Zostrojenie utópie

Tieto príklady ukazujú sotva minimum z toho, ako dobrá by mohla byť kladná Singularita z pohľadu výskumného inžinierstva. Skutočný výsledok kladnej Singularity by asi bol dosť odlišný, napríklad o dosť menej antropomorfný.

Opäť: naše dnešné obmedzenia nie sú napevno dané fyzikou, ale hranicami našej inteligencie a zdrojmi, ktoré dokážeme využívať pri našej terajšej úrovni inteligencie. Ak budú sebazdokonaľujúce sa stroje jednať v našom záujme, môžeme prekročiť svoje biologické hranice.

Ľudia vždy chceli mať viac, než nám vesmír štandardne dával. Chceme zažiť zvuky, ktoré v prírode neexistujú, tak skladáme hudbu. Chceme ochutnať niečo chutnejšie než čokoľvek, čo na svete rastie samo od seba, tak varíme a vymýšľame jedlá. Chceme skúmať svety za hranicami nášho rodiska, tak staviame lode, autá, lietadlá a rakety, aby nás odniesli do vzdialených krajín. Vymýšľame literatúru, film a umenie, aby sme zažili svet z inej perspektívy.

Vždy sme si zostavovali svoju vlastnú utópiu a robíme to stále. S pomocou superinteligencie budeme mať možnosť robiť to rýchlejšie, lepšie, a dôkladnejšie než kedykoľvek predtým.

Ale iba ak sa o to pokúsime. Iba ak sa rozhodneme, že zajtrajšia utópia je dôležitejšia než drobné vylepšenia našich dnešných, už dosť bohatých životov.

Už som písal:

Nachádzame sa v kľúčovom okamihu histórie Zeme. Ako balvan usadený na vrcholku hory, stojíme v nestabilnom bode. Nemôžeme na tomto mieste zostať stáť: UI príde, ak bude veda napredovať. Čoskoro sa zosypeme po niektorej zo strán hory na nové stabilné miesto.

Ktorým smerom potlačíš tento balvan ty?

hudba