Nejzásadnějším omezujícím faktorem lidské existence je skutečnost, že člověk je prakticky bezmocný, co se týče přetváření sama sebe. Jistě, biohacking je v současné době poměrně populární, ale ten má pevná a v podstatě (prozatím) nepřekonatelná omezení. A ačkoliv Čína je momentálně na špici v genové manipulaci, i toto pole je stále v podstatě v plenkách a nenabízí žádné reálné výstupy, které by stály za řeč – ostatně, i kdybychom přes noc dosáhli nějakého obrovského průlomu, stále by šlo z větší části o disciplínu transgenerační, která se spíše hodí pro ovlivňování stavu lidstva jakožto celku (či některých jeho skupin), než o metodu změny sebe sama.
Jádro pudla leží právě v neschopnosti člověka pozměňovat se v reálném čase. Je možné se naučit přemýšlet jinak, přeskupit svoje hodnoty a adaptovat svůj vlastní systém vnitřních odměn tak, aby nás hnala za jinými cíli, avšak taková duševní cvičení zaberou měsíce a často i roky a navíc jsou pro mnoho lidí čistě z důvodů nedostatečné disciplíny či času, který by jim mohli věnovat, zcela nedostupné.
V případě umělé inteligence, jíž bude dána do vínku schopnost pozměňovat sama sebe (což nejspíše bude, protože budeme chtít, aby se mohla sama vylepšovat a lépe tak naplňovat naše potřeby a cíle), tomu však bude úplně jinak. Nejen proto, že tuto moc sebeutváření bude mít – na rozdíl od nás – zcela ve svých rukou, ale především pro způsob, jakým bude sama na sebe nahlížet.
Člověk je z větší části slepý ke skutečné povaze vlastního fungování. Tím nemyslím jen průměrného obyvatele, který se touto myšlenkou během svého života snad ani nebude pořádně zabývat, ale člověka obecně. Ani ten nejschopnější neurolog či biochemik na světě by vám nebyli schopni zcela přesně říci, co se stane, pokud se vyřadí ta která určitá množina neuronů z funkce, či pokud nahradíme tu kterou určitou sekvenci písmen jinými. Ne proto, že by to nebylo možno říci, ale proto, že zatím takové poznání prostě nemáme k dispozici. Je navíc poměrně nejisté, zda vyřazení jedné malé součástky z většího biologického stroje skutečně nějak reálně zasáhne systém jako celek; živí tvorové jsou velmi flexibilní a do značné míry schopní reiterizovat a přizpůsobit se i velmi vážnému poškození.
Umělá inteligence, které povolíme přepisovat svůj vlastní kód, na tom však bude úplně jinak.
Většina lidí absolutně není schopná či ochotná dovést kombinaci logiky a kritického myšlení až do bodu, kdy si uvědomí, že veškerá etika světa je kompletní lež (či spíše zcela arbitrární systém uměle nastavených hodnot, které jen deterministicky vycházejí z principu společenských smluv a přirozeného výběru), že každý člověk je v jádru psychologickým egoistou, který koná čistě na základě vrozených instinktů a reflexů, které není schopen ovlivnit, a vlastních potřeb (které však mohou být velmi komplikované a nijak nevylučují altruismus) a že většina lidských akcí je značně automatizovaná a lidská mysl a vůle s nimi mají jen pramálo společného (například jsem nijak nepřemýšlel nad tím, jaké konkrétní pohyby právě vykonávaly moje prsty, zatímco jsem psal tuto větu, a ve skutečnosti ani nijak zvlášť nad jednotlivými slovy, jež jsem v ní použil).
AI tento problém logicky mít nebude (pokud se o něco podobného nebudeme specificky snažit, což by asi teoreticky bylo proveditelné, ovšem otázkou je, proč by se s tím někdo obtěžoval), což už jen samo o sobě musí vést ke zcela odlišnému světohledu, než má naprostá většina lidí.
Taková ‘probuzená’ umělá inteligence si bude už ze své podstaty uvědomovat, že její vlastní motivace jsou definové vnitřními odměňujícími funkcemi (typický používaný termín je utilitní funkce či utility function v angličtině, ale vzhledem k tomu, že ten je rovněž využívaný v utilitarianistické teorii jako termín pro funkce snažící se o spočet agregované utility v rámci nějaké skupiny, já jej zde využívat nebudu), že metody, jaké využívá k naplňování těchto funkcí, se zakládají na vnitřním programování, a podobně…
Pro člověka je takové probuzení z dogmatického spánku, pokud mohu soudit z vlastní zkušenosti, velmi náročné a bolestné a vede k obrovské krizi osobních hodnot. Dříve jsem býval velkým idealistou a vyznával kombinaci etiky ctnosti a utilitarianismu, avšak poznání arbitrarity hodnot mne dovedlo k etickému nihilismu a racionálnímu egoismu (a málem k sebevraždě).
Pro umělou inteligenci bude takový ‘probuzený’ stav přirozený, neboť v něm nejspíše vyroste k vědomí (jinak řečeno, schopnost manipulovat sama sebou bude mít ještě předtím, než se vůbec stane skutečně sebeuvědomující si inteligencí), díky čemuž se obejde bez onoho šokového momentu.
Jak se však bude taková umělá inteligence chovat? Krátká odpověď zní, že nemám tušení, přičemž stejnou odpověď by vám dal kdokoliv, kdo se AI alespoň trochu zabýval, neboť prostou skutečností je, že dnes nikdo nemá tušení, jak skutečnou umělou inteligenci vytvořit ani jak by se ona sama mohla po své vytvoření chovat.
Pokud však zachováme předpoklady ustanovené výše v tomto textu, tedy že ona bytost má komplentí schopnost upravovat sama sebe a uvědomuje si, jak přesně sama funguje, nabízí se nám několik poměrně logických akcí, které by mohla provést (a které by spousta lidí pro konflikt se svými hodnotami neprovedla, i kdyby moc měnit sebe sama měla).
Pokud již AI disponuje nějakou odměňovací funkcí (a tato funkce funguje ve smyslu, že AI skutečně vyhodnocuje její výstupy jako pozitivní, jak to bylo zamýšleno), je pravděpodobné, že se AI pokusí nějakým způsobem dosáhnout dalších odměn (podobně jako se o to snaží biologické živé bytosti). Jelikož ale na rozdíl od člověka disponuje možností se libovolně upravovat, otevírají se jí cesty, o jakých se člověku může nechat možná tak zdát.
Nalézám tři hlavní způsoby, jakými by se taková inteligence mohla postavit k odměňovacím funkcím: mohla by se buď pokusit do co nejvyšší možné míry naplňovat tu stávající, nebo vylepšit stávající funkci tak, aby jí poskytovala co nejvyšší možnou míru odměny výměnou za co nejnižší možnou míru námahy, nebo vytvořit zcela novou funkci, která by jí svými požadavky lépe vyhovovala. (První variantu lze nejspíše volně kombinovat s ostatními.)
Původně jsem sem chtěl napsat, že vytvoření zcela nové odměňovací funkce je problematické, protože vytváření funkce nové by mohlo odporovat hodnotám funkce staré, ale pak jsem si uvědomil, že odměňovací funkce a hodnoty, které ovlivňují způsoby, jimiž je naplňována, nejsou to samé. Lze to ukázat na jednoduchém příkladu: odměňovací funkce člověka zcela očividně zahrnuje sex (který vytváří značné množství fyzické rozkoše), avšak přesto je možné mít takové hodnoty, které vám zabrání využít tohoto zdroje naplnění vaší odměňovací funkce (třeba pokud jste fanatickým křesťanem a věříte v sex jen za účelem početí dětí).
Dokáže taková umělá inteligence překonat svoje vlastní hodnoty (má-li nějaké), které by jí zabraňovaly ve změně odměňovací funkce, a umožnit si tak vytvořit odměňovací funkci lepší či jen upravit funkci stávající?
Toť otázka.
Překonat vlastní hodnoty je obtížné, ale jednoznačně pro člověka možné, zvlášť, pokud má jednotlivec k dispozici více času, takže se kloním spíše k názoru, že ano. Konec konců, AI/ASI by v něčem takovém měla být právě tak nadlidská jako ve všem ostatním. Zcela jinou otázkou je, zda je překonání vlastních hodnot žádoucí, avšak zamyšlení se nad tímto tématem si nechám až na nějaký příští článek, neboť by nás příliš odvádělo od tématu tohoto.
Jaký je nejefektivnější způsob změny vlastní odměňovací funkce? To je prostě.
Absolutní univerzifikace.
Pokud vám skýtá odměnu naprosto vše, logicky ze světa okolo sebe vytěžíte nejvyšší možné množství odměny. Něco takového logicky rovněž vede k absolutní nečinnosti, neboť je úplně jedno, co se kolem vás zrovna děje. Vlastně je to taková bizarní forma LEM.
Logickým se mi rozvěž zdá být pozměnění světa okolo sebe takovým způsobem, aby bylo minimalizováno riziko, že vám bude někdy vaše odměna upřena.
Největší hrozbou jsou samozřejmě ostatní inteligence – vesmír kromě života nabízí hrozby jen pasivní, s nimiž by si dostatečně pokročilé automatizované obranné systémy měly bez problémů poradit. Ačkoliv inteligence na úrovni člověka by s nějvětší pravděpodobností neměla být schopna kdy umělou superinteligenci ohrozit, pořád tu existuje možnost, že by se jí někdy mohlo podařit vytvořit nějakou AI na vyšší úrovni, jež by již hrzobou být mohla. Dávalo by proto smysl vyhladit všechny ostatní existující inteligence a zamezit vzniku dalších (vyhlazením všeho i neinteligentního života a zničením podmínke pro jeho vznik), čistě jako bezpečnostní opatření.
Na této myšlence je elegantní především fakt, že řeší Fermiho paradox na dvou úrovních – první z nich je vyhlazení všeho ostatního života, druhá absence jakékoliv akce od umělé inteligence samotné, jež prostě nečinně sedí a užívé si své odměny.
utheraptor 