Zatím poslední varování se nedávno objevilo na stránkách americké organizace Center for AI Safety:

Odborníci na umělou inteligenci, novináři, politici a veřejnost stále častěji diskutují o širokém spektru důležitých a naléhavých rizik spojených s umělou inteligencí. Obavy z některých nejzávažnějších rizik pokročilé umělé inteligence nemusí být ale snadné přesně formulovat. Níže uvedené stručné prohlášení si klade za cíl tuto překážku překonat a rozpoutat diskusi. Jeho cílem je také upozornit veřejnost na rostoucí počet odborníků a veřejných činitelů, kteří berou některá z nejzávažnějších rizik pokročilé umělé inteligence vážně. 
Zmírnění rizika vyhynutí lidstva v důsledku umělé inteligence by mělo být globální prioritou společně s dalšími riziky celospolečenského rozsahu, jako jsou pandemie a jaderná válka.

Prohlášení podepsala celá řada odborníků, včetně opravdu velkých vah na poli umělé inteligence, jako je Geoffrey Hinton a Yoshua Bengio. A leccos se z něj začíná odvozovat. Můžeme například slyšet hlasy, podle kterých to prokazuje, že obavy z umělé inteligence jsou reálné, dokonce to má dokazovat, že nepřesvědčení prostě nemohou rozumět modernímu vývoji v umělé inteligenci.

Jsou takové úvahy korektní? Příliš ne. Nechci se vyjadřovat k tomu, zda brzy vznikne obecná umělá inteligence, zda je superinteligence vlastně nevyhnutelná a zda je AI doopravdy existenčním (dokonce největším) rizikem. Chci se jen zaměřit na to, co vlastně lze vyvozovat z podobných výzev.

Stručná odpověď: nic moc.

Nejde totiž jen o to, kolik lidí výzvu podepsalo, ale i o to, kdo všechno to nepodepsal.

Signatáři jsou rozdělení do dvou skupin: Vědci v AI (u nás bychom řekli informatici) a další významné osobnosti. Zaklikneme-li pouze první volbu, zjistíme, že výzvu podepsalo 259 lidí. Podívejme se na ně trochu podrobněji. Využívám webové stránky www.research.com, kde jsou žebříčky vědců ve vybraných oborech. Jedním z nich je i informatika. Vědci jsou zde řazeni podle D-indexu, což je ukazatel, který vyjadřuje, jaký dopad mají práce daného odborníka na práce kolegů v daném oboru (zjednodušeně řečeno). Celkem zde najdeme prvních 10000 informatiků (hledáme-li podle jména), samotný žebříček je k zobrazení pro prvních 2000.

Nejlepší hodnocení zde má Anil K. Jain z Michigan State University, jehož D-index má hodnotu 203. Současně se dozvídáme, že Jain publikoval 970 praxí a má celkem 250.990 citací.

Vraťme se nyní k signatářům výzvy. I když jsou všichni zařazení do kolonky „AI Scientist“, pravda to tak docela není. Ve skutečnosti jich mezi 10.000 informatiky najdeme jen 65! Proč tomu tak je? Důvodů může být více. Někteří jsou sice informatiky, ale nedosahují takových výsledků, aby se mezi prvních 10.000 dostali. A další jsou na seznamu zařazení chybně. Najdeme zde třeba Maxe Tegmarka, který je úspěšným fyzikem, oborníkem na AI však není.

Jinými slovy, z celkového počtu 259 signatářů jich jen 65 najdeme v seznamu prvních desetitisíců informatiků. Není to příliš velké číslo.

Nyní se podívejme na těchto 65 odborníků. Z první stovky informatiků jich je jen pět: Geoffrey Hinton, Yoshua Bengio, Dawn Song, Eric Horvitz a Stephen Grossberg. Jinými slovy, ze sta největších světových expertů na umělou inteligenci jich výzvu 95 % nepodepsalo.

Umístění zbývajících šedesáti asi nejlépe popíše následující graf. Na ose X jsou pořadová čísla signatářů, na ose Y jejich umístění v žebříčků informatiků. Všimněme si, že jen prvních 12 se umístilo v první tisícovce, následně křivka poměrně rychle roste.

Takže si to shrňme. Ze stovky nejvýznamnějších odborníků na umělou inteligenci jich podepsalo jen 5, tj. 5 % (což znamená, že celých 95 % výzvu nepodepsalo). A ze zbývajících desetitisíců odborníků výzvu podepsalo 60 signatářů, což je pouhých 0,6 %. Jinými slovy, 99,4 % informatiků ji nepodepsalo.

Co z toho vyplývá? Právě že nic moc. Nevíme, proč nepodepsaní nepodepsali. Třeba o výzvě nevěděli. Nebo se k tomuto problému nechtějí veřejně vyjadřovat. Možná nesouhlasí s formulací výzvy, i když nějaké obavy mají. A možné také je, že mnozí z nich prostě obavy z umělé inteligence nesdílí.

Publikovat články o tom, že drtivá většina informatiků nemá z AI obavy, by proto bylo nezodpovědné a nekorektní. Ale podobně není příliš korektní tvrdit, že AI skutečně existenčním rizikem je, nebo že ti nepřesvědčení mají zřejmě nějaký defekt, například vlastně umělé inteligenci nerozumí. Na výzvu a její signatáře musíme pohlížet v odpovídající perspektivě: a tou je i počet a kvalita odborníků, kteří ji nepodepsali.

Co je a není umělá inteligence?

Umělá inteligence dnes neexistuje. Respektive určitě to nejsou nějací roboti, kteří nás budou likvidovat, a nakonec nás nahradí. Je to jen technologie umožňující počítačům lépe dělat věci, které běžně neumí. Věci, které umí lidé, ale počítač nezvládne. Sám se zabývám strojovým učením, na kterém je dnešní pojem umělé inteligence založen. Jeden kamarád mi poslal definici rozdílu mezi ním a umělou inteligencí. Zní: když je to napsané v Pythonu (programovací jazyk, pozn. Red.), tak to psal to programátor a je to strojové učení. Když je to napsané v PowerPointu, tak to psal manažer a je to umělá inteligence. Ta definice je hluboce pravdivá.

Takže odborníci o umělé inteligenci nemluví?

To zase ne. Obecně to znamená stavbu chytrých strojů, které zvládají úkoly vyžadující lidskou inteligenci. Lékaři, filosofové, teologové, matematici, informatici, a tak dál klasifikují inteligenci do pěti kategorií.

Jaké to jsou?

Úplně nejjednodušší jsou reaktivní stroje. Nemají paměť ani pojetí minulosti. Je to třeba automatická ještěrka někde v Amazonu. O něco lepší jsou stroje s omezenou pamětí. Mohou do ní ukládat nějaká data a používat je k předpovědím, co bude následovat. Ještě lepší by mohly být stroje disponující tzv. teorií mysli. Je to koncept, který vyjadřuje, že stroj nebo živý organizmus dokáže porozumět jednání jiných strojů nebo organizmů tím, že jim přisuzuje mentální stavy. Představuje si, co si myslí.

Do čtvrté kategorie spadají inteligence schopné sebeuvědomění. Patříme do ní i my, lidé. Poslední kategorie je superintelignce. Ta by nás převyšovala natolik, že bychom ji nebyli schopni pochopit.

Kdy můžeme očekávat vznik inteligence páté kategorie?

Já se toho, doufám, nedožiji. Taková inteligence by si mohla říct, že potřebuje atomy uhlíku a vodíku, aby něco úchvatného vybudovala. Všimne si, že jich je hromada v tělech jakýchsi dvounohých mravenců …

A jak je na tom současná umělá inteligence?

Myslím, že spadá do druhé kategorie – strojů s omezenou pamětí. Dnešní umělé inteligence, o kterých se tolik mluví, pracují všechny na stejném principu. Vezmou jednu množinu dat a nějak ji zpracují na druhou. V matematice se tomu říká zobrazení. Zdrojová množina mohou být třeba obrázky z kamery v autě. Výstup je pak doleva, doprava, brzdit nebo přidat. Během našich životů bychom mohli být rádi, pokud se vývoj umělé inteligence dostane do třetí kategorie, tedy strojů schopných teorie mysli.

Co všechno dnešní stroje zvládnou?

Asistentka Siri rozumí lidské řeči a upozorňuje podle vašich zvyků, že máte koupit kytku manželce. Firma Boston Dynamics postavila čtyřnohého robota, který chodí po schodech. Umí si otevřít dveře klikou. Když zjistí, že někudy cesta nevede, jde jinudy. Umělá inteligence dokáže i ovládat stíhačku. V soubojích na trenažéru porazila lidského pilota pět nula. Učila se na datech z reálných vzdušných bojů. V principu je to podobné jako řízení autonomního vozidla. Stroj vyhodnotí nějakou scénu a rozhodne se, jestli poletí nahoru nebo dolů.

Stejně vyhodnocují chytré hodinky data o srdečním tepu nebo počítač postavení kamenů ve hře go. V roce 2016 v ní umělá inteligence AlghaGo od Googlu porazila nejlepšího světového hráče Leeho Sedola. Go je daleko komplexnější než šachy. V těch porazil počítač DeepBlue velmistra Garyho Kasparova už v roce 1997. Jde ale o specializovanou činnost. AlphaGo umí jen go, nic jiného.

Co obyčejným počítačům nejde?

Když chci na běžném počítači třeba spočítat odmocninu ze dvou, musím napřed sám vědět, jak se to dělá. Teprve pak to do něj můžu naprogramovat. Existují ale problémy, které se tímhle způsobem nedají vyřešit. Je to třeba překlad mezi dvěma živými jazyky. České slovo měsíc může znamenat buď anglické „moon“ označující nebeské těleso nebo „month“ označující kalendářní měsíc. Lidský překladatel pozná rozdíl z kontextu. Pro stroje je to problém. Lingvistika ho řeší padesát let. Podobně je to s řízením aut nebo rozpoznáváním obličejů. Zvládlo ho až strojové učení.

Jak funguje?

Je to systém, který vezme data a pokusí se v nich sám naučit nějaké vazby. Ty pak aplikuje na další data, která dostane. Strojové učení se nejvíc používá v analýze obrazu, textu, nebo k předpovídání časových řad. Říkáme tomu separace množin a predikce. Dejme tomu, že mám množinu obrázků z kamery auta. Rozdělím ji na dvě menší. V první množině jel řidič doleva. Ve druhé jel doprava. Já chci zařízení, kterému předhodím další obrázek a ono se na jeho základě rozhodne, na kterou stranu má jet.

Má tenhle přístup nějaká omezení?

Je aplikovatelný jen na situace, kdy mám dvě množiny, mezi kterými se dá na základě příkladů najít nějaké zobrazení. Když musím něco řešit nově, jako třeba přistát na Marsu nebo navrhnout efektivnější motor, tak mi strojové učení nepomůže. I jazykový model GPT4, o kterém se dnes hodně mluví, dělá zobrazení z jedné množiny na jinou.Prvek zobrazované množiny je třeba celý článek.

Může být třeba o herečce, která se rozvedla a hádala se s manželem o děti. Když dostane GPT4 zadání napsat, jak to chodí mezi herci, kteří se rozvádějí, využije předchozí informace třeba z deseti tisíc článků o tomto tématu. Na jejich základě dokáže napsat rozumné pojednání o hereckých rozvodech. Při trénovaní umělé inteligence se většinově používá takzvané učení s učitelem.

Co to znamená?

Je to úloha, ve které mám k dispozici sadu vstupních dat s informací, do jaké kategorie patří. Dejme tomu, že chci někoho naučit, kdy se v češtině používá tvrdé nebo měkké i, píše mně nebo mě, a tak dál. Mám dvě možnosti. První je algoritmická. Je to přístup, kterým nás učili na základní škole. Seznámili nás s gramatickými pravidly, která jsme pak aplikovali. Člověk pak přijde a řekne: „Tady je shoda podnětu s přísudkem, a proto se píše měkké nebo tvrdé i.“.

Jaká je druhá možnost?

Můžeme dát člověku miliardu stránek textu. U každé věty bude napsáno, jestli je dobře nebo špatně. Po přečtení těch stránek se pak sám naučí psát česky. Bude vědět, že když ženy šly a muži šli, budou tam různá i. Všimne si že slova předcházející měkké nebo tvrdé i tvoří dvě kategorie. Nebude vědět o mužském a ženském rodě nebo shodě podnětu s přísudkem. Naučí se to na základě dat. Lidé většinou při psaní také o rodech nepřemýšlí. Mají rozdíl zažitý. Nad gramatickými pravidly se zamýšlíme jen výjimečně.

Jak udělat stroj, který se to zvládne naučit?

Používají se k tomu tzv. neuronové sítě. Napodobují strukturu lidského mozku. Skládají se z jednotlivých uzlů zastupujících nervové buňky. Mezi uzly vedou spoje. Jejich prostřednictvím si navzájem předávají vstupy, které do nich přichází. Umělé neuronové sítě se chovají obdobně jako biologické třeba v tom, že čím větší je intenzita vstupu, tím větší je i odezva. Její maximální hodnota je ale omezená. To platí i v mozku. Jinak by mohly být nervové buňky poškozené intenzitou signálů.

Jádro běžného počítače tvoří jeden procesor. Umí zpracovat řádově tisíce různých instrukcí, např. přičti, vyděl, zapiš do paměti, smaž, atd. Neuronová síť je velké množství daleko jednodušších navzájem propojených procesorů, které umí jen sčítat jednotlivé signály nebo je nějakým parametrem násobit. Těm se říká váhy.

Neuronové sítě nejsou nová věc. Základní model pochází z roku 1958. Už tehdy psaly The New York Times, že je to zárodek počítačů, které budou umět mluvit, chodit, vidět psát, reprodukovat se a časem si i uvědomí sami sebe. To poslední podle mě není pravda. Dá se ale matematicky dokázat, že když tyhle jednoduché procesory umístíte ve vrstvách, dokáží dostatečně přesně řešit jakýkoliv problém formulovatelný jako učení s učitelem.

Na jakých strojích sítě běhají?

Neuronovou síť s modelujeme na obyčejných počítačích, které mají jeden procesor. V nejjednodušším případě pracujeme se souborem matic (čísla uspořádaná do obdélníku), které se mezi sebou různě násobí. Simulují tak chování sítě. Je to výpočetně náročné. Výrobci se na zrychlení výpočtů ale už zaměřují. Nejúspěšnější je momentálně Nvidia, která pro to vyrábí výpočetní grafické karty. Jedna stojí okolo 150 tisíc. Dostatečně výkonné specializované stroje jsou zhruba za pět milionů. Nejdůležitější problém je simulovat učení sítě.

Jak se to dělá?

Pomocí takzvané účelové funkce. Její primitivní příklad pro řízení auta by byl, že když správně zatočím, přičtu jedničku. Když zatočím špatně, jedničku zase odečtu. Síť chci vytrénovat tak, aby hodnota funkce byla co největší. To znamená, že v ní musí být co nejméně minus jedniček. Na to jsou matematické postupy. Celé slavné strojové učení a umělá inteligence se počítají metodami známými padesát let.

Dá se ze sítě vytáhnout program, který si může přečíst člověk a pochopit, proč udělala, co udělala?

Ne. Máme k dispozici jen matice vah popisujících strukturu sítě. Přes ty matice přecedíme data a nějak to dopadne. Výstup se samozřejmě dá ověřovat. Než se síť považuje za naučenou, musí se otestovat na nepoužitých testovacích datech. I když jsem ale s výsledkem učení spokojený, nevím, proč mi vrátila výstup, který vrátila. Vím jen, že účelová funkce dobře popisuje úlohu a nastavené parametry sítě vrací dobré řešení. Přesný algoritmus neznáme. Kdybychom ho znali, mohli bychom umělou inteligenci vynechat a počítat to přímo.

Jak velký je potenciál strojového učení?

Změní svět a přinese spoustu benefitů. Určitě to bude mít i negativa. Lze si představit třeba vojenský dron, který bude na bojišti ničit všechno, co má teplotu 37 stupňů. A pak z úkrytu vyběhne dítě. Budeme muset řešit i morální otázky typu co má upřednostnit autonomní auto v kolizní situaci: doleva (dva důchodci), doprava (dítě), rovně (betonová zeď). Stroje nás ale rozhodně nenahradí.

Mně se zdá, že se strojové učení přeceňuje. Už kolem roku 2010 se psalo, že brzo přijdou autonomní auta. Zatím to ale nenastalo.

Já myslím, že by to mohlo rutině přijít okolo roku 2040. Samozřejmě i tou dobou budou lidé, kteří budou chtít sami řídit. Jiní zase budou jezdit dvacet let starým autem stejně jako dnes. Věřím ale, že kdo si koupí nové auto, řídit nebude muset. Přesněji odřídí prvních a posledních dvě stě metrů. Nasedne do auta a za asistence systémů bránících kolizi vyjede rychlostí dvacet kilometrů v hodině na silnici. Když sešlápne plyn a zrychlí na třicítku, auto řízení převezme. Já sám jsem se vsadil s kamarádem o bednu whisky, že si moje dcera nebude muset dělat řidičák.

Tak já si napíšu do Google kalendáře, že se vám prvního ledna 2040 ozvu a uděláme další rozhovor, jak se vaše předpověď vyplnila.

Dobrá. Jestli budu ještě schopen fungování, tak se s vámi rád potkám.

Rozhovor s Františkem Haklem vedl Radek John, vyšel v příloze Lidových novin Orientace v sobotu 20. 5. 2023