Kada se igra Gran Turismo pojavila 1997. godine, gotovo odmah postala je hit. Bila je to prva ozbiljna trkačka igra napravljena za PlayStation, a nudila je zaista vrlo širok izbor vozila koja su za igru rekreirana iznimno uvjerljivo, i što se izgleda i što se performansi tiče.
Do sada, prije pojavljivanja najnovije inačice Gran Turismo 7, u svijetu je prodano više od 85 milijuna kopija ove igre za platforme PlayStation. Tako je GT najprodavanija igra za Sonyjevu igraću konzolu u povijesti. Od početka pojavljivanja trkačkih simulacija na računalima i igraćim konzolama vodilo se računa o fizikalnom modelu, odnosno uvjerljivosti vožnje, znači zanošenju automobila, kočenju, ubrzavanju, prolasku kroz zavoje, svim onim silama koje vozač automobilom savladava u sportskoj vožnji. To je još jedan razlog zašto je Gran Turismo popularan, nudi odličan fizikalni model ne gubeći istodobno na igrivosti zbog čega je i tako zabavan.
Kazunori Yamauchi, tvorac igre, zamislio je Gran Turismo još 1992. godine kada je sa sedmoricom kolega krenuo u razvoj i danas jedne od najpopularnijih trkačkih simulacija. Trebalo im je čak pet godina da dovrše tu prvu verziju. Autori igre drže da su je usavršili s četvrtom verzijom, Gran Turismom 4, kada joj je dodan i epitet 'The Real Driving Simulator'. Tu je, smatraju oni, postignut maksimum u simuliranju fizikalnog modela kao i u ostalim komponentama igre, poput zvuka motora automobila u igri što je postignuto snimanjem stvarnih vozila.
Zbog svega toga Gran Turismo i danas je pokazatelj maksimuma mogućnosti Sonyjeve konzole PlayStation. Jasno, kako se svijet igara razvijao paralelno s povećanjem brzina interneta i njegove protočnosti, tako je ova igra od verzije Gran Turismo 5 Prologue otvorena i za online igranje protiv stvarnih protivnika. Znajući sve ovo, Gran Turismo je i logičan odabir za vrhunsku znanost. Na naslovnici posljednjeg broja Naturea, jednog od najvažnijih znanstvenih časopisa, upravo je prizor iz te igre. Riječ je upravo o umjetnoj inteligenciji koja je za ovu igru razvijena do te mjere da je najboljim igračima Gran Turisma postalo nemoguće pobijediti je.
Rad o tome objavljen je u Natureu pod naslovom "Outracing champion Gran Turismo drivers with deep reinforcement learning", dakle 'nadmašivanje najboljih vozača Gran Turisma duboko podržanim učenjem', dakle primjena umjetne inteligencije u zahtjevnom okolišu sportske vožnje automobila. Kako se kaže u sažetku rada, brojne današnje primjene umjetne inteligencije uključuju donošenje odluka u stvarnom vremenu unutar fizikalnih sustava za vrijeme interakcije s čovjekom.
Simulacija utrke
Okoliš automobilskih utrka takav je ekstreman primjer, vozači upravljajući vozilom na samom rubu moraju izvršiti kompleksne taktičke manevre kako bi prešli ili blokirali protivnika. Simulacije utrka kao što je upravo Gran Turismo vjerno oponašaju izazove nelinearne kontrole stvarnog trkaćeg automobila uključujući pri tome kompleksne interakcije između brojnih sudionika. U ovom se radu opisuje na koji su način stručnjaci za umjetnu inteligenciju uspjeli uvježbati digitalne vozače do razine da se mogu natjecati s najboljima u toj igri. Pa i nadmašiti ih.
To je postignuto nemodeliranim algoritmima duboko podržanog učenja koji su kombinirani s uvježbavanjem u različitim scenarijima kako bi se postigla razina integrirane kontrole u kojoj su isprepletene iznimna brzina i impresivna taktika vožnje. Rad su prenijeli gotovo svi važniji svjetski mediji. Ali za nas on ima posebnu vrijednost jer je jedna od znanstvenica koja ga potpisuje i dr. sc. Alisa Devlić.
Alisa je doktorirala na poznatom Kraljevskom institutu za tehnologiju KTH u Stockholmu, a postdoktorski je studij završila na IMT-u Atlantique u francuskom gradu Rennesu. Nekoć je radila i u istraživačkim laboratorijima Ericssona i Huaweija, ali temelj je svojeg znanja stekla u Zagrebu na Fakultetu elektrotehnike i računarstva gdje je diplomirala i magistrirala. Do sada je kao autorica navedena u više od 30 znanstvenih radova te je i višestruko nagrađivana.
Danas radi kao starija istraživačica u Sony AI-u, Sonyjevu odjelu za istraživanje umjetne inteligencije čiji je cilj upravo takav razvoj umjetne inteligencije da se ona brzo prilagođava novim zadacima i nauči ih savladavati, posebice u računalnim igrama. Dr. Devlić postavili smo nekoliko pitanja vezanih za ovaj rad, odnosno činjenicu da stroj sada pobjeđuje čovjeka u najambicioznijoj trkačkoj igri današnjice.
Zanimljivo, ovaj rad objavljen je upravo uoči objavljivanja sedme inačice Gran Turisma, 25 godina otkako se igra pojavila. Naša je znanstvenica, dakle, sudjelovala u stvaranju agenta GT Sophy, digitalne vozačice koja raspolaže s dovoljno umjetne inteligencije da pobijedi bilo kojeg živog čovjeka. I prije je umjetna inteligencija pobjeđivala vrhunskog ljudskog protivnika u igrama, poput Dota 2 ili Starcraft II, no sada se to dogodilo u trkačkoj igri. Zato nas je zanimalo gdje je razlika između tih primjera i ovog najnovijeg u Gran Turismu.
– Doista, "deep reinforcement learning" bio je ključna komponenta nedavnih impresivnih dostignuća u igrama kao što su šah, shogi i go, kao i ostalim strateškim igrama s više igrača u stvarnom vremenu. Ali Gran Turismo se razlikuje od ostalih igara u tri ključne stvari. Prvo, GT Sophy ovladala je fizičkim načelima vožnje u stvarnom svijetu i utrkivanju u realističnom simulatoru koji zahtijeva visoko preciznu kontinuiranu kontrolu vozila u stvarnom vremenu. Zatim, naučila je složene taktike potrebne u utrkivanju.
Utrkivanje je sport koji ne oprašta; kako biste bili kompetitivan vozač, morate upregnuti auto do krajnjih granica i jedna mala pogreška može dovesti do katastrofe. A treće, GT Sophy također se naučila pravednom sportskom ponašanju koje nije prisutno u ranijim dostignućima umjetne inteligencije u igrama.
GT Sophy morala je naučiti voziti natjecateljski, pridržavajući se pritom nepisanih pravila sportske etike (tj. poštujući ostale vozače u utrci i izbjegavajući sudare s protivnicima), objasnila nam je dr. Devlić. Laiku, a danas je još većina onih koji o umjetnoj inteligenciji ne znaju previše, intrigantno će biti i to da GT Sophy nije imala pomoć stvarnog vozača i nije učila od nekog profesionalca, već je sve znanje stvorila sama.
– Ne, kad smo trenirali AI agenticu GT Sophy, nismo imali za 'uzor' nekog vrhunskog profesionalnog vozača, iako smo gledali jako puno snimki utrka s različitim vrhunskim profesionalnim vozačima kako bismo razumjeli pravila i tehnike utrkivanja. Umjesto toga, Gran Turismo Sophy 'uvježbana' je korištenjem "deep reinforcement learning" algoritma pod nazivom "Quantile-Regression Soft Actor-Critic (QR-SAC)". Kreirali smo strukturu nagrade koja nagrađuje agenta kad ostane na trkaćoj stazi, pretekne protivničkog vozača, ostane u kontroli vozila i poštuje pravila utrkivanja. Agent je kažnjen za negativne radnje poput udaranja u zidove, rezanja zavoja ili napuštanja granica trkaće staze. Trenirali smo agenticu u različitim, često pomno osmišljenim trkačkim situacijama za koje je bilo izgledno da će se pojaviti na svakoj stazi, sa specijaliziranim protivnicima, kako bismo naučili različite načine utrkivanja što bi agentu omogućilo postizanje nadljudskih rezultata (kao što je korištenje slipstreama za pretjecanje protivničkog vozača, suočavanje sa situacijama poput prepunih početaka utrka, itd.), objasnila je naša znanstvenica.
Realistično iskustvo vožnje
Postavili smo i jedno logično pitanje – znači li ovo postignuće da je umjetna inteligencija 'za volanom' u stvarnom svijetu sada konačno realnost?
– Ne, ne bih to rekla. Iako Gran Turismo pruža vrlo realistično iskustvo vožnje, uključujući automobile, trkaće staze i fizičke fenomene poput otpora zraka i trenja guma, ipak se razlikuje od vožnje pravog automobila. Bez obzira na to koliko je simulator vožnje vjeran stvarnosti, uvijek postoji određeni jaz između simulacije i stvarnog doživljaja vožnje koji sprečava izravnu primjenu simulacije u stvarnom svijetu. Osim toga, radeći na agentu Gran Turismo Sophy naučila sam da se natjecateljsko utrkivanje jako razlikuje od vožnje automobila po gradskim ulicama. Na primjer, u autoškoli uče nas usporavati automobil na ravnom dijelu prije ulaska u zavoj kako bismo ga polagano i sigurno prošli, dok je u utrkama poželjno pritisnuti kočnicu do kraja prije ulaska u zavoj i gas po izlasku kako bi automobil polagano ušao u zavoj i brzo izašao iz njega. Povrh toga, Gran Turismo Sophy uči voziti drukčije od ljudskog trkača: pri ulasku u zavoj zapravo skreće i koči što joj omogućuje brz ulazak u zavoj i brz izlazak iz njega. To zapravo stavlja opterećenje na tri gume (dvije sprijeda i jednu straga) pri ulasku u zavoj umjesto na samo dvije prednje gume, kaže Sonyjeva istraživačica umjetne inteligencije.
Koliko je umjetna inteligencija stvorena za Gran Turismo savršena, odnosno hoće li je čovjek uopće moći potući, ima li takvo igranje uopće smisla?
– Barem je zamislivo, premda izazovno, da se čovjek natječe protiv AI agenta jer može puno naučiti iz njegove trkaće linije i taktike. Agentica Gran Turismo Sophy naučila je voziti brzo duž staze, a izvedbu tehnički obilježava vrlo visoka preciznost, na primjer prolazi zavoje u širokom luku na samoj fizičkoj granici ili izvodi obrambene manevre poput blokada dok je nekoliko centimetara udaljen od protivničkog automobila. Gran Turismo Sophy namijenjena je zabavi kao i učenju i usavršavanju trkaćih vještina ljudi. Prema svjedočenjima ljudskih prvaka koji su se utrkivali protiv Gran Turismo Sophy, od nje su naučili puno o utrkivanju i raduju se što će im biti protivnik u utrci. Očekujemo da uče jedni od drugih kako bi poboljšali svoje rezultate, kaže dr. Devlić. Kada je vidio postignute rezultate, i sam je Kazunori Yamauchi ostao impresioniran, pogotovo činjenicom da Gran Turismo Sophy vozi bez greške. I najavio je daće tehnologija biti uključena u nove verzije igre.
– Sophy vozi putanjama kojih se ljudski vozač nikada ne bi sjetio. Mislim da će se mnogi vozački priručnici morati nanovo pisati, rekao je Yamauchi.