Upišete li u Google 'chat gpt' detector, nećete dobiti nekoliko unosa, već nekoliko stranica poveznica na različite alate kojima je namjena prepoznati je li nešto napravljeno tim doista revolucionarnim alatom generativne umjetne inteligencije. To se odnosi na tekstove ili slike, gdje je veći napor uložen u prepoznavanje AI tekstova, vjerojatno i zato što će vještije oko ipak prepoznati kada je neki prizor izrađen nekim od alata temeljenih na umjetnoj inteligenciji. I to znači da je jednaka pozornost dana mogućnosti stvaranja alatima poput Chat GPT-ja kao i provjeri je li nešto njime stvoreno.
Jedan od takvih alata stvorila je i sama tvrtka Open AI, objavivši ga u siječnju, ali samo da bi ga obustavila u srpnju zbog niske razine točnosti. Dakle, nije baš lako napraviti dobar detektor umjetne inteligencije. Ipak najosjetljivije područje autorstva su znanstveni radovi, stoga je ovdje i došlo do dosta velikog napretka u načinu prepoznavanja tekstova koje je napravio čovjek i onih koji su, ili je barem riječ o njihovim većim dijelovima, nastali korištenjem nekog od alata poput Chat GPT-ja, Binga ili sličnih. Tako je u časopisu Cell Reports Physical Science izašao rad u kojem se opisuje kako novi alat, Chat GPT Detector, može prepoznati kada su radovi iz područja kemije napisani uz pomoć Chat GPT-ja ili ih je napisao čovjek. I u tome se ovaj alat pokazao boljim od druga dva slična alata.
- Uglavnom se tražio neki općeniti detektor koji će funkcionirati s bilo čim. No izradom alata koji je usmjeren na određeno područje, zaista se dobiva točnost - kazala je suautorica tog rada Heather Desaire, kemičarka sa Sveučilšta Kansas smještenog u gradu Lawrence. Taj novi rad bio je nastavak na rad iz lipnja gdje je na tematskim autorskim tekstovima, Perspectives, strojnim učenjem Chat GPT uvježbavan da na temelju 20 obilježja stila pisanja, dužine rečenica te pojavljivanja određenih riječi i interpunkcijskih znakova utvrdi tko je autor. Već je i to bilo dovoljno za visoki postotak detekcije.
Podsjetimo, strojno učenje grana je umjetne inteligencije koja se bavi oblikovanjem algoritama koji svoju učinkovitost poboljšavaju na temelju podataka. Iz toga je proizašao zaključak da točnost detektora znatno raste ako ih se razvija s namjenom korištenja u posebnom polju pisanja. I to nije osobito teško, dalje je tvrdila Desaire, jer ako nije posebno teško napraviti opći detektor, onda treba još samo malo napora da se napravi detektor usmjeren na određeno polje u stvaranju pisanog teksta. Kada su prvi put prikazali svoj detektor, Desaire i njezini kolege demonstrirali su kako on radi na 20 tekstova koji su se razlikovali u dužini rečenica, frekvenciji ponavljanja određenih riječi i interpunkcijskih znakova kako bi se moglo prepoznati je li umjesto znanstvenika u nekom radu dio teksta napisao Chat GPT.
POVEZANI ČLANCI:
I ispalo je da je već mali broj tekstualnih osobina dovoljan da se postigne visoka točnost u procjeni tko je autor čega i u kolikoj mjeri. U spomenutom radu opisuje se kako je detektor uvježbavan strojnim učenjem na uvodima radova objavljenih u deset znanstvenih časopisa za kemiju koje izdaje American Chemical Society, ACS, dakle Američko kemijsko društvo. Uvodi su odabrani jer se smatra kako su ti dijelovi najlakši za sastavljanje uz pomoć Chat GPT-ja ako postoji pristup potrebnoj literaturi. Riječ je bila o stotinu uvodnika radova iz kemije koji su poslužili kao uzorak teksta koji je napisao čovjek, a onda su Chat GPT-ju u verziji 3.5 dali komandu da napiše 200 uvoda onako kako ih se inače objavljuje u časopisima koje izdaje ACS koristeći samo naslove te još stotinu koristeći samo sažetke.
Kada su u detektor ubačeni tekstovi koje su napisali ljudi i oni koje je napisao Chat GPT 3.5, preciznost je bila zapanjujuća. Prepoznao je sve tekstove koje potpisuje Chat GPT 3.5 izvedene iz naslova te 98 posto onih izvedenih iz sažetaka. Također je radio jako dobro i s tekstovima koje je izveo Chat GPT u verziji 4. Puno poznatiji ZeroGPT, kojega se do sada smatralo najpreciznijim od svih takvih alata, prepoznao je tek od 35 do 65 posto tekstova koje je izradio Chat GPT gdje se preciznost razlikovala ovisno o verziji Chat GPT-ja te je li uvod bio izveden iz naslova ili sažetka znanstvenog rada.
Također je ovaj detektor bio jako uspješan u prepoznavanju korištenja umjetne inteligencije i u uvodnicima radova iz časopisa na kojima nije bio uvježbavan, pa čak i u slučajevima kada su tekstovi pravljeni upravo s ciljem da se zbuni novi detektor. Ostaje, međutim, činjenica da je specijaliziran za članke iz znanstvenih časopisa. Jer, kada je bio isproban na tekstovima iz sveučilišnih novina gdje su tekstovi pisani isključivo ljudskom rukom, bio je vrlo neuspješan. Doduše unikatan je po pristupu jer ne traži šablone u tekstovima koje prepoznatljivo potječu od umjetne inteligencije, već se vodi stilom pisanja, odnosno traži što ne potječe od umjetne inteligencije umjesto da nastoji prepoznati ima li u tekstu nečega što je neosporno njezino djelo. No ima stručnjaka koji upozoravaju kako se ne radi o književnosti, već o znanstvenim radovima gdje autorstvo nije svrha te je moguće da će znanstvenik koristiti Chat GPT naprosto zato što ga pritišću rokovi.
POVEZANI ČLANCI:
- Puno će znanstvenika pod pritiskom rokova nabrzinu napisati radove ili naprosto neće priznati da je proces pisanja nekog rada važan dio znanosti. A tim se temama alati za prepoznavanje korištenja umjetne inteligencije ne bave, pa ih se ni ne može smatrati čarobnim softverom za rješenja nečega što je zapravo društveni problem - rekla je Debora Weber-Wulff, znanstvenica s berlinskog Sveučilišta primijenjenih znanosti HTW. Koliko je ovo kompleksan problem, svjedoči i činjenica da su jedan od detektora napravili i članovi laboratorija MIT-IBM Watson, gdje je Watson računalni sustav koji radi u principu isto što i Chat GPT, te Harvard NLP, grupe koja se na znamenitom američkom sveučilištu bavi jezikovnim modelima.
Taj GLTR (Giant Language model Test Room) ima pristup pa tako i radi s jezikovnim modelom GPT-2, koji je prethodnik GPT-3 na kojem se temelji osnovna inačica Chat GPT-ja. Tako se ne može očekivati najbolja preciznost pri prepoznavanju tekstova izvedenih uz pomoć Chat GPT-ja 3.5 ili 4. S druge strane, na internetu ćete već pronaći i savjete kako koristiti Chat GPT za izradu teksta na način da ga detektori – ne mogu prepoznati. Izgleda da je lakše smišljati takvo što umjesto uputiti ljude na brojne online tečajeve pisanja i razvijanja vlastitog stila, što će pridonijeti zadovoljstvu stvaranjem vlastita teksta.
