Phi model umjetne inteligencije autora Microsoft - mali, jeftin i ne pati od "halucinacija". Tako kažu o novom jezičnom modelu kojem se predviđa velika budućnost.
GPT je apsolutno odličan, ali je u isto vrijeme užasno skup i ne može biti savršen za svakoga. Zbog ovih i mnogih drugih razloga Microsoft eksperimentira s puno manjim AI modelima. Kaže se da je Phi-3-mini čak posramio rad inženjera OpenAI-ja.
Također zanimljivo: Tranzistori budućnosti: Čeka nas nova era čipova
ChatGPT nije lijek za sve
ChatGPT je izum koji se financira, kurira i poboljšava Microsoft. Zapravo, ne pripada Microsoft, te tvrtka OpenAI, koja Microsoft ne posjeduje (ona je vodeći, ali ne i najveći investitor). Jezični model GPT je dao Microsoft ogromna prednost nad ostatkom velikih tehnoloških korporacija koje sada žure da ih sustignu. Međutim, postoji ogroman broj problema s GPT-om, od kojih se mnogi još ne mogu riješiti.
Prije svega, ovo je vrlo intenzivan jezični model. Web orijentiran Microsoft OpenAI-jev Copilot ili ChatGPT stvaraju vrlo visoke operativne troškove za Microsoft. Ovo nije značajka samo GPT-a, već i svih glavnih jezičnih modela. Osim toga, GPT je, kao i njegovi konkurenti, sklon "halucinacijama", odnosno može generirati odgovore na upite koji sadrže lažne ili pogrešne informacije. Što više podataka takav model apsorbira, to više teži stvaranju sličnog sadržaja. Stoga halucinacije i lažne izjave nisu mit isisan iz digitalnog prsta. Korisnici često primjećuju da veliki jezični modeli često griješe, daju netočne podatke i rade na temelju nepostojećih činjenica.
Oba problema su vrlo ozbiljna, zbog čega OpenAI, Microsoft, Meta, Google i drugi rade na razvoju ne samo tehnologije Large Language Model, već i Small Language Modela, koji u praksi može dati puno bolje rezultate.
Pomoćnik digitalnog računovođe ne mora puno znati o kvantnoj fizici. Može biti puno manji i manje složen (a time i jeftiniji), a trenirajući samo na podacima koji su mu potrebni za njegovu svrhu, teoretski bi trebao manje halucinirati. Iako je to lakše reći nego učiniti. GenAI tehnologija je još uvijek divlji IT pothvat. I premda rad napreduje neviđenom brzinom, još uvijek je teško napraviti praktički napredak u temeljnim pitanjima. Ali tvrtka Microsoft nedavno je najavio takav napredak. Govorimo o malom jezičnom modelu Microsoft Phi.
Također zanimljivo: Kako se Tajvan, Kina i SAD bore za tehnološku dominaciju: veliki rat čipova
Ono o čemu se zna Microsoft Phi
Prije svega, treba napomenuti da je eksperiment proveden bez sudjelovanja tvrtke OpenAI. Odnosno, to je razvoj inženjera Microsoft.
Modeli Microsoft Phi je niz malih jezičnih modela (SLM) koji postižu iznimne rezultate u raznim testovima. Prvi model, Phi-1, imao je 1,3 milijarde parametara i postigao najbolje rezultate Python kodiranja među postojećim SLM-ovima.
Programeri su se potom usredotočili na razumijevanje jezika i razmišljanje, stvarajući model Phi-1.5, koji je također imao 1,3 milijarde parametara i pokazao performanse usporedive s modelima s pet puta većim parametrima.
Phi-2 je model od 2,7 milijardi parametara koji pokazuje izvanredne mogućnosti zaključivanja i razumijevanja jezika, radeći na razini najboljih osnovnih modela s 13 milijardi parametara. Phi-2 izdvaja se od ostalih modela zbog svojih inovacija u skaliranju modela i obuci za upravljanje podacima.
Dostupan je u katalogu modela Azure AI Studio, koji olakšava istraživanje i razvoj u području jezičnih modela. Phi-2 lansiran je u prosincu 2023. Programeri uvjeravaju da radi jednako dobro kao Mistral ili llama 2 iz Mete. A Phi-3 radi još bolje od prethodne verzije.
Međutim, model Phi-3 koji je upravo najavljen potpuno je nov u kvaliteti. Barem se tako može suditi iz navedenih informacija Microsoft. Prema tvrtki, prema pokazateljima svih poznatih mjerila, Phi-3 radi bolje od bilo kojeg drugog modela slične veličine, uključujući analizu jezika, programiranje ili matematički rad.
Phi-3-mini, najmanja verzija ovog modela, upravo je postala dostupna svim zainteresiranima. Odnosno, dostupan je od 23. travnja. Phi-3-mini ima 3,8 milijardi parametara i, prema mjerenjima Microsoft, dvostruko učinkovitiji od bilo kojeg drugog modela iste veličine. Može se pronaći u katalogu AI modela usluge u oblaku Microsoft Azure, platforma modela strojnog učenja Hugging Face i Ollama, okvir za pokretanje modela na lokalnom računalu.
Kako on tvrdi Microsoft, Phi-3-mini ne zahtijeva moćne čipove Nvidia. Model može raditi na običnim računalnim čipovima. Ili stane čak i na telefon koji nije spojen na internet.
Manja snaga također znači da modeli neće biti tako točni. Phi-3 neće biti prikladan za liječnike ili porezne računovođe, ali će pomoći u jednostavnijim zadacima. Na primjer, za ciljano oglašavanje ili sažimanje recenzija na internetu.
Budući da manji modeli zahtijevaju manje obrade, bit će jeftiniji za privatne tvrtke. Odnosno u Microsoft bit će više kupaca koji bi željeli uključiti AI u svoj rad, ali smatraju da je to preskupo. No, još nije jasno koliko će koštati.
Još nije poznato kada će se pojaviti mali i srednji modeli. Ali potonji će biti moćniji i skuplji. Iako je već poznato da će Phi-3-small imati 7 milijardi parametara, a Phi-3-medium čak 14 milijardi parametara.
Pročitajte također:
- Grafenski mikročipovi učinit će telefone bržima i lakšima
- O kvantnim računalima jednostavnim riječima
Kako koristiti Phi-3-mini?
GPT-4 Turbo zahtijeva moćne AI čipove, koji su još uvijek vrlo skupi. Mali govorni model Phi-3 može raditi offline, bez oblaka, čak i s čipom na mobilnom telefonu.
Phi-3 nije proizvod za krajnje korisnike, već tehnologija koju će programeri moći koristiti i implementirati u svoje aplikacije – kako one u oblaku, odnosno udaljene, tako i one koje rade lokalno i offline. Očekuje se da će besprijekorno raditi s uređajima i njihovim komponentama, kao što su mobilni telefoni, automobili i njihovi infotainment sustavi, ili čak IoT senzori. U nekim scenarijima ova tehnologija može biti neprocjenjiva.
Microsoft čak daje i konkretan primjer da ne moramo naprezati maštu. Zamislite farmera koji pregledava svoje usjeve i vidi znakove bolesti na lišću, stabljikama i granama. Budući da je daleko od telekomunikacijskih jarbola, trebat će samo izvaditi mobitel, poslikati oštećenje, staviti ga u aplikaciju koja koristi Phi-3 tehnologiju – a model će brzo i offline analizirati fotografiju i dati savjet kako se točno boriti protiv ove bolesti.
Kako objašnjava Microsoft, ključ uspjeha GPT-a bilo je korištenje ogromne količine podataka za obuku. Uz tako velike skupove podataka, visoka kvaliteta podataka ne dolazi u obzir. U međuvremenu, kada se trenira Phi model, korišten je potpuno suprotan OpenAI pristup. Umjesto natrpavanja modela informacijama, fokus je bio na postupnom i temeljitom učenju.
Umjesto da koriste sirove internetske podatke, istraživači Microsoft stvorio skup podataka TinyStories, generirajući milijune minijaturnih "dječjih" priča. Te su priče korištene za treniranje vrlo malih jezičnih modela. Istraživači su zatim otišli dalje stvarajući skup podataka CodeTextbook, koji je koristio pažljivo odabrane, javno dostupne podatke koji su filtrirani prema obrazovnoj vrijednosti i kvaliteti sadržaja. Ti su podaci zatim nekoliko puta filtrirani i vraćeni u veliki jezični model (LLM) za daljnju sintezu.
Sve je to omogućilo stvaranje niza podataka dovoljnih za treniranje sposobnijeg SLM-a. Osim toga, u razvoju Phi-3 modela korišten je višerazinski pristup upravljanju i ublažavanju rizika, uključujući procjenu, testiranje i ručne prilagodbe. Kao rezultat toga, kako tvrdi Microsoft, programeri koji koriste obitelj modela Phi-3 mogu iskoristiti skup alata koji je dostupan u Azure AI za izgradnju sigurnijih i pouzdanijih aplikacija.
Pročitajte također: Teleportacija sa znanstvenog gledišta i njena budućnost
Microsoft Hoće li Phi zamijeniti modele tipa ChatGPT?
Nikako. Mali jezični modeli (SLM), čak i kada su obučeni na visokokvalitetnim podacima, imaju svoja ograničenja i nisu dizajnirani za duboko učenje. Veliki jezični modeli (LLM) nadmašuju SLM-ove u složenom zaključivanju zbog svoje veličine i računalne snage. LLM jesu, i nastavit će biti, posebno korisni u područjima kao što je otkrivanje lijekova, gdje se mora pretraživati goleme zbirke znanstvenih radova i analizirati složene obrasce. S druge strane, SLM se može koristiti za jednostavnije zadatke, kao što je sažimanje glavnih točaka dugog tekstualnog dokumenta, stvaranje sadržaja ili pokretanje chatbota korisničke službe.
Microsoft, rekla je, već interno koristi skupove hibridnih modela, gdje LLM preuzima vodstvo, usmjeravajući SLM-u određene upite koji zahtijevaju manje računalne snage, dok sam obrađuje druge, složenije upite. Phi je pozicioniran za računalstvo na uređajima, bez korištenja oblaka. Međutim, i dalje će postojati jaz između malih jezičnih modela i razine inteligencije koja se može postići velikim modelima u oblaku. Ovaj jaz, zahvaljujući kontinuiranom razvoju LLM-a, vjerojatno neće nestati u skorije vrijeme.
Phi-3 tek trebaju potvrditi vanjske neovisne strane. Microsoft ponekad govori o 25 puta većoj učinkovitosti ili energetskoj učinkovitosti u ekstremnim slučajevima, u odnosu na konkurente, što zvuči prilično bajno. Iako, s druge strane, ne može se zaboraviti da su te godine prošle Microsoft malo nas je odučila od činjenice da je izraziti lider u IT inovacijama i možda zato baš i ne vjerujemo. Programi temeljeni na umjetnoj inteligenciji koji trenutno reagiraju i rade izvan mreže umjesto da generiraju? To bi bio dostojan vrhunac sadašnje revolucije. Nažalost, postoji jedan ključni problem.
Pročitajte također: Sve o Neuralink Telepathy čipu: što je to i kako radi
Phi-3 iz Microsoft razumije samo engleski
Phi-3 nije masovno gutao petabajte koji su mu bačeni. Pažljiva i skrupulozna obuka modela uključuje jedan manji problem. Phi-3 je obučen s informacijama na engleskom i još nema pojma o bilo kojem drugom jeziku. Ne samo ukrajinski, nego i njemački, španjolski, francuski ili kineski. Naravno, to uvelike smanjuje njegovu privlačnost većini korisnika diljem svijeta.
Ali u Microsoft uvjereni da je rad na njegovom razvoju i poboljšanju u tijeku. Iako se ne treba zavaravati činjenicom da je ukrajinsko tržište prioritet bilo koje od velikih korporacija. Stoga ćemo na podršku ukrajinskog jezika morati čekati jako dugo. Ali ova činjenica nikada nije zaustavila entuzijaste i one koji žele ići u korak s napretkom.
Pročitajte također: