Meta Platforms na godišnjem događaju Meta Connect u Kaliforniji predstavio nekoliko novih AI značajki za svoje popularne aplikacije Facebook, Instagram i WhatsApp, no najdojmljivija inovacija tehnološkog diva možda je mnogima prošla nezapaženo. Riječ je o modelu Llama 2 Long AI.
Tim istraživača iz tvrtke Meta nekako je tiho objavio članak u kojem su predstavili novi model umjetne inteligencije Llama 2 Long, sposoban generirati koherentne i relevantne odgovore na duge korisničke upite. Najviše, kažu, nadmašuje neke od najboljih konkurenata u industriji.
Llama 2 Long je produžetak Lama 2, open-source AI model Meta objavljen tijekom ljeta koji može učiti iz raznih izvora podataka i obavljati razne zadatke poput kodiranja, matematike, razumijevanja jezika i više. Međutim, Llama 2 Long bio je uvježban na više podataka koji sadrže duže tekstove, a ovaj algoritam je modificiran za rukovanje duljim nizovima informacija. To mu omogućuje da nadmaši OpenAI GPT-3.5 Turbo i Claude 2, koji imaju ograničenja u količini konteksta koji mogu koristiti za generiranje odgovora.
Istraživači Meta koristio je različite verzije Llame 2 - od 7 milijardi do 70 milijardi parametara, odnosno vrijednosti koje AI model može mijenjati učeći iz podataka. Dodali su još 400 milijardi tokena (jedinica teksta) podataka koji su sadržavali duže tekstove od izvornog skupa podataka modela. Također su malo dotjerali arhitekturu AI modela koristeći tehniku Rotary Positional Embedding (RoPE) tako da model može generirati točne i korisne odgovore koristeći manje informacija i memorije od drugih metoda.
Tim je koristio potkrepljeno učenje iz ljudskih povratnih informacija (RLHF), metodu u kojoj se AI model nagrađuje za točne odgovore i ispravljaju ljudski ocjenjivači, a sintetičke podatke generira sam Llama 2 chat kako bi poboljšao svoje performanse u raznim zadacima .
Rad tvrdi da model može generirati visokokvalitetne odgovore na korisničke upite duljine do 200 znakova, što odgovara otprilike 40 stranica teksta. Istraživači kažu da je Llama 2 Long korak prema stvaranju općenitijih i svestranijih AI modela koji mogu zadovoljiti složene i raznolike potrebe korisnika. Oni također prepoznaju potencijalne etičke i društvene implikacije takvih modela i pozivaju na daljnja istraživanja i dijalog o tome kako ih koristiti odgovorno i korisno.
Pročitajte također: