Razvoj humanoidnih robota tekao je sporim tempom većim dijelom posljednja dva desetljeća, ali u posljednje vrijeme bilježimo sve više i više otkrića na ovom polju. Kao što smo nedavno pisali, na MWC 2024 predstavljen je AI robot Amerika, i još jedan razvoj, Unitree H1, oborio je brzinski rekord među humanoidnim robotima. A sada se na internetu pojavio spektakularan rezultat suradnje tvrtki Figure AI i OpenAI - zadivljujući video humanoidnog robota koji sada može razgovarati s ljudima.
Startup Figure AI objavio je video koji prikazuje robota Figure 01 kako radi s novim modelom vizualnog jezika (VLM). Na njemu Slika 01 stoji za stolom na kojem se nalaze tanjur, jabuka i šalica. S lijeve strane je sušilica. A na pitanje osobe, što robot vidi ispred sebe, on odgovara detaljno opisujući sve što leži na stolu.
I tada čovjek pita može li nešto pojesti, a robot odgovara: "Naravno", a potom vještim glatkim pokretom uzima jabuku i pruža je čovjeku. Nakon toga slijedi još jedna zapanjujuća demonstracija - čovjek izlijeva zgužvano smeće iz košare ispred slike 01 i traži od robota da objasni zašto je to učinio, a istovremeno skuplja smeće u košaru. I objašnjava svoju "misao" vraćajući papir u smeće. "Pa sam ti dao jabuku jer je to jedina jestiva stvar koju sam ti mogao dati sa stola", rekao je robot.
Predstavnici tvrtke objasnili su da Slika 01 koristi unaprijed obučeni multimodalni model OpenAI, VLM, za razumijevanje slika i tekstova i oslanja se na glasovne upute za generiranje svojih odgovora. Ovo se razlikuje od, recimo, OpenAI-jevog GPT-4, koji se fokusira na pisane upute.
Također koristi ono što tvrtka naziva "naučenim bimanualnim manipulacijama niske razine". Sustav koordinira preciznu kalibraciju slike (do razine piksela) sa svojom neuronskom mrežom za kontrolu pokreta. "Ove mreže primaju slike na 10 Hz i generiraju akcije od 24 DOF (poze zapešća i kutovi zglobova prstiju) na 200 Hz", navodi se u priopćenju Figure AI.
Tvrtka tvrdi da se svako ponašanje u videu temelji na učenju sustava, tako da nitko iza scene ne povlači konce Slike 01. Naravno, postoji nijansa - nije poznato koliko je puta robot prošao kroz ovaj postupak. Možda je to bio stoti put, što objašnjava njegove precizne pokrete. Ali u svakom slučaju ovo postignuće izgleda spektakularno i pomalo fantastično.
Slika 01 sada dovršava zadatke iz stvarnog svijeta
Sve je autonomno:
-Autonomna navigacija i manipulacija temeljena na sili
- Naučeni model vida za otkrivanje i određivanje prioriteta kanti za smeće
- Reaktivna manipulacija kantom (snažna varijacija položaja)
- Može se generalizirati na druge zadatke odabira/postavljanja slikatwitter.com/0wFmYnq0GC— Slika (@Figure_robot) Veljače 26, 2024
Pročitajte također: