Nova tehnologija za obuku AI modela je 13 puta brža

Kao što je poznato, današnji modeli generativne umjetne inteligencije troše ogromne količine energije za obuku i odgovore na vaše upite pa se ulažu veliki napori da se to promijeni kako umjetna inteligencija ne bi izazvala energetsku krizu.

Istraživači Google Deepminda vjeruju da su uspjeli napraviti veliki pomak u tome razvojem nove JEST (joint example selection) tehnologije za obuku AI modela koja ubrzava brzinu treninga za 30 puta i poboljšava energetsku učinkovitost za 10 puta u odnosu na druge metode.

Za razliku od drugih metoda, JEST se ne obučava na pojedinačnim podatkovnim točkama za obuku i učenje, već na temelju cijelih serija.

JEST pri tome prvo stvara manji AI model koji ocjenjuje ​​kvalitetu podataka iz izvora iznimno visoke kvalitete, rangirajući serije prema kvaliteti. Zatim to ocjenjivanje uspoređuje s većim skupom niže kvalitete. Drugim riječima, mali model određuje serije koje su najprikladnije za obuku, a veliki model se zatim trenira iz nalaza manjeg modela.

Google kaže da je zajednički odabir serija podataka učinkovitiji za učenje nego samostalno odabiranje primjera.

"Multimodalni kontrastivni ciljevi izlažu ovisnosti između podataka i stoga prirodno daju kriterije za mjerenje zajedničke sposobnosti učenja serije. Izvodimo jednostavan i izvodljiv algoritam za odabir takvih serija, koje značajno ubrzavaju obuku izvan pojedinačno prioritetnih točaka podataka. Kako se izvedba poboljšava odabirom iz većih superserija, također koristimo nedavni napredak u aproksimaciji modela kako bi se smanjili povezani računalni troškovi. Kao rezultat toga, naš pristup nadmašuje najsuvremenije modele s do 13× manje ponavljanja i 10× manje izračunavanja. Bitno za izvedbu JEST-a je sposobnost usmjeravanja procesa odabira podataka prema distribuciji manjih, dobro odabranih skupova podataka putem prethodno obučenih referentnih modela, izlažući razinu upravljanja podacima kao novu dimenziju za zakone neuralnog skaliranja", navodi Google Deepmind u radu objavljenom na arXiv.org.

Zasad još nije poznato hoće li i koje tvrtke koje razvijaju generativne AI modela koristiti Googleovu novu JEST metodu, no za očekivati je da će je prvi koristiti Google Gemini.