tip

Cilj ove inicijalne faze je veoma jednostavan: Podeliti ulaz u tokene (ids) na način koji ima smisla.

tip

Cilj ove druge faze je veoma jednostavan: Uzorkovati ulazne podatke i pripremiti ih za fazu obuke obično razdvajanjem skupa podataka u rečenice određene dužine i generisanjem očekivanog odgovora.

tip

Cilj ove treće faze je veoma jednostavan: Dodeliti svakom od prethodnih tokena u rečniku vektor željenih dimenzija za obuku modela. Svaka reč u rečniku će biti tačka u prostoru X dimenzija.
Imajte na umu da je inicijalno pozicija svake reči u prostoru "nasumično" inicijalizovana i te pozicije su parametri koji se mogu obučavati (biće poboljšani tokom obuke).

Štaviše, tokom umetanja tokena stvara se još jedan sloj umetanja koji predstavlja (u ovom slučaju) apsolutnu poziciju reči u rečenici za obuku. Na ovaj način, reč na različitim pozicijama u rečenici će imati različitu reprezentaciju (značenje).

tip

Cilj ove četvrte faze je veoma jednostavan: Primena nekih mehanizama pažnje. Ovi će biti mnogo ponovljenih slojeva koji će uhvatiti odnos reči u rečniku sa njenim susedima u trenutnoj rečenici koja se koristi za obuku LLM-a.
Za ovo se koristi mnogo slojeva, tako da će mnogo parametara koji se mogu obučavati uhvatiti ove informacije.

tip

Cilj ove pete faze je veoma jednostavan: Razviti arhitekturu celog LLM-a. Spojiti sve, primeniti sve slojeve i kreirati sve funkcije za generisanje teksta ili transformaciju teksta u ID-ove i obrnuto.

Ova arhitektura će se koristiti i za obuku i za predikciju teksta nakon što je obučena.

tip

Cilj ove šeste faze je veoma jednostavan: Obučiti model od nule. Za ovo će se koristiti prethodna LLM arhitektura sa nekim petljama koje prolaze kroz skupove podataka koristeći definisane funkcije gubitka i optimizator za obuku svih parametara modela.

tip

Korišćenje LoRA značajno smanjuje računarske resurse potrebne za fino podešavanje već obučenih modela.

tip

Cilj ovog odeljka je da pokaže kako fino podešavati već obučeni model tako da umesto generisanja novog teksta LLM daje verovatnoće da dati tekst bude kategorizovan u svaku od datih kategorija (kao što je da li je tekst spam ili ne).

tip

Cilj ovog odeljka je da pokaže kako fino podešavati već obučeni model da prati uputstva umesto samo generisanja teksta, na primer, odgovaranje na zadatke kao chat bot.