tip

Lengo la awamu hii ya awali ni rahisi sana: Gawanya ingizo katika token (ids) kwa njia ambayo ina maana.

tip

Lengo la awamu hii ya pili ni rahisi sana: Chukua sampuli ya data ya ingizo na kuandaa kwa awamu ya mafunzo kwa kawaida kwa kutenganisha dataset katika sentensi za urefu maalum na pia kuzalisha jibu linalotarajiwa.

tip

Lengo la awamu hii ya tatu ni rahisi sana: Patia kila moja ya token zilizopita katika msamiati vector ya vipimo vinavyotakiwa ili kufundisha mfano. Kila neno katika msamiati litakuwa na pointi katika nafasi ya vipimo X.
Kumbuka kwamba awali nafasi ya kila neno katika nafasi inaanzishwa "kwa bahati nasibu" na nafasi hizi ni vigezo vinavyoweza kufundishwa (vitaboreshwa wakati wa mafunzo).

Zaidi ya hayo, wakati wa token embedding tabaka lingine la embeddings linaundwa ambalo linawakilisha (katika kesi hii) nafasi halisi ya neno katika sentensi ya mafunzo. Kwa njia hii neno katika nafasi tofauti katika sentensi litakuwa na uwakilishi tofauti (maana).

tip

Lengo la awamu hii ya nne ni rahisi sana: Tumia baadhi ya mitambo ya umakini. Hizi zitakuwa tabaka nyingi zinazorudiwa ambazo zitakuwa zinakamata uhusiano wa neno katika msamiati na majirani zake katika sentensi ya sasa inayotumika kufundisha LLM.
Tabaka nyingi zinatumika kwa hili, hivyo vigezo vingi vinavyoweza kufundishwa vitakuwa vinakamata taarifa hii.

tip

Lengo la awamu hii ya tano ni rahisi sana: Tengeneza muundo wa LLM kamili. Panga kila kitu pamoja, tumia tabaka zote na uunde kazi zote za kuzalisha maandiko au kubadilisha maandiko kuwa IDs na kinyume chake.

Muundo huu utatumika kwa mafunzo na kutabiri maandiko baada ya kufundishwa.

tip

Lengo la awamu hii ya sita ni rahisi sana: Fundisha mfano kutoka mwanzo. Kwa hili muundo wa awali wa LLM utatumika na miduara fulani ikipita juu ya seti za data kwa kutumia kazi za hasara zilizofafanuliwa na optimizer ili kufundisha vigezo vyote vya mfano.

tip

Matumizi ya LoRA hupunguza sana hesabu inayohitajika ili kurekebisha mifano iliyofundishwa tayari.

tip

Lengo la sehemu hii ni kuonyesha jinsi ya kurekebisha mfano uliofundishwa tayari ili badala ya kuzalisha maandiko mapya LLM itachagua kutoa uwezekano wa maandiko yaliyotolewa kuainishwa katika kila moja ya makundi yaliyotolewa (kama maandiko ni spam au la).

tip

Lengo la sehemu hii ni kuonyesha jinsi ya kurekebisha mfano uliofundishwa tayari ili kufuata maelekezo badala ya tu kuzalisha maandiko, kwa mfano, kujibu kazi kama roboti ya mazungumzo.