tip

这个初始阶段的目标非常简单：以某种有意义的方式将输入划分为标记（ID）。

tip

这个第二阶段的目标非常简单：对输入数据进行采样，并为训练阶段准备数据，通常通过将数据集分成特定长度的句子，并生成预期的响应。

tip

这个第三阶段的目标非常简单：为词汇表中的每个标记分配一个所需维度的向量以训练模型。 词汇表中的每个单词将在 X 维空间中有一个点。
请注意，最初每个单词在空间中的位置是“随机”初始化的，这些位置是可训练的参数（在训练过程中会得到改善）。

此外，在标记嵌入过程中创建了另一层嵌入，它表示（在这种情况下）单词在训练句子中的绝对位置。这样，句子中不同位置的单词将具有不同的表示（含义）。

tip

这个第四阶段的目标非常简单：应用一些注意机制。这些将是许多重复的层，将捕捉词汇表中单词与当前用于训练 LLM 的句子中其邻居的关系。
为此使用了许多层，因此许多可训练的参数将捕捉这些信息。

tip

这个第五阶段的目标非常简单：开发完整 LLM 的架构。将所有内容组合在一起，应用所有层并创建所有函数以生成文本或将文本转换为 ID 及其反向操作。

该架构将用于训练和预测文本。

tip

这个第六阶段的目标非常简单：从头开始训练模型。为此，将使用之前的 LLM 架构，并通过定义的损失函数和优化器对数据集进行循环，以训练模型的所有参数。

tip

使用LoRA 大大减少了微调已训练模型所需的计算。

tip

本节的目标是展示如何微调一个已经预训练的模型，以便 LLM 不再生成新文本，而是给出给定文本被分类到每个给定类别的概率（例如，文本是否为垃圾邮件）。

tip

本节的目标是展示如何微调一个已经预训练的模型以遵循指令，而不仅仅是生成文本，例如，作为聊天机器人响应任务。