一、Transformer 与自注意力
大模型底座是 Transformer，核心是自注意力：每个 token 通过 Query/Key/dot 算出对各 token 的注意力权重，再加权 Value，从而并行捕捉全局依赖。多头注意力并行多组子空间表达。
Attention(Q,K,V) = softmax(Q·Kᵀ / √d_k) · V位置编码补足”顺序”信息（注意力本身置换不变）。
二、预训练、微调与 LoRA
| 阶段 | 做什么 |
|---|---|
| 预训练 | 海量语料自监督学通用表示，算力重 |
| SFT | 用指令数据微调，对齐人类意图 |
| LoRA | 只训低秩适配矩阵，冻结原权重，省显存 |
三、RAG：检索增强生成
回答前先从私有知识库检索相关片段，拼进 Prompt 再生成，缓解”模型不知道你公司的事”和幻觉。关键：切分、向量召回、重排、引用溯源。本站《文档清洗与结构化》《知识库搭建实战》已详述落地。
四、幻觉与缓解
- 成因：参数化记忆不完整、训练数据噪声、解码贪心；
- 缓解：RAG 引入外部事实、要求引用来源、约束解码、事后校验（如知识图谱核对）。
五、提示工程与评估
- 提示：角色 + 任务 + 上下文 + 格式约束 + 示例（few-shot）；
- 评估：BLEU/ROUGE 看文本重叠，但质量更靠人工或 LLM-as-judge；事实性用检索命中率。
六、答题要点
LLM 面试重”取舍与现实边界”：为什么注意力要除以 √d_k（防点积过大致梯度消失）、LoRA 为何省资源、RAG 比纯微调好在哪儿。能结合工程落地（而非只背论文）最有说服力。