一、前向传播与反向传播
前向传播算预测值与损失；反向传播用链式法则把损失对每层权重的梯度从输出层往回算，再用梯度下降更新参数。它是深度学习能训练的根基。
二、激活函数
| 函数 | 特点 | 问题 |
|---|---|---|
| Sigmoid | 输出 0-1，平滑 | 梯度消失、非零中心 |
| Tanh | 输出 -1~1，零中心 | 仍有梯度消失 |
| ReLU | 正区间梯度恒为 1 | 死神经元（负区间） |
| LeakyReLU/GELU | 缓解死神经元 | 更常用 |
三、梯度消失与梯度爆炸
- 消失：深层网络连乘小梯度，前面层学不动。解法：ReLU、残差连接、批归一化（BN）、合理初始化；
- 爆炸：梯度连乘变大，参数发散。解法：梯度裁剪、正则、合理初始化。
四、主流网络结构
| 结构 | 擅长 | 关键 |
|---|---|---|
| CNN | 图像 | 卷积提取局部特征、权值共享、池化降维 |
| RNN/LSTM | 序列 | 隐状态传递时序信息；LSTM 靠门控缓解长程遗忘 |
| Transformer | 序列/文本 | 自注意力并行建模全局依赖（见大模型篇） |
五、优化器与正则
- SGD / Momentum / Adam：Adam 用一阶矩二阶矩自适应学习率，最常用；
- BatchNorm：每层输入归一化，加速收敛、略正则；
- Dropout：训练时随机置零，防过拟合；
- 正则：L2 权重衰减、L1 稀疏。
DL 面试重”为什么这样设计”：为什么 ReLU 比 Sigmoid 好、残差解决什么、BN 放哪层——讲清动机比背公式重要。