深度学习

拆解 LeNet-5 的「卷积-池化-全连接」范式与 AlexNet 的 ReLU+Dropout+GPU 三大创新,梳理从 MNIST 到 ImageNet 的范式跃迁。

VGG 用 3×3 卷积堆叠把网络做到 16-19 层,GoogLeNet 用 1×1 降维 + Inception 多分支做到 22 层仅 500 万参数。

ResNet 用加法捷径让网络深到 152 层,DenseNet 用拼接捷径让每层复用所有历史特征,共同确立了「跨层连接 = 现代 CNN 标配」。

系统讲解 2D 卷积、1×1 卷积、空洞卷积、转置卷积与深度可分离卷积的原理、PyTorch 实现与计算量对比。

详解 FP16/BF16 混合精度与 DistributedDataParallel 的原理、PyTorch 实战与踩坑指南,LLM 训练六件套。

详解 Scaled Dot-Product Attention, Multi-Head Attention (MHA), Multi-Query Attention (MQA)及Grouped-Query Attention (GQA)四种经典机制。

详解 Learnable、Sinusoidal、RoPE 及 YaRN 四种主流位置编码方案的数学原理与代码实现，梳理从绝对位置编码到相对位置编码的演进脉络。

从最小的符号单元出发,反复将训练语料中共现频率最高的相邻符号对合并为一个新符号,直至词表达到预设规模。

Perplexity衡量模型在给定文本上的困惑程度，即模型对文本预测的不确定程度。

学习率调度按照更新步数或验证反馈调整步长，涵盖预热、阶梯与余弦衰减、周期重启及 OneCycle，提供明确边界的 PyTorch 实现与断点续训核对。

优化器通过动量、梯度统计与权重衰减调整参数，涵盖 SGD、AdaGrad、RMSprop、Adam、AdamW、LAMB 和 Lion，提供更新公式核对、状态内存分析及完整训练示例。

归一化通过指定轴上的统计调整激活尺度，涵盖批、层、组、实例及均方根归一化，厘清运行方差、训练推理差异和等价条件，并提供公式与梯度核对实现。

激活函数为网络引入非线性，涵盖 Sigmoid、Tanh、ReLU、GELU、SiLU 及 GLU、GEGLU、SwiGLU，说明梯度、饱和与参数预算，并提供公式核对及门控前馈模块实现。

反向传播通过计算图与链式法则高效计算参数梯度，涵盖分支累加、矩阵与广播求导、梯度存储及高阶导数，并提供标量求导引擎、有限差分和 PyTorch 核对代码。

多层感知机通过仿射层与非线性激活学习特征表示，涵盖异或构造、反向传播、输出任务、初始化与容量控制，并提供包含验证集早停的完整 PyTorch 实现。

CatBoost 通过有序目标统计和有序提升控制类别标签泄漏与预测偏移，结合对称树提升预测效率，涵盖先验、类别组合与数据划分，并提供可运行的核心组件实现。

LightGBM 通过直方图分桶与叶子优先生长提升训练效率，涵盖直方图相减、梯度单边采样、互斥特征捆绑及类别处理，并提供可运行的直方图提升回归实现。

XGBoost 结合二阶损失近似与树正则化，推导叶权重、分裂增益及海森约束，说明直方图搜索与缺失值默认方向，并提供可运行的二阶提升树桩实现。

随机森林通过自助采样和节点级随机特征选择降低树间相关性，涵盖分类概率聚合、回归平均、袋外评估与方差分析，并提供完整 Python 实现。

梯度提升树通过逐轮拟合负梯度构建加法模型，涵盖平方误差回归、二分类交叉熵、叶值优化、学习率与早停，并提供基于回归树桩的完整 Python 实现。

决策树通过递归划分特征空间完成分类与回归，涵盖基尼不纯度、信息增益、平方误差、预剪枝与后剪枝，并提供支持分类和回归的完整 Python 实现。

朴素贝叶斯利用类别先验和类条件分布完成分类，涵盖条件独立假设、多项式、伯努利与高斯模型、加性平滑及对数概率，并提供可运行的文本分类实现。

逻辑回归通过线性对数几率估计分类概率，涵盖伯努利似然、交叉熵梯度、数值稳定性、决策阈值、正则化与概率校准，并提供手动梯度和自动求导的完整 PyTorch 实现。

线性回归通过特征加权求和预测连续目标，涵盖平方损失、正规方程、梯度下降、标准化与正则化，并提供最小二乘、手动梯度和自动求导的完整 PyTorch 实现。