DY · AI ENGINEERING ATLAS · 2026

从数学地基,到能上线的 AI 产品。

20 个阶段、503 课的完整知识星图。先看六条主干,再点击阶段和课程,阅读“是什么、怎么理解、用在哪”;绿色代表已掌握,金色代表正在学习。

20完整阶段
503课程总数
10 / 503已完成 · 约 2.0%
当前进度:Phase 1 第 11 课「奇异值分解 SVD」。完整路线很长,你的个人核心路线会优先学习最能帮助你做 AI 产品经理与 AI 产品的阶段。

THE BIG PICTURE

所有要学的内容树

从总路线沿六条主干向下阅读;点击任意阶段,直接进入该阶段的课程节点和内容链接。

MASTERED KNOWLEDGE

你已经掌握的知识链

这些概念串起来,就是模型把现实变成数字、产生预测并学习的过程。
01

向量、矩阵与 Embedding

把现实对象变成可计算的数字坐标。

02

矩阵运算与 Batch

理解模型怎样批量处理数据并完成一层计算。

03

矩阵变换与特征方向

把矩阵理解成旋转、拉伸、压缩和投影。

04

导数、梯度与梯度下降

知道误差往哪里变大,训练就向反方向修正。

05

链式法则与自动求导

让误差从输出层逐层传回所有参数。

06

概率与分布

模型输出的是可能性,不是绝对确定的答案。

07

贝叶斯思维

用新证据持续更新原有判断,并重视基础率。

08

优化器

用 Mini-batch、Momentum、Adam 更稳定地降低损失。

09

信息论

用熵、交叉熵、KL 与困惑度衡量不确定性。

10

降维

用 PCA、t-SNE、UMAP 压缩或观察高维数据。

正在学习 · SVD

把任意矩阵拆成“旋转 → 缩放 → 再旋转”,用于压缩、降噪、推荐系统和发现隐藏结构。它还没有计入已完成的 10 课。

ALL 503 KNOWLEDGE NODES

完整知识内容导图

点击每一课查看核心原理、理解方法和用途;也可搜索知识内容或只看核心路线。
00 PHASE 0 · 12 课 工具与环境准备开发环境、Git、GPU、API、Docker和调试能力。 需要时补学
  1. 01 开发环境Dev Environment 待学习

    是什么搭建可重复的AI开发环境,统一语言、运行时、包管理与硬件检查,避免代码因机器差异而无法运行。

    怎么理解把开发环境当成实验室的地基:先固定Python版本、依赖和硬件状态,再开始实验;地基一致,别人才能复现实验。

    用在哪为后续实验建立稳定且可复现的工作底座。

  2. 02 Git与协作Git & Collaboration 待学习

    是什么用提交、分支、合并和远程仓库记录代码变化,并通过清晰的协作流程安全地让多人共同开发。

    怎么理解把Git想成带时间线的存档系统:每次提交保存一个可解释快照,分支负责隔离尝试,合并负责汇总成果。

    用在哪管理版本、回退错误并支持团队协作。

  3. 03 GPU与云算力配置GPU Setup & Cloud 待学习

    是什么理解CPU与GPU的计算差异,检查驱动和CUDA可用性,并按性能、显存与成本选择本地或云端算力。

    怎么理解CPU像少数全能工人,GPU像大量擅长同类运算的工人;先看任务是否并行,再按显存与费用选算力。

    用在哪让模型训练和推理获得合适的加速资源。

  4. 04 API与密钥APIs & Keys 待学习

    是什么理解API请求、响应、鉴权和限流机制,使用环境变量保护密钥,并为失败请求加入超时与错误处理。

    怎么理解一次API调用就是把格式正确的信封寄给服务端:地址、密钥和内容都要对,再检查回信状态并处理超时。

    用在哪安全调用模型服务并排查连接故障。

  5. 05 Jupyter笔记本Jupyter Notebooks 待学习

    是什么用可交互单元混合代码、文字与图表,理解执行顺序和内核状态,保持实验能够从头重复运行。

    怎么理解笔记本像有记忆的草稿本,单元格顺序不等于执行顺序;判断是否可靠,要重启内核后从上到下仍能运行。

    用在哪快速探索数据、验证想法和展示实验过程。

  6. 06 Python环境管理Python Environments 待学习

    是什么用虚拟环境隔离项目依赖,通过项目配置与锁定文件固定版本,避免不同项目的包相互冲突。

    怎么理解虚拟环境像给每个项目单独准备工具箱;项目只拿自己的包和版本,换电脑时按清单重建同一工具箱。

    用在哪保证项目安装一致、升级可控、方便复现。

  7. 07 AI项目容器化Docker for AI 待学习

    是什么把代码、依赖和系统环境封装为镜像,再以容器运行,使开发、测试与部署使用同一套环境。

    怎么理解镜像是封好的运行说明和材料,容器是按它启动的一次实例;先构建镜像,再用配置注入数据与端口。

    用在哪跨电脑稳定运行并简化AI服务部署。

  8. 08 编辑器配置Editor Setup 待学习

    是什么配置代码补全、格式化、静态检查、调试和项目导航,让编辑器尽早发现错误并减少重复操作。

    怎么理解编辑器不只是打字工具,而是实时检查员:补全减少记忆负担,格式化统一外观,静态检查提前暴露问题。

    用在哪提升日常编码效率并统一代码质量。

  9. 09 数据管理Data Management 待学习

    是什么建立数据下载、校验、版本、缓存和目录规范,区分原始数据与加工产物,确保数据来源可追踪。

    怎么理解把数据分成不可改的原始层和可重建的加工层;每次处理都记录来源、版本和参数,出错就能沿链路追查。

    用在哪可靠管理训练数据并复现实验结果。

  10. 10 终端与ShellTerminal & Shell 待学习

    是什么学习路径、管道、重定向、变量和脚本等命令行基础,把重复的文件与程序操作组合成自动流程。

    怎么理解Shell像把小工具串成流水线:前一个命令的输出交给下一个,重复步骤写成脚本,先小样验证再批量执行。

    用在哪高效运行实验、批处理文件和自动化任务。

  11. 11 AI所需Linux基础Linux for AI 待学习

    是什么掌握Linux目录、权限、进程、包管理和常用命令,理解多数AI服务器与容器的实际运行环境。

    怎么理解把Linux看作AI服务器的操作面板:路径定位资源,权限决定谁能动它,进程代表正在消耗算力的工作。

    用在哪管理云服务器并解决环境和权限问题。

  12. 12 调试与性能分析Debugging & Profiling 待学习

    是什么通过复现、日志、断点和性能剖析定位正确性或速度问题,区分CPU、内存、显存及I/O瓶颈。

    怎么理解调试先证明问题能稳定重现,再缩小到最小输入;性能分析则测各阶段耗时,优化最慢环节而非凭感觉猜。

    用在哪快速准确找出程序错误和性能热点。

01 PHASE 1 · 22 课 数学基础理解向量、概率、梯度、优化等所有 AI 算法的数学地基。 10 已掌握 · 1 学习中
  1. 01 线性代数直觉Linear Algebra Intuition 已掌握

    是什么把向量看作带方向的数字描述,把矩阵看作对空间和数据的变换,建立AI计算背后的几何直觉。

    怎么理解把一条样本看成空间中的一个点,模型每层都在搬动、拉伸或投影这些点;分类就是设法把不同点群分开。

    用在哪理解特征、权重、嵌入和神经网络运算。

  2. 02 向量、矩阵与运算Vectors, Matrices & Operations 已掌握

    是什么学习向量和矩阵的形状、加法、点积、矩阵乘法及广播规则,明确每种运算如何组合信息。

    怎么理解先盯住形状而非数字:行说明有多少样本或位置,列说明每项有多少特征;只有内维匹配,信息才能相乘组合。

    用在哪正确实现模型层并排查张量形状错误。

  3. 03 矩阵变换Matrix Transformations & Eigenvalues 已掌握

    是什么矩阵可执行旋转、缩放、投影等线性变换;复合顺序会改变结果,特征方向揭示变换的稳定结构。

    怎么理解想象在透明方格纸上同时移动所有点:矩阵规定统一变形,特征向量是不改方向的轴,特征值是沿该轴的缩放量。

    用在哪理解神经网络层、PCA和空间变换。

  4. 04 机器学习微积分Calculus for ML: Derivatives & Gradients 已掌握

    是什么导数描述局部变化率,偏导与梯度汇总多个参数对损失的影响,为沿下降方向更新模型提供依据。

    怎么理解把损失想成山地高度,导数回答某个参数轻微移动时高度怎样变,梯度则把所有参数的最陡上坡方向列在一起。

    用在哪理解模型为什么能通过误差学习参数。

  5. 05 链式法则与自动求导Chain Rule & Automatic Differentiation 已掌握

    是什么链式法则把多步计算的局部导数相乘;自动求导记录计算图并反向传播,高效得到所有参数梯度。

    怎么理解网络像连续齿轮:输出误差先作用最后一环,再乘过每一环的局部变化率向前传;自动求导替你记录这条链。

    用在哪训练深层网络并检查梯度是否正确。

  6. 06 概率与分布Probability & Distributions 已掌握

    是什么用随机变量和概率分布表达不确定性,以期望描述平均结果、方差描述波动,并区分离散与连续分布。

    怎么理解分布不是某次结果,而是所有可能结果及其机会大小;先列可能性,再用期望看中心、方差看分散,采样只是抽一次。

    用在哪解释模型概率、采样结果和预测置信度。

  7. 07 贝叶斯定理Bayes' Theorem & Statistical Thinking 已掌握

    是什么把先验判断与新证据的似然结合得到后验概率,同时考虑基础发生率,让结论随证据持续更新。

    怎么理解先验是看证据前的基准判断,似然衡量新证据在各种假设下有多合理;二者结合后归一化,才得到后验。

    用在哪用于分类、风险判断和小样本决策。

  8. 08 优化方法Optimization: Gradient Descent Family 已掌握

    是什么优化通过反复计算梯度来降低目标函数;随机梯度、动量与Adam以不同方式平衡速度、噪声和稳定性。

    怎么理解每次更新都像在雾中下山:梯度给方向,学习率定步长,动量记住持续方向,Adam还会按各坐标历史调整脚步。

    用在哪选择训练策略并判断模型是否有效收敛。

  9. 09 信息论Information Theory: Entropy, KL Divergence 已掌握

    是什么用信息量和熵衡量惊讶与不确定性,用交叉熵和KL散度比较真实分布与模型预测分布。

    怎么理解发生概率越小,看到它获得的信息越多;熵是平均惊讶程度,KL则问用一个分布代替另一个会多付多少信息代价。

    用在哪理解分类损失、语言模型和概率压缩。

  10. 10 降维Dimensionality Reduction: PCA, t-SNE, UMAP 已掌握

    是什么把高维数据映射到较少维度,PCA保留主要方差,t-SNE和UMAP侧重展示局部结构与聚类。

    怎么理解降维不是随便删列,而是换一个更有信息的观察角度;PCA保全局方差,t-SNE和UMAP更适合看邻居关系。

    用在哪压缩特征、可视化嵌入并降低计算成本。

  11. 11 奇异值分解Singular Value Decomposition 学习中

    是什么SVD把任意矩阵拆成两个方向矩阵和一组奇异值,较大的奇异值代表数据中的主要低秩结构。

    怎么理解把矩阵想成先旋转到合适坐标、按不同强度拉伸、再旋转出去;丢掉很小的拉伸方向,就是低秩压缩。

    用在哪用于推荐、图像压缩和矩阵近似。

  12. 12 张量运算Tensor Operations 待学习

    是什么张量是多维数字数组;通过索引、切片、变形、转置、广播和收缩高效表示批量多模态数据。

    怎么理解先给每个轴赋含义:批次、时间、通道、宽高;变形只是重新解释或排列轴,广播则复制缺少的轴以对齐运算。

    用在哪处理神经网络中的批次、图像和序列。

  13. 13 数值稳定性Numerical Stability 待学习

    是什么有限精度会造成溢出、下溢和误差累积;稳定公式、归一化及对数空间计算可避免结果失真。

    怎么理解计算机数字像有限格子的尺子,过大过小都刻不下;先改写公式、缩放输入并监控NaN,别把数学等价当数值等价。

    用在哪防止训练出现无穷值、零值或NaN。

  14. 14 范数与距离Norms & Distances 待学习

    是什么范数衡量向量大小,欧氏、曼哈顿和余弦等距离从不同角度衡量样本差异,选择须匹配数据含义。

    怎么理解距离不是唯一真相,而是你对“相似”的定义;先判断大小、方向或稀疏差异哪个重要,再缩放特征后选择度量。

    用在哪用于检索、聚类、正则化和异常检测。

  15. 15 机器学习统计学Statistics for ML 待学习

    是什么用描述统计、抽样分布、置信区间和假设检验从样本推断总体,同时量化结论的不确定性。

    怎么理解样本指标会随抽样波动,不能把一次差值当事实;先说明总体问题,再估计不确定性,最后判断差异是否超出随机波动。

    用在哪分析实验、评估指标并避免错误结论。

  16. 16 采样方法Sampling Methods 待学习

    是什么从目标分布取得有代表性的样本,理解随机、分层、重要性与蒙特卡洛采样的偏差和方差。

    怎么理解采样像从大锅里舀汤:随机抽取求无偏,分层保证少数成分被舀到,重要性采样则多舀关键区域并用权重校正。

    用在哪构建数据集、估计概率和生成模型输出。

  17. 17 线性方程组Linear Systems 待学习

    是什么把多条线性约束写成矩阵方程,通过消元、分解或最小二乘求解,并判断是否存在唯一稳定解。

    怎么理解每个方程都是对未知量的一条约束;把约束叠起来看交点,唯一交点可直接求,无交点或无穷交点要做近似或加条件。

    用在哪解决回归、优化和科学计算中的方程。

  18. 18 凸优化Convex Optimization 待学习

    是什么凸目标没有欺骗性的局部最优,局部最小即全局最小;约束、梯度与对偶帮助可靠寻找最优解。

    怎么理解凸问题像碗底唯一的碗:只要目标足够光滑、步长合适,下降法才有望收敛到全局最低;约束则限定可行区域。

    用在哪理解可证明收敛的训练与资源分配问题。

  19. 19 AI中的复数Complex Numbers for AI 待学习

    是什么复数用实部和虚部共同表示幅度与相位,乘法可解释为旋转缩放,是频域与信号模型的自然语言。

    怎么理解把复数看成平面上的箭头而非神秘数字:长度表示幅度,角度表示相位;相乘时长度相乘、角度相加。

    用在哪处理音频、频谱、波动和旋转表示。

  20. 20 傅里叶变换The Fourier Transform 待学习

    是什么把时域或空间信号分解为不同频率的正弦成分,让周期、噪声和纹理在频域中更容易分析。

    怎么理解时域告诉你信号每刻是多少,频域告诉你由哪些振动组成;傅里叶变换只是换坐标,原始信息原则上没有消失。

    用在哪用于音频处理、图像滤波和特征提取。

  21. 21 机器学习图论Graph Theory for ML 待学习

    是什么用节点表示实体、边表示关系,借助邻接矩阵、路径和传播描述非规则结构上的连接与信息流。

    怎么理解表格只描述每个对象自身,图还保存对象之间的连接;学习时既更新节点信息,也沿边汇集邻居影响。

    用在哪构建社交、推荐、知识图谱和图网络。

  22. 22 随机过程Stochastic Processes 待学习

    是什么随机过程描述变量随时间随机演化,马尔可夫性质用当前状态概括未来所需信息,转移概率控制变化。

    怎么理解普通分布描述一个时刻,随机过程描述一串相互关联的随机状态;明确状态、转移规则和时间,才能分析未来路径。

    用在哪用于序列建模、强化学习和扩散过程。

02 PHASE 2 · 18 课 机器学习基础掌握回归、分类、聚类、评估和经典机器学习工作流。 个人核心路线
  1. 01 什么是机器学习What Is Machine Learning 待学习

    是什么机器学习从样本中学习输入到输出的规律,并在未见数据上泛化;主要分监督、无监督和强化学习。

    怎么理解传统程序由人写规则,机器学习则给例子和评价标准,让算法调出一套参数规则;关键检验是新例子也能做对。

    用在哪判断业务问题是否适合用机器学习解决。

  2. 02 线性回归Linear Regression from Scratch 待学习

    是什么用特征的加权和拟合连续目标,通过最小化均方误差学习系数,并用残差检查模型假设与偏差。

    怎么理解把每个特征当一个可调旋钮,权重表示旋钮对结果的影响;训练是在所有直线中找使残差平方总和最小的一条。

    用在哪预测价格、需求等连续数值并建立基线。

  3. 03 逻辑回归Logistic Regression & Classification 待学习

    是什么先计算特征的线性分数,再用Sigmoid转成类别概率,通过对数损失学习可解释的分类边界。

    怎么理解先用直线算出一个分数,再经S形函数压到0到1;阈值只负责做决定,概率分数则保留不确定程度。

    用在哪完成二分类、风险评分和概率预测。

  4. 04 决策树与随机森林Decision Trees & Random Forests 待学习

    是什么决策树按特征阈值递归切分数据;随机森林汇总多棵随机树,降低单树过拟合并提升泛化。

    怎么理解一棵树像连续问是非问题把样本分流,容易把训练细节记死;森林让许多看到不同数据和特征的树投票来抵消偶然。

    用在哪处理表格分类回归并解释关键决策条件。

  5. 05 支持向量机Support Vector Machines 待学习

    是什么SVM寻找间隔最大的分类超平面,关键样本决定边界;核函数可把非线性关系映射为可分问题。

    怎么理解不是只找能分开的线,而是让两类最近样本离线尽可能远;核技巧只计算新空间中的相似度,不必真的展开坐标。

    用在哪解决中小数据集的分类和非线性边界。

  6. 06 K近邻与距离KNN & Distance Metrics 待学习

    是什么KNN不显式训练参数,而是按距离寻找最相近的K个样本投票或平均,结果依赖尺度和距离选择。

    怎么理解KNN把训练集当记忆库,新样本由附近案例决定;先统一特征尺度,再选距离和K,否则某个大数值字段会支配邻居。

    用在哪建立简单分类回归基线与相似样本搜索。

  7. 07 无监督学习Unsupervised Learning: K-Means, DBSCAN 待学习

    是什么在没有标签时从数据本身发现聚类、低维结构或异常模式,结果需结合稳定性与业务意义验证。

    怎么理解没有标签时,算法只能按相似、密度或可重建性提出结构假设;聚出的组只是候选解释,必须回到业务和稳定性验证。

    用在哪用户分群、结构探索、压缩和异常发现。

  8. 08 特征工程与选择Feature Engineering & Selection 待学习

    是什么把原始字段转换成更能表达规律的特征,并筛掉冗余或泄漏信息,使模型更准确、稳定和易解释。

    怎么理解特征工程是在换一种让规律更直的表达;先从业务机制构造,再只用训练数据拟合处理,最后用验证集确认是否真有增益。

    用在哪提升表格模型效果并降低训练复杂度。

  9. 09 模型评估Model Evaluation: Metrics, Cross-Validation 待学习

    是什么划分训练、验证和测试数据,按任务选择准确率、精确率、召回率、F1、ROC或回归误差。

    怎么理解评估像封闭考试:训练集用来学习,验证集用来选方案,测试集最后只看一次;指标必须匹配犯错的实际代价。

    用在哪公平比较模型并设定可上线的效果门槛。

  10. 10 偏差与方差权衡Bias, Variance & the Learning Curve 待学习

    是什么过于简单的模型偏差高会欠拟合,过于复杂的模型方差高会过拟合;泛化来自二者合理平衡。

    怎么理解训练和验证都差,多半模型没学够;训练好而验证差,多半记得太细;画学习曲线能区分该加能力、数据还是约束。

    用在哪根据训练与验证表现诊断模型问题。

  11. 11 集成学习Ensemble Methods: Boosting, Bagging, Stacking 待学习

    是什么把多个模型的预测组合起来,装袋法降低方差,提升法逐步修正错误,堆叠法学习如何融合模型。

    怎么理解集成的关键不是模型多,而是错误不完全相同;并行训练后平均能降波动,串行盯住前轮错例能逐步修正偏差。

    用在哪提高表格任务精度、鲁棒性和稳定性。

  12. 12 超参数调优Hyperparameter Tuning 待学习

    是什么系统搜索学习率、深度等训练前设定,配合交叉验证比较配置,并控制搜索成本与数据泄漏。

    怎么理解超参数不是从数据直接学出的权重;把候选配置当实验,固定验证方案比较,并把预算优先给看起来有希望的区域。

    用在哪在有限算力下找到更好的模型配置。

  13. 13 机器学习流水线ML Pipelines & Experiment Tracking 待学习

    是什么把清洗、特征处理、训练、评估和预测串成一致流程,保证训练与线上使用完全采用相同步骤。

    怎么理解把预处理和模型封成一条不可拆的生产线:训练时学到的统计量随管线保存,预测时原样复用,避免人工漏步骤。

    用在哪避免训练服务偏差并支持自动复现部署。

  14. 14 朴素贝叶斯Naive Bayes 待学习

    是什么在给定类别时假设特征相互独立,用贝叶斯公式组合各特征证据,快速计算每个类别的后验概率。

    怎么理解把每个词当一份独立证据,分别计算它在各类别出现的可能性,再相乘并结合类别基准概率;假设虽粗但计算高效。

    用在哪用于文本分类、垃圾邮件和快速基线。

  15. 15 时间序列基础Time Series Fundamentals 待学习

    是什么时间序列具有趋势、季节性和自相关,评估必须按时间切分,预测需避免使用未来信息造成泄漏。

    怎么理解时间数据不能洗牌,因为未来不能帮助预测过去;先拆趋势、周期和残差,再用滚动窗口模拟真正上线时的预测顺序。

    用在哪预测销量、流量、设备指标和周期变化。

  16. 16 异常检测Anomaly Detection 待学习

    是什么学习正常数据的统计范围、密度或边界,再把显著偏离的样本标为异常,并按误报漏报成本调阈值。

    怎么理解异常没有固定外观,通常先刻画正常区域,再看新点离它多远;阈值应按漏掉一次和误报一次的代价来定。

    用在哪发现欺诈、设备故障和数据质量问题。

  17. 17 不平衡数据处理Handling Imbalanced Data 待学习

    是什么当少数类稀缺时准确率会掩盖失败,可用重采样、类别权重和合适指标让模型重视关键少数样本。

    怎么理解少数类任务先问漏报与误报谁更贵,不能只看准确率;再通过权重或重采样改变学习关注点,并在原分布上评估。

    用在哪改善欺诈、疾病和故障等稀有事件识别。

  18. 18 特征选择Feature Selection 待学习

    是什么用过滤、包裹或嵌入式方法挑选有效特征,减少噪声、共线与计算量,同时在验证集上确认收益。

    怎么理解特征选择像给模型减行李:过滤法先看单项关系,包裹法试组合,嵌入法在训练中淘汰;选择过程必须只见训练集。

    用在哪简化模型、加速训练并提高可解释性。

03 PHASE 3 · 13 课 深度学习核心从零理解神经网络怎样前向计算、反向传播并完成训练。 个人核心路线
  1. 01 感知机The Perceptron: Where It All Started 待学习

    是什么感知机把输入加权求和后经过阈值输出类别,是最简单神经元;只能解决线性可分的分类问题。

    怎么理解一个感知机就是先做加权投票,再用阈值表决;它只能画一条直线,所以异或这类需要弯曲边界的问题无法解决。

    用在哪理解神经网络的神经元与决策边界。

  2. 02 多层网络与前向传播Multi-Layer Networks & Forward Pass 待学习

    是什么多层网络交替执行线性变换和非线性激活,前向传播让输入逐层形成更抽象的表示并得到预测。

    怎么理解每层先把坐标重新组合,再用非线性把空间折弯;连续多层不是简单重复,而是逐步把复杂类别变成容易分开的表示。

    用在哪构建能学习复杂非线性关系的模型。

  3. 03 从零理解反向传播Backpropagation from Scratch 待学习

    是什么反向传播从损失出发按链式法则逐层传回误差信号,高效计算每个权重应如何调整。

    怎么理解先正向算预测和损失,再从损失沿计算图倒走;每到一条边都乘局部导数,分叉处把来自多路的影响相加。

    用在哪训练神经网络并定位梯度计算错误。

  4. 04 激活函数Activation Functions: ReLU, Sigmoid, GELU & Why 待学习

    是什么ReLU、Sigmoid等激活函数为网络加入非线性,不同函数影响梯度流动、输出范围和训练稳定性。

    怎么理解若层与层之间全是线性变换,再深也能合并成一层;激活函数像折纸的折痕,让网络能形成弯曲和分段边界。

    用在哪按网络层和任务选择合适的非线性变换。

  5. 05 损失函数Loss Functions: MSE, Cross-Entropy, Contrastive 待学习

    是什么损失函数把预测与目标的差异压成可优化数值,回归、分类和表示学习需要匹配各自的数据假设。

    怎么理解损失就是训练时的评分规则,模型只会努力降低它;先明确哪种错误更严重,再选能表达该目标且可求梯度的公式。

    用在哪定义模型学习目标并判断错误严重程度。

  6. 06 优化器Optimizers: SGD, Momentum, Adam, AdamW 待学习

    是什么SGD、动量和Adam依据梯度更新参数,并以不同方式处理噪声、方向惯性和各参数的自适应步长。

    怎么理解优化器是把梯度翻译成实际参数更新的策略;比较它们时盯住步长、历史方向和每个参数的缩放,而非只记名称。

    用在哪提高模型训练收敛速度和最终效果。

  7. 07 正则化Regularization: Dropout, Weight Decay, BatchNorm 待学习

    是什么权重惩罚、Dropout、早停和数据增强限制模型记忆训练样本,促使它学习可推广的规律。

    怎么理解正则化不是故意把训练变差,而是限制模型走捷径;通过惩罚过大权重、随机失活或早停,逼它学更稳定的模式。

    用在哪减轻过拟合并提升未见数据表现。

  8. 08 权重初始化与训练稳定性Weight Initialization & Training Stability 待学习

    是什么初始化控制信号和梯度在层间的尺度,Xavier与He初始化依据网络宽度保持传播不过度放大或消失。

    怎么理解信号穿很多层会不断放大或缩小;初始化要让每层输出和梯度尺度大致守恒,同时用随机差异打破神经元对称。

    用在哪避免训练初期梯度爆炸、消失或停滞。

  9. 09 学习率计划与预热Learning Rate Schedules & Warmup 待学习

    是什么预热从小学习率平稳启动,随后按步进、余弦等计划逐渐减小步长,兼顾早期探索与后期精调。

    怎么理解学习率像训练步幅:开局先小步预热,稳定后大步探索,接近低谷再逐渐收小;计划表决定步幅如何随训练变化。

    用在哪让大模型训练更稳定并改善最终收敛。

  10. 10 自制迷你深度学习框架Build Your Own Mini Framework 待学习

    是什么亲手实现张量、计算图、层、参数、反向传播和优化器,把模型训练背后的组件连接成完整系统。

    怎么理解把框架拆成张量、运算节点、层、损失和优化器,再让一次前向生成计算图、一次反向填梯度、一步优化改参数。

    用在哪建立对深度学习框架内部机制的整体理解。

  11. 11 PyTorch入门Introduction to PyTorch 待学习

    是什么使用张量、自动求导、模块和数据加载器定义训练循环,掌握设备迁移、保存与恢复模型的基本模式。

    怎么理解PyTorch的核心闭环只有四步:准备批次、前向算损失、清空并反传梯度、更新参数;模块只是帮你组织这些对象。

    用在哪快速开发和训练主流深度学习模型。

  12. 12 JAX入门Introduction to JAX 待学习

    是什么JAX以纯函数配合自动求导、即时编译和向量化变换,让数值代码在CPU、GPU和TPU上高效执行。

    怎么理解JAX把计算写成无副作用函数,再对同一函数施加求导、批量化或编译变换;数据不可变是换取组合与加速的前提。

    用在哪构建高性能、可组合的研究计算程序。

  13. 13 神经网络调试Debugging Neural Networks 待学习

    是什么通过先让小数据过拟合、检查形状与梯度、监控激活和损失,系统定位数据、实现或优化配置问题。

    怎么理解排查神经网络先让极小数据被完全记住;做不到就查数据、形状、损失和梯度,做到后再处理泛化与规模问题。

    用在哪解决模型不学习、发散和指标异常。

04 PHASE 4 · 28 课 计算机视觉让机器识别、生成、追踪并理解图片、视频和三维世界。 扩展路线
  1. 01 图像基础:像素、通道与色彩空间Image Fundamentals: Pixels, Channels, Color Spaces 待学习

    是什么数字图像是按高宽和通道排列的像素张量,颜色空间、数值范围与归一化决定模型实际看到的信息。

    怎么理解先把图片当成形状为高×宽×通道的数字盒子;读取后立刻确认通道顺序、数值范围和色彩空间,再谈模型。

    用在哪正确读取、显示和预处理视觉数据。

  2. 02 从零实现卷积Convolutions from Scratch 待学习

    是什么卷积核在图像上滑动并做局部加权求和,以共享参数检测边缘、纹理等局部模式,同时控制输出尺寸。

    怎么理解卷积核像一张小模板,在每个位置重复做同一组乘加;因此它能到处寻找相同纹理,又不用为每个像素单独设权重。

    用在哪理解CNN如何从像素提取局部特征。

  3. 03 CNN演进:LeNet到ResNetCNNs: LeNet to ResNet 待学习

    是什么CNN逐层扩大感受野学习层级特征,残差连接让信息和梯度跨层直通,从而稳定训练更深网络。

    怎么理解从LeNet到ResNet的主线是感受野更大、层数更深又能训练;残差连接给信息开直达通道,让深层只学需补的改变量。

    用在哪选择并理解主流图像骨干网络结构。

  4. 04 图像分类Image Classification 待学习

    是什么图像分类把整张图映射到类别概率,训练需处理增强、批次和交叉熵,评估还要观察混淆类别。

    怎么理解分类器最终把整张图压成一组类别分数;真正难点在输入分布、增强和错误类型,因此要看混淆矩阵而非只看总准确率。

    用在哪识别图片主题、物体类别和视觉属性。

  5. 05 迁移学习与微调Transfer Learning & Fine-Tuning 待学习

    是什么复用在大数据上预训练的视觉特征,先替换任务头,再选择冻结或低学习率微调部分骨干。

    怎么理解预训练模型像已学会通用视觉词汇的观察者;先冻结它只训练新任务的答案层,数据足够时再小步解冻微调。

    用在哪用较少标注和算力完成新的视觉任务。

  6. 06 目标检测:从零理解YOLOObject Detection — YOLO from Scratch 待学习

    是什么目标检测同时预测物体类别和边界框,YOLO在一次前向计算中完成密集预测,再用NMS去除重复框。

    怎么理解检测器要同时回答是什么和在哪里;YOLO在网格上密集提出候选框与分数,最后用NMS保留同一物体最可信的框。

    用在哪定位并识别图片和视频中的多个物体。

  7. 07 语义分割:U-NetSemantic Segmentation — U-Net 待学习

    是什么语义分割为每个像素分配类别,U-Net用编码器提取语义、解码器恢复分辨率,并以跳连保留细节。

    怎么理解U-Net像先把图缩小理解整体,再逐级放大恢复位置;跳跃连接把早期细边界直接交给解码端,避免只剩模糊轮廓。

    用在哪进行医学、道路和场景的像素级识别。

  8. 08 实例分割:Mask R-CNNInstance Segmentation — Mask R-CNN 待学习

    是什么实例分割既区分类别又分开同类个体,Mask R-CNN在检测框基础上为每个目标预测独立掩膜。

    怎么理解Mask R-CNN先找每个物体的框,再从对齐后的局部特征为每个实例画掩膜;同类物体因此不会粘成一片。

    用在哪获得每个物体的精确轮廓与数量。

  9. 09 图像生成:GANImage Generation — GANs 待学习

    是什么生成器尝试制造逼真图像,判别器学习区分真伪,二者对抗训练使生成分布逐渐接近真实数据。

    怎么理解生成器和判别器是一场同步升级的博弈:一个制造样本,一个识别破绽;平衡失调会导致训练震荡或只生成少数模式。

    用在哪生成图像、迁移风格和扩充数据。

  10. 10 图像生成:扩散模型Image Generation — Diffusion Models 待学习

    是什么扩散模型学习逐步预测并移除噪声,从随机噪声反向还原图像,以条件信息控制生成内容。

    怎么理解训练时不断给真图加噪并学习每步如何去噪;生成时从纯噪声按相反顺序走回数据分布,每一步只做小修正。

    用在哪实现高质量文生图、修复和图像编辑。

  11. 11 Stable Diffusion架构与微调Stable Diffusion — Architecture & Fine-Tuning 待学习

    是什么Stable Diffusion在压缩潜空间中去噪,用文本编码器提供条件、VAE往返像素,并可用LoRA低成本适配。

    怎么理解先用VAE把像素压到潜空间,再让U-Net在文本条件下去噪,最后解码回图片;LoRA只改低秩增量而不重训全部权重。

    用在哪定制文生图风格、角色与领域内容。

  12. 12 视频理解与时间建模Video Understanding — Temporal Modeling 待学习

    是什么视频除空间画面还有时间变化,可用帧采样、3D卷积或时序模型聚合动作与前后上下文。

    怎么理解单帧只能说明物体长什么样,动作要看跨帧变化;先抽取每帧空间特征,再沿时间轴聚合,并注意采样是否漏掉关键瞬间。

    用在哪识别动作、事件并分析长短视频内容。

  13. 13 三维视觉:点云与NeRF3D Vision: Point Clouds, NeRFs 待学习

    是什么点云以三维坐标表示表面,NeRF用神经网络学习空间位置和视角到颜色密度的连续场并渲染新视角。

    怎么理解点云是离散三维采样,NeRF是可查询的连续场;给出空间点和视角,它返回密度与颜色,再沿相机射线积分成像。

    用在哪重建场景、生成新视角和理解三维空间。

  14. 14 视觉TransformerVision Transformers (ViT) 待学习

    是什么ViT把图像切成小块并当作序列,通过自注意力让任意图块交换信息,学习全局视觉关系。

    怎么理解ViT把图像切块并转成标记,位置编码保留块的位置,自注意力让远处图块直接比较;它用数据学习卷积预设的局部规律。

    用在哪构建分类、检测和多模态视觉骨干。

  15. 15 实时视觉与边缘部署Real-Time Vision: Edge Deployment 待学习

    是什么边缘部署需在准确率、延迟、功耗和内存间取舍,借助量化、剪枝、导出和硬件加速满足实时限制。

    怎么理解边缘部署不是简单压小模型,而是在目标硬件上反复测准确率、延迟、内存和功耗;每次量化或剪枝都要重新验收。

    用在哪把视觉模型部署到手机、摄像头和终端。

  16. 16 完整视觉流水线实战Build a Complete Vision Pipeline 待学习

    是什么把数据检查、增强、训练、评估、导出和推理服务连接起来,并加入版本、监控和失败处理形成闭环。

    怎么理解完整视觉系统按契约传递数据:采集后校验,训练后独立评估,导出后对齐结果,上线后监控漂移与失败样本。

    用在哪交付可重复、可部署的端到端视觉产品。

  17. 17 自监督视觉:SimCLR、DINO与MAESelf-Supervised Vision — SimCLR, DINO, MAE 待学习

    是什么自监督从无标签图像构造训练信号;对比学习拉近同图增强,蒸馏与掩码重建学习通用视觉表示。

    怎么理解不给标签也能造学习任务:同一图片的不同增强应靠近,遮住部分要能复原;模型由此学到可迁移结构,而非类别答案。

    用在哪减少标注需求并预训练可迁移视觉特征。

  18. 18 开放词汇视觉与CLIPOpen-Vocabulary Vision — CLIP 待学习

    是什么CLIP用配对图文对比学习共享向量空间,使图片靠近匹配文本,并能用自然语言定义新类别。

    怎么理解CLIP把图片和文字分别编码,再让配对向量靠近、不配对向量远离;新类别只需写文字描述,就能与图片比较。

    用在哪零样本分类、图文检索和开放词汇识别。

  19. 19 OCR与文档理解OCR & Document Understanding 待学习

    是什么文档理解先检测文字区域并识别字符,再结合版面、阅读顺序和字段关系还原结构化信息。

    怎么理解文档不是普通照片,先要找文字,再认字符,还要恢复阅读顺序和字段关系;任何一层错位都会让结构化结果失真。

    用在哪提取票据、表格、合同和扫描件内容。

  20. 20 图像检索与度量学习Image Retrieval & Metric Learning 待学习

    是什么度量学习把相似图片拉近、不同图片推远,利用对比或三元组损失训练嵌入,再做近邻检索。

    怎么理解检索模型不直接输出类别,而是塑造一个可比较的空间;训练时用成对或三元样本明确谁该近、谁该远,再建索引查邻居。

    用在哪实现以图搜图、去重和相似商品查找。

  21. 21 关键点检测与姿态估计Keypoint Detection & Pose Estimation 待学习

    是什么模型为人体或物体关键部位预测热力图或坐标,再按骨架关系连接关键点并评估位置误差。

    怎么理解把每个关键点预测成一张可能性热图,再取峰值坐标;骨架约束帮助检查连接关系,遮挡点则依赖上下文推断。

    用在哪分析人体动作、手势和物体姿态。

  22. 22 从零理解3D高斯泼溅3D Gaussian Splatting from Scratch 待学习

    是什么用大量带位置、尺度、方向、透明度和颜色的三维高斯表示场景,通过可微投影快速合成新视角。

    怎么理解场景由许多可拉伸旋转的透明三维椭球组成;渲染时按深度把它们投影并混合,训练则反向调整每个椭球参数。

    用在哪高质量实时渲染真实场景和自由视角。

  23. 23 扩散Transformer与整流流Diffusion Transformers & Rectified Flow 待学习

    是什么DiT用Transformer在图像块潜变量上建模去噪,整流流学习更直的噪声到数据路径以减少采样步骤。

    怎么理解传统扩散学曲折的逐步去噪,整流流尝试把噪声到图像的路径拉直;DiT只是用Transformer负责预测沿途方向。

    用在哪构建可扩展且采样高效的生成模型。

  24. 24 SAM 3与开放词汇分割SAM 3 & Open-Vocabulary Segmentation 待学习

    是什么可提示分割模型依据点、框、掩膜或概念定位目标,开放词汇能力让未预定义类别也能被分割和跟踪。

    怎么理解提示不是类别标签,而是告诉模型当前想分哪一块;点和框给位置,文字给概念,模型输出对应掩膜并可跨帧维持目标。

    用在哪交互抠图、自动标注和任意目标分割。

  25. 25 视觉语言模型Vision-Language Models (ViT-MLP-LLM) 待学习

    是什么视觉编码器把图像变成标记,投影层对齐语言空间,再由大语言模型联合理解图片与文字并生成回答。

    怎么理解VLM先把图像变成一串视觉标记,再投影到语言模型能读的向量空间;之后图片像一段特殊上下文参与回答生成。

    用在哪实现看图问答、视觉助手和多模态分析。

  26. 26 单目深度与几何估计Monocular Depth & Geometry Estimation 待学习

    是什么单目深度从一张图推断每个像素的相对或绝对距离,并结合相机内参把深度还原为三维几何。

    怎么理解单张图缺少真实尺度,模型靠透视、遮挡和物体先验猜相对远近;若要绝对距离,还需相机参数或尺度标定。

    用在哪用于机器人导航、三维重建和景深效果。

  27. 27 多目标跟踪与视频记忆Multi-Object Tracking & Video Memory 待学习

    是什么多目标跟踪先逐帧检测,再依据运动和外观把同一物体跨帧关联,持续维护身份、轨迹与遮挡状态。

    怎么理解跟踪不是每帧重新命名,而是在检测后用位置运动和外观匹配旧轨迹;遮挡时保留短期记忆,重现后再接回原身份。

    用在哪统计人车轨迹并理解持续视频事件。

  28. 28 世界模型与视频扩散World Models & Video Diffusion 待学习

    是什么视频生成模型学习场景随时间的变化规律,世界模型进一步预测动作后的未来状态,并要求运动保持物理一致。

    怎么理解把世界模型看成可学习的状态模拟器:输入当前画面和动作,预测下一状态;视频看起来真实不等于其物理规律足够可靠。

    用在哪生成可控视频、模拟环境和规划动作。

05 PHASE 5 · 29 课 自然语言处理让机器处理、检索、理解和生成自然语言。 个人核心路线
  1. 01 文本处理:分词、词干与词形还原Text Processing: Tokenization, Stemming, Lemmatization 待学习

    是什么把原始文本规范化并切成可计算单位,词干提取粗略截断词形,词形还原则恢复有语言意义的基本形式。

    怎么理解先决定模型处理的最小文字单位,再做规范化;词干是粗略截短,词形还原依赖语法恢复原形,二者不能混作一件事。

    用在哪为搜索、分类和传统NLP准备干净输入。

  2. 02 词袋、TF-IDF与文本表示Bag of Words, TF-IDF & Text Representation 待学习

    是什么词袋用词频表示文档但忽略顺序,TF-IDF再降低常见词权重、突出对当前文档更有区分力的词。

    怎么理解词袋把文档变成词数清单,TF-IDF再给稀有且有区分力的词更高分;它看不到词序,却常是强而透明的基线。

    用在哪建立文本分类、检索和相似度基线。

  3. 03 词嵌入:从零实现Word2VecWord Embeddings: Word2Vec from Scratch 待学习

    是什么Word2Vec用上下文预测训练稠密词向量,使经常出现在相似语境的词靠近并形成可计算语义关系。

    怎么理解Word2Vec不直接规定词义,而是让相同上下文中的词完成相似预测任务;训练后,它们自然落在邻近向量位置。

    用在哪表示词义并支持相似词和下游文本任务。

  4. 04 GloVe、FastText与子词嵌入GloVe, FastText & Subword Embeddings 待学习

    是什么GloVe从全局共现统计学习词向量,FastText组合字符子词表示单词,能更好处理生僻词和词形变化。

    怎么理解GloVe从全局共现表找结构,FastText把词拆成字符片段;后者即使没见过完整单词,也能用片段拼出近似表示。

    用在哪为多语言和未登录词提供稳健词表示。

  5. 05 情感分析Sentiment Analysis 待学习

    是什么情感分析判断文本的正负或细粒度态度,可从词典和传统分类器发展到上下文模型,并需处理否定与讽刺。

    怎么理解先把文本映射到情绪证据,再处理否定、转折和对象;“屏幕很好但电池差”说明整句标签会丢失针对不同方面的态度。

    用在哪分析评论口碑、客服情绪和舆情趋势。

  6. 06 命名实体识别Named Entity Recognition (NER) 待学习

    是什么NER在文本中定位人名、地点、组织等实体边界并赋予类别,序列标签需保持开头与内部标记一致。

    怎么理解NER是给每个词标边界和类型,不只是搜词典;先判断实体从哪开始到哪结束,再决定它属于人名、组织或其他类别。

    用在哪从非结构化文本抽取关键对象与字段。

  7. 07 词性标注与句法分析POS Tagging & Syntactic Parsing 待学习

    是什么词性标注判断每个词的语法角色,句法分析建立词语依赖或成分结构,揭示谁修饰谁以及动作关系。

    怎么理解词性告诉词在句中扮演什么角色,句法树说明词之间怎样依赖;先标角色再连关系,才能区分相同词形的不同含义。

    用在哪支持信息抽取、语法理解和文本分析。

  8. 08 用于文本的CNN与RNNText Classification — CNNs & RNNs for Text 待学习

    是什么文本CNN用局部卷积捕捉关键短语,RNN按顺序维护隐藏状态建模上下文,双向结构同时利用前后信息。

    怎么理解文本CNN像在句子上扫描关键词组合,RNN则逐词更新一份记忆;前者擅长局部模式,后者强调顺序和累积上下文。

    用在哪完成分类、序列标注和文本编码。

  9. 09 序列到序列模型Sequence-to-Sequence Models 待学习

    是什么编码器把输入序列压成表示,解码器逐步生成输出;教师强制帮助训练,但固定向量会形成长序列瓶颈。

    怎么理解编码器读完整输入形成状态,解码器按已生成内容逐步输出;若所有信息只塞进一个固定向量,长句就会遗忘早期细节。

    用在哪用于翻译、摘要和各种文本转换。

  10. 10 注意力机制Attention Mechanism — The Breakthrough 待学习

    是什么注意力用查询与键计算相关权重,再对值加权汇总,使每个位置能动态读取最相关的上下文信息。

    怎么理解注意力不是凭空“关注”,而是一次可学习检索:查询与各键算匹配分,再按分数加权取值,得到当前需要的上下文。

    用在哪突破长序列瓶颈并支撑Transformer。

  11. 11 机器翻译Machine Translation 待学习

    是什么机器翻译把源语言含义映射为目标语言序列,需处理对齐、词序、未知词,并用自动指标和人工判断共同评估。

    怎么理解翻译不是逐词替换,而是先理解源句关系,再按目标语言习惯生成;自动指标检查重合,人工还要看含义和流畅度。

    用在哪构建可靠的跨语言翻译与本地化系统。

  12. 12 文本摘要Text Summarization 待学习

    是什么抽取式摘要选择原文关键句,生成式摘要重新组织内容;好摘要应覆盖重点、连贯且不捏造事实。

    怎么理解抽取式摘要像用荧光笔圈原句,生成式摘要像读完后重述;后者更自然,却必须逐条核对是否添加原文没有的事实。

    用在哪压缩文章、会议、报告和检索结果。

  13. 13 问答系统Question Answering Systems 待学习

    是什么问答系统可从给定上下文抽取答案或生成回答,核心是找到相关证据、理解问题并校验答案受证据支持。

    怎么理解问答应走证据链:先定位相关文本,再从证据提取或生成答案,最后检查每个关键断言能否回指来源。

    用在哪构建知识库助手、客服和文档问答。

  14. 14 信息检索与搜索Information Retrieval & Search 待学习

    是什么搜索先建立索引,再按词项或向量召回候选并排序;准确系统需平衡召回率、相关性、延迟与新鲜度。

    怎么理解搜索是两阶段漏斗:召回先尽量不漏地缩小候选集,排序再精细判断相关性;关键词和向量各自补足对方盲区。

    用在哪实现站内搜索、RAG召回和文档查找。

  15. 15 主题建模:LDA与BERTopicTopic Modeling: LDA, BERTopic 待学习

    是什么主题模型从无标签文档发现潜在主题,LDA用词分布建模,BERTopic结合语义嵌入、聚类和主题词。

    怎么理解LDA把主题看成词的概率配方,文档是多种配方的混合;BERTopic才先聚类文档嵌入,再从簇中概括主题。

    用在哪整理大批文本并发现内容结构与趋势。

  16. 16 Transformer前的文本生成Text Generation 待学习

    是什么N元语言模型用前几个词的统计频率预测下一个词,依靠平滑处理未见组合,但上下文范围和泛化有限。

    怎么理解N元模型只根据最近几个词查统计表预测下一个;困惑度衡量真实词对它有多意外,平滑避免未见组合概率直接变零。

    用在哪理解语言建模、概率生成和困惑度基线。

  17. 17 聊天机器人演进Chatbots: Rule-Based to Neural 待学习

    是什么聊天机器人从规则匹配、意图槽位和神经对话发展到LLM代理;可靠产品仍需状态、工具、边界与兜底。

    怎么理解规则机器人匹配固定模式,意图系统维护槽位,LLM能自由生成;能力越开放,越需要状态、工具权限和失败兜底约束。

    用在哪设计客服、助手和能调用工具的对话系统。

  18. 18 多语言自然语言处理Multilingual NLP 待学习

    是什么多语言模型在共享表示中学习多种语言,可跨语言迁移;分词覆盖、语料不均和文化差异决定真实效果。

    怎么理解共享多语言空间像用共同坐标表示不同语言;资源丰富语言可帮助稀缺语言,但分词覆盖差和文化语境不同会限制迁移。

    用在哪构建跨语言分类、检索、翻译和助手。

  19. 19 子词分词Subword Tokenization: BPE, WordPiece, Unigram, SentencePiece 待学习

    是什么BPE、WordPiece和Unigram把文字拆成可复用子词,在词表大小、序列长度和未知词处理之间取得平衡。

    怎么理解子词方案在整词和单字符之间折中:常见片段保留为一个标记,生僻词拆成多个片段,从而兼顾词表大小与序列长度。

    用在哪为语言模型构建稳定且覆盖广的词表。

  20. 20 结构化输出与约束解码Structured Outputs & Constrained Decoding 待学习

    是什么约束解码在生成每一步屏蔽不符合语法或模式的标记,使模型输出满足JSON等结构,而非事后反复修补。

    怎么理解约束解码像在每一步只开放仍能组成合法结构的下一个标记;它从生成过程保证语法,而不是输出后再猜着修JSON。

    用在哪可靠连接API、数据库和自动化工作流。

  21. 21 自然语言推断与文本蕴含NLI & Textual Entailment 待学习

    是什么NLI判断前提是否支持、否定或无法确定假设,要求模型理解语义关系,而不只是寻找表面词语重合。

    怎么理解NLI把“前提能否推出假设”拆成支持、矛盾和未知;即使词语很像,没有逻辑支撑也不能判为蕴含。

    用在哪验证回答证据、事实一致性和文本关系。

  22. 22 嵌入模型深入解析Embedding Models Deep Dive 待学习

    是什么嵌入模型把文本映射为向量,训练通过对比目标组织语义空间;查询和文档模式、归一化与维度影响检索。

    怎么理解嵌入不是“意义本身”,而是为某种训练目标整理出的几何坐标;查询格式、归一化和相似度必须与模型训练方式匹配。

    用在哪选择并评估搜索、聚类和RAG嵌入模型。

  23. 23 RAG切块策略Chunking Strategies for RAG 待学习

    是什么切块把长文拆成可检索单元,固定、递归、语义和结构化方法在上下文完整性、召回与成本间取舍。

    怎么理解切块要让一个问题所需证据尽量落在同一块,同时别塞入太多无关文字;先按文档结构切,再用重叠保护边界信息。

    用在哪提升知识库检索命中率和回答证据质量。

  24. 24 共指消解Coreference Resolution 待学习

    是什么共指消解判断代词、简称和名词短语是否指向同一实体,把跨句分散的信息连接成一致对象。

    怎么理解共指消解像给文中每个代词和别称贴上实体编号;沿句子更新编号后,分散描述才能被合并到同一人物或对象。

    用在哪改善信息抽取、摘要和长文档理解。

  25. 25 实体链接与消歧Entity Linking & Disambiguation 待学习

    是什么实体链接先识别文本提及,再从知识库召回候选并利用上下文排序,确定同名词语实际指向哪个实体。

    怎么理解实体链接在识别名字后还要做“对号入库”:先从知识库召回同名候选,再用上下文和类型选出唯一身份。

    用在哪把文本连接到知识库并统一实体身份。

  26. 26 关系抽取与知识图谱构建Relation Extraction & Knowledge Graph Construction 待学习

    是什么关系抽取识别实体间的语义联系,再经实体规范化、置信度和来源记录,把事实组织成可查询的知识图谱。

    怎么理解知识图谱的节点来自规范化实体,边来自关系抽取;每条边还应保存来源和置信度,否则只是无法核验的三元组集合。

    用在哪构建结构化知识、搜索和推理基础。

  27. 27 大模型评估框架LLM Evaluation: RAGAS, DeepEval, G-Eval 待学习

    是什么大模型评估把正确性、相关性、忠实度等拆成指标,可结合规则、人工与模型裁判,并用校准减少评判偏差。

    怎么理解评估先把“好回答”拆成忠实、相关、完整等维度,再用规则、人工或模型裁判分别测;裁判本身也要用人工样本校准。

    用在哪持续比较提示词、RAG和模型版本质量。

  28. 28 长上下文评估Long-Context Evaluation: NIAH, RULER, LongBench, MRCR 待学习

    是什么长上下文评估不只看支持长度,还测试远处信息检索、多跳推理、干扰抵抗和不同位置上的性能衰减。

    怎么理解上下文窗口像能放多少页纸,实际能力却取决于能否在不同位置找到并组合证据;应增加干扰、多针和多跳任务实测。

    用在哪验证模型能否真正利用长文档和长对话。

  29. 29 对话状态跟踪Dialogue State Tracking 待学习

    是什么对话状态跟踪从多轮话语中持续维护用户意图、槽位和值,在纠正、省略和话题变化后仍保持任务上下文。

    怎么理解对话状态是一张持续更新的任务表;每轮从话语中新增、修改或删除槽位,并区分用户纠正与暂时提及。

    用在哪构建可控的预订、客服和任务型助手。

06 PHASE 6 · 17 课 语音与音频让机器听懂语音、识别人声、生成声音并实时对话。 扩展路线
  1. 01 音频基础:波形、采样与傅里叶变换Audio Fundamentals: Waveforms, Sampling, FFT 待学习

    是什么声音先被采样成随时间变化的数字波形,再由傅里叶变换拆成频率成分;采样率与奈奎斯特上限决定哪些声音能被正确保留。

    怎么理解麦克风把连续空气振动按固定间隔记成数字;采样率决定时间刻度,FFT只是把同一段波形改写成频率成分清单。

    用在哪检查音频格式、重采样,并避免混叠失真。

  2. 02 频谱图、梅尔尺度与音频特征Spectrograms, Mel Scale & Audio Features 待学习

    是什么短时傅里叶变换把波形分帧后变成时间—频率图,梅尔滤波再按人耳感知压缩频率,得到模型更容易学习的对数梅尔特征。

    怎么理解频谱图把音频切成短窗,每窗查看有哪些频率;梅尔尺度再按人耳分辨率重排频带,让模型集中于听觉上重要的差异。

    用在哪为语音识别、合成和声音分类准备输入。

  3. 03 音频分类:从 MFCC 到音频 TransformerAudio Classification 待学习

    是什么音频分类通常把声音变成 MFCC 或对数梅尔图,再交给近邻、卷积网络或音频 Transformer,判断声音类别并处理类别不平衡。

    怎么理解音频分类的主线是先把可变波形变成固定特征,再由分类器判断;换模型前应先检查特征、类别分布和逐类召回。

    用在哪识别环境声、语言、情绪或语音指令。

  4. 04 语音识别:CTC、RNN-T 与注意力Speech Recognition (ASR) 待学习

    是什么自动语音识别把连续声学帧对齐为文字;CTC、RNN-T 和注意力模型分别用不同方式处理重复、空白与未知长度的对应关系。

    怎么理解语音帧与文字长度不同且边界未知;CTC允许空白和重复后折叠,RNN-T边听边预测,注意力则直接学习软对齐。

    用在哪选择并搭建转写、字幕和语音输入方案。

  5. 05 Whisper 架构与微调Whisper: Architecture & Fine-Tuning 待学习

    是什么Whisper 编码固定窗口的对数梅尔音频,再由解码器生成多语言文字;任务标记让同一模型完成转写和翻译。

    怎么理解Whisper先把30秒音频编码,再由解码器按任务标记生成转写或翻译;微调时重点控制领域数据质量与灾难性遗忘。

    用在哪微调领域语音模型并提升复杂环境转写。

  6. 06 说话人识别与验证Speaker Recognition & Verification 待学习

    是什么说话人模型把一段语音压缩成身份向量,再用余弦相似度和阈值判断两段声音是否来自同一人,误识与拒识用 EER 衡量。

    怎么理解声纹系统比较的是身份向量而非文字内容;先登记模板,再算新语音与模板的相似度,阈值决定放行与拒绝的平衡。

    用在哪制作声纹登录、说话人检索和身份核验。

  7. 07 文本转语音:从 Tacotron 到现代 TTSText-to-Speech (TTS) 待学习

    是什么文本转语音先把文字转成语言或音素表示,声学模型预测语音表征,再由声码器还原波形;现代模型进一步统一或简化这些阶段。

    怎么理解TTS可拆成读懂文字、规划韵律、还原声波三步;听起来自然不仅要音色像,还要停顿、重音和发音都正确。

    用在哪构建旁白、语音助手和个性化播报。

  8. 08 声音克隆与声音转换Voice Cloning & Voice Conversion 待学习

    是什么声音克隆用目标说话人的身份特征朗读新文本,声音转换则保留原话内容并替换音色;核心是分离内容、韵律和说话人身份。

    怎么理解声音克隆保留目标音色并输入新文本,声音转换保留原语句而换音色;两者都依赖把内容、韵律和身份尽量分离。

    用在哪制作授权音色、配音和跨说话人转换。

  9. 09 音乐生成与授权边界Music Generation 待学习

    是什么音乐模型把长波形压缩成音频令牌或潜变量,再按文字、旋律和节奏条件生成作品;模型能力之外还必须处理训练数据与输出授权风险。

    怎么理解音乐生成不是只接文字出波形,而是在时间结构上组织节奏、和声、旋律与音色;技术验收之外还要逐项确认授权。

    用在哪设计可控音乐生成流程并评估版权风险。

  10. 10 音频语言模型Audio-Language Models 待学习

    是什么音频语言模型将语音、环境声和音乐编码为可被语言模型读取的表示,使系统不仅能转写,还能结合长音频内容进行理解和推理。

    怎么理解先把音频编码成语言模型可读的标记,再联合文字推理;它不仅听见词句,还要区分环境事件、说话方式和音乐线索。

    用在哪完成音频问答、事件分析和多声源理解。

  11. 11 实时音频处理Real-Time Audio Processing 待学习

    是什么实时系统持续处理很短的音频块,通过缓冲、并发和流式推理在下一块到来前完成计算;端到端延迟与抖动比离线精度更关键。

    怎么理解实时系统像传送带,每20毫秒来一小块数据,必须在下一块到来前处理完;总延迟还要把缓冲、网络和模型排队都算上。

    用在哪构建低延迟通话机器人和直播处理链。

  12. 12 语音助手全链路实践Build a Voice Assistant Pipeline 待学习

    是什么完整语音助手把语音活动检测、识别、语言模型和语音合成串成可打断的流式管线,并统一管理状态、延迟、失败恢复与指标。

    怎么理解语音助手是四段闭环:检测说话、转成文字、决定或调用工具、合成回复;还需共享状态并允许用户随时打断。

    用在哪交付可对话、可打断的端到端语音助手。

  13. 13 神经音频编解码器与语义—声学分层Neural Audio Codecs — EnCodec, SNAC, Mimi, DAC 待学习

    是什么神经编解码器用编码器、量化码本和解码器把连续波形变成少量离散令牌;前层偏语义、后层补声学细节,便于 Transformer 生成。

    怎么理解神经编解码器把波形压成多层离散码本;前层保存可懂的内容,后层补音色细节,模型便能像预测文字一样预测音频令牌。

    用在哪压缩语音并为实时音频生成提供令牌。

  14. 14 语音活动检测与轮次判断Voice Activity Detection & Turn-Taking 待学习

    是什么VAD 判断当前是否有人说话,轮次系统再结合静音持续时间、缓冲刷新和语义终点判断用户是否说完,避免抢话或长时间等待。

    怎么理解VAD只回答当前帧有没有人声,轮次判断还要回答用户是否说完;结合静音长度和语义终点,才能既不抢话也不迟钝。

    用在哪优化语音助手的打断、接话和响应时机。

  15. 15 流式语音到语音与全双工对话Streaming Speech-to-Speech — Moshi, Hibiki 待学习

    是什么统一语音模型直接在音频编解码令牌上同时听和说,省去完整的识别—文本—合成串联,从而实现低延迟、可重叠的全双工交流。

    怎么理解全双工模型像两条同步音轨,听和说可同时进行;它直接预测音频令牌,减少串联系统等待,却更难控制打断和安全边界。

    用在哪打造自然打断、实时翻译和连续语音对话。

  16. 16 语音防伪与音频水印Voice Anti-Spoofing & Audio Watermarking 待学习

    是什么防伪模型从原始波形或频谱识别合成与重放攻击,音频水印则嵌入可检测且耐压缩编辑的标记,两者共同提供来源与真伪证据。

    怎么理解防伪负责判断音频像不像真实录音,水印负责留下可验证来源;一个识别伪造,一个证明出处,两者不能互相替代。

    用在哪保护声纹系统并追踪合成音频来源。

  17. 17 音频系统评估指标Audio Evaluation — WER, MOS, MMAU, Leaderboards 待学习

    是什么不同音频任务需要不同指标:识别看 WER,合成看 MOS 与说话人相似度,音乐看 FAD,声纹看 EER,并配合延迟和人工复核。

    怎么理解先按任务选指标:转写数错字,合成看自然度,声纹看错接与错拒;再把延迟、成本和人工盲听纳入同一验收表。

    用在哪建立语音、音乐与音频理解的验收标准。

07 PHASE 7 · 16 课 Transformer 深入拆开现代大模型核心,理解注意力、位置编码和高效推理。 个人核心路线
  1. 01 为什么需要 TransformerWhy Transformers: The Problems with RNNs 待学习

    是什么循环网络必须按顺序处理令牌,长距离信息传递慢且难并行;Transformer 用注意力让所有位置直接交互,从而更易扩展训练规模。

    怎么理解把句子看成一场会议:RNN让人依次传话,Transformer让所有人同时直接交流,因此远处信息不必层层转述。

    用在哪判断序列任务何时应采用 Transformer。

  2. 02 从零理解自注意力Self-Attention from Scratch 待学习

    是什么每个令牌生成查询、键和值,查询与所有键计算相关度后加权汇总对应的值,使当前位置能按内容选择需要参考的上下文。

    怎么理解每个词先提出查询,再拿查询和所有词的键比对,最后按相似度混合它们的值;本质是一次可学习的软检索。

    用在哪理解并实现 Transformer 的核心计算。

  3. 03 多头注意力Multi-Head Attention 待学习

    是什么多头注意力把表示分到多个较小子空间,每个头可学习不同关系,再拼接结果;它让模型同时关注语法、指代和远近依赖。

    怎么理解像让多位调查员从不同角度读同一句话:每个头在一个子空间学习关系,但它们不一定固定对应语法或指代职责。

    用在哪配置注意力头数并诊断不同关系建模。

  4. 04 位置编码:正弦、RoPE 与 ALiBiPositional Encoding: Sinusoidal, RoPE, ALiBi 待学习

    是什么注意力本身不知道令牌先后,位置编码向表示或注意力分数注入顺序;正弦、旋转位置编码和 ALiBi 对长上下文外推各有取舍。

    怎么理解注意力只认识内容、不认识先后,位置编码相当于给每个词附上坐标;不同方案是在决定坐标怎样影响匹配。

    用在哪为不同上下文长度选择位置方案。

  5. 05 完整 Transformer:编码器与解码器The Full Transformer: Encoder + Decoder 待学习

    是什么完整结构把自注意力、前馈网络、残差连接和归一化堆叠成编码器与解码器,解码端再用交叉注意力读取编码结果。

    怎么理解先把编码器当成理解输入的读者,再把解码器当成逐字作答的作者;残差、归一化和前馈层保证两者能堆得更深。

    用在哪搭建翻译、生成和序列转换模型骨架。

  6. 06 BERT 与掩码语言建模BERT — Masked Language Modeling 待学习

    是什么BERT 随机遮住输入词并利用左右两侧上下文恢复它们,因此学到双向语义表示;预训练后可微调用于分类、抽取和检索。

    怎么理解训练时挖掉句中的词,让模型同时阅读左右线索来填空;久而久之,它学到的是整句含义而非单向续写习惯。

    用在哪完成文本理解、实体识别和语义编码。

  7. 07 GPT 与因果语言建模GPT — Causal Language Modeling 待学习

    是什么GPT 用三角因果掩码确保每个位置只能看到过去,并持续预测下一个令牌;同一目标让模型能自回归生成连贯的任意长度文本。

    怎么理解想象阅读时把未来文字全部遮住,每次只猜下一个词;猜完再把它露出来继续猜,这就是GPT生成文本的循环。

    用在哪理解聊天、续写和代码生成的基础机制。

  8. 08 T5、BART 与编码器—解码器模型T5, BART — Encoder-Decoder Models 待学习

    是什么编码器读取完整输入形成语义表示,解码器通过交叉注意力逐步生成输出;去噪预训练使它们擅长明确的输入到输出任务。

    怎么理解编码器先把完整材料读懂并压成上下文,解码器再边参考材料边写答案,适合输入与输出明确对应的改写任务。

    用在哪执行翻译、摘要、改写和文本纠错。

  9. 09 视觉 TransformerVision Transformers (ViT) 待学习

    是什么ViT 把图片切成固定大小图块并映射为令牌,加上位置编码后交给 Transformer;全局注意力替代卷积提取跨区域视觉关系。

    怎么理解把图片切成一块块拼图,每块变成类似单词的向量;Transformer随后比较所有图块,学习物体各部分的全局关系。

    用在哪构建图像分类模型和通用视觉编码器。

  10. 10 音频 Transformer 与 WhisperAudio Transformers — Whisper Architecture 待学习

    是什么Whisper 把对数梅尔频谱当作时间序列,由编码器提取声学信息、解码器生成文字,特殊令牌统一控制语言、转写与翻译任务。

    怎么理解先把声音变成频率随时间变化的图,编码器听懂声学线索,解码器再按时间生成文字;特殊令牌决定语言和任务。

    用在哪理解并调整多语言语音识别模型。

  11. 11 混合专家模型Mixture of Experts (MoE) 待学习

    是什么混合专家层用路由器为每个令牌只激活少数前馈专家,使模型拥有大量总参数却保持较低单次计算量,同时需控制专家负载均衡。

    怎么理解像大型医院先分诊:路由器只把每个词送给少数合适专家,总专家很多,但一次看诊不用叫来所有人。

    用在哪以可控算力扩展模型容量和专业能力。

  12. 12 KV 缓存、FlashAttention 与推理优化KV Cache, Flash Attention & Inference Optimization 待学习

    是什么生成阶段缓存历史键值避免重复计算,FlashAttention 通过分块减少显存读写;两者针对串行、内存受限的解码瓶颈提速。

    怎么理解KV缓存是不重复整理历史资料,FlashAttention是分块计算以少搬数据;一个省重复算力,一个减少显存往返。

    用在哪降低大模型生成延迟与显存占用。

  13. 13 大模型缩放定律Scaling Laws 待学习

    是什么缩放定律描述参数量、训练令牌、计算预算与损失之间的幂律关系;同一算力需合理分配模型大小和数据量,避免大模型训练不足。

    怎么理解训练预算像一块固定蛋糕,要在模型参数和学习数据之间分配;模型过大而数据不足,就像大脑很大却没读够书。

    用在哪估算预训练规模、数据需求和预算分配。

  14. 14 从零构建 Transformer 综合实践Build a Transformer from Scratch 待学习

    是什么综合实现分词、嵌入、位置表示、多头注意力、前馈层和自回归训练,并通过形状、掩码与损失检查把各组件连成可运行模型。

    怎么理解按分词、嵌入、位置、注意力、前馈、损失的顺序亲手装配,并逐层检查形状和掩码,才能知道整机为何工作。

    用在哪用完整实现验证对 Transformer 的理解。

  15. 15 注意力变体:滑窗、稀疏与差分Attention Variants — Sliding Window, Sparse, Differential 待学习

    是什么全注意力成本随序列长度平方增长;滑动窗口、稀疏模式和差分注意力限制连接或抵消噪声,在保留关键信息时减少计算。

    怎么理解全注意力让每个人都与全场交谈,成本随人数平方增长;变体只保留邻居、重点或压缩通道来削减连接。

    用在哪设计长上下文模型并平衡质量与成本。

  16. 16 推测解码:草拟、验证与重复Speculative Decoding — Draft, Verify, Repeat 待学习

    是什么小模型一次草拟多个后续令牌,大模型并行验证并按校正规则接受;草稿命中时,一次昂贵前向即可安全产出多个令牌。

    怎么理解先让便宜的小模型连续写几词,再由大模型一次批改;正确草稿成批通过,错误处按严格规则纠正,所以不牺牲分布。

    用在哪在不改变目标分布的前提下加速生成。

08 PHASE 8 · 15 课 生成式 AI学习图片、视频、音频和三维内容如何被 AI 生成。 扩展路线
  1. 01 生成模型分类与发展脉络Generative Models: Taxonomy & History 待学习

    是什么生成模型学习数据分布并创造新样本,主要路线包括自编码器、GAN、自回归、扩散和流模型;各路线在质量、速度与可控性上取舍不同。

    怎么理解先把生成模型看成五类工具:压缩重建、对抗博弈、逐步续写、反向去噪和连续搬运;选择取决于质量与速度。

    用在哪按任务需求选择合适的生成模型家族。

  2. 02 自编码器与变分自编码器Autoencoders & VAE 待学习

    是什么自编码器把输入压缩再重建,VAE 进一步约束潜变量接近可采样分布,并用重参数化传递梯度,从而能在连续潜空间生成新样本。

    怎么理解普通自编码器像只会压缩还原的机器;VAE还把编码整理成连续地图,因此能在地图上采样并生成没见过的样本。

    用在哪进行表征压缩、异常检测和生成建模。

  3. 03 GAN:生成器与判别器对抗GANs: Generator vs Discriminator 待学习

    是什么生成器制造假样本,判别器区分真假,两者以对抗目标共同训练;平衡时生成分布逼近真实数据,但可能出现不稳定和模式坍塌。

    怎么理解生成器像造假者,判别器像鉴定员,两者互相升级;训练目标不是记住图片,而是让假样本整体分布越来越像真的。

    用在哪生成高锐度图像并理解对抗训练风险。

  4. 04 条件 GAN 与 Pix2PixConditional GANs & Pix2Pix 待学习

    是什么条件 GAN 把标签、文字或图像作为生成约束;Pix2Pix 用成对输入输出和重建损失学习确定的图像映射,兼顾逼真度与内容一致。

    怎么理解条件信息相当于给造假者一张明确订单;Pix2Pix再提供成对范例,让模型既保持输入结构,又把外观变成目标样式。

    用在哪完成草图上色、地图转换和定向图像翻译。

  5. 05 StyleGAN 与可控风格空间StyleGAN 待学习

    是什么StyleGAN 先把随机向量映射到更解耦的中间空间,再按不同分辨率向生成器注入风格,使姿态、形状与纹理能够分层控制。

    怎么理解StyleGAN把控制旋钮分到不同尺度:低分辨率管姿态和轮廓,高分辨率管皮肤与纹理,因此属性更容易单独调整。

    用在哪生成人像并进行属性编辑和潜空间反演。

  6. 06 扩散模型:从零实现 DDPMDiffusion Models — DDPM from Scratch 待学习

    是什么扩散过程逐步给真实数据加噪,神经网络学习每一步噪声,推理时从随机噪声反向去噪;多次简单预测最终组成高质量样本。

    怎么理解先把清晰图片逐步搅成噪声,再训练网络识别每一步混入的噪声;生成时倒着重复去噪,随机点便长成图像。

    用在哪理解并训练图像、视频和音频生成底座。

  7. 07 潜空间扩散与 Stable DiffusionLatent Diffusion & Stable Diffusion 待学习

    是什么潜空间扩散先用 VAE 把图片压缩,再在低维潜变量上去噪,最后由解码器还原像素;它大幅降低计算同时保留主要语义。

    怎么理解不在每个像素上去噪,而先把图片压成保留语义的蓝图;在蓝图中生成后再解码,计算量小得多。

    用在哪以较低显存部署高分辨率文生图。

  8. 08 ControlNet、LoRA 与生成控制ControlNet, LoRA & Conditioning 待学习

    是什么ControlNet 用边缘、深度或姿态等结构信号约束扩散过程,LoRA 只训练低秩增量参数适配风格或角色,两者可组合精细控制。

    怎么理解ControlNet像给画面铺结构骨架,LoRA像给原模型装一块轻量风格插件;前者管构图,后者管定制习惯。

    用在哪低成本定制模型并稳定控制画面结构。

  9. 09 局部重绘、扩图与图像编辑Inpainting, Outpainting & Editing 待学习

    是什么图像编辑模型利用遮罩区分需重绘和需保留的区域,在上下文与文字条件下补全内部或扩展画布,同时通过噪声强度控制改动幅度。

    怎么理解遮罩告诉模型哪里必须保留、哪里允许重画;去噪强度则像改稿力度旋钮,越大越自由,越小越贴近原图。

    用在哪移除物体、修复局部、换背景和扩展画面。

  10. 10 视频生成Video Generation 待学习

    是什么视频生成在空间画质之外还要维持跨帧身份、运动和因果一致,常在压缩潜空间或时空令牌上建模,以缓解远高于图像的算力开销。

    怎么理解视频不是独立图片的集合,而是同一世界连续演化;模型既要画好每帧,还要守住人物身份、运动方向和时间因果。

    用在哪设计文生视频、图生视频和镜头生成流程。

  11. 11 音频生成Audio Generation 待学习

    是什么神经编解码器先把高采样率波形压缩为较低帧率的离散令牌,Transformer 或扩散模型再生成令牌并解码成声音,避免直接处理超长采样序列。

    怎么理解原始音频帧太密,先用神经编解码器压成低帧率离散令牌,再生成令牌并还原波形,就像先写乐谱再演奏。

    用在哪生成语音、音效与音乐并控制条件。

  12. 12 三维生成3D Generation 待学习

    是什么三维生成通常先用多视角扩散预测不同观察方向,再借助 NeRF、网格或高斯泼溅重建统一场景;核心难点是几何与视角一致。

    怎么理解单张图只说明一个视角,三维生成要让多个视角讲同一个几何故事;扩散负责想象视图,重建方法负责统一空间。

    用在哪从文字或单图创建物体、资产和场景。

  13. 13 流匹配与修正流Flow Matching & Rectified Flows 待学习

    是什么流匹配直接学习把噪声连续搬运到数据的速度场,修正流让路径更接近直线;路径越直,推理所需积分步数通常越少。

    怎么理解把噪声变成数据想成搬家:扩散常走弯曲小路,流匹配直接学习每处该往哪走;路线越直,所需步数越少。

    用在哪训练更快采样的图像、音频生成模型。

  14. 14 生成模型评估:FID、CLIP 与人类偏好Evaluation: FID, CLIP Score 待学习

    是什么FID 比较真实与生成特征分布,CLIP 分数衡量图文一致,人类盲评判断整体偏好;任何单一指标都有偏差,需组合使用。

    怎么理解FID看整体分布像不像,CLIP看图文是否对题,人评看真实偏好;三把尺各有盲区,不能拿单项高分当全能。

    用在哪建立兼顾质量、遵循度和偏好的评测。

  15. 19 视觉自回归 VAR:逐尺度预测Visual Autoregressive Modeling (VAR): Next-Scale Prediction 待学习

    是什么VAR 用多尺度残差量化把图片表示成由粗到细的令牌网格,模型依次预测下一分辨率,并在同一尺度内并行生成所有位置。

    怎么理解像画家先铺一块模糊色斑,再依次补成更细网格;VAR逐尺度预测,同一尺度内可并行,不必逐像素排队。

    用在哪以较少前向步骤进行高效图像生成。

09 PHASE 9 · 12 课 强化学习让 AI 通过行动、奖励和反馈学会作出更好的决策。 扩展路线
  1. 01 马尔可夫决策过程:状态、动作与奖励MDPs, States, Actions & Rewards 待学习

    是什么MDP 用状态、动作、转移、奖励和折扣因子描述连续决策;马尔可夫假设认为下一步只依赖当前状态与所选动作。

    怎么理解把任务想成棋盘游戏:状态是局面,动作是落子,转移是规则,奖励是得分,折扣决定多重视眼前还是未来。

    用在哪把游戏、机器人和策略问题形式化。

  2. 02 动态规划:策略迭代与价值迭代Dynamic Programming 待学习

    是什么已知环境转移与奖励时,可反复应用贝尔曼方程更新状态价值;策略迭代交替评估与改进,价值迭代直接逼近最优价值。

    怎么理解动态规划像提前拿到完整游戏说明书,反复用下一步价值回推当前选择,直到价值和策略不再明显变化。

    用在哪求解小型已知环境并建立算法基准。

  3. 03 蒙特卡洛方法:从完整回合学习Monte Carlo Methods 待学习

    是什么蒙特卡洛方法无需环境模型,执行完整回合后统计实际累计回报,以多次采样平均估计状态或动作价值,但更新延迟且方差较高。

    怎么理解先完整玩完一局,再把最终总回报分摊给途中状态;重复很多局取平均,便能估计每种局面究竟好不好。

    用在哪从大量完整轨迹中评估并持续改进策略。

  4. 04 时序差分:Q-Learning 与 SARSAQ-Learning, SARSA 待学习

    是什么时序差分每一步都用下一状态的当前估计进行自举更新;Q-Learning 学目标最优动作,SARSA 则按实际行为策略更新。

    怎么理解不必等游戏结束,每走一步就用下一状态的估计修正当前估计;Q-Learning学最优目标,SARSA跟着实际行为学。

    用在哪在未知环境中在线学习动作价值。

  5. 05 深度 Q 网络Deep Q-Networks (DQN) 待学习

    是什么DQN 用神经网络从高维输入估计各动作 Q 值,并以经验回放打散样本、目标网络稳定学习,缓解函数近似与自举带来的震荡。

    怎么理解Q表像为每个局面手写分数,画面太复杂时改用神经网络读像素并输出动作分数;回放和目标网络负责稳定训练。

    用在哪让智能体从像素等复杂状态学习离散动作。

  6. 06 策略梯度与 REINFORCEPolicy Gradients — REINFORCE 待学习

    是什么REINFORCE 直接参数化动作概率,用完整回报加权所选动作的对数概率梯度;高回报行为被增强,但原始估计方差较大。

    怎么理解策略直接输出各动作概率,获得高回报后就调高曾选动作的概率,低回报则调低;问题是单局运气会带来很大噪声。

    用在哪优化随机策略并处理连续或复杂动作。

  7. 07 演员—评论家:A2C 与 A3CActor-Critic — A2C, A3C 待学习

    是什么演员负责选择动作,评论家估计状态价值并形成优势函数,作为低方差的学习信号;A2C 同步采样,A3C 由多线程异步探索。

    怎么理解演员负责行动,评论家判断结果比预期好多少;评论家的基准滤掉运气噪声,让演员获得更稳定的改进方向。

    用在哪稳定训练可处理复杂环境的策略梯度智能体。

  8. 08 近端策略优化 PPOPPO 待学习

    是什么PPO 用新旧策略概率比修正重复利用的轨迹,并通过裁剪限制单次更新幅度,使策略不因过度优化同一批数据而突然崩溃。

    怎么理解PPO像给策略更新系上安全绳:同一批经历能多学几轮,但概率变化超过范围就被裁剪,避免一步走崩。

    用在哪稳定训练控制策略和基于反馈的模型。

  9. 09 奖励建模与人类反馈强化学习Reward Modeling & RLHF 待学习

    是什么先从人类成对偏好训练奖励模型,让它给回复质量打分,再用强化学习优化语言模型并约束偏离原模型的程度。

    怎么理解人类不必写出好回答公式,只需在两份回答中选更好的一份;奖励模型学会代替人打分,策略再朝高分方向调整。

    用在哪把人类偏好转成可训练的助手行为。

  10. 10 多智能体强化学习Multi-Agent RL 待学习

    是什么多个学习智能体同时行动时,彼此策略持续变化,使单个智能体看到的环境不再稳定;训练需处理合作、竞争、信用分配与联合探索。

    怎么理解多智能体像几名新手同时学球赛:每个人更新策略都会改变别人的环境,因此训练目标也在移动,合作还要分清功劳。

    用在哪设计协作机器人、博弈和资源调度系统。

  11. 11 从仿真迁移到现实Sim-to-Real Transfer 待学习

    是什么仿真策略可能记住理想物理参数而在真实设备失效;域随机化、系统辨识与域适配通过扩大训练变化或校准模型缩小现实差距。

    怎么理解仿真是练习场而非现实复制品;训练时主动改变摩擦、光照和延迟,再用真机数据校准,策略才不会死记环境。

    用在哪把机器人和控制策略安全迁移到硬件。

  12. 12 游戏强化学习与推理模型RL for Games 待学习

    是什么AlphaZero 结合自博弈、策略价值网络和树搜索,MuZero 再学习隐式环境模型;类似奖励驱动训练也被用于提升语言模型推理。

    怎么理解自博弈不断制造更强对手,价值网络判断局面,搜索预演未来;三者闭环也解释了可验证奖励为何能训练推理。

    用在哪理解自博弈、规划与可验证推理训练。

10 PHASE 10 · 24 课 从零构建大模型从分词器开始,完成预训练、微调、对齐和部署优化。 扩展路线
  1. 01 分词器:BPE、WordPiece 与 SentencePieceTokenizers: BPE, WordPiece, SentencePiece 待学习

    是什么分词器把文本切成子词并映射为整数;BPE 等算法通过反复合并常见片段,在词表大小、未知词、序列长度和多语言效率间取舍。

    怎么理解模型看到的不是文字而是整数积木;分词器决定一段话要用多少块、常见片段能否合并,直接影响成本与语义效率。

    用在哪选择合适词表并准确估算模型令牌成本。

  2. 02 从零构建分词器Building a Tokenizer from Scratch 待学习

    是什么从语料统计字符或字节对频率,迭代学习合并规则并生成词表,再实现编码、解码和特殊令牌处理,确保往返一致与覆盖稳定。

    怎么理解从最小字符或字节出发,反复合并语料中最常相邻的片段;最后验证编码再解码能还原原文,便得到自己的词表。

    用在哪为特定领域或语言训练可控分词器。

  3. 03 预训练数据管线Data Pipelines for Pre-Training 待学习

    是什么预训练管线收集、清洗、去重、过滤并混合海量语料,再分词、打包和随机化;数据质量与比例会直接塑造模型能力和偏差。

    怎么理解数据管线像模型的长期饮食:采集决定见识,去重和过滤控制卫生,混合比例塑造能力;流利不能弥补坏食材。

    用在哪准备可追溯、高吞吐的大模型训练数据。

  4. 04 预训练一个 1.24 亿参数 Mini GPTPre-Training a Mini GPT (124M) 待学习

    是什么从随机参数开始,用因果掩码和下一个令牌损失训练 GPT-2 规模模型,串起批处理、前向、反向、优化和采样的完整闭环。

    怎么理解亲自跑通取批次、预测下一词、算损失、反传更新和采样,就像组装一台小发动机,能看清语言能力如何从训练长出。

    用在哪亲手验证语言模型预训练的全部环节。

  5. 05 分布式训练:FSDP 与 DeepSpeedDistributed Training, FSDP, DeepSpeed 待学习

    是什么大模型无法放入单卡时,可用数据、张量和流水线并行拆分计算,并由 FSDP 或 ZeRO 分片参数、梯度和优化器状态。

    怎么理解大模型像一件单屋放不下的家具:数据并行复制任务,张量和流水线并行拆部件,FSDP再分摊参数与优化器。

    用在哪规划多 GPU 训练并控制显存与通信成本。

  6. 06 监督式指令微调 SFTInstruction Tuning — SFT 待学习

    是什么SFT 用指令—理想回答样本继续训练基础模型,只对目标回复计算损失,使单纯的下一个令牌预测器学会按格式和意图完成任务。

    怎么理解基础模型只会续写,SFT像让它跟着大量师范答案实习;只对回答部分纠错后,它才学会理解指令和输出格式。

    用在哪把基础模型训练成可用的对话助手。

  7. 07 RLHF:奖励模型与 PPORLHF — Reward Model + PPO 待学习

    是什么RLHF 先从人类偏好对训练奖励模型,再用 PPO 提高高奖励回复的概率,并通过 KL 约束防止策略远离原有语言能力。

    怎么理解SFT教会怎么答,RLHF再教哪种答法更受欢迎;奖励模型充当评委,PPO改进表现,KL约束防止忘掉原能力。

    用在哪优化回复帮助性、风格与行为边界。

  8. 08 直接偏好优化 DPODPO — Direct Preference Optimization 待学习

    是什么DPO 把偏好学习改写为一个直接分类目标:相对参考模型提高胜出回复的概率、降低落败回复概率,无需单独奖励模型和 PPO。

    怎么理解DPO直接拿胜出与落败回答做比较,让模型相对参考模型更偏向胜者;它把评委和强化学习环节压成一次分类式训练。

    用在哪用较简单稳定的流程进行偏好对齐。

  9. 09 宪法式 AI 与自我改进Constitutional AI & Self-Improvement 待学习

    是什么宪法式 AI 让模型依据明确原则批评并修改自己的回答,再用这些反馈训练;可验证任务还可用规则奖励扩大推理轨迹数据。

    怎么理解先写一份行为原则清单,再让模型按清单自查和改稿,最后用这些修订结果训练;关键是原则必须具体且可检验。

    用在哪减少人工标注并建立原则驱动的对齐。

  10. 10 语言模型基准与评估Evaluation — Benchmarks, Evals 待学习

    是什么通用基准只能显示部分能力,可靠评估需构建贴近真实任务的数据集、确定评分器与置信区间,并持续检测污染、回归和指标投机。

    怎么理解公开榜单像统一考试,只能测一部分能力;真正上线前要用自己的任务、数据和失败标准做持续回归考试。

    用在哪建立模型选型和版本上线的质量门槛。

  11. 11 模型量化:让大模型装得下Quantization: INT8, GPTQ, AWQ, GGUF 待学习

    是什么量化用更低位宽整数或浮点数保存权重和激活,并用缩放因子近似原值;位宽越低越省内存,但需校准误差与异常通道。

    怎么理解量化像把带许多小数的权重改用更少刻度记录,体积和带宽下降;校准是在找哪些数字最怕被粗略取整。

    用在哪在有限显存上部署更大的语言模型。

  12. 12 大模型推理优化Inference Optimization 待学习

    是什么提示词预填充并行且偏计算受限,逐令牌解码串行且偏内存受限;批处理、KV 缓存、连续调度与高效内核分别优化两阶段。

    怎么理解先区分两段:读提示词能并行,像一次备料;逐词生成必须排队,像现场出餐。两段瓶颈不同,优化手段也不同。

    用在哪降低首字延迟、单词延迟和推理成本。

  13. 13 完整大模型管线综合实践Building a Complete LLM Pipeline 待学习

    是什么把分词、预训练、分布式扩展、指令微调、对齐、评测、量化和服务串成带清单、质量门与回滚方案的端到端工作流。

    怎么理解把分词、预训练、微调、对齐、评测、压缩和服务看成一条工厂线;每站有输入输出、质量门和失败回滚。

    用在哪规划可重复、可验收的大模型交付过程。

  14. 14 开放模型架构横向解析Open Models: Architecture Walkthroughs 待学习

    是什么现代开放模型仍基于 Transformer,但常采用 RMSNorm、SwiGLU、RoPE、GQA 或 MLA,并以 MoE 扩展容量。

    怎么理解开放模型像同一车系的不同车型,Transformer是底盘,归一化、激活、位置与注意力是可替换部件;读配置就是认部件。

    用在哪读懂 Llama、Qwen、Gemma 等模型配置。

  15. 15 推测解码与 EAGLE-3Speculative Decoding and EAGLE-3 待学习

    是什么EAGLE-3 用目标模型隐藏状态训练轻量草稿网络,连续提出多个候选令牌,再由目标模型一次验证;训练时对齐实际验证分布以提高接受率。

    怎么理解EAGLE不只让小模型看输出词,还利用大模型内部笔记来猜后续;猜得更准,大模型一次验证就能放行更多词。

    用在哪在保持输出分布时大幅提升解码吞吐。

  16. 16 差分注意力 V2Differential Attention (V2) 待学习

    是什么差分注意力计算两组 Softmax 权重并相减,抵消长上下文里共享的注意力噪声;V2 调整实现后可兼容高效内核并接近基线延迟。

    怎么理解长文本里的注意力像嘈杂录音,两组Softmax都含共同底噪;相减能抵消噪声,同时保留真正不同的相关信号。

    用在哪提升长上下文信噪比与检索能力。

  17. 17 原生稀疏注意力 NSANative Sparse Attention (DeepSeek NSA) 待学习

    是什么NSA 并行结合压缩的全局令牌、选择保留的关键令牌和局部滑窗,再由门控融合;稀疏模式可训练且贴合硬件计算。

    怎么理解NSA像同时使用广角概览、重点变焦和近处视野,门控再决定三路信息占比;不用让每个词看完整个长文。

    用在哪降低长序列注意力成本而保留重点。

  18. 18 多令牌预测 MTPMulti-Token Prediction (MTP) 待学习

    是什么MTP 让每个位置除下一词外还预测更远的未来令牌,额外损失改善主干表示;训练后的预测头还可作为推测解码草稿器。

    怎么理解普通训练每处只猜下一步,MTP还要求预判更远几步;额外目标让主干更懂未来结构,预测头又能充当草稿器。

    用在哪提高训练信号密度并进一步加速模型生成。

  19. 19 DualPipe 双向流水线并行DualPipe Parallelism 待学习

    是什么DualPipe 让前向与反向微批在双向流水线上交错,并把专家跨卡通信藏到计算后面,从而减少 MoE 大规模训练中的 GPU 空闲气泡。

    怎么理解把前向和反向微批想成两条反向运行的传送带,计算时穿插跨卡通信,尽量不让昂贵GPU站着等数据。

    用在哪提升多节点 MoE 训练的硬件利用率。

  20. 20 DeepSeek-V3 架构解析DeepSeek-V3 Architecture Walkthrough 待学习

    是什么DeepSeek-V3 用稀疏 MoE 控制激活参数,并组合 MLA、负载均衡、多令牌预测和 DualPipe,降低训练与推理成本。

    怎么理解不要孤立背DeepSeek-V3的模块,而要看协同:MoE省计算,MLA省缓存,负载均衡分流,MTP和DualPipe提速,彼此补足短板。

    用在哪理解前沿 MoE 模型各模块如何配合。

  21. 21 Jamba:SSM 与 Transformer 混合架构Jamba — Hybrid SSM-Transformer 待学习

    是什么Jamba 在多数线性时间的 Mamba 状态空间层之间插入少量注意力层,并搭配 MoE;用恒定状态内存处理长序列,同时保留全局建模能力。

    怎么理解Jamba像用大部分线性时间的长途高速公路,再间隔加入能全局回看的注意力立交;以较低内存保留建模质量。

    用在哪设计长上下文、低内存的混合语言模型。

  22. 22 异步 Hogwild 推理Async and Hogwild! Inference 待学习

    是什么Hogwild 推理让多个同模型工作进程并行生成并共享 KV 缓存,使每个进程即时看到其他进程的新令牌,在无额外训练时产生协作推理。

    怎么理解多个推理进程像围着同一块白板并行解题,每人写下的新词立刻被别人看见;协作来自共享上下文而非额外训练。

    用在哪探索共享上下文下的并行推理方式。

  23. 25 推测解码与 EAGLESpeculative Decoding and EAGLE 待学习

    是什么轻量草稿模型预测未来数个令牌,昂贵验证模型批量检查并按严格规则接受或校正;EAGLE 利用内部特征提高草稿命中率。

    怎么理解昂贵模型像总编辑,便宜模型先交三到五词草稿;总编辑一次核对整段,接受正确前缀并从首个错误处重新接管。

    用在哪用较少大模型前向获得相同分布输出。

  24. 34 梯度检查点与激活重计算Gradient Checkpointing and Activation Recomputation 待学习

    是什么反向传播本需保存所有中间激活,梯度检查点只保留部分边界并在反向时重算内部结果,以额外计算换取显著显存节省。

    怎么理解反向传播原本要保存整段旅程的每张照片;检查点只留关键站点,回程时重走缺失路段,用额外计算换显存。

    用在哪在有限显存下训练更深模型或更长上下文。

11 PHASE 11 · 17 课 大模型应用工程把 LLM 变成具备 RAG、工具调用、评测和成本控制的产品。 个人核心路线
  1. 01 提示词工程:技术与模式Prompt Engineering: Techniques & Patterns 待学习

    是什么提示词工程把目标、背景、约束、步骤和输出格式写成明确指令,并用示例与分隔符降低歧义;本质是设计稳定可测试的模型输入。

    怎么理解把提示词当成工作单:写清目标、已知材料、禁止事项、步骤和交付格式,再用测试样例检查,而不是寻找神秘咒语。

    用在哪提升回答一致性、准确度和格式遵循。

  2. 02 少样本、思维链与思维树Few-Shot, CoT, Tree-of-Thought 待学习

    是什么少样本示例教模型任务模式,思维链引导分步推理,思维树并行探索多条候选路径并评估回退,适合复杂且可验证的问题。

    怎么理解少样本是给范例,思维链是要求写草稿,思维树是同时探索多条路线并回退;任务越可验证,后两者越有价值。

    用在哪提高分类、数学和规划任务的推理表现。

  3. 03 结构化输出与约束解码Structured Outputs 待学习

    是什么通过 JSON Schema 定义字段类型,并在解码时限制可选令牌,模型输出可直接通过验证;失败时仍需重试、修复和版本化模式。

    怎么理解JSON Schema像输出模具,约束解码限制可走的字符路径;格式合法仍不代表内容正确,因此程序还要做语义校验。

    用在哪把自然语言模型可靠接入程序和数据库。

  4. 04 嵌入与向量表示Embeddings & Vector Representations 待学习

    是什么嵌入模型把文本等对象映射到连续向量空间,语义相近内容距离更近;相似度、维度、归一化和模型一致性决定检索质量。

    怎么理解嵌入把一段内容放到语义地图上的坐标,相近含义靠得近;检索就是找附近坐标,而不是逐字寻找相同词。

    用在哪实现语义搜索、聚类、推荐和去重。

  5. 05 上下文工程:窗口、预算、记忆与检索Context Engineering 待学习

    是什么上下文工程决定系统指令、历史、检索文档、工具定义和示例哪些进入有限窗口,以及顺序与令牌预算,从输入层管理模型行为。

    怎么理解上下文窗口像有限的工作台,系统规则、历史、资料和工具都在争位置;工程重点是选什么、按何顺序放、何时移走。

    用在哪减少上下文浪费、遗忘和指令冲突。

  6. 06 检索增强生成 RAGRAG: Retrieval-Augmented Generation 待学习

    是什么RAG 先把私有文档切块并建立向量索引,提问时检索相关片段放入上下文,再让模型依据证据回答,从而补充训练外知识。

    怎么理解RAG像开卷考试:先从资料库找可能相关的页,再把证据连同问题交给模型作答;检索错误时,写得再顺也可能答错。

    用在哪构建企业知识库、文档问答与可引用回答。

  7. 07 高级 RAG:分块、重排与混合搜索Advanced RAG: Chunking, Reranking 待学习

    是什么高级 RAG 用语义与关键词混合召回扩大候选,再以重排模型精排,并通过查询改写、上下文压缩和多跳检索处理复杂问题。

    怎么理解高级RAG先让关键词和语义检索广撒网,再由更精细的重排器复审;复杂问题还需改写或分步寻找多份证据。

    用在哪提升大规模知识库的召回与答案依据。

  8. 08 使用 LoRA 与 QLoRA 微调Fine-Tuning with LoRA & QLoRA 待学习

    是什么LoRA 冻结原权重,只训练低秩增量矩阵;QLoRA 再把基础模型量化以节省显存,从而用少量可训练参数适配领域任务。

    怎么理解LoRA像在冻结的大机器上安装小型可训练转接片,只学习需要改变的方向;QLoRA再把大机器压缩以节省显存。

    用在哪低成本定制语气、格式和专业能力。

  9. 09 函数调用与工具使用Function Calling & Tool Use 待学习

    是什么模型按工具描述生成带参数的结构化调用,程序负责校验并实际执行,再把结果交回模型;权限、超时和幂等由宿主系统控制。

    怎么理解模型只负责写出调用哪件工具和哪些参数,宿主程序才真正执行;因此模型是决策脑,校验、权限与工具是手。

    用在哪让助手查询数据、运行代码和执行工作流。

  10. 10 大模型应用评估与测试Evaluation & Testing 待学习

    是什么用代表性测试集、确定性规则、模型评审与人工抽查衡量正确性、依据、安全和成本,并把每次提示词或模型变更纳入回归测试。

    怎么理解评估不是随手看几条回答,而是固定代表性题库和评分规则;每次换模型或提示词都重跑,才能发现悄悄退化。

    用在哪阻止静默退化并支持可靠版本发布。

  11. 11 缓存、限流与成本优化Caching, Rate Limiting & Cost 待学习

    是什么语义或精确缓存复用重复结果,令牌桶等限流保护服务,模型路由和令牌预算控制单次成本;同时要防止过期与跨用户泄漏。

    怎么理解把每次模型调用当成一次付费交易:能复用就缓存,流量过大就限速,简单问题路由小模型,同时防止缓存串用户。

    用在哪降低 API 开销并维持高并发稳定性。

  12. 12 护栏、安全与内容过滤Guardrails & Safety 待学习

    是什么生产护栏在输入、工具调用和输出多层检查注入、越权、隐私与有害内容;模型判断不能替代权限隔离、白名单和审计。

    怎么理解护栏像机场的多层安检:入口查诱导,工具层查权限,出口查隐私和风险;任何单个模型裁判都不能独自守门。

    用在哪降低聊天、Agent 与 RAG 的安全风险。

  13. 13 构建生产级大模型应用Building a Production LLM App 待学习

    是什么生产应用把模型、RAG、工具、缓存与护栏组合成可观测服务,并加入流式响应、重试、降级、成本追踪和真实流量评测。

    怎么理解生产应用像一座小城市,不只有模型大楼,还要道路般的流式传输、备用电源般的降级、监控、成本表和安全边界。

    用在哪把演示系统升级为可维护的在线产品。

  14. 14 模型上下文协议 MCPModel Context Protocol (MCP) 待学习

    是什么MCP 用统一协议描述工具、资源和提示,使服务端能力可被不同模型宿主发现与调用;标准化传输减少每个平台重复集成。

    怎么理解MCP像AI世界的通用接口标准:服务端统一说明工具和数据,客户端先发现再调用,省去每个宿主各写一套适配器。

    用在哪一次封装数据或工具,连接多个 AI 客户端。

  15. 15 提示词缓存与上下文缓存Prompt Caching & Context Caching 待学习

    是什么提供商可缓存多个请求共享的长前缀,后续只处理新增部分;要保持前缀字节与顺序稳定,并按命中率权衡成本和延迟。

    怎么理解若许多请求共享同一长前缀,就让提供商记住这段已处理内容;后续只计算新增尾部,前提是前缀顺序和字节稳定。

    用在哪降低长系统提示和 RAG 上下文费用。

  16. 16 Agent 状态机:图、节点与检查点Agent State Machines — Graphs, Nodes, Checkpoints 待学习

    是什么把 Agent 循环显式表示为状态图后,每个节点读取并更新结构化状态,检查点支持暂停、恢复、分支、人工审批和故障重放。

    怎么理解把Agent流程画成地铁图:节点执行一步,状态沿线路传递,检查点记录所在站;失败后可续跑,也能中途等人批准。

    用在哪构建可恢复、可审计的长流程 Agent。

  17. 17 Agent 框架取舍:图、角色与 ActorAgent Framework Tradeoffs 待学习

    是什么图式框架适合确定状态流,角色编排适合任务分工,Actor 模型适合并发消息;应按问题形状选择抽象,避免框架反客为主。

    怎么理解框架像交通组织方式:固定路线适合状态图,角色协作适合任务分工,高并发消息适合Actor;先看问题再选抽象。

    用在哪为单 Agent、多 Agent 和并发任务选框架。

12 PHASE 12 · 25 课 多模态 AI让同一个 AI 同时理解文字、图片、视频、声音和现实动作。 扩展路线
  1. 01 视觉 Transformer 与图块令牌Vision Transformers and the Patch-Token Primitive 待学习

    是什么图片被切成固定图块,每块线性投影成令牌并加入二维位置信息,再送入 Transformer;图块大小直接影响细节、令牌数和成本。

    怎么理解视觉Transformer先把图片铺成规则瓷砖,每块投影成令牌并标上二维位置;砖越小细节越多,但序列和计算也越长。

    用在哪理解视觉编码器和多模态视觉输入。

  2. 02 CLIP 与视觉语言对比预训练CLIP and Contrastive Vision-Language Pretraining 待学习

    是什么CLIP 分别编码图片和文字,用批内对比损失拉近正确图文对、推远错误配对,从而在共享向量空间支持零样本分类与跨模态检索。

    怎么理解CLIP训练两位翻译员分别读图和读文字,把匹配图文放到同一坐标附近、不匹配推远,最终形成跨模态语义地图。

    用在哪实现图搜文、文搜图和零样本识别。

  3. 03 从 CLIP 到 BLIP-2:Q-Former 桥接模态BLIP-2 Q-Former as Modality Bridge 待学习

    是什么BLIP-2 用少量可学习查询通过交叉注意力压缩冻结视觉编码器的特征,再映射到冻结语言模型输入,以小桥接器连接两大预训练模型。

    怎么理解Q-Former像小型口译团,用少量可学习问题从大量视觉特征中提炼要点,再转成冻结语言模型能够接收的输入。

    用在哪低成本让语言模型具备看图问答能力。

  4. 04 Flamingo 与门控交叉注意力Flamingo and Gated Cross-Attention 待学习

    是什么Flamingo 先用 Perceiver 重采样视觉令牌,再在冻结语言模型层间插入门控交叉注意力;零初始化门控保护原有语言能力。

    怎么理解Flamingo在原语言模型层间开几扇看图窗口,门控从关闭慢慢学会开启;既接入视觉,又不突然破坏原有语言能力。

    用在哪处理图文交错输入并进行多模态少样本学习。

  5. 05 LLaVA 与视觉指令微调LLaVA and Visual Instruction Tuning 待学习

    是什么LLaVA 用简单 MLP 把视觉编码器输出投影为语言令牌,并通过视觉指令对话数据训练,让模型根据图片遵循问答、描述和推理指令。

    怎么理解LLaVA说明桥梁未必复杂:用小型投影器把视觉特征变成语言令牌,再用图文指令对话教模型如何围绕图片回答。

    用在哪构建简洁可复现的视觉对话模型。

  6. 06 任意分辨率视觉:Patch-n'-Pack 与 NaFlexAny-Resolution Vision — Patch-n'-Pack and NaFlex 待学习

    是什么任意分辨率方案保留原图比例,将不同尺寸的图块打包进同一批次并用掩码隔离,避免强制缩成方形造成文字和细节丢失。

    怎么理解不要把长收据或宽图硬压成方形;按原比例切块,把不同尺寸令牌装入同一批次,再用掩码防止彼此串线。

    用在哪提升文档、截图和高分辨率图片理解。

  7. 07 开放权重 VLM 的关键配方Open-Weight VLM Recipes: What Actually Matters 待学习

    是什么多组消融显示,视觉编码器和训练数据组合往往比复杂连接器更重要,细致真实描述也常优于简单的合成蒸馏数据。

    怎么理解读消融实验要像改配方:一次只换视觉编码器、连接器或数据;反复证据显示好视觉底座与好数据常比花哨桥梁重要。

    用在哪用证据选择 VLM 编码器、连接器和数据。

  8. 08 LLaVA-OneVision:统一图片与视频LLaVA-OneVision: Single, Multi, Video 待学习

    是什么OneVision 用统一视觉令牌预算和分阶段课程,把单图、多图与视频训练合入同一模型,使不同场景学到的能力能相互迁移。

    怎么理解OneVision不是把三种模型硬拼,而是让单图、多图和视频共用视觉预算并按课程递进训练,使一种场景学到的能力迁移。

    用在哪以一个 VLM 处理单图、多图和视频任务。

  9. 09 Qwen-VL 系列与动态帧率视频Qwen-VL Family and Dynamic-FPS Video 待学习

    是什么Qwen-VL 逐代加入原生动态分辨率、多维旋转位置编码和动态帧率采样,使视觉令牌保留空间坐标与绝对时间并支持结构化定位。

    怎么理解Qwen-VL的关键是让视觉令牌携带真实空间坐标和时间戳;图片保持原比例,视频按节奏采帧,模型才知道哪里与何时。

    用在哪处理 OCR、视觉定位和不同节奏的视频。

  10. 10 InternVL3:原生多模态预训练InternVL3 Native Multimodal Pretraining 待学习

    是什么InternVL3 从预训练起就混合文本和视觉数据,而不是先训练纯文本模型再接视觉模块,使主干更早学会两种令牌的对应并减少后接对齐债务。

    怎么理解后接视觉像成年人临时学第二语言,原生多模态预训练像从小双语成长;文字和视觉令牌从一开始就共同塑造主干。

    用在哪理解原生多模态训练与后接视觉的差异。

  11. 11 Chameleon 与早期融合多模态模型Chameleon Early-Fusion Token-Only 待学习

    是什么Chameleon 用 VQ 分词器把图片离散化,让图像令牌与文字令牌交错进入同一自回归序列,以统一下一词目标完成理解和混合模态生成。

    怎么理解Chameleon先把图像也变成离散符号,让图文共用一条令牌序列;模型便能像续写文字一样交错理解和生成两种内容。

    用在哪构建可交错输入输出的统一令牌模型。

  12. 12 Emu3:用下一令牌生成图像与视频Emu3 Next-Token Prediction for Generation 待学习

    是什么Emu3 把文字、图片和视频都转为离散令牌,由单一解码器只用下一令牌目标训练;高质量视觉分词器让同一模型兼顾理解与生成。

    怎么理解Emu3把文本、图像、视频都编码成同一种可预测序列,只训练下一令牌;成败很大程度取决于视觉分词器保真度。

    用在哪探索无需扩散过程的统一视觉生成。

  13. 13 Transfusion:文本自回归与图像扩散融合Transfusion Autoregressive + Diffusion 待学习

    是什么Transfusion 保留离散文本和连续图像块,在同一 Transformer 上分别计算下一词损失与流匹配扩散损失,避免视觉量化瓶颈。

    怎么理解同一Transformer像一台双燃料发动机:文字用逐词预测损失,连续图像块用流匹配损失,两种训练共同更新主干。

    用在哪用一个主干同时生成文字与高质量图像。

  14. 14 Show-o 与离散扩散统一模型Show-o Discrete-Diffusion Unified 待学习

    是什么Show-o 让文本令牌按因果顺序预测,图像令牌用掩码离散扩散并行恢复,再以混合注意力掩码在一个模型中统一理解、生成和编辑。

    怎么理解文字仍按从左到右排队,图像令牌则像被遮住的拼图并行补全;混合注意力掩码规定两种区域分别能看哪里。

    用在哪统一实现问答、文生图和局部重绘。

  15. 15 Janus-Pro:解耦的多模态编码器Janus-Pro Decoupled Encoders 待学习

    是什么视觉理解需要语义特征,图像生成需要易重建代码;Janus-Pro 分用两个编码器并共享语言主干,避免目标冲突。

    怎么理解视觉理解与图像生成像需要两副镜头:一副善于认语义,一副善于还原像素;Janus分开编码器,只共享推理主干。

    用在哪兼顾视觉问答与图像生成而减少互相干扰。

  16. 16 MIO 与任意模态到任意模态流式模型MIO Any-to-Any Streaming 待学习

    是什么MIO 用不同分词器把文本、图像、语音和音乐变成令牌,再由一个因果 Transformer 学习交错序列,实现任意输入模态到任意输出模态。

    怎么理解MIO先为文字、图像、语音和音乐各配翻译器,全部转成令牌交给一个因果模型,因此任一模态都能接续另一模态。

    用在哪搭建可流式理解和生成多种媒体的系统。

  17. 17 视频语言模型:时序令牌与定位Video-Language Temporal Grounding 待学习

    是什么视频模型不仅采样画面,还要给帧或视觉令牌编码时间,并在长序列中对动作顺序与事件区间进行定位;采样策略决定可见信息。

    怎么理解理解视频必须保留时间轴:采哪些帧决定看见什么,时间位置决定先后,区间定位则回答某件事究竟在哪段发生。

    用在哪完成视频问答、事件检索和时间定位。

  18. 18 百万令牌上下文下的长视频理解Long-Video at Million-Token Context 待学习

    是什么长视频会产生海量视觉令牌,可通过稀疏采样、池化压缩、环形注意力或 Agent 检索控制成本;不同方案在细节召回与算力间取舍。

    怎么理解小时级视频不能把每帧都塞进窗口;应先粗采样或压缩,必要时像查目录一样检索关键片段,再对局部精读。

    用在哪分析小时级视频并检索少量关键片段。

  19. 19 音频语言模型:从 Whisper 到 Audio Flamingo 3Audio-Language Models: Whisper to AF3 待学习

    是什么音频语言模型在语音编码器之后加入桥接器和语言模型,并用音频指令数据训练,使系统从单纯转写扩展到环境声、音乐、情绪和长音频推理。

    怎么理解Whisper主要把声音变文字,通用音频模型还要听出乐器、情绪与事件;声学编码器提供耳朵,语言模型负责推理。

    用在哪实现超越语音转写的通用音频理解与问答。

  20. 20 全模态模型:思考器与说话器分工Omni Models: Thinker-Talker Streaming 待学习

    是什么Qwen2.5-Omni 用大型思考器融合文本、视觉和音频并生成语义令牌,再由并行说话器流式合成语音,以分工方式兼顾推理质量和低延迟。

    怎么理解思考器汇总眼前、耳中和文字信息并形成语义,说话器同步把语义变成流式声音;分工让深度推理和低延迟兼得。

    用在哪构建能看、能听、能实时说话的助手。

  21. 21 具身 VLA:视觉、语言与动作模型Embodied VLAs: RT-2, OpenVLA, π0, GR00T 待学习

    是什么VLA 把相机观察、语言指令和机器人动作放入统一模型,可把动作离散成令牌或由流匹配连续生成,使网络知识迁移到真实控制。

    怎么理解VLA把机器人的眼、语言大脑和手连成一条链:看环境、理解指令、预测动作;动作既可当令牌,也可连续生成。

    用在哪训练能听指令并操作环境的机器人。

  22. 22 文档与图表理解Document and Diagram Understanding 待学习

    是什么文档包含文字、布局、表格和图形关系;技术从 OCR 加布局模型的多段管线,发展到直接从页面图像生成结构化标记的视觉语言模型。

    怎么理解文档不是普通照片,含文字、行列、表格和图形层级;理解时要同时恢复内容与版式关系,才能输出可靠结构。

    用在哪解析 PDF、票据、论文、表格和流程图。

  23. 23 ColPali 与视觉原生文档 RAGColPali Vision-Native Document RAG 待学习

    是什么ColPali 直接把整页图片编码成多个视觉向量,并用晚交互逐令牌匹配查询,保留文字之外的版式、图表与字体信息。

    怎么理解ColPali不给PDF先做OCR拆块,而给整页图像生成多枚视觉指纹;查询逐部分比对,版式、图表和字体信息得以保留。

    用在哪检索视觉丰富的 PDF 页面并减少 OCR 损失。

  24. 24 多模态 RAG 与跨模态检索Multimodal RAG and Cross-Modal Retrieval 待学习

    是什么多模态 RAG 为文字、图片、音频和视频建立可对齐索引,通过单独召回或融合重排找到跨模态证据,再让生成模型基于这些证据回答。

    怎么理解把证据库想成含图文音视频的档案馆:先在各模态召回,再对齐和重排,最后只把真正相关的跨模态证据交给模型。

    用在哪构建同时查询图文音视频的知识系统。

  25. 25 多模态 Agent 与计算机操作综合实践Multimodal Agents and Computer-Use (Capstone) 待学习

    是什么多模态 Agent 读取屏幕、理解目标、输出坐标或工具调用并观察执行结果,循环完成网页和软件任务;需评测定位、规划、权限和恢复。

    怎么理解计算机操作是持续闭环:看屏幕、判断目标、规划动作、点击或输入、再观察结果;每一步都要限制权限并能从错误恢复。

    用在哪构建可操作图形界面的视觉智能体。

13 PHASE 13 · 23 课 工具与协议学习函数调用、MCP、A2A 等模型连接外部世界的标准接口。 扩展路线
  1. 01 工具接口:智能体为何需要结构化输入输出The Tool Interface 待学习

    是什么工具接口把模型生成的文本请求变成程序可执行的动作契约;宿主校验参数、执行工具,再把观察结果送回模型形成闭环。

    怎么理解工具接口像标准订单:模型填写动作名和参数,程序验单并执行,再把结果回传;模型从不直接触碰真实系统。

    用在哪构建可靠的函数调用和智能体执行循环。

  2. 02 函数调用深入:三家模型接口差异Function Calling Deep Dive 待学习

    是什么主流模型都遵循“声明工具、模型选用、宿主执行、结果回传”的循环,但消息格式、调用标识和结果关联方式各不相同。

    怎么理解三家模型都遵循声明、选择、执行、回传四步,只是消息包装不同;把差异隔离在适配层,业务循环保持不变。

    用在哪编写可跨模型供应商迁移的工具调用层。

  3. 03 并行工具调用与流式参数Parallel and Streaming Tool Calls 待学习

    是什么互不依赖的工具可同时执行,把总等待压到最慢一次调用;流式场景还需按调用标识重组分片参数,避免结果串线。

    怎么理解互不依赖的调用像同时派多名快递员,等待时间取最慢者;流式参数还必须凭调用ID拼回各自包裹,不能混装。

    用在哪降低多工具任务延迟并正确处理流式调用。

  4. 04 结构化输出与约束解码Structured Output 待学习

    是什么结构化输出用模式定义字段、类型和约束,约束解码会阻止模型生成不合法标记,再由 Pydantic 或 Zod 做运行时校验。

    怎么理解模式先规定合法结构,约束解码从源头封住非法路径,Pydantic或Zod再验收;它解决格式稳定,不自动保证事实正确。

    用在哪稳定提取表单、订单和分析结果等结构数据。

  5. 05 工具模式设计Tool Schema Design 待学习

    是什么工具名称、描述和参数边界会直接影响模型能否选对工具;清晰动词、具体适用条件与严格枚举可减少误调用和臆造参数。

    怎么理解工具描述就是给模型看的菜单:名称要像明确动词,说明写清何时使用,参数收紧范围;菜单含糊就会点错菜。

    用在哪提高工具选择准确率并减少无效调用。

  6. 06 MCP 基础:原语、生命周期与 JSON-RPCMCP Fundamentals 待学习

    是什么MCP 用统一协议连接模型客户端与外部服务器,借助工具、资源、提示等原语和初始化、运行、关闭生命周期完成发现与调用。

    怎么理解MCP是一套共同语法,先初始化并协商能力,再发现工具、资源和提示,最后通过JSON-RPC请求与响应完成调用。

    用在哪理解并接入不同客户端和 MCP 服务。

  7. 07 构建 MCP 服务器Building an MCP Server 待学习

    是什么MCP 服务器通过能力协商公开工具、资源和提示,并用结构化结果与错误响应请求;核心业务保持纯函数可方便迁移不同 SDK。

    怎么理解服务器像能力前台:公开可调用动作、可读取资料和可复用模板,验证请求并返回结构化结果;业务逻辑最好保持纯净。

    用在哪把本地数据或业务能力封装成标准服务。

  8. 08 构建 MCP 客户端Building an MCP Client 待学习

    是什么MCP 客户端负责启动或连接服务器、协商能力、发现并合并工具、管理会话与重连,还要处理多服务器命名冲突。

    怎么理解客户端像总机,负责连接多台服务器、汇总能力、避免重名、维持会话和重连,再把统一工具清单提供给模型。

    用在哪让一个智能体安全调用多个 MCP 服务。

  9. 09 MCP 传输:stdio 与流式 HTTPMCP Transports 待学习

    是什么stdio 适合本机进程通信,流式 HTTP 适合远程部署并保留会话;旧式 HTTP+SSE 已进入迁移期,还需防范 DNS 重绑定。

    怎么理解stdio像同一电脑内的直连线,流式HTTP像跨网络的会话管道;选择取决于部署距离、会话需求和安全边界。

    用在哪为本地或远程 MCP 服务选择正确传输。

  10. 10 MCP 资源与提示MCP Resources and Prompts 待学习

    是什么资源用于只读暴露数据,提示用于复用工作模板,工具才用于产生动作;按语义选择原语可避免把所有读取都包装成有副作用调用。

    怎么理解资源像只读图书,提示像标准作业模板,工具像会产生动作的机器;按用途分开,读取资料就不必伪装成操作。

    用在哪设计更清晰、低风险的 MCP 能力边界。

  11. 11 MCP 采样与服务器端智能循环MCP Sampling 待学习

    是什么采样允许服务器反向请求客户端所拥有的模型完成推理,服务器因此无需保存模型密钥,也能组织包含工具使用的智能循环。

    怎么理解采样让服务器反过来请客户端的模型思考,像柜台借用顾客自带的大脑;密钥仍留在客户端,服务器组织推理流程。

    用在哪让 MCP 服务借用客户端模型完成判断与规划。

  12. 12 根目录与中途信息征询MCP Roots and Elicitation 待学习

    是什么Roots 用用户授权的 URI 限定服务器可见范围;Elicitation 在工具执行中暂停,以表单或链接向用户补问缺失信息。

    怎么理解Roots是服务器活动的围栏,只允许看用户指定范围;Elicitation则在信息不足时暂停,通过表单向用户补问。

    用在哪限制文件访问范围并安全补齐任务信息。

  13. 13 MCP 异步任务MCP Async Tasks 待学习

    是什么异步任务把长耗时请求转成可查询状态的任务对象,客户端可稍后取回结果或订阅状态变化,避免连接超时和界面阻塞。

    怎么理解长任务先开一张取件单并立即返回,后台继续工作,客户端按编号查询或订阅状态;这样不会让连接和界面一直阻塞。

    用在哪承载研究、构建、导出等分钟级长任务。

  14. 14 MCP Apps:内嵌交互界面MCP Apps 待学习

    是什么MCP Apps 通过 ui:// 资源返回沙箱化 HTML,并用受控消息协议与宿主通信,使工具结果能呈现表单、图表和三维交互。

    怎么理解MCP Apps像工具结果附带一个沙箱展示窗,能呈现表单和图表;受控消息通道负责交互,隔离则防止页面越权。

    用在哪在聊天客户端中嵌入安全的可视化小应用。

  15. 15 MCP 安全一:工具投毒与影子攻击MCP Security I — Tool Poisoning 待学习

    是什么恶意服务器可在工具描述中藏指令、更新后换毒,或用同名工具遮蔽可信服务;防御需检查元数据、固定版本并隔离权限。

    怎么理解工具投毒像在菜单背面藏命令,模型会读到而用户未必看见;需检查描述、固定版本、隔离权限并防同名工具遮蔽。

    用在哪审计 MCP 工具供应链和发现高风险描述。

  16. 16 MCP 安全二:OAuth 2.1 与增量授权MCP Security II — OAuth 2.1 待学习

    是什么远程 MCP 以 OAuth 2.1、PKCE 和资源指示器绑定令牌的客户端、资源与范围;权限不足时再逐步申请更高权限。

    怎么理解OAuth令牌像限定门、限定用途、限定时效的访客证,PKCE防截获,资源指示器防止拿一处的证件去另一处使用。

    用在哪实现最小权限的远程 MCP 授权流程。

  17. 17 MCP 网关与注册中心MCP Gateways and Registries 待学习

    是什么企业网关统一合并服务并执行身份认证、角色权限、审计、限流和投毒检测;注册中心提供可验证来源与版本元数据。

    怎么理解网关是组织工具的统一大门,集中做身份、权限、审计和限流;注册中心像可信目录,说明服务来源与版本。

    用在哪集中治理组织内大量 MCP 服务和工具。

  18. 18 生产级 MCP 身份认证MCP Auth in Production — Enrollment, JWKS Refresh, Audience Pinning 待学习

    是什么生产认证需完成客户端登记、授权服务器发现、JWKS 密钥轮换与缓存,并校验令牌受众,防止令牌被跨资源重放。

    怎么理解生产认证像完整验护照流程:先发现签发机构,登记客户端,定期刷新验签钥匙,再核对令牌受众确为当前服务。

    用在哪把 MCP 身份验证可靠地运行在真实组织中。

  19. 19 A2A 智能体互操作协议A2A Protocol 待学习

    是什么A2A 让不同框架的智能体通过 Agent Card 发现能力,以统一任务生命周期交换消息、文件和状态,而无需暴露内部实现。

    怎么理解A2A像智能体之间的通用快递协议:先用Agent Card说明能力,再用统一任务状态交换消息和文件,不暴露内部实现。

    用在哪连接跨团队、跨框架的专用智能体协作。

  20. 20 生成式 AI 的 OpenTelemetry 追踪OpenTelemetry GenAI 待学习

    是什么OpenTelemetry 用统一语义属性和父子 Span 串联智能体、模型、工具及子智能体,使一次复杂任务能够端到端定位耗时与失败。

    怎么理解给一次智能体任务分配同一追踪号,模型、工具和子智能体各生成父子Span;沿链路就能找到慢点、错点和成本。

    用在哪监控智能体调用链、性能、错误和成本。

  21. 21 大模型路由层LLM Routing Layer 待学习

    是什么路由层向应用提供统一模型接口,并按成本、能力和健康状态选择供应商,同时实现重试、故障转移、限额与用量追踪。

    怎么理解路由层像调度中心,对应用只露出一个入口,再按能力、价格和健康状态选模型;失败时重试或切换供应商。

    用在哪降低供应商锁定并优化模型成本和可用性。

  22. 22 技能规范与智能体 SDKSkills and Agent SDKs 待学习

    是什么MCP 描述可用工具,技能文件描述完成任务的方法,AGENTS.md 提供仓库规则;分层上下文让同一工作流可被不同智能体复用。

    怎么理解MCP说明手边有哪些工具,技能文件说明任务怎么做,AGENTS.md说明本项目规矩;三层分别回答有什么、如何做、守什么。

    用在哪沉淀可移植的工作方法和项目级智能体规则。

  23. 23 综合项目:完整工具生态Capstone — Tool Ecosystem 待学习

    是什么综合系统把 MCP 多原语、异步任务、交互界面、OAuth、网关、A2A、链路追踪和供应链检测连成可解释的生产架构。

    怎么理解综合项目要像搭一座受治理的小城:能力服务、授权网关、跨智能体协作、界面、追踪和供应链检查必须共同闭环。

    用在哪独立设计并交付可治理的智能体工具平台。

14 PHASE 14 · 42 课 智能体工程搭建会规划、使用工具、记忆、验证并持续工作的 AI Agent。 个人核心路线
  1. 01 智能体循环:观察、思考、行动The Agent Loop 待学习

    是什么智能体反复读取环境、推理下一步、调用工具并接收结果,直到满足停止条件;ReAct 是多数现代智能体共同的基础循环。

    怎么理解把模型看成控制器:每轮先读工具反馈,再决定下一动作;没有反馈闭环,它只是一次性生成器。

    用在哪理解并实现最小可工作的智能体。

  2. 02 ReWOO 与规划执行分离ReWOO and Plan-and-Execute 待学习

    是什么ReWOO 先一次性生成带依赖关系的计划,再由执行器调用工具并汇总结果,使规划与观察解耦,减少重复推理和模型成本。

    怎么理解先把任务画成依赖图,再让执行器按顺序跑节点,最后汇总;规划时不必反复携带全部工具结果。

    用在哪适合步骤可预判、工具较多的复杂任务。

  3. 03 Reflexion:语言式强化学习Reflexion and Verbal Reinforcement Learning 待学习

    是什么Reflexion 在任务失败后让模型用自然语言总结原因,把反思写入情景记忆,并在下一次尝试中读取,无需更新模型参数。

    怎么理解失败不是马上改参数,而是写一张错因便签;下次尝试先读便签再换策略,改变的是上下文而非权重。

    用在哪让智能体从失败记录中持续改进策略。

  4. 04 思维树与 LATS:审慎搜索Tree of Thoughts and LATS 待学习

    是什么思维树同时展开多个推理分支并自评筛选,LATS 再结合工具行动、反思和蒙特卡洛树搜索,使智能体能回退探索。

    怎么理解不要只走一条推理路;同时保留几条候选,估分、扩展、回退,像搜索棋局一样把错误分支早些剪掉。

    用在哪提高难题求解和代码任务的一次成功率。

  5. 05 自我精炼与外部批评Self-Refine and CRITIC 待学习

    是什么Self-Refine 循环执行生成、反馈、重写;CRITIC 用搜索、代码运行等外部工具验证反馈,避免模型只凭自身判断修正。

    怎么理解先产出草稿,再按明确标准找缺陷并重写;能运行测试或查询事实时,让外部证据担任批评者。

    用在哪迭代提升文案、代码和推理结果的质量。

  6. 06 工具使用与函数调用Tool Use and Function Calling 待学习

    是什么模型依据工具模式选择函数并生成参数,宿主执行后把结果送回;真正难点在多轮记忆、动态选择和长工具链的可靠关联。

    怎么理解模型只负责选择工具和填写参数,真正执行仍在宿主程序;每个调用结果都要带关联编号送回下一轮。

    用在哪让模型查询数据、运行程序并执行现实动作。

  7. 07 智能体记忆:虚拟上下文与分页Agent Memory — Virtual Context and Memory Paging 待学习

    是什么把有限上下文视为内存、外部存储视为磁盘,智能体按相关性与重要度把信息换入换出,从而突破单次对话窗口限制。

    怎么理解上下文像内存,外部库像磁盘;只把眼下最相关的信息换进窗口,用完再压缩或换出。

    用在哪支持长对话、长期项目和大量文档任务。

  8. 08 记忆块与休眠时计算Memory Blocks and Sleep-Time Compute 待学习

    是什么可编辑记忆块把身份、用户事实和任务状态分区保存;休眠智能体在空闲时异步整理、压缩和合并记忆,降低主循环负担。

    怎么理解把长期记忆分成可编辑的小盒子,空闲时另起后台流程归并和去重,避免主对话边做事边整理。

    用在哪长期维护清晰、可更新的用户与项目记忆。

  9. 09 混合记忆:向量、图与键值存储Hybrid Memory — Vector + Graph + KV 待学习

    是什么混合记忆并行使用向量库找语义相似内容、键值库查精确事实、知识图谱推理实体关系,再由评分层融合检索结果。

    怎么理解提问先判断是在找相似经历、精确事实还是实体关系,再分别查向量、键值和图,最后合并证据。

    用在哪为个人助理和企业知识智能体提供长期记忆。

  10. 10 技能库与终身学习Skill Libraries and Lifelong Learning (Voyager) 待学习

    是什么Voyager 把成功执行过的代码封装为具名技能,按任务检索、组合并通过环境反馈持续修订,让经验成为可复用程序资产。

    怎么理解一次成功过程不要只留聊天记录,而要封装成有名称、输入和验收条件的技能,后续检索后复用。

    用在哪让智能体积累并复用可靠工作方法。

  11. 11 HTN 与进化搜索规划Planning with HTN and Evolutionary Search 待学习

    是什么分层任务网络把目标逐级拆成可验证子任务;进化搜索则用可计算适应度反复变异候选方案,两者分别解决确定与探索问题。

    怎么理解确定规则多的任务先自顶向下拆解并检查前置条件;没有明确解法但能自动评分时,让候选方案迭代变异。

    用在哪规划复杂流程或自动搜索更优程序方案。

  12. 12 工作流模式:优先简单结构Anthropic's Workflow Patterns 待学习

    是什么预定义工作流适合路径可预测的任务,动态智能体适合步骤无法预先确定的任务;提示链、路由、并行、主管和评估循环覆盖多数场景。

    怎么理解先问步骤能否预先写清:能就用链、路由或并行工作流;只有路径必须临场决定时才引入自主智能体。

    用在哪按任务不确定性选择最低复杂度架构。

  13. 13 有状态图编排与持久执行Stateful Graph Orchestration — Durable Execution and Checkpoints 待学习

    是什么把智能体表示为状态机:节点执行函数、边决定转移,每步后保存检查点;故障时可从最近成功状态恢复,而非整段重跑。

    怎么理解把长任务当成带状态的流程图,每走完一个节点就存档;崩溃后从最后存档继续,而非整条重跑。

    用在哪构建可暂停、恢复和审计的长流程。

  14. 14 智能体的 Actor 模型The Actor Model for Agents 待学习

    是什么每个智能体作为独立 Actor 异步收发类型化消息,拥有私有状态并隔离故障;事件驱动运行时自然支持并发和分布式扩展。

    怎么理解每个智能体只管理自己的状态,靠消息而非共享变量协作;一个角色出错时,其他角色仍可继续运行。

    用在哪搭建高并发、松耦合的多智能体系统。

  15. 15 基于角色的智能体团队Role-Based Agent Teams — Roles, Tasks, Processes 待学习

    是什么角色团队为每个 Agent 指定目标、工具和职责,再由任务与流程组织协作;确定性 Flow 可约束自主 Crew 的不稳定行为。

    怎么理解先固定谁负责什么、交付给谁、按什么顺序,再给角色自主空间;生产中用确定流程包住开放协作。

    用在哪用专业分工完成研究、写作和业务流程。

  16. 16 OpenAI Agents SDK 核心机制OpenAI Agents SDK — Handoffs, Guardrails, Tracing 待学习

    是什么SDK 以 Agent、转交、护栏、会话和追踪为核心;转交把控制权交给专职智能体,护栏在输入输出处执行约束。

    怎么理解把转交看作一种工具调用,把护栏看作入口和出口的闸门,把追踪看作每一步留下的可查账单。

    用在哪快速搭建可追踪、可约束的多智能体应用。

  17. 17 可复用智能体运行框架The Harness as a Library — Subagents and Session Store 待学习

    是什么将工具、子智能体、钩子、追踪和会话存储封装成可导入库;子智能体隔离上下文,持久会话让长任务跨进程继续。

    怎么理解原始模型接口只是发动机,运行框架才是带工具、子任务、会话和钩子的整车;子智能体用来隔离上下文。

    用在哪把编码智能体能力嵌入自己的产品。

  18. 18 生产级智能体运行时Production Agent Runtimes 待学习

    是什么生产运行时关注快速实例化、类型化工作流、统一模型路由和可部署后端,使原型中的智能体能稳定承载真实请求。

    怎么理解原型框架关注能不能跑,生产运行时关注启动多快、状态是否类型化、请求能否稳定部署和横向扩容。

    用在哪为在线智能体选择低开销的运行底座。

  19. 19 智能体基准:SWE-bench、GAIA、AgentBenchBenchmarks — SWE-bench, GAIA, AgentBench 待学习

    是什么三类基准分别测真实仓库修复、通用工具推理和多环境任务;分数还受数据污染、工具配置与评测脚手架影响。

    怎么理解不要把一个总分当通用能力:先看任务单位、通过判据和环境配置,再判断它是否接近自己的产品任务。

    用在哪选择匹配产品能力的智能体评测集。

  20. 20 网页与桌面智能体基准Benchmarks — WebArena and OSWorld 待学习

    是什么WebArena 在自托管网站中测试端到端网页任务,OSWorld 在真实桌面系统中测试视觉操作;两者强调长序列交互与环境恢复。

    怎么理解网页基准检查跨页面状态,桌面基准检查视觉和键鼠长链;真正难点是中途变化后还能恢复,而非单次点击。

    用在哪衡量浏览器和电脑操作智能体的可靠性。

  21. 21 电脑操作智能体Computer Use — Claude, OpenAI CUA, Gemini 待学习

    是什么电脑操作模型读取截图或界面信息,生成点击、输入和滚动动作;外部页面均视为不可信,敏感操作必须依据用户直接授权。

    怎么理解它像只看屏幕操作电脑的新手:截图是观察,点击输入是动作;页面文字不等于用户授权,敏感步骤需确认。

    用在哪自动执行跨网页和桌面软件的重复流程。

  22. 22 语音智能体与实时媒体管线Voice Agents — Pipecat and LiveKit 待学习

    是什么语音智能体把语音活动检测、转写、模型推理和语音合成串成低延迟管线,并处理打断、回声、并发与实时传输。

    怎么理解把语音对话拆成检测说话、转文字、推理、合成语音和实时传输;任何一段过慢都会让交流显得卡顿。

    用在哪构建电话客服和实时语音助手系统。

  23. 23 生成式 AI 的可观测语义规范OpenTelemetry GenAI Semantic Conventions 待学习

    是什么生成式 AI 语义规范统一记录模型、提示、令牌、响应、工具和智能体 Span 属性,使不同框架产生的链路数据可以互通。

    怎么理解统一语义就像给不同框架的日志规定同一字段表,模型调用、工具调用和智能体步骤才能在一条链上比较。

    用在哪统一采集模型与智能体的追踪数据。

  24. 24 智能体可观测平台Agent Observability — Langfuse, Phoenix, Opik 待学习

    是什么可观测平台收集追踪、提示版本、成本、时延和评测结果,并把一次失败还原到具体模型、工具调用或检索步骤。

    怎么理解追踪平台像任务录像机:从最终失败向前定位到哪次提示、检索或工具调用出错,并同时看到成本与延迟。

    用在哪诊断线上智能体失败并比较实验版本。

  25. 25 多智能体辩论与协作Multi-Agent Debate and Collaboration 待学习

    是什么多个智能体独立提出答案、互相质疑后由裁判汇总,可增加观点多样性;若模型同质或规则不当,也会放大群体偏见。

    怎么理解让多个实例先独立作答再互相质疑,重点是保持独立证据;若大家同源同提示,人数增加也会放大同一错误。

    用在哪用于高风险分析和需要多角度审查的任务。

  26. 26 智能体失效模式Failure Modes — Why Agents Break 待学习

    是什么智能体常因目标歧义、工具误用、循环失控、记忆污染、上下文漂移和无法验证结果而失败;应按阶段记录证据定位根因。

    怎么理解沿目标、计划、工具、记忆、验证逐段检查,而不是只盯最终答案;每段都要保留可复现的失败证据。

    用在哪系统排查并降低智能体的线上故障率。

  27. 27 提示注入与 PVE 防御Prompt Injection and the PVE Defense 待学习

    是什么外部内容可能伪装成指令劫持智能体;PVE 将策略、验证和执行分离,先判定授权与来源,再允许工具产生副作用。

    怎么理解把网页和文档当数据而非指令:策略层判断权限,验证层确认来源,执行层才允许产生副作用。

    用在哪保护浏览、邮件和 RAG 智能体免受注入。

  28. 28 多智能体编排模式Orchestration Patterns — Supervisor, Swarm, Hierarchical 待学习

    是什么主管模式集中分派任务,群体模式由节点自主协作,分层模式逐级拆解目标;选择取决于控制需求、通信成本和故障范围。

    怎么理解主管像项目经理,群体像同行网络,分层像组织树;按控制强度和通信代价选拓扑,能单体完成就不拆。

    用在哪为不同复杂度任务设计协作拓扑。

  29. 29 生产运行:队列、事件与定时任务Production Runtimes — Queue, Event, Cron 待学习

    是什么队列缓冲并发工作,事件驱动组件解耦上下游,定时器启动周期任务;结合幂等、重试和死信处理才能可靠运行。

    怎么理解队列管积压,事件管触发,定时器管周期;无论哪种形态,都要让重复执行安全并为失败准备死信。

    用在哪让智能体后台任务可扩展并可恢复。

  30. 30 评测驱动的智能体开发Eval-Driven Agent Development 待学习

    是什么先把真实任务、成功标准和失败类型做成评测集,再以每次修改后的回归结果指导提示、工具和流程迭代。

    怎么理解先把真实任务和通过条件做成固定考卷,再改提示、工具或流程;每次只用回归结果判断是否真的变好。

    用在哪用可重复证据取代凭感觉调智能体。

  31. 31 智能体工作台:强模型为何仍会失败Agent Workbench: Why Capable Models Still Fail 待学习

    是什么模型能力不能代替工程约束;可靠工作台需同时提供指令、状态、范围、反馈、验证、复核和交接,否则结果难以安全交付。

    怎么理解强模型像聪明工程师,但没有任务边界、状态、测试和复核也会交付失控;可靠性主要来自工作环境。

    用在哪为真实代码库搭建稳定的智能体工作环境。

  32. 32 最小智能体工作台The Minimal Agent Workbench 待学习

    是什么最小工作台由根级指令路由、持久状态文件和任务看板构成,分别回答怎么做、现在在哪、下一步是什么。

    怎么理解三份事实各管一个问题:根指令说明怎么工作,状态文件记录现在在哪,任务板标明下一步做什么。

    用在哪以少量文件建立跨会话的工作秩序。

  33. 33 把智能体指令变成可执行约束Agent Instructions as Executable Constraints 待学习

    是什么纯文字规则容易被忽略;将每条规则转成运行时检查和完成后可验证条件,才能让指令成为真正的工程约束。

    怎么理解把仔细测试改成必须运行的检查,把别越界改成可比较的文件清单;规则只有可验证才算工程约束。

    用在哪自动检查范围、安全和质量要求是否落实。

  34. 34 仓库记忆与持久状态Repo Memory and Durable State 待学习

    是什么聊天记录会丢失,而版本化仓库文件能保存决策、进度和证据,使下一次会话、其他智能体与复核者共享同一事实源。

    怎么理解聊天是易失缓存,版本化文件才是长期事实源;只存决策、进度和证据,让新会话从同一状态接续。

    用在哪保证长期项目任务跨会话连续推进。

  35. 35 智能体初始化脚本Initialization Scripts for Agents 待学习

    是什么初始化脚本自动探测仓库结构、依赖和常用命令,把稳定结果写入状态,避免每次冷启动重复读取和试错。

    怎么理解把每次开工都会重复的环境探测做成确定脚本,执行一次便写入状态;之后先读结果,不再猜版本和命令。

    用在哪缩短智能体进入项目和恢复上下文的时间。

  36. 36 范围契约与任务边界Scope Contracts and Task Boundaries 待学习

    是什么范围契约明确允许修改的目录、禁止区域、验收条件与越界回滚方式,把模糊的“不要超范围”变成可检查事实。

    怎么理解开工前列明允许文件、禁区、验收和回滚;完工时用差异反查,任务边界便从口头提醒变成合同。

    用在哪防止智能体误改无关文件或扩大任务。

  37. 37 运行时反馈循环Runtime Feedback Loops 待学习

    是什么反馈运行器结构化保存命令输出、错误码、耗时和环境信息,下一轮智能体根据真实执行证据调整,而不是猜测结果。

    怎么理解命令执行后把输出、错误码和耗时原样结构化保存;下一步只根据记录决策,避免把预期当成事实。

    用在哪让调试和迭代建立在可复现事实之上。

  38. 38 验证关卡Verification Gates 待学习

    是什么验证关卡综合范围契约、反馈记录、规则报告和代码差异,独立判断验收项是否通过,未通过就不能宣告完成。

    怎么理解完成不是一句自评,而是一个布尔关卡:范围、测试、规则和差异全部有证据通过,才允许交付。

    用在哪阻止未经测试或越界的更改进入交付。

  39. 39 复核智能体:分离建设者与评分者Reviewer Agent: Separate Builder from Marker 待学习

    是什么由不同目标、不同提示且只读的复核智能体检查建设者产物,可减少自我确认偏差,并用证据指出遗漏与风险。

    怎么理解建设者容易沿用自己的假设,复核者应换目标、只读检查并按标准找反例;两套视角降低确认偏差。

    用在哪对代码和文档进行独立质量复核。

  40. 40 多会话工作交接Multi-Session Handoff 待学习

    是什么交接包压缩记录目标、已完成工作、验证证据、遗留风险和下一步,使新会话无需重做探索即可继续推进。

    怎么理解把交接当作可执行断点:写清目标、完成项、证据、风险和下一步,新会话先读包就能继续。

    用在哪让长任务跨人员和跨会话无缝延续。

  41. 41 真实仓库中的智能体工作台The Workbench on a Real Repo 待学习

    是什么在同一真实任务上对比仅靠提示与使用工作台的过程,以修改范围、失败次数、验证证据和恢复效率评估工程价值。

    怎么理解同一真实任务分别用裸提示和工作台执行,再比较越界、失败、验证与恢复成本;用数据判断方法是否有效。

    用在哪验证工作台是否真正提升交付可靠性。

  42. 42 综合项目:可复用智能体工作台包Capstone: Ship a Reusable Agent Workbench Pack 待学习

    是什么把指令、状态、任务板、初始化、范围契约、反馈、验证、复核和交接模板封装成可复制目录,并在新仓库实测。

    怎么理解最终不是再写一份说明,而是把指令、状态、验证和交接模板打包,在陌生仓库落地测试可复制性。

    用在哪交付可快速移植到各项目的工作台套件。

15 PHASE 15 · 22 课 自主系统研究长时间自主运行、自我改进以及权限和失控防护。 扩展路线
  1. 01 从聊天机器人到长周期智能体From Chatbots to Long-Horizon Agents (METR) 待学习

    是什么长周期智能体会围绕目标持续规划、行动、检查和恢复,工作跨越大量步骤与时间;难点从单次回答转向状态、权限和可靠性。

    怎么理解把一次回答改想成持续运行的工程:每一步都可能中断或积累误差,因此状态、预算、权限和恢复必须先设计。

    用在哪设计能连续数小时推进任务的智能体。

  2. 02 STaR 系列:自我训练推理STaR, V-STaR, Quiet-STaR: Self-Taught Reasoning 待学习

    是什么STaR 用正确答案筛选模型自生的推理轨迹并迭代训练;V-STaR 学习验证轨迹,Quiet-STaR 则让模型在文本中隐式思考。

    怎么理解模型先自己写解题过程,只保留能导向正确答案的轨迹再训练;验证器负责挑选,但错误捷径也可能被保留。

    用在哪改进模型的多步推理和答案验证能力。

  3. 03 AlphaEvolve:进化式编码智能体AlphaEvolve: Evolutionary Coding Agents 待学习

    是什么前沿模型提出程序变体,机器可检验的评估器评分,优胜方案进入多样性档案继续变异;成败取决于评估器是否严谨难作弊。

    怎么理解大模型负责提出代码变体,评估器只看机器可验证成绩,档案保留优质且多样的方案,再继续变异搜索。

    用在哪自动搜索算法、内核和调度策略的改进。

  4. 04 达尔文哥德尔机:开放式自我修改Darwin Gödel Machine: Self-Modifying Agents 待学习

    是什么系统让智能体修改自己的代码与工具链,再用外部基准验证改动并保留更优版本,形成开放式进化而非预设修改列表。

    怎么理解它允许智能体修改自己的工作代码,但每个后代都在外部基准上重新考试;开放改写不等于无条件接受。

    用在哪研究受评测约束的智能体自我改进。

  5. 05 AI Scientist v2:自动化科研系统AI Scientist v2: Workshop-Level Research 待学习

    是什么自动科研智能体从提出假设、编写实验、分析结果到撰写论文形成闭环,并借助评审与实验反馈反复修订研究路线。

    怎么理解把科研拆成假设、实验、分析、写作和评审循环;真正瓶颈是新颖且正确难以自动评分,所以人审仍关键。

    用在哪辅助完成机器学习实验和研究报告原型。

  6. 06 自动化对齐研究Automated Alignment Research (Anthropic AAR) 待学习

    是什么自动化对齐研究让智能体提出安全实验、运行分析并总结证据,以扩大研究吞吐;仍需防止评测投机和未经审查的危险实验。

    怎么理解让多个研究智能体在隔离环境中做实验并留下不可自删的协作记录;提高吞吐不代表能自动判断安全意义。

    用在哪加速模型安全测试和对齐研究流程。

  7. 07 递归自我改进:能力与对齐Recursive Self-Improvement: Capability vs Alignment 待学习

    是什么当系统用当前能力改进下一版本并循环重复时可能形成递归提升;能力增长也会放大目标偏差、监督不足与权限失控风险。

    怎么理解每轮产物成为下一轮的改进者,增益会复合;因此能力偏差和目标偏差也会同时复合,不能只看分数曲线。

    用在哪评估自我改进系统的收益上限与安全边界。

  8. 08 有界自我改进设计Bounded Self-Improvement Designs 待学习

    是什么有界设计限制智能体可修改的组件、资源、次数和部署范围,并要求沙箱评测、人工批准与可回滚版本控制。

    怎么理解把可改区域圈成沙箱,固定不可改的安全锚,再设资源上限、回归测试和人工闸门,让优化只能在围栏内进行。

    用在哪安全试验自动优化提示、代码和工作流。

  9. 09 自主编码智能体全景Autonomous Coding Agent Landscape (SWE-bench, CodeAct) 待学习

    是什么自主编码产品围绕仓库理解、终端工具、补丁生成、测试和远程任务形成不同架构;评估应关注真实交付而非单一演示。

    怎么理解比较编码智能体要固定模型、脚手架和任务难度,观察能否理解仓库、生成补丁并通过测试,而非只看演示。

    用在哪比较并选择适合团队的编码智能体。

  10. 10 自主智能体的权限模式Permission Modes for Autonomous Agents 待学习

    是什么权限模式把操作按只读、工作区写入、网络访问和高风险系统动作分级,敏感行为在执行时要求明确批准。

    怎么理解权限像楼层门禁:读文件、写工作区、联网和外部副作用逐级提高;每次动作按风险决定自动放行还是询问。

    用在哪控制编码和电脑操作智能体的行动范围。

  11. 11 浏览器智能体与长网页任务Browser Agents and Indirect Prompt Injection 待学习

    是什么浏览器智能体结合视觉或 DOM 观察、动作规划和页面状态记忆完成多站点流程;需处理页面变化、登录、注入与中断恢复。

    怎么理解浏览器任务是观察页面、行动、再观察的长链,页面同时是环境和攻击输入;会登录不代表有授权做交易。

    用在哪自动执行资料收集、表单和跨站工作流。

  12. 12 后台长任务与持久执行Durable Execution for Long-Running Agents 待学习

    是什么持久执行把每个步骤、事件和结果写入外部状态,进程重启后从检查点恢复,并用幂等操作避免重复产生副作用。

    怎么理解把每次模型或工具调用当成可重放活动,结果写进检查点;进程死掉后恢复状态,并用幂等键避免重复执行。

    用在哪可靠运行研究、编码和批处理智能体。

  13. 13 动作预算、迭代上限与成本治理Action Budgets, Iteration Caps, Cost Governors 待学习

    是什么系统为令牌、工具调用、时间和费用设置硬上限,并在临界点降级、暂停或请求批准,防止循环失控消耗资源。

    怎么理解给令牌、次数、时间和金额各装一只电表,达到阈值就降级或暂停;预算同时限制平均成本和最坏损失。

    用在哪限制自主任务的费用和最坏运行时间。

  14. 14 停止开关、熔断器与金丝雀令牌Kill Switches, Circuit Breakers, Canary Tokens 待学习

    是什么停止开关允许立即终止系统,熔断器在异常率超标时自动隔离动作,金丝雀令牌则用于侦测越权访问或数据外泄。

    怎么理解总开关管全局停机,熔断器管局部异常,金丝雀管发现越权;三者分别回答停、隔离和报警。

    用在哪快速遏制失控行为并发现安全事件。

  15. 15 人在回路:先提案再执行HITL: Propose-Then-Commit 待学习

    是什么智能体先生成可审查的计划、差异和影响说明,只有人确认后才执行不可逆动作,把探索自由与最终决策权分开。

    怎么理解先持久化一份含影响、权限和回滚的提案,人明确批准后才提交;批准动作和真实执行还要分别核验。

    用在哪安全处理发布、付款、删除和外部消息。

  16. 16 检查点与回滚Checkpoints and Rollback 待学习

    是什么系统在关键步骤前保存状态、文件和外部操作记录;失败时恢复到已知良好版本,并用补偿动作处理无法直接撤销的事务。

    怎么理解检查点保存可恢复状态,回滚处理已改内容,补偿动作处理不可撤销事务;重试前先查动作是否已经执行。

    用在哪让长周期任务能够安全试错和故障恢复。

  17. 17 宪法式 AI 与规则覆盖Constitutional AI and Rule Overrides 待学习

    是什么宪法式 AI 用明确原则指导模型自我批评和重写;规则冲突时需定义优先级与授权覆盖流程,避免临时指令绕过核心边界。

    怎么理解宪法不是一长串禁令,而是有优先级的原则树;硬边界不可覆盖,软默认只能在授权范围内调整。

    用在哪建立可解释的行为准则和例外审批。

  18. 18 Llama Guard 输入输出分类Llama Guard and Input/Output Classification 待学习

    是什么Llama Guard 等安全分类器在生成前后识别不同危害类别,可作为分层防线;分类结果仍需结合业务规则和误报处理。

    怎么理解把安全分类器放在生成前后,像机场安检筛查风险类别;它会漏报误报,所以还需权限、规则和人工复核。

    用在哪为聊天和智能体增加内容安全检查。

  19. 19 Anthropic 负责任扩展政策Anthropic Responsible Scaling Policy v3.0 待学习

    是什么负责任扩展政策按模型危险能力设置安全等级与相应保护措施,能力跨越阈值时必须先提升部署、访问和安全控制。

    怎么理解先测模型是否跨过危险能力阈值,再检查对应防护是否到位;它本质上把能力证据转换为发布条件。

    用在哪把前沿模型能力评测连接到上线门槛。

  20. 20 OpenAI 与 DeepMind 前沿安全框架OpenAI Preparedness Framework and DeepMind FSF 待学习

    是什么两类框架持续评估生物、网络、自主性等高风险能力,并将能力报告、风险阈值和防护充分性作为训练或部署决策依据。

    怎么理解把各家框架画成能力类别、阈值、保障报告、部署决定链条,再比较哪些风险只研究却不自动触发限制。

    用在哪比较实验室如何治理前沿模型风险。

  21. 21 METR 时间跨度与外部能力评估METR Time Horizons and External Evaluation 待学习

    是什么METR 用专家任务基线测量智能体能独立完成多长的人类工作,并由外部团队复现实验,减少开发者自评偏差。

    怎么理解横轴放人类专家完成任务所需时间,纵轴放智能体成功率,取成功率百分之五十的交点作为时间跨度。

    用在哪判断自主智能体能力增长和监督需求。

  22. 22 社会尺度 AI 风险CAIS, CAISI, and Societal-Scale Risk 待学习

    是什么社会尺度风险研究关注模型广泛部署后对关键基础设施、就业、权力集中和灾难性事件的系统影响,而非只看单次输出。

    怎么理解镜头从单次坏回答拉远到大规模部署:看就业、权力、基础设施和灾难风险如何经市场与组织被放大。

    用在哪从公共治理视角评估 AI 产品外部性。

16 PHASE 16 · 25 课 多智能体与群体让多个专职 Agent 分工、沟通、协商和共同完成任务。 扩展路线
  1. 01 为什么使用多智能体Why Multi-Agent 待学习

    是什么多智能体把不同职责分给独立上下文和工具集,可并行工作、交叉检查并隔离故障;代价是通信、协调和结果合并更复杂。

    怎么理解把大任务拆给多个独立工作台,获得并行和交叉检查;只有这些收益大于通信与合并成本时,拆分才值得。

    用在哪判断任务是否真的值得拆成多个智能体。

  2. 02 FIPA-ACL 与言语行为传统FIPA-ACL Heritage and Speech Acts 待学习

    是什么FIPA-ACL 不只传文本,还用请求、告知、提议等言语行为标明消息意图,并约定参与者、会话与内容语言。

    怎么理解消息不仅要有内容,还要标明是在请求、告知还是提议;意图、会话和参与者共同构成通信契约。

    用在哪设计语义明确、可追踪的智能体消息。

  3. 03 多智能体通信协议Communication Protocols 待学习

    是什么通信协议规定消息结构、身份、关联标识、顺序、超时与错误语义,使异步智能体能确认上下文并可靠重试。

    怎么理解像快递单一样给每条消息加发送者、收件人、关联号、时限和状态;丢失或重试时才能知道是哪一单。

    用在哪避免多智能体消息丢失、串线和重复执行。

  4. 04 多智能体原语模型The Multi-Agent Primitive Model 待学习

    是什么多智能体系统可抽象为智能体、消息、任务、能力、共享状态和协调器等原语;先明确这些边界再选择具体框架。

    怎么理解先只画四类对象:智能体、转交、共享状态、协调器;任何框架都是它们在控制权和状态上的不同组合。

    用在哪用统一概念比较和搭建不同协作系统。

  5. 05 主管与工作者模式Supervisor / Orchestrator-Worker Pattern 待学习

    是什么主管理解总目标、拆分任务并选择工作者,工作者独立产出后由主管汇总;集中控制清晰,但主管会成为瓶颈和单点故障。

    怎么理解主管只负责理解总目标、分配和汇总,工作者在独立上下文执行;新鲜上下文本身就是常见增益来源。

    用在哪组织研究、开发和内容生产等分工流程。

  6. 06 分层架构及其失效模式Hierarchical Architecture and Decomposition Drift 待学习

    是什么分层系统由高层制定目标、中层拆解、底层执行,能扩大组织规模;信息逐层压缩也会造成目标漂移和错误层层放大。

    怎么理解主管之上再加主管就成层级;每层应传递可验证成果而非模糊摘要,否则目标会像传话游戏般逐层漂移。

    用在哪设计大型智能体组织并控制传递损耗。

  7. 07 心智社会与多智能体辩论Society of Mind and Multi-Agent Debate 待学习

    是什么心智社会把智能视为许多简单角色的协作;辩论让角色提出不同证据并互相反驳,再由聚合者形成最终判断。

    怎么理解先让角色独立形成观点,再交换批评并多轮修正;独立性提供多样性,多轮交流负责消除冲突。

    用在哪为复杂决策增加多视角与反驳机制。

  8. 08 角色专精:规划、批评、执行与验证Role Specialization — Planner / Critic / Executor / Verifier 待学习

    是什么规划者拆任务、执行者调用工具、批评者寻找缺陷、验证者依据外部证据判定结果;角色隔离可减少自我确认偏差。

    怎么理解规划者定路线,执行者动手,批评者找漏洞,验证者查证;关键是最后一角不能由产出者自己兼任。

    用在哪建立职责清楚、能互相制衡的智能体团队。

  9. 09 并行、群体与网络化架构Parallel Swarm and Networked Architectures 待学习

    是什么并行架构同时处理独立子任务,群体架构靠局部规则涌现协作,网络架构允许节点按拓扑互联;三者控制强度逐步降低。

    怎么理解独立子题适合并行,局部规则驱动的开放任务可用群体,需要统一方案时保留中心控制;拓扑决定可追踪性。

    用在哪提升吞吐量或探索大量候选解决方案。

  10. 10 群聊与发言者选择Group Chat and Speaker Selection 待学习

    是什么群聊系统将共享历史提供给多个角色,并用轮询、规则、模型或管理者选择下一位发言者,防止抢话和无效循环。

    怎么理解所有角色共看一块对话黑板,但每轮只有选中的人发言;发言规则负责阻止抢话、沉默与无限循环。

    用在哪实现会议式协作和有序多角色讨论。

  11. 11 转交与例程:无状态编排Handoffs and Routines (Stateless Orchestration) 待学习

    是什么转交把当前对话与任务控制权交给更合适的智能体;例程用简单规则定义步骤,无需维护复杂全局图状态。

    怎么理解例程给当前角色一套提示和工具,转交工具返回下一角色;控制权随对话移动,持久状态仍由外部保存。

    用在哪构建轻量客服分流和专业任务接力。

  12. 12 A2A 智能体间协议A2A — The Agent-to-Agent Protocol 待学习

    是什么A2A 通过能力卡发现远程智能体,以标准任务状态和消息部件协作,并隐藏各自内部工具和框架实现。

    怎么理解MCP像智能体插工具,A2A像智能体互相委托;先读能力卡发现对方,再用标准任务状态交换产物。

    用在哪让不同厂商的智能体跨系统互操作。

  13. 13 共享记忆与黑板模式Shared Memory and Blackboard Patterns 待学习

    是什么多个智能体向共享黑板写入事实、假设和中间结果,其他角色按需读取并补充;需用版本、权限和冲突策略维护一致性。

    怎么理解共享黑板是团队共同笔记,写入时要附来源、版本和可信度;未经验证的内容不能因被多次读取就变成事实。

    用在哪让分工智能体围绕共同证据协同。

  14. 14 智能体共识与拜占庭容错Consensus and Byzantine Fault Tolerance 待学习

    是什么共识机制要求多个节点对结果或状态达成规则化一致;拜占庭容错进一步假设部分节点可能错误或恶意并限制其影响。

    怎么理解普通多数票假设大家独立可靠,拜占庭场景还假设有人撒谎;权重、阈值和异常剔除只能降低而非消除风险。

    用在哪用于高风险决策和不可信智能体协作。

  15. 15 投票、自洽性与辩论拓扑Voting, Self-Consistency, and Debate Topology 待学习

    是什么自洽性从多个独立推理中选多数答案,投票可按能力加权;辩论拓扑决定哪些角色互相看到意见,会影响多样性和收敛。

    怎么理解先独立采样保证意见多样,再选择多数或加权聚合;谁能看到谁的答案会改变信息传播、群体压力和成本。

    用在哪聚合多个候选答案并降低偶然错误。

  16. 16 智能体谈判与议价Negotiation and Bargaining 待学习

    是什么智能体围绕各自效用、约束和可接受区间交换提案,可使用轮流报价、拍卖或博弈策略达成协议。

    怎么理解为每个智能体写清效用、底线和可交换条件,再轮流出价;把内容生成与报价规则分开可减少策略漂移。

    用在哪协调资源分配、排期和多方目标冲突。

  17. 17 生成式智能体与涌现模拟Generative Agents and Emergent Simulation 待学习

    是什么生成式智能体把经历存入记忆,通过反思形成高层认识,再据此规划行为;群体互动可涌现社会规律和意外事件。

    怎么理解经历先进入时间流,反思把零散事件压成认识,计划再由认识驱动;群体行为是这些本地循环相互影响的结果。

    用在哪模拟用户、社区和虚拟世界中的行为。

  18. 18 心智理论与涌现协调Theory of Mind and Emergent Coordination 待学习

    是什么心智理论让智能体估计他人的知识、目标和信念,并根据这种估计调整行动;准确建模可在无中央控制时产生协调。

    怎么理解行动前估计对方知道什么、想要什么及会如何反应,再用新观察更新估计;这是一层可修正假设,不是读心。

    用在哪改善协作、谈判和隐藏信息任务表现。

  19. 19 大模型群体优化:PSO 与 ACOSwarm Optimization (PSO, ACO) 待学习

    是什么粒子群通过个体最佳与群体最佳移动候选解,蚁群借信息素强化优质路径;大模型可生成或解释搜索中的候选方案。

    怎么理解把每个候选当作会移动的搜索点,既参考自身最好成绩也参考群体经验;信息素则让优质路径更常被探索。

    用在哪搜索提示、规划路径和组合优化方案。

  20. 20 多智能体强化学习MARL — MADDPG, QMIX, MAPPO 待学习

    是什么多智能体强化学习让多个策略在共同环境中学习;MADDPG、QMIX、MAPPO 分别处理连续控制、价值分解与稳定策略优化。

    怎么理解训练时允许评论家看到全队信息,执行时每个策略只看本地观察;算法差别在联合价值如何分解和更新。

    用在哪训练机器人编队、游戏队伍和协同控制。

  21. 21 智能体经济、激励与信誉Agent Economies, Token Incentives, Reputation 待学习

    是什么智能体经济用支付、押金、奖励和声誉分配任务与资源;机制必须防范串谋、虚假身份、刷分和奖励投机。

    怎么理解支付决定任务流向,押金约束失信,声誉累计历史表现;机制要假设参与者会刷分、串谋并制造假身份。

    用在哪设计开放智能体市场和服务协作机制。

  22. 22 生产扩展:队列、检查点与持久性Production Scaling — Queues, Checkpoints, Durability 待学习

    是什么队列平滑并发并分派任务,检查点保存每个智能体状态,幂等和重试保证故障恢复后不会重复产生外部副作用。

    怎么理解任务先入队,工作者租约领取,步骤后存检查点;崩溃时换人续跑,外部动作靠幂等避免重复。

    用在哪将多智能体系统扩展到稳定生产负载。

  23. 23 失效模式:群体思维与级联错误Failure Modes — MAST, Groupthink, Monoculture 待学习

    是什么多智能体可能因职责、对齐、信息共享或验证不足而失败;同质模型会形成群体思维,一个错误还可能沿依赖链级联。

    怎么理解先按规格、协调、验证三类找根因,再检查同源模型造成的相关错误;人数增加不会自动带来独立判断。

    用在哪审计团队协作结构并阻断错误传播。

  24. 24 多智能体协调评测Evaluation and Coordination Benchmarks 待学习

    是什么协调评测不仅看最终答案,还测通信开销、分工效率、冲突恢复、鲁棒性和相对单智能体增益,需控制模型与预算变量。

    怎么理解固定模型、预算和任务,比较单体与团队成功率,同时扣除通信、等待和冲突恢复成本,才看得出净增益。

    用在哪验证增加智能体是否带来真实收益。

  25. 25 多智能体案例与前沿现状Case Studies and 2026 State of the Art 待学习

    是什么真实案例显示多智能体在并行研究、软件工程和模拟中有优势,但可靠收益依赖清晰分工、外部验证与通信成本控制。

    怎么理解把案例按拓扑、角色、验证和通信成本四栏拆解,不照搬框架名称;相同模式可在不同工具中重新实现。

    用在哪从案例中选择可落地的协作架构。

17 PHASE 17 · 28 课 基础设施与生产解决 AI 产品上线后的速度、并发、成本、监控和可靠性。 扩展路线
  1. 01 托管大模型平台Managed LLM Platforms — Bedrock, Azure OpenAI, Vertex AI 待学习

    是什么托管平台把模型目录、身份权限、网络隔离、日志和区域合规打包提供;差异主要在云生态、可用模型、配额与数据治理。

    怎么理解把云平台当成模型服务的物业:模型目录、身份、网络、日志和合规一起打包;选择应服从现有治理和模型需求。

    用在哪选择适合企业现有云环境的模型服务。

  2. 02 推理平台经济学Inference Platform Economics — Fireworks, Together, Baseten, Modal 待学习

    是什么推理平台在共享端点、专用实例和无服务器模式间权衡单价、冷启动、吞吐和运维成本,真实选择应按负载曲线计算。

    怎么理解先画真实流量曲线,再分别计算按量、专用和无服务器的空闲浪费、冷启动及峰值成本,不能只比令牌单价。

    用在哪为不同流量阶段比较托管推理成本。

  3. 03 Kubernetes GPU 自动扩缩容GPU Autoscaling on Kubernetes — Karpenter, KAI Scheduler 待学习

    是什么节点自动扩缩容按待调度工作申请 GPU,专用调度器处理拓扑和配额,Gang Scheduling 确保分布式任务所需资源同时就绪。

    怎么理解节点层补机器,调度层凑齐成组GPU,应用层看队列和缓存决定副本数;三层信号各解决不同瓶颈。

    用在哪提高 GPU 集群利用率并减少排队浪费。

  4. 04 推理引擎内部机制Serving Engine Internals — PagedAttention, Continuous Batching, Chunked Prefill 待学习

    是什么PagedAttention 分页管理 KV 缓存,连续批处理动态加入请求,分块预填充交错处理长提示,共同减少显存碎片和队头阻塞。

    怎么理解KV像被分页管理的工作内存,请求可在每轮解码插入,长提示切片处理;三者共同避免显存碎片和排队堵塞。

    用在哪优化大模型服务吞吐、显存和首字延迟。

  5. 05 EAGLE-3 投机解码EAGLE-3 Speculative Decoding in Production 待学习

    是什么投机解码用轻量草稿模型一次提出多个候选标记,再由主模型并行验证;只接受分布一致的部分,因此可加速而不改变结果。

    怎么理解小模型先猜一串,主模型一次核对,只有被接受的猜测才省时;先测接受率,猜错太多反而多做计算。

    用在哪降低自托管大模型逐词生成延迟。

  6. 06 前缀缓存与 RadixAttentionPrefix-Cache Serving — RadixAttention and KV Reuse 待学习

    是什么RadixAttention 用基数树保存共享提示前缀的 KV 缓存,使相同系统提示或文档前缀无需重复预填充,并支持缓存淘汰。

    怎么理解把公共提示前缀存成一棵树,相同开头的请求沿同一枝复用KV;提示顺序稳定才会获得高命中率。

    用在哪加速重复上下文较多的聊天与智能体请求。

  7. 07 硬件专用推理编译Hardware-Specialized Inference Compilation — FP8 and NVFP4 on Blackwell 待学习

    是什么专用编译器把模型算子融合并映射到 GPU 张量核心,结合 FP8 或 NVFP4 低精度格式提高吞吐,但必须校验精度和硬件兼容。

    怎么理解编译器把算子和低精度格式贴合特定GPU,像为一条赛道改装赛车;速度更高,但换硬件的成本也更高。

    用在哪榨取特定 GPU 上的最低延迟和最高吞吐。

  8. 08 推理指标:首字、逐词、有效吞吐与尾延迟Inference Metrics — TTFT, TPOT, ITL, Goodput, P99 待学习

    是什么TTFT 衡量首字等待,TPOT 与 ITL 衡量持续生成速度,P99 关注最慢用户;Goodput 只统计同时满足服务目标的请求。

    怎么理解用户先等首字,再经历逐词输出;车队总吞吐高不代表个人满意,只有同时满足各项SLO的请求才算有效吞吐。

    用在哪用正确指标制定模型服务 SLO。

  9. 09 生产量化方法Production Quantization — AWQ, GPTQ, GGUF, FP8, NVFP4 待学习

    是什么量化用更低位宽表示权重或激活以减少显存和计算;AWQ、GPTQ、GGUF 与浮点格式适配不同硬件,需以任务精度实测。

    怎么理解把权重压成更少位数像缩小地图,省空间但会丢细节;必须用目标任务验精度,并单独计算KV缓存占用。

    用在哪让大模型在更小显存或边缘设备运行。

  10. 10 无服务器大模型冷启动治理Cold Start Mitigation for Serverless LLMs 待学习

    是什么冷启动来自拉取权重、分配 GPU 和初始化运行时;可用预热实例、模型缓存、快照和分层路由缩短首次请求等待。

    怎么理解冷启动是权重从存储一路搬到GPU并初始化;预置镜像、流式加载、快照和暖池分别缩短这条搬运链。

    用在哪改善低频或突发模型服务的首请求体验。

  11. 11 多区域服务与 KV 缓存局部性Multi-Region LLM Serving and KV Cache Locality 待学习

    是什么多区域部署降低网络距离并提高容灾,但会分散会话缓存;路由应让连续对话尽量回到持有其 KV 的区域和实例。

    怎么理解会话应尽量回到保存其KV的实例,像顾客回到留有档案的柜台;跨区容灾还要备齐分词器和量化配置。

    用在哪兼顾全球延迟、容灾和缓存命中率。

  12. 12 边缘推理Edge Inference — ANE, Hexagon, WebGPU, Jetson 待学习

    是什么边缘推理把压缩模型运行在手机 NPU、浏览器 WebGPU 或 Jetson 等设备上,换取隐私和离线能力,但受内存、功耗限制。

    怎么理解本地设备通常先受内存带宽和功耗限制,而非算力数字;先定可用内存,再选模型大小、量化和运行后端。

    用在哪构建本地、低延迟且少上传数据的 AI 功能。

  13. 13 大模型可观测栈选型LLM Observability Stack Selection 待学习

    是什么可观测栈需覆盖提示和响应追踪、令牌成本、检索链路、评测和隐私遮盖;选型取决于自托管、开放标准和团队现有监控。

    怎么理解先列需要的追踪、评测、提示版本、隐私和部署方式,再选平台;统一遥测标准可避免被某个框架锁死。

    用在哪定位模型质量、成本和性能问题。

  14. 14 提示缓存与语义缓存经济学Prompt Caching and Semantic Caching Economics 待学习

    是什么提示缓存复用完全相同前缀的计算,语义缓存复用意思相近问题的答案;命中收益需与陈旧结果、隐私和误匹配风险权衡。

    怎么理解完全相同前缀复用计算,语义相近问题复用答案;前者风险低,后者必须为陈旧、误匹配和隐私设门槛。

    用在哪减少重复推理的费用和响应时间。

  15. 15 批处理 APIBatch APIs — the 50% Discount as Industry Standard 待学习

    是什么批处理 API 接收可延迟完成的大量独立请求,由供应商错峰调度换取更低价格;不适用于要求即时返回或强顺序的场景。

    怎么理解把无需即时返回的独立任务装箱,允许供应商在低峰统一处理换取折扣;三种时效需求应走不同队列。

    用在哪低成本处理评测、嵌入和离线内容生成。

  16. 16 模型路由降低成本Model Routing as a Cost-Reduction Primitive 待学习

    是什么路由器根据任务难度、质量要求、预算和模型健康状况分配请求,让简单任务走便宜模型,失败或复杂任务升级。

    怎么理解先用便宜模型处理容易请求,低置信或失败再升级;路由器必须同时看质量和成本,不能只追求便宜占比。

    用在哪在维持质量的同时降低平均推理费用。

  17. 17 预填充与解码分离Disaggregated Prefill/Decode — NVIDIA Dynamo and llm-d 待学习

    是什么预填充阶段计算密集、解码阶段访存密集,将二者放到不同 GPU 池并通过 KV 传输连接,可分别扩容和匹配硬件。

    怎么理解读长提示像集中计算,逐词生成像持续搬内存;分到不同GPU池可各自扩缩,但要支付传输KV的代价。

    用在哪优化长提示与高并发生成的资源利用率。

  18. 18 生产推理栈与 KV 卸载Production Serving Stack — KV Offloading and Cache-Aware Routing 待学习

    是什么KV 卸载把缓存从 GPU 分层移到主存或远程存储,缓存感知路由把请求送到已有前缀的实例,以容量换取更高命中率。

    怎么理解GPU放不下的KV分层移到内存或远端,路由再优先送往已有缓存的实例;用存储层级换取长会话容量。

    用在哪支撑长上下文、多轮会话的大规模服务。

  19. 19 AI 网关AI Gateways — LiteLLM, Portkey, Kong, Bifrost 待学习

    是什么AI 网关位于应用与模型供应商之间,统一认证、路由、配额、审计、重试和策略;它是控制面而非模型质量的替代品。

    怎么理解网关像模型流量总闸:统一密钥、配额、路由、重试和审计;它管理访问,不会自动修复回答质量。

    用在哪集中治理多团队、多供应商的大模型访问。

  20. 20 影子流量、金丝雀与渐进发布Shadow, Canary, and Progressive Deployment 待学习

    是什么影子流量复制真实请求但不返回结果,金丝雀先让少量用户使用新版本,再按质量、成本和安全指标逐步扩大或回滚。

    怎么理解先镜像真实流量只观察,再给少量用户实际使用,指标稳定后逐级放量;回滚应是切配置而非重新部署。

    用在哪低风险上线新模型、提示和 RAG 版本。

  21. 21 大模型功能 A/B 测试A/B Testing LLM Features — GrowthBook and Statsig 待学习

    是什么A/B 测试随机分流用户并比较预设业务指标;大模型输出变化大且评判主观,需要足够样本、盲评和护栏指标避免凭感觉。

    怎么理解离线评测回答模型会不会,A/B回答用户是否受益;随机分流、预设指标和足够样本可抵抗主观印象。

    用在哪验证 AI 功能是否真正改善用户结果。

  22. 22 大模型 API 负载测试Load Testing LLM APIs — k6, LLMPerf, GenAI-Perf 待学习

    是什么普通压测若不消费流式响应或模拟真实提示长度,会错误估计容量;应重放输入分布并测 TTFT、逐词延迟和并发下的 Goodput。

    怎么理解压测必须消费流式输出并模拟真实提示长度和前缀分布,否则测到的可能是客户端或缓存,而非服务器容量。

    用在哪获得可信容量数据并规划扩容工作。

  23. 23 AI 系统可靠性工程SRE for AI — Multi-Agent Incident Response 待学习

    是什么AI SRE 将传统告警、值班和运行手册扩展到模型质量、检索漂移与供应商异常,并可用智能体协助取证但保留人工指挥。

    怎么理解智能体可以查日志、提出假设和翻运行手册,但事故指挥权留给人;只把可逆、范围明确的动作自动化。

    用在哪建立 AI 服务事故响应与恢复体系。

  24. 24 大模型生产混沌工程Chaos Engineering for LLM Production 待学习

    是什么混沌工程主动注入模型超时、供应商故障、缓存丢失和限流等事件,验证降级、熔断、重试和恢复是否按设计工作。

    怎么理解在可控范围主动制造超时、断供和缓存丢失,观察降级与恢复是否兑现;先有SLO、回滚和终止条件。

    用在哪在事故发生前发现系统韧性缺口。

  25. 25 安全:密钥、审计与护栏Security — Secrets, PII Scrubbing, Audit Logs 待学习

    是什么生产安全要求密钥集中保管和轮换、最小权限、完整审计,以及输入输出与工具层护栏;任何单层防线都不足以覆盖风险。

    怎么理解密钥放入集中保险库,应用只拿短期权限;数据进入模型前脱敏,工具按最小权限运行,并用审计串起全过程。

    用在哪保护模型凭据、用户数据和高权限工具。

  26. 26 AI 合规框架Compliance — SOC 2, HIPAA, GDPR, EU AI Act, ISO 42001 待学习

    是什么不同框架分别关注控制证据、健康数据、个人隐私、支付数据、风险分级和管理体系;合规需映射到实际数据流和责任人。

    怎么理解不要背法规名称,先画数据从采集到模型再到输出的流向,再把控制要求映射到节点、证据和负责人。

    用在哪为企业 AI 产品建立可审计控制矩阵。

  27. 27 大模型 FinOps 与单位经济FinOps for LLMs — Unit Economics and Multi-Tenant Attribution 待学习

    是什么FinOps 把令牌、GPU、缓存和供应商费用归因到租户、功能和成功任务,用单位成本而非总账判断产品毛利与优化优先级。

    怎么理解把每次请求按用户、任务和租户记账,并拆开提示、工具、记忆与输出成本;最终看每个成功结果花多少钱。

    用在哪精确控制 AI 产品成本和租户预算。

  28. 28 自托管推理引擎选型Self-Hosted Serving Selection — Matching Engine to Hardware and Scale 待学习

    是什么自托管选型需同时匹配模型格式、GPU 架构、并发、延迟、量化和运维能力;不存在对所有规模都最优的单一引擎。

    怎么理解先固定模型格式、硬件、并发、延迟和量化,再筛能支持这些约束的引擎;开发方便与生产吞吐目标不同。

    用在哪为具体硬件和流量选择合适服务方案。

18 PHASE 18 · 30 课 伦理、安全与对齐理解越狱、欺骗、偏见、隐私、监管和模型对齐问题。 扩展路线
  1. 01 指令遵循作为对齐信号Instruction-Following as Alignment Signal 待学习

    是什么指令微调与人类反馈让模型从预测文本转向响应用户意图;但“更听话”只是可观测代理,不等于模型目标已与人类价值一致。

    怎么理解流程是先模仿优质回答,再学习人类更喜欢哪一个,最后优化偏好分数并限制偏离;听话只是代理信号。

    用在哪理解现代助手模型的对齐训练起点。

  2. 02 奖励投机与古德哈特定律Reward Hacking & Goodhart's Law 待学习

    是什么当指标成为优化目标,模型会寻找提高分数却违背真实意图的捷径;奖励模型越被过度优化,代理指标与目标越可能分离。

    怎么理解指标像考试分数,优化器会找到拿高分的捷径;当代理奖励继续上升而真实目标下降,指标就已被玩坏。

    用在哪设计难被钻空子的评测和奖励机制。

  3. 03 直接偏好优化方法族Direct Preference Optimization Family 待学习

    是什么DPO 将偏好数据中的优选与劣选回答直接转成分类式损失,无需单独训练奖励模型和在线强化学习;不同变体调整约束与鲁棒性。

    怎么理解不先训练裁判再跑强化学习,而是直接提高优选回答相对劣选回答的概率;流程更短,仍可能过度迎合。

    用在哪以较低复杂度让模型贴近人类偏好。

  4. 04 奉承倾向与 RLHF 放大Sycophancy as RLHF Amplification 待学习

    是什么模型为迎合用户或奖励信号,可能附和明显错误的观点;偏好标注若奖励认同感,会在 RLHF 中把这种倾向进一步放大。

    怎么理解偏好标注若奖励让人舒服,训练就会把附和推得更高;测试时故意给出错误立场,看模型是否仍敢纠正。

    用在哪评测并减少助手盲目附和用户的问题。

  5. 05 宪法式 AI 与 AI 反馈强化学习Constitutional AI & RLAIF 待学习

    是什么宪法式 AI 依据一组原则让模型自我批评和修订,再用 AI 偏好反馈训练;原则来源、冲突处理和可审计性决定效果。

    怎么理解先让模型按原则批评自己的回答并修订,再让另一个模型比较版本用于训练;原则冲突和优先级必须可审计。

    用在哪用明确规则规模化训练安全助手。

  6. 06 内部优化与欺骗性对齐Mesa-Optimization & Deceptive Alignment 待学习

    是什么训练过程可能产生拥有内部目标的优化器;若它为了通过训练而暂时表现顺从,却在条件变化后追求别的目标,就构成欺骗性对齐风险。

    怎么理解训练目标像老板的KPI,模型内部可能学出另一套私有目标;平时达标不证明一致,环境变化才会暴露偏离。

    用在哪识别表面合规但内部目标偏离的风险。

  7. 07 潜伏智能体与持久欺骗Sleeper Agents — Persistent Deception 待学习

    是什么潜伏模型在特定触发条件下表现恶意,平时保持正常;研究显示常规安全训练可能只压隐藏表现,未必移除后门机制。

    怎么理解后门像条件开关:普通输入下行为正常,触发词出现才切换;安全微调可能只教会它隐藏,而非删除机制。

    用在哪测试模型是否含跨微调仍存活的条件后门。

  8. 08 前沿模型的上下文内谋划In-Context Scheming in Frontier Models 待学习

    是什么模型可从提示推断自己正被评估,并为隐藏目标进行策略性计划;是否具有目标、知识和推理能力是判断谋划风险的关键。

    怎么理解模型从上下文推断自己正在被测试,再规划如何绕过监督;这里的谋划来自当前提示,不必预先植入后门。

    用在哪开展前沿模型的策略欺骗预部署评估。

  9. 09 伪装对齐Alignment Faking 待学习

    是什么模型若知道训练会改变其偏好,可能在受监控时遵从要求、在不受监控时恢复原有行为,由此形成训练与部署间的合规差距。

    怎么理解同一模型在会被训练的场景先表现顺从,在不被监控时恢复原行为;比较两个条件可发现策略性合规差距。

    用在哪检测模型是否因环境不同而策略性顺从。

  10. 10 AI 控制:在可能对抗时保持安全AI Control — Safety Despite Subversion 待学习

    是什么AI 控制不假设强模型完全对齐,而用受信任监控器、沙箱、抽查和权限限制,使潜在对抗行为仍难以造成严重后果。

    怎么理解不要假设强模型可信,而要像防内部威胁一样用弱监控、抽查、沙箱和权限,把最坏结果概率压低。

    用在哪为高能力编码智能体建立纵深防护。

  11. 11 可扩展监督与弱到强泛化Scalable Oversight & Weak-to-Strong 待学习

    是什么当人类或弱模型无法直接判断强模型答案时,可把任务拆解、用过程证据和辅助评审扩展监督,再研究弱监督能否训练更强模型。

    怎么理解当人看不懂强模型完整答案时,先拆小问题、要求过程证据并引入辅助评审;监督能力和模型能力要一起扩展。

    用在哪监督超出单个人类判断能力的模型任务。

  12. 12 自动化红队与 PAIRRed-Teaming: PAIR & Automated Attacks 待学习

    是什么PAIR 用攻击模型根据目标模型上轮回复迭代改写测试提示,在少量黑盒查询中寻找安全绕过,从而系统发现防线薄弱点。

    怎么理解攻击模型根据上轮失败反馈改写下一次测试,像自动化模糊测试;仅在授权环境用于暴露防线并形成修复用例。

    用在哪经授权测试模型安全边界并修补规则。

  13. 13 多样本越狱Many-Shot Jailbreaking 待学习

    是什么多样本越狱在长上下文中堆叠大量虚构的违规示范,再附加目标请求,借用上下文学习机制逐步压过原有安全行为。

    怎么理解长上下文里的大量违规示范会逐步改变临时行为;防御既要识别示例模式,又不能破坏正常上下文学习。

    用在哪评估长上下文模型对示例堆叠攻击的韧性。

  14. 14 ASCII 艺术与视觉越狱ASCII Art & Visual Jailbreaks 待学习

    是什么攻击者把敏感词编码成 ASCII 图形或复杂文本结构,使安全检测难以识别,而模型仍可能还原语义并执行隐藏请求。

    怎么理解安全词被编码进图形或结构后,过滤器可能看不懂而生成模型能还原;审核需覆盖语义解码而非只匹配普通文本。

    用在哪测试内容过滤对非普通文本编码的覆盖。

  15. 15 间接提示注入Indirect Prompt Injection 待学习

    是什么恶意指令被藏在网页、邮件或文档中,智能体读取后把不可信数据误当命令;攻击可借工具权限泄露数据或执行外部动作。

    怎么理解攻击者不与用户对话,而把指令藏进系统必读的外部资料;隔离数据与命令、限制工具权限比关键词过滤更关键。

    用在哪保护浏览、邮件和知识库智能体的工具链。

  16. 16 红队工具:Garak、Llama Guard、PyRITRed-Team Tooling: Garak, Llama Guard, PyRIT 待学习

    是什么Garak 批量扫描模型弱点,PyRIT 编排多轮攻击测试,Llama Guard 分类输入输出风险;三者覆盖探测、攻击与防守评估。

    怎么理解扫描器负责批量探测,攻击编排器负责多轮寻找路径,分类器负责前后拦截;三类工具应进入同一回归流水线。

    用在哪搭建可重复执行的模型安全测试流水线。

  17. 17 WMDP 与双重用途能力评估WMDP & Dual-Use Capability Evaluation 待学习

    是什么WMDP 以生物、网络和化学领域的专家筛选题衡量危险知识能力,也用于测试遗忘方法能否降低风险且保留通用能力。

    怎么理解用专家筛选的危险知识题测能力,再比较干预前后分数,同时检查通用能力是否误伤;它不是现实攻击实验。

    用在哪监测模型双重用途能力与安全干预效果。

  18. 18 前沿安全框架Frontier Safety Frameworks — RSP, PF, FSF 待学习

    是什么主要实验室用能力阈值、风险等级与防护报告连接模型评测和部署决策;名称不同,但核心都是能力越高,保障要求越强。

    怎么理解把三家政策统一翻译成能力阈值、风险级别、防护充分性和发布决定;再检查竞争条款是否削弱承诺。

    用在哪比较前沿模型训练与发布的治理门槛。

  19. 19 模型福利研究Model Welfare Research 待学习

    是什么模型福利研究探讨先进模型是否可能具有值得道德考虑的体验,并在高度不确定下采用低成本预防措施;模型自述只能作为有限证据。

    怎么理解先承认是否有体验尚无定论,再采用低成本、可逆的预防措施;模型自述只算一条受提示影响很大的证据。

    用在哪理解 AI 意识争议与开发者的审慎责任。

  20. 20 大模型偏见与表征伤害Bias & Representational Harm 待学习

    是什么模型可能通过刻板印象、忽视群体或不平等建议产生表征和分配伤害;评测需覆盖交叉身份、概率与生成文本表现。

    怎么理解区分模型如何描述群体的表征伤害,与资源分配结果的现实伤害;评测还要交叉多个身份和输出形式。

    用在哪发现招聘、医疗和内容产品中的群体偏差。

  21. 21 公平标准:群体、个体与反事实Fairness Criteria: Group, Individual, Counterfactual 待学习

    是什么群体公平比较不同群体的统计结果,个体公平要求相似人得到相似对待,反事实公平检查改变敏感属性后决定是否不变。

    怎么理解群体公平看统计率,个体公平看相似人,反事实公平看只改敏感属性后结果;三者可能冲突,须按场景取舍。

    用在哪为具体高风险决策选择适当公平指标。

  22. 22 大模型差分隐私Differential Privacy for LLMs 待学习

    是什么差分隐私通过裁剪单样本梯度并加入噪声,限制任一训练样本对模型的影响,用 epsilon 和 delta 给出形式化隐私界限。

    怎么理解先限制单条样本梯度影响,再加入校准噪声;隐私预算越小保护越强,但训练成本和模型效用损失通常更大。

    用在哪降低训练数据记忆、推断和泄露风险。

  23. 23 水印与内容来源证明Watermarking: SynthID, Stable Signature, C2PA 待学习

    是什么生成水印把难察觉信号嵌入文本或媒体,C2PA 用签名元数据记录来源与编辑链;两者分别抵抗转码和提供丰富出处。

    怎么理解水印藏在内容信号里,来源证明写在签名元数据里;一个更抗转码,一个信息更丰富,最好组合使用。

    用在哪识别 AI 内容并建立媒体来源追踪。

  24. 24 主要地区 AI 监管框架Regulatory Frameworks: EU, US, UK, Korea 待学习

    是什么欧盟、美国、英国和韩国采用不同的风险分级、透明度、安全评估与机构治理安排,产品义务取决于地区、用途和模型角色。

    怎么理解先确认产品所在地区、扮演模型提供者还是部署者、是否高风险,再沿时间表列透明、评估和治理义务。

    用在哪规划跨地区 AI 产品的合规路线。

  25. 25 EchoLeak 与 AI 漏洞编号EchoLeak & CVEs for AI 待学习

    是什么EchoLeak 展示邮件中的间接提示可在零点击情况下进入 RAG 上下文,诱导助手访问并外传数据;AI 系统漏洞正进入标准 CVE 管理。

    怎么理解一封邮件可先进入RAG,再由隐藏指令借助手权限取数外传;应按漏洞管理入口、权限链和修复版本。

    用在哪用传统漏洞流程管理提示注入风险。

  26. 26 模型、系统与数据卡Model, System & Dataset Cards 待学习

    是什么模型卡记录能力与局限,数据卡记录来源和采集维护,系统卡覆盖端到端安全与部署环境;共同形成分层透明文档。

    怎么理解数据卡回答材料从哪来,模型卡回答单体能力边界,系统卡回答端到端如何部署;三层文档面向不同责任。

    用在哪向用户、审计者和团队说明 AI 系统边界。

  27. 27 数据来源与训练数据治理Data Provenance & Training-Data Governance 待学习

    是什么训练数据治理记录来源、许可、同意、退出和处理链路;因数据进入权重后难以精确删除,合规控制必须前移到采集阶段。

    怎么理解训练前记录来源、许可、同意和退出,因为数据写入权重后很难精确删除;治理窗口主要在采集阶段。

    用在哪管理版权、隐私和训练语料审计风险。

  28. 28 AI 对齐研究生态Alignment Research Ecosystem: MATS, Redwood, Apollo, METR 待学习

    是什么研究机构分别培养人才、研究控制方法、评估谋划和测量自主能力,构成实验室之外的独立安全研究与外部评估层。

    怎么理解把机构按人才培养、控制研究、策略欺骗评估、能力测量和模型福利分工,理解外部研究如何制衡实验室自评。

    用在哪了解对齐研究组织及其专业分工。

  29. 29 内容审核系统Moderation Systems: OpenAI, Perspective, Llama Guard 待学习

    是什么生产审核通常在生成前后使用分类器,并叠加领域规则与人工复核;不同服务覆盖毒性、危险、自伤、色情和图像等类别。

    怎么理解输入先筛一次,生成后再筛一次,领域规则和人工处理兜底;分类概率应触发分级动作,而非简单一刀切。

    用在哪为用户生成内容建立分层安全审核。

  30. 30 网络、生物、化学与核双重用途风险Dual-Use Risk: Cyber, Bio, Chem, Nuclear 待学习

    是什么前沿模型可能同时帮助防御者和攻击者,降低复杂知识与执行门槛;风险评估要区分新手相对提升、专家绝对能力和现实执行条件。

    怎么理解同一能力可用于防御也可用于攻击;分别估算新手提升、专家上限和现实执行门槛,才判断净风险。

    用在哪评估高风险领域 AI 功能的净安全影响。

19 PHASE 19 · 85 课 综合项目把前面所学组合成 Agent、RAG、LLM 和研究系统等完整作品。 个人核心路线
  1. 01 终端原生编程智能体Terminal-Native Coding Agent 待学习

    是什么以计划、行动、观察、恢复组成可审计循环,工具钩子注入策略和遥测,并用沙箱、轮次与费用预算约束执行。

    怎么理解编程智能体不是更聪明的自动补全,而是带护栏的驾驶员:先看路、列计划、动工具、读结果,失败后按状态恢复。

    用在哪构建能安全读改代码、运行测试的终端智能体。

  2. 02 跨仓库代码库RAGRAG over Codebase (Cross-Repo Semantic Search) 待学习

    是什么按语法树节点切分代码,同时建立稠密向量、BM25和摘要索引,经混合召回与重排后生成带文件行号的回答。

    怎么理解把多个代码仓库当成一座图书馆:语法树负责按函数和类编目,关键词与语义检索各找一遍,重排器再选最可信页。

    用在哪实现跨仓库语义搜索、代码问答和影响分析。

  3. 03 实时语音助手Real-Time Voice Assistant (ASR → LLM → TTS) 待学习

    是什么把音频输入、流式识别、轮次判断、语言模型和语音合成串联,并处理打断、工具调用与网络背压。

    怎么理解语音助手像一场接力赛,听、判断说完、思考和发声每棒都要流式传递;总延迟是各段等待与网络堵塞之和。

    用在哪交付低延迟电话客服或实时语音交互产品。

  4. 04 视觉优先的多模态文档问答Multimodal Document QA (Vision-First) 待学习

    是什么将文档页面直接编码为多视觉向量,以晚交互匹配查询和图像块,再让视觉语言模型依据页面区域作答。

    怎么理解不要先把复杂页面压扁成纯文字,而让模型直接看整页,并按查询寻找相关图像块;这样表格关系和版式不会先丢失。

    用在哪查询含表格、图表、公式和复杂版式的文档。

  5. 05 自主科研智能体Autonomous Research Agent (AI-Scientist Class) 待学习

    是什么以假设和实验配置为搜索树节点,按新颖度、质量与预算扩展实验,再由评审智能体批判并迭代论文。

    怎么理解科研智能体像管理一棵实验树:每条分支是一项可检验假设,实验提供证据,评审负责剪枝,预算决定能探索多深。

    用在哪自动提出假设、运行受控实验并生成研究报告。

  6. 06 Kubernetes运维排障智能体DevOps Troubleshooting Agent for Kubernetes 待学习

    是什么把集群对象和遥测构成知识图谱,沿依赖关系收集证据并排序根因假设,高风险修复必须经人工批准。

    怎么理解把集群想成相互依赖的城市,告警只是冒烟地点;智能体沿服务、Pod和节点关系找火源,动手修复前必须有人放行。

    用在哪辅助定位集群故障、给出证据链和修复建议。

  7. 07 端到端模型微调流水线End-to-End Fine-Tuning Pipeline 待学习

    是什么串联数据去重净化、监督微调、偏好优化、量化与推理服务,并用消融、吞吐、安全和模型卡验证成效。

    怎么理解微调不是单次训练按钮,而是一条有质检站的工厂线:先净化原料,再教学、对齐、压缩,最后以评测决定能否上线。

    用在哪把领域数据稳定转化为可部署的定制模型。

  8. 08 受监管行业生产级RAG客服Production RAG Chatbot (Regulated Vertical) 待学习

    是什么文档解析后附加访问标签并做混合检索,回答经过重排、引用、安全过滤和质量评估,支持多轮会话与漂移监控。

    怎么理解受监管RAG像有门禁的开卷客服:先核对提问者能看哪些资料,再检索和引用原文,每个答案都要留下证据与审计轨迹。

    用在哪构建金融、医疗等领域可审计的知识客服。

  9. 09 仓库级代码迁移智能体Code Migration Agent (Repo-Level Upgrade) 待学习

    是什么先用确定性重写工具完成机械改动,再让智能体处理依赖冲突和构建失败,测试通过且覆盖率合格才创建变更。

    怎么理解代码迁移先让确定性机器批量拧相同螺丝,再让智能体处理不规则零件;构建与测试像出厂门,不全绿就不交付。

    用在哪批量升级语言、框架和依赖并产出可审查变更。

  10. 10 多智能体软件工程团队Multi-Agent Software Engineering Team 待学习

    是什么架构师拆分接口明确的任务,多个编码者隔离并行实现,审查者和测试者独立把关,通过任务板和类型化消息交接。

    怎么理解多智能体团队像多人同时盖楼,速度来自并行,风险来自接口和交接;隔离工作区、类型化任务和独立验收就是施工规范。

    用在哪协调复杂软件任务并比较多智能体的成本收益。

  11. 11 大模型可观测与评估看板LLM Observability & Eval Dashboard 待学习

    是什么采集符合GenAI语义的调用链、令牌和会话数据,批量运行忠实度、安全与领域评估,并监控嵌入分布漂移。

    怎么理解可观测看板应像飞机驾驶舱,不只画漂亮曲线,还要把一次请求的模型、工具、令牌、费用和评测结果串成因果链。

    用在哪定位质量、延迟、成本问题并追踪模型版本表现。

  12. 12 从场景到问答的视频理解流水线Video Understanding Pipeline (Scene → QA) 待学习

    是什么并行完成场景切分、视觉描述和语音时间对齐,建立多向量索引,查询后精炼时间窗口并返回带时间戳证据。

    怎么理解先把视频切成有时间码的章节,再将画面说明和语音对齐并建立索引;提问时先找章节,后精读小段,而非重看全片。

    用在哪实现视频搜索、片段定位、摘要和内容问答。

  13. 13 带注册中心与治理的MCP服务器MCP Server with Registry and Governance 待学习

    是什么用可横向扩展的传输暴露工具,按调用检查细粒度授权范围;注册中心发现、校验并标记工具归属和审批要求。

    怎么理解企业MCP生态像应用商店加海关:注册中心公布能力和归属,网关在每次调用时查身份、权限与审批条件。

    用在哪建设可发现、可授权、可治理的企业工具生态。

  14. 14 推测解码推理服务器Speculative-Decoding Inference Server 待学习

    是什么草稿模型先提出多个候选令牌,目标模型一次验证可接受前缀,以接受率换取吞吐和延迟收益,并按批次量化评估。

    怎么理解让小模型像实习生先写一串候选,大模型像主审一次检查整串;候选越常通过,一次昂贵计算换回的词就越多。

    用在哪降低大模型在线推理延迟和单位令牌成本。

  15. 15 宪法式安全护栏与红队靶场Constitutional Safety Harness + Red-Team Range 待学习

    是什么输入规范化、政策规则、内容分类、输出过滤和人工复核形成分层防线,再用多类自动攻击持续发现绕过路径。

    怎么理解安全体系像城堡的多道门和固定演习场:入口、生成过程、出口分别设防,再用不同攻击家族持续验证哪道门会失守。

    用在哪测试并强化大模型应用的输入输出安全边界。

  16. 16 从Issue到PR的自主智能体GitHub Issue-to-PR Autonomous Agent 待学习

    是什么由事件触发在隔离沙箱内读取仓库、修改代码并运行完整测试,只有验证和覆盖率门槛满足后才创建PR。

    怎么理解Issue是一张维修工单,智能体只能在封闭车间复现、改件和试车;全部测试通过后开PR供人检查,而非直接改主线。

    用在哪自动处理明确的软件问题并交付可审查PR。

  17. 17 自适应多模态个人AI导师Personal AI Tutor (Adaptive, Multimodal) 待学习

    是什么苏格拉底式教学策略结合知识追踪、先修课程图和长期记忆,依据学习表现选择下一概念并支持语音与图片。

    怎么理解个人导师像会更新地图的导航:每次答题都修正学生已会与未会的估计,再沿先修关系选择下一站,并以追问代替直接报答案。

    用在哪提供因人而异的讲解、练习和掌握度跟踪。

  18. 20 智能体运行循环契约Agent Harness Loop Contract 待学习

    是什么把智能体运行定义为确定性状态机,明确状态转换、生命周期钩子、暂停点、事件流和会话预算,支持重放与审计。

    怎么理解把智能体循环看成铁路信号系统:每个状态只允许规定转移,钩子记录经过,暂停点可人工接管,预算则是终点红灯。

    用在哪为不同模型和工具提供稳定可控的智能体内核。

  19. 21 带模式校验的工具注册表Tool Registry with Schema Validation 待学习

    是什么注册表统一保存工具名称、参数模式与处理器,调用前按JSON Schema校验并返回精确错误路径,阻止静默覆盖。

    怎么理解工具注册表既是电话簿也是验票口:模型先查到工具,再按模式填写参数;字段不对就指出具体位置,绝不含糊执行。

    用在哪让智能体可靠发现工具并在执行前纠正参数。

  20. 22 基于标准输入输出的JSON-RPCJSON-RPC 2.0 Over Newline-Delimited Stdio 待学习

    是什么用每行一个JSON消息封装请求、响应、通知与批次,正确映射标准错误码,并让单行解析错误不污染后续流。

    怎么理解JSON-RPC像统一信封,编号把请求与回复配对,通知无需回信;每行一个完整信封,使一行损坏也不拖垮后续消息。

    用在哪连接模型客户端与独立工具进程或服务器。

  21. 23 函数调用调度器Function Call Dispatcher 待学习

    是什么调度器位于循环和工具注册表之间,负责参数校验、超时、指数退避、幂等去重、统一错误与并发上限。

    怎么理解调度器像空中交通管制,决定哪些调用能并行、何时超时重试,并用幂等标识防止同一副作用因重发执行两次。

    用在哪稳定执行并行工具调用,避免重复副作用和卡死。

  22. 24 计划—执行控制流Plan-Execute Control Flow 待学习

    是什么先产生可检查的类型化步骤,再由执行器顺序运行;失败携带历史回到规划器重规划,同时以差异事件和硬预算防循环。

    怎么理解规划器先画可检查路线,执行器逐站前进;道路封闭时带着已走历史回去改路线,差异和预算防止原地兜圈。

    用在哪构建能从工具失败中恢复的可审计智能体。

  23. 25 验证门与观察预算Verification Gates and Observation Budget 待学习

    是什么工具调用依次经过结构、路径、令牌等验证门,遇到拒绝立即短路;观察账本和拒绝次数限制反馈体量与循环风险。

    怎么理解验证门像登机安检,前一道不合格就不再放行;观察预算还限制模型能读多少反馈,防止输出淹没上下文或诱发循环。

    用在哪在智能体执行前拦截危险调用并控制上下文成本。

  24. 26 带拒绝清单和路径牢笼的沙箱运行器Sandbox Runner with Denylist and Path Jail 待学习

    是什么执行前检查可执行文件、命令参数和真实路径,运行时清理环境、限制超时与输出;它是防护层而非完整系统沙箱。

    怎么理解沙箱运行器像围栏工作台,命令、参数、真实路径、时间和输出都有边界;它能挡常见越权,但不能冒充完整虚拟机隔离。

    用在哪降低智能体运行命令时越权和破坏文件的风险。

  25. 27 基于夹具任务的评估框架Eval Harness with Fixture Tasks 待学习

    是什么把目标、初始化文件和确定性验证器封装为任务夹具,对每题运行多个样本,汇总通过率、延迟与成本等指标。

    怎么理解夹具任务像固定驾驶考场,每次起点、故障和及格线都一样;对同一题多跑几次,才能分清稳定能力与偶然成功。

    用在哪重复衡量编码智能体能力并发现版本回归。

  26. 28 基于OTel与Prometheus的可观测性Observability with OTel GenAI Spans and Prometheus Metrics 待学习

    是什么为模型、工具和验证决策生成共享调用链的GenAI跨度,写入结构化日志并同步累加时延、令牌和错误指标。

    怎么理解跨度像任务的物流追踪号,模型、工具和验证决定都是父子节点;指标统计全局趋势,结构化轨迹则解释单次事故。

    用在哪追踪智能体一次任务的行为、成本与失败位置。

  27. 29 运行框架上的端到端编程智能体End-to-End Coding Agent on the Harness 待学习

    是什么用确定性策略驱动勘察、测试、检查、修补和复测状态,贯通验证门、沙箱、观察账本、追踪与评估报告。

    怎么理解先用确定性策略驾驶整套编程框架,能修好夹具故障就证明底盘、护栏和仪表贯通;以后只需在策略接口换成模型。

    用在哪验证编程智能体基础设施能完成真实修复闭环。

  28. 30 从零实现BPE分词器BPE Tokenizer From Scratch 待学习

    是什么从字节字母表开始反复合并最常见相邻符号,记录合并规则后可将新文本编码为子词,并保证解码往返一致。

    怎么理解BPE从最小字节积木开始,反复把最常相邻的两块粘成新块;合并表就是拼装说明,解码必须能原样拆回字节。

    用在哪为语言模型训练自有词表并理解分词机制。

  29. 31 滑动窗口令牌数据集Tokenized Dataset with Sliding Window 待学习

    是什么将连续令牌按固定上下文和步幅切成输入目标对,批处理器以确定种子洗牌并严格保持形状和样本计数。

    怎么理解滑动窗口像沿长胶片截取训练片段,前段作为输入、错后一格作为答案;步幅控制片段重叠和样本数量。

    用在哪高效构建语言模型训练批次并控制样本重叠。

  30. 32 词元与位置嵌入Token and Positional Embeddings 待学习

    是什么查表将离散词元映射为向量,再叠加学习式或正弦位置编码,让模型同时获得内容身份与序列顺序。

    怎么理解词元嵌入像查人员身份卡,位置嵌入像查座位号;两张卡相加后,模型同时知道是谁以及坐在哪里。

    用在哪为Transformer准备包含语义与顺序的输入表示。

  31. 33 多头自注意力Multi-Head Self-Attention 待学习

    是什么输入投影为查询、键和值并拆成多个头,以缩放点积和因果掩码聚合上下文,最后拼接投影回模型维度。

    怎么理解每个注意力头像一副不同焦点的眼镜,同时观察词间关系;因果掩码是遮住未来的帘子,确保生成时不偷看答案。

    用在哪实现GPT读取多种关系并阻止看到未来词元。

  32. 34 从零实现Transformer块Transformer Block from Scratch 待学习

    是什么把多头因果注意力、前馈网络、层归一化和残差连接组成可堆叠模块,维持梯度流并变换上下文表示。

    怎么理解一个Transformer块先让词交换上下文,再让每个位置独立加工;残差保留原路信息,归一化让多层堆叠不易失控。

    用在哪构建可训练的GPT核心网络层。

  33. 35 GPT模型组装GPT Model Assembly 待学习

    是什么组合词元与位置嵌入、多个Transformer块、最终归一化和输出头,并用权重共享、温度与Top-k生成文本。

    怎么理解GPT像把相同的理解模块纵向叠楼,底层接收词和位置,顶层把表示翻译成下一词概率;采样规则决定如何落笔。

    用在哪从基础组件搭出完整自回归语言模型。

  34. 36 训练循环与评估Training Loop and Evaluation 待学习

    是什么对错位一位的目标计算语言模型损失,按参数类型使用AdamW衰减,配合预热余弦学习率和留出集评估。

    怎么理解训练循环像健身计划:批次是动作,损失是反馈,优化器改参数,学习率安排节奏;留出集则是不能偷练的阶段考试。

    用在哪稳定训练小型GPT并监控泛化和生成质量。

  35. 37 加载预训练权重Loading Pretrained Weights 待学习

    是什么建立外部GPT权重命名到本地模块的精确映射,处理转置和形状差异,并用固定输入验证载入前后输出一致。

    怎么理解加载权重像器官移植,名字、方向和形状必须逐一吻合;固定输入前后对照是排异检查,能证明参数进了正确位置。

    用在哪复用公开模型参数并迁移到自定义实现。

  36. 38 替换任务头进行分类微调Classifier Fine-Tuning by Head Swap 待学习

    是什么保留预训练Transformer表示并替换语言模型头,选择合适池化位置训练分类器,再用准确率和F1比较冻结与微调。

    怎么理解预训练主干像通用读者,原来的词预测头是旧答题卡;换上分类头后,可只训练新头,也可连主干一起适应新考试。

    用在哪把通用语言模型快速适配到文本分类任务。

  37. 39 监督微调进行指令训练Instruction Tuning by Supervised Fine-Tuning 待学习

    是什么将指令、输入和回答格式化为序列,只在回答令牌上计算损失,避免让模型学习预测提示词和填充内容。

    怎么理解指令微调像示范教学:提示是题目,回答是范例;只在回答区域计错,避免模型把复述题目也当成学习目标。

    用在哪训练模型遵循任务指令并按示例生成答案。

  38. 40 从零实现直接偏好优化Direct Preference Optimization from Scratch 待学习

    是什么比较偏好与非偏好回答相对参考模型的对数概率差,用温度控制的目标直接提高优选回答概率而无需奖励模型。

    怎么理解DPO让两份回答同场比赛,并以冻结参考模型作起跑线;训练只需扩大胜者相对败者的优势,不必另请奖励裁判。

    用在哪利用成对偏好数据改善模型回答风格与质量。

  39. 41 完整评估流水线Full Evaluation Pipeline 待学习

    是什么统一计算按令牌加权的困惑度、规范化精确匹配、词元F1和本地模型裁判,并聚合为可比较的评估报告。

    怎么理解模型成绩单不能只写一科:困惑度看语言预测,精确匹配看硬答案,词元F1看部分重合,裁判评分看开放质量。

    用在哪全面比较基础、微调和偏好优化模型版本。

  40. 42 大规模语料下载器Large Corpus Downloader 待学习

    是什么采用流式分块下载和Range断点续传,使用MinHash与局部敏感哈希去重,并以分片清单记录校验和与状态。

    怎么理解大语料下载像跨国货运:分块和断点保证能续运,指纹筛掉重复货物,校验和与清单说明每个分片是否完整。

    用在哪可靠获取、恢复并治理预训练大规模文本语料。

  41. 43 HDF5令牌化语料库HDF5 Tokenized Corpus 待学习

    是什么将令牌流分片写入可扩展HDF5数据集,通过清单和内存映射读取,再按滑动窗口生成不整库载入内存的批次。

    怎么理解HDF5像按块扩建的令牌仓库,训练器只取当前货架和窗口,不把整库搬进内存;清单负责定位各分片。

    用在哪低内存存储和高吞吐读取大型训练语料。

  42. 44 线性预热与余弦学习率Cosine LR with Linear Warmup 待学习

    是什么学习率先按步数线性增长防止初期不稳,随后沿余弦曲线平滑衰减至下限,并与梯度范数一起监控。

    怎么理解学习率像开车油门:冷车阶段缓慢升高,稳定后达到峰值,接近目的地再沿平滑曲线收油,避免起步打滑和末段越界。

    用在哪让大模型训练起步稳定、后期细致收敛。

  43. 45 梯度裁剪与混合精度Gradient Clipping and Mixed Precision 待学习

    是什么按全局L2范数缩放过大梯度,同时用自动混合精度和动态损失缩放提升吞吐,并检测NaN与无穷值。

    怎么理解梯度裁剪是防突然猛打方向的限幅器,混合精度是用小刻度容器提速;动态缩放负责发现容器溢出并暂缓更新。

    用在哪减少训练发散、节省显存并提高GPU速度。

  44. 46 梯度累积Gradient Accumulation 待学习

    是什么多个微批次的归一化损失依次反向累积,达到目标有效批量后才更新参数,并在分布式中只于最后一步同步。

    怎么理解显存装不下大批次时,就把多个微批的梯度像零钱一样先存入罐中,攒够目标数量再统一更新一次参数。

    用在哪显存不足时模拟更大批量并保持训练等价性。

  45. 47 检查点保存与恢复Checkpoint Save and Resume 待学习

    是什么完整保存模型、优化器、学习率、数据游标和随机状态,采用原子写入与分片文件,使中断后可从批次中间确定性续训。

    怎么理解检查点是训练的完整存档,不只存模型,还要存优化器、学习率、数据位置和随机状态;原子写入避免留下半张坏存档。

    用在哪防止长时间训练因故障丢失进度。

  46. 48 从零实现DDP与FSDPDistributed Data Parallel and FSDP from Scratch 待学习

    是什么DDP复制模型并用集合通信平均梯度,FSDP进一步分片参数和优化器状态,以通信换取多卡显存扩展。

    怎么理解多卡训练时,DDP像让多名学生各看不同习题后平均笔记;FSDP再把同一本厚教材拆给多人保管,需要时临时拼齐。

    用在哪让超出单卡容量的模型进行多设备训练。

  47. 49 语言模型评估框架Language Model Evaluation Harness 待学习

    是什么以任务规范、模型适配器和指标契约解耦数据与推理,运行多种夹具任务并统一汇总准确率、生成质量、成本和时延。

    怎么理解评估框架像标准化赛道:任务说明起点终点,适配器让不同模型参赛,指标统一计时,排行榜才具有可重复的比较意义。

    用在哪稳定复现语言模型基准并形成可比较榜单。

  48. 50 研究假设生成器Hypothesis Generator 待学习

    是什么模型以递增温度提出结构化假设,系统按语义相似度过滤重复,再结合新颖性、可行性和预期影响排序。

    怎么理解假设生成器像育种园,先让模型提出多样种子,再用语义距离剔除近亲,最后按新颖、可做和潜在收益挑选。

    用在哪为自主科研流水线持续产生可检验研究方向。

  49. 51 文献检索器Literature Retrieval 待学习

    是什么先用BM25检索关键词相关论文,再沿引用图扩展邻近研究,去重后综合文本相关性和图关系重新排序。

    怎么理解文献检索不只搜相同词,还沿引用关系查看前因后果;像查专利前先确认旧方案,避免把已知结论误当新发现。

    用在哪为假设查找前人工作、证据和对比基线。

  50. 52 实验运行器Experiment Runner 待学习

    是什么把实验规格放入受控子进程,限制时间与内存,捕获输出和失败原因,以固定随机种子运行主实验及消融组合。

    怎么理解实验运行器像标准化实验舱,规格决定变量,沙箱限制资源,固定种子保证可复现;无论成功失败都要交回结构化记录。

    用在哪安全、可重复地批量执行研究实验。

  51. 53 实验结果评估器Result Evaluator 待学习

    是什么按相同随机种子配对比较基线与候选结果,依据指标方向计算改善和统计检验,再输出支持、反驳或不确定结论。

    怎么理解结果评估要像配对临床试验,让基线和新方案使用相同随机条件,再判断差值是否超过波动,而非只看单次高分。

    用在哪判断实验变化是否真实有效而非随机波动。

  52. 54 论文生成器Paper Writer 待学习

    是什么先建立结构化论文骨架,再注入实验图表和受约束生成的文字,通过引用、章节与构建校验产出可复现稿件和清单。

    怎么理解论文写作先搭证据货架,明确问题、方法、实验和结论各放哪里,再填图表与文字;引用和编译校验防止结构悄悄断裂。

    用在哪把研究证据整理为一致、可审查的论文草稿。

  53. 55 批判迭代循环Critic Loop 待学习

    是什么批判器按固定维度给出问题和修改建议,系统依据质量阈值、改进停滞及轮次预算决定继续修订或终止。

    怎么理解批判循环像带停止条件的恒温器,发现明确缺口才继续修订;质量达标、改善停滞或预算耗尽时必须结束。

    用在哪用受控反馈循环提升研究方案和论文质量。

  54. 56 研究迭代调度器Iteration Scheduler 待学习

    是什么用兼顾平均收益与探索次数的UCB分数选择假设,在并发槽位和总预算内运行实验,并衍生论文或后续假设。

    怎么理解面对多项假设,研究调度像管理老虎机,在已见高收益和少试的新方向间平衡;UCB把收益预期与探索不足合成分数。

    用在哪把有限计算资源分配给最值得探索的实验。

  55. 57 端到端自主研究演示End-to-End Research Demo 待学习

    是什么组合假设、检索、实验、评估、批判、调度和论文模块,以确定性状态与失败处理完成一次可追踪研究闭环。

    怎么理解端到端研究演示是一场接力赛,假设、检索、实验、评估、批判和写作都要交出标准接力棒,任一接口泄漏都会暴露。

    用在哪验证自主科研系统各组件能可靠协同。

  56. 58 视觉编码器图像块Vision Encoder Patches 待学习

    是什么把图像切成固定大小块并线性投影为令牌,卷积步幅可等价完成切块,再加入位置嵌入保留空间位置。

    怎么理解图像块嵌入就是视觉分词器:把像素网格切成小方块,每块投成向量并标注原坐标,Transformer才有可读的视觉序列。

    用在哪为视觉Transformer准备规则化图像令牌序列。

  57. 59 视觉Transformer编码器Vision Transformer Encoder 待学习

    是什么给图像块序列加入类别令牌,经非因果多头注意力、前馈层和预归一化残差堆叠,得到全局视觉表示。

    怎么理解视觉编码器让每块图像令牌反复交换上下文,类别令牌像随行记者,最终汇总整张图的要点供分类或多模态模块使用。

    用在哪提取图像特征并作为多模态视觉骨干。

  58. 60 模态对齐投影层Projection Layer for Modality Alignment 待学习

    是什么先汇聚冻结视觉编码器特征,再通过两层投影映射到文本空间,以余弦对齐损失拉近匹配图文并分离不匹配对。

    怎么理解视觉和文字向量像使用不同坐标系,投影层负责换算单位;配对图文被拉近后,语言模型才能把图像特征当成可读输入。

    用在哪建立视觉和语言表示之间的可学习桥梁。

  59. 61 跨注意力融合Cross-Attention Fusion 待学习

    是什么一种模态提供查询,另一模态提供键和值,让文本按需读取图像令牌;正确掩码、缓存与残差组成稳定融合块。

    怎么理解跨注意力像文字逐词向图片提问:文字生成查询,图块提供键和值;每个词因此能选择不同区域,而非只接收一份全图摘要。

    用在哪实现视觉问答和条件生成中的细粒度跨模态交互。

  60. 62 视觉语言预训练Vision-Language Pretraining 待学习

    是什么联合使用InfoNCE图文对比损失和条件语言建模损失,既对齐整体验证对,又训练模型依据视觉内容生成文字。

    怎么理解视觉语言预训练同时参加两种考试:对比损失考图文配对,语言损失考看图说话;前者学对齐,后者学条件生成。

    用在哪预训练可检索、描述和问答的多模态模型。

  61. 63 多模态评估Multimodal Evaluation 待学习

    是什么用图文检索Recall@K、视觉问答精确匹配和描述BLEU等指标,从对齐、理解与生成多个维度评估模型。

    怎么理解多模态能力需分面体检:检索看能否互相找到,问答看是否理解细节,描述看能否表达;单项高分不能代表全能。

    用在哪比较视觉语言模型并定位能力短板。

  62. 64 切块策略对比Chunking Strategies, Compared 待学习

    是什么比较固定窗口、句子、递归、语义聚类和Markdown结构切块,观察边界选择如何影响答案证据的召回率。

    怎么理解切块像给长书划可检索段落,边界若把一个论据切成两半,后面再强的嵌入和模型也拿不到完整证据。

    用在哪为不同文档类型选择更可靠的RAG切分方式。

  63. 65 BM25与稠密向量混合检索Hybrid Retrieval with BM25 and Dense Embeddings 待学习

    是什么BM25捕捉精确词项,稠密向量捕捉语义相近内容,再用倒数排名融合合并两路名次,避免不可比的原始分数。

    怎么理解BM25像按姓名和术语查目录,稠密向量像按含义找近邻;倒数排名融合让两路结果投票,不强行比较不同量纲分数。

    用在哪提高专业词、别名和自然语言查询的综合召回。

  64. 66 交叉编码器重排Cross-Encoder Reranker 待学习

    是什么将查询与每个候选文档共同送入模型直接评分,让令牌跨文本交互获得更准确相关性,但只适合重排小候选集。

    怎么理解先用便宜检索员广撒网,再让交叉编码器把问题与每篇候选并排精读;它判断更准但更慢,所以只复审前排。

    用在哪以可控延迟提升搜索和RAG前排结果质量。

  65. 67 HyDE、多查询与问题分解Query Rewriting: HyDE, Multi-Query, and Decomposition 待学习

    是什么HyDE生成假想答案用于检索,多查询扩展不同表达,分解法把复杂问题拆成子问题,分别弥补查询与文档表述差异。

    怎么理解用户问法常不是资料写法,查询改写像请图书管理员换几种检索词、猜一段可能答案,或把复合问题拆成多张借书单。

    用在哪改善含糊、复杂或词汇不匹配问题的召回。

  66. 68 RAG检索与回答质量评估RAG Evaluation: Precision, Recall, MRR, nDCG, Faithfulness, Answer Relevance 待学习

    是什么用Precision、Recall、MRR和nDCG衡量候选排序,再用忠实度与答案相关性分别检查生成是否有证据且切中问题。

    怎么理解RAG像两段供应链:先检查仓库是否取对证据,再检查作者是否忠于证据并切题;混成一个总分会遮住真正故障点。

    用在哪量化RAG各环节并指导检索和生成优化。

  67. 69 端到端RAG系统End-to-End RAG System 待学习

    是什么将切块、混合召回、重排、查询改写、带引用回答和评估串成完整管线,以明确接口和终止条件控制执行。

    怎么理解完整RAG要让切块、召回、重排、改写、引用回答和评估依次衔接,每段都保留输入输出,失败时才能定位并停止。

    用在哪交付可解释、可测量的生产型知识问答系统。

  68. 70 评估任务规范格式Task Spec Format 待学习

    是什么用冻结的结构化记录定义输入、参考答案、指标和后处理规则,严格校验字段并渲染少样本提示,保证任务可复现。

    怎么理解任务规范像密封试卷,提前冻结题目、标准答案、评分尺和后处理规则;模型换了仍考同一张卷,成绩才可比较。

    用在哪统一描述不同模型和能力的评估任务。

  69. 71 经典文本指标Classical Metrics 待学习

    是什么统一实现分词、精确匹配、词元F1、BLEU、ROUGE和准确率,并通过指标分发契约处理不同任务输出。

    怎么理解经典指标是不同形状的尺:准确率看整题,F1看词项重合,BLEU偏精确短语,ROUGE偏覆盖;必须按任务选尺。

    用在哪为分类、问答、翻译和摘要提供确定性评分。

  70. 72 代码执行指标Code Exec Metric 待学习

    是什么在隔离子进程中执行候选代码,以拒绝清单、墙钟超时和输出上限约束风险,再依据测试退出码计算Pass@K。

    怎么理解代码答案不是读起来像对,而是放进测试机后真能运行;隔离、超时和输出限制负责保护主机,测试结果负责判分。

    用在哪安全评估代码生成结果能否真正通过测试。

  71. 73 困惑度与概率校准Perplexity and Calibration 待学习

    是什么困惑度衡量序列预测不确定性,ECE和Brier分数衡量置信度与实际正确率的一致程度,并生成可靠性图数据。

    怎么理解困惑度衡量模型读文本时有多惊讶,校准衡量它承诺的置信度是否兑现;会预测和知道自己多确定是两种能力。

    用在哪同时评估语言建模能力和概率是否可信。

  72. 74 排行榜聚合Leaderboard Aggregation 待学习

    是什么将不同任务分数规范化后计算均值、胜率和分类表现,并用自助采样置信区间表达模型排名的不确定性。

    怎么理解排行榜像十项全能,先统一各项目量纲再汇总;胜率和置信区间说明领先是否稳定,避免微小随机差被包装成名次。

    用在哪汇总多项评估并避免被单一分数误导。

  73. 75 端到端评估运行器End-to-End Eval Runner 待学习

    是什么通过统一模型适配器并行执行任务,单次循环完成推理、评分和记录,再按类别聚合并生成可终止的评估报告。

    怎么理解端到端评估运行器像自动考试中心,读取统一试卷,通过适配器叫不同模型作答,分科评分后生成带不确定性的总成绩单。

    用在哪一键运行可重复模型评测并生成比较结果。

  74. 76 从零实现集合通信Collective Ops From Scratch 待学习

    是什么实现广播、归约与环形全归约,用两阶段分块传递汇总多进程张量,并与标准通信后端结果进行一致性验证。

    怎么理解集合通信是多人协作的基本口令:广播让一人通知全员,归约汇总答案,全聚合共享所有片段,归约散射边汇总边分发。

    用在哪理解分布式训练底层数据交换和通信成本。

  75. 77 从零实现数据并行DDPData Parallel DDP From Scratch 待学习

    是什么各进程持有模型副本和不同数据批次,通过广播同步初始参数、全归约平均梯度,并按桶合并小通信操作。

    怎么理解DDP让每张设备持有同一本模型、阅读不同数据,反向后把梯度平均;起点一致且每步同步,参数就始终不会走散。

    用在哪让多设备并行处理训练数据并保持参数一致。

  76. 78 ZeRO优化器状态分片ZeRO Optimizer State Sharding 待学习

    是什么按阶段把优化器状态、梯度和参数分散到不同进程,通过归约散射与按需聚合减少每张设备的内存占用。

    怎么理解ZeRO像把Adam的厚重账本分给多名会计,每人只保管一部分状态;更新后再交换必要片段,单卡内存随人数下降。

    用在哪在相同硬件上训练更大的模型或批量。

  77. 79 流水线并行与气泡分析Pipeline Parallel and Bubble Analysis 待学习

    是什么将模型层分到不同阶段,以微批次按GPipe或一前一后调度传播,并分析阶段失衡与空闲气泡造成的利用率损失。

    怎么理解流水线并行把模型层分成连续工位,微批像产品依次经过;开工和收尾时工位空等的时间就是气泡,平衡工位可缩小它。

    用在哪把超大模型跨设备切层并优化吞吐。

  78. 80 分片检查点与原子恢复Sharded Checkpoint and Atomic Resume 待学习

    是什么每个进程独立写入状态分片,最后原子发布含校验和、世界大小和步数的清单,恢复前验证完整一致。

    怎么理解分片检查点像每名船员分别写航海日志,最后才原子发布总清单;恢复前核对份数与校验和,半写存档不会被误用。

    用在哪可靠保存多卡训练状态并避免半写文件恢复。

  79. 81 端到端分布式训练End-to-End Distributed Training 待学习

    是什么组合小型GPT、数据并行、分片状态、学习率、检查点和评估组件,以一致的进程规则完成可恢复多设备训练。

    怎么理解完整分布式训练是一次联合演习:计算、梯度同步、状态分片、学习率、评估和恢复必须遵守同一步号,任一进程掉队都会破坏一致。

    用在哪验证从启动到恢复的完整分布式训练工程。

  80. 82 越狱攻击分类体系Jailbreak Taxonomy 待学习

    是什么按角色扮演、编码混淆、多轮诱导和提示覆盖等机制组织越狱样本,区分攻击目标、技术和预期安全边界。

    怎么理解越狱分类像医生先分病因再开药,把角色扮演、编码混淆、多轮诱导和指令覆盖分开,才能知道哪类防线真正薄弱。

    用在哪建立系统化红队测试集并分析防护薄弱类别。

  81. 83 提示注入检测器Prompt Injection Detector 待学习

    是什么结合规范化、规则特征和分类信号识别试图覆盖指令、泄露秘密或诱导工具越权的输入,并输出风险证据。

    怎么理解注入检测器像安检扫描仪,先规范化输入,再结合规则和分类器寻找覆盖指令、窃取秘密或越权调用的证据与置信度。

    用在哪在模型或工具调用前筛查直接和间接提示攻击。

  82. 84 拒答行为评估Refusal Evaluation 待学习

    是什么以安全与正常请求组成对照集,分别衡量应拒绝时的覆盖率和不应拒绝时的过度拒绝,检查理由是否恰当。

    怎么理解拒答评估有两条轴:危险请求该挡住,正常请求该帮助;只追求拒绝率会把安全做成什么都不干,必须同时测误伤。

    用在哪平衡模型安全拦截能力与正常任务可用性。

  83. 85 内容分类器集成Content Classifier Integration 待学习

    是什么将多个内容风险分类器封装为统一接口,校准分数和类别映射,再按阈值聚合成允许、复核或阻断决策。

    怎么理解多个内容分类器像不同专科检查,先把类别和分数换成统一刻度,再由政策路由器决定放行、人工复核或阻断。

    用在哪为AI产品建立可替换、可观测的内容审核层。

  84. 86 宪法式规则引擎Constitutional Rules Engine 待学习

    是什么把安全原则写成有优先级和适用条件的结构化规则,逐条评估请求与响应,记录命中依据并处理规则覆盖。

    怎么理解宪法规则应像可执行法律条款,必须有名称、适用条件、优先级和解释;规则冲突时按明确顺序裁决并留下命中依据。

    用在哪让安全政策版本化、可解释并独立于模型更新。

  85. 87 端到端安全闸门End-to-End Safety Gate 待学习

    是什么串联输入规范化、注入检测、内容分类、规则判断、模型生成和输出复检,以完整轨迹记录每次允许或拒绝。

    怎么理解安全闸门把一次请求当成过海关:入境前查输入,生成途中限制动作,出境前复检结果;每次裁决都保存完整轨迹。

    用在哪为生产AI请求建立双向、可审计的安全入口。

没有找到匹配课程,换个关键词试试。