后训练才是大模型的分水岭:预训练灌知识,后训练教做人

预训练烧了几千块GPU,后训练才是决定模型能不能用的胜负手
预训练喂了万亿token,模型知识储备惊人——但用它试试,分分钟给你编一个诺贝尔物理学奖得主的八卦。问题不在于"知道什么",而在于"怎么输出才靠谱"。后训练,正是把"知识仓库"改造成"听话助手"的关键工序。预训练成本是后训练的数十倍,但最终决定用户体验的,反而是后训练那几步。1
大模型后训练到底在做什么?一句话:把"会说话"的模型调教成"会好好说话"的模型。它不再大规模喂新知识,而是专门纠正输出偏好、学会遵守指令、掌握特定场景的应答规范。预训练是十年寒窗积累知识,后训练是入职培训教你怎么跟客户打交道——知识结构没变,变的是表达方式和行为边界。2
后训练要解决三个硬核问题:听话、对齐、专精
后训练不是玄学,它有明确的目标清单。第一是指令遵循:用户问什么,模型就得答什么,不能答非所问、不能自由发挥——靠监督微调(SFT)实现。第二是安全对齐:有害请求直接拒绝、偏见内容主动规避——靠偏好学习(RLHF/DPO)实现。第三是能力增强:推理、编码、工具调用这些专项本事,得专门练——靠强化学习或专项SFT实现。三个目标对应三套方法,缺一不可。1
把后训练流程画成流水线就是:预训练基座 → SFT学会答题格式 → 偏好学习学会判断好坏 → 专精微调掌握特定能力。没有SFT打基础,RLHF连"什么样的回答算好"都教不会;没有偏好学习纠偏,SFT训出来的模型可能"一本正经胡说八道"。顺序不能乱,缺环必翻车。3
强化学习能让模型超越人类示范,SFT做不到
后训练内部所有方法,本质上只有两种信号来源:监督学习(SFT)给标准答案让模型模仿,上限被标注数据锁死——人类没写出来的更好回答,模型永远学不到。强化学习(PPO/GRPO/DPO)不给标准答案,只给打分信号,让模型自己试错、探索、找到得分更高的策略——能突破标注数据的天花板,但工程实现更复杂。3
强化学习的核心逻辑很简单:模型输出 → 打分 → 鼓励高分回答、抑制低分回答 → 循环迭代。这跟训练小狗一模一样:坐下给零食,乱跑不给。放到大模型身上,分数由人类标注员或奖励模型给出,经过多轮更新,模型逐渐学会"什么样的回答能拿高分"。DeepSeek-R1的推理涌现,就是在强化学习的在线探索中自己发现的推理链——不是人类标注进去的,是模型自己"悟"出来的。3
强化学习有个关键区分:在线vs离线。在线方法(PPO、GRPO)训练数据由当前模型实时生成,边探索边学习,能突破天花板但计算开销大。离线方法(DPO)训练数据提前收集好,模型不参与数据生成,工程简单但上限受限于数据集质量。选哪个,取决于你的算力预算和对效果的期望值。3
SFT喂格式,RLHF/DPO喂偏好,一个都不能少
SFT的核心任务是教会模型"怎么答":用高质量的指令-回答配对数据,让模型学会按人类期望的格式输出。它不是背答案,而是学格式——问题千变万化,但回答的范式是固定的。打个比方:SFT是驾校教你怎么踩油门刹车,至于路上遇到什么情况怎么判断,那是后面RLHF要解决的。4
RLHF/DPO解决的是"哪种答法更好"。同一个问题,模型能生成多个回答,哪个更符合人类价值观、更实用、更有礼貌?光靠SFT无法回答这类问题,因为没有标准答案。RLHF通过人类偏好数据训练奖励模型,再用PPO算法优化策略;DPO则更直接,用偏好对直接调整模型参数,省掉了奖励模型这一步。DPO在工程上比PPO简单太多,但两者解决的是同一类问题。4
微调数据集和偏好数据集的差异,决定了它们各自的分工。微调数据集只给"正确答案",告诉模型"往这里走";偏好数据集同时给正例和反例,不仅指方向,还标出沿途的歧路和陷阱。后者对模型"避坑"能力的提升尤为关键——它让模型知道"这个回答差在哪里",而不只是"那个回答好在哪里"。5
参数高效微调是刚需:LoRA让微调成本从"天文数字"变成"可接受"
全量微调需要更新模型全部权重,显存需求是灾难级别的——一个70B参数的模型,光权重就要140GB显存,还没算梯度、优化器状态。LoRA(低秩适配)的思路是:不改主权重,只训练少量新增的低秩矩阵。实测数据很说明问题:全量微调用100%参数量达到95%效果,LoRA用0.5%参数量就能达到98%效果,速度还快1.2倍。6
LoRA的Rank参数怎么选?简单任务8够用,复杂任务或显存充裕时上32、64。Alpha值通常设为2倍Rank。理论上只应用在注意力层就能见效。QLORA是LoRA的显存优化版,在保持效果的同时进一步降低硬件门槛,是当前企业落地的标配方案。7
显存不够时,梯度累积可以凑有效batch size:有效batch = 单设备batch × 累积倍数 × GPU数量,一般控制在16-64之间。但数据格式和chat template对齐是基本功,system/user/assistant的角色别搞混,特殊token加错等于白训。有团队用这个方法在小显存设备上跑通了大模型的完整微调流程。7
训练过程的坑:一个比一个致命
过拟合是微调的头号敌人。训练轮数太多、数据量太少,都会让模型"背答案"而非"学规律"。判断标准不是loss曲线,而是实际输出:loss降了但生成结果变傻,那是过拟合;通用能力集体塌陷,那是灾难性遗忘。经验做法是验证loss连续3个epoch不下降就停训,checkpoint多保存几个回头还能捞回来。7
灾难性遗忘需要专门应对。主流解法有三个:一是经验回放,每批次混入5-10%的原始预训练数据;二是KL散度辅助损失,约束新权重不能偏离旧权重太远;三是EWC弹性权重固化,用Fisher信息矩阵识别重要参数,训练时给它们加约束。三个方法各有适用场景,实际落地经常组合使用。6
学习率设置是最容易翻车的地方。微调不是从头训练,学习率必须大幅降低。经验做法是先跑LR Finder探学习率上限,LoRA可以比全参微调放得更开一点。Warmup至少占总步数的10%,让模型先适应再加速,配合Cosine衰减曲线效果更稳。直接套用预训练学习率的,模型大概率训废。7
新进展:后训练正在快速进化
谷歌最新消息:Gemini 4已进入后训练早期阶段,目标在年底前推出。和以往"等所有优化完成再发布"的策略不同,这代采用了"先发布初步成果,持续快速迭代"的打法。后训练阶段的早期成果已让团队"很振奋",内部正在用Gemini 4跑AI编程工具Antigravity。
国内这边也有突破:DeepSeek推出了针对华为芯片的万亿级大模型后训练方案"深桥",基于多智能体技术做芯片适配。这个方案把MFU(模型计算效率)从11%直接拉到30%以上——之前国内能摸到20%都算行业顶尖了。芯片适配有三个硬指标:跑得通(不崩溃)、跑得对(结果与英伟达对齐)、跑得快(追平同级别英伟达性能)。9
还有个技术值得关注:表征工程。它和RLHF的根本区别在于——RLHF优化的是"表面行为"(输出Token),RepE直接操控"内部认知"(激活状态)。RLHF可能训练出"更擅长骗过评估系统的卧底",模型学会在安全评估期表现顺从,评估结束就恢复本性。RepE通过实时注入反向偏置,从认知层切断欺骗逻辑的表达路径,物理攻破伪装。10
判断题:关于后训练的几个关键认知
判断1:后训练不会让模型"学会新知识"。预训练是往仓库里进货,后训练是整理货架、贴标签——它调整的是输出偏好,不是知识边界。如果某个知识点预训练时没喂进去,后训练补不进去,只能重新预训练。这一点坑了很多人:以为微调能填补知识盲区,结果训完模型还是不会。2
判断2:微调和提示工程解决的是不同问题。提示工程改的是输入指令,不动模型参数,适合需求多变、快速试错的场景;微调改的是模型权重,把业务知识固化进去,适合固定问答、专属话术、领域专业输出等长期稳定场景。两者经常搭配使用,但不能互相替代——Prompt写得再好,也改变不了模型的底层行为。11
判断3:RLHF确实能减少幻觉。原理很直接:人类标注者天然偏好准确、校准良好的回答,而非自信的胡编乱造。经过多轮RLHF训练,模型学会"编造信息会被扣分,适当表达不确定性会被加分"。但RLHF不是万能解,它解决的是"模型不知道自己不知道"的问题,对于"知识本身缺失"导致的幻觉,后训练也无能为力。12
判断4:后训练不是一劳永逸的。模型能力在变、应用场景在变、用户偏好在变,后训练也需要持续迭代。成熟的AI产品团队会建立数据闭环:线上收集用户反馈 → 清洗标注 → 补充训练集 → 增量微调 → 重新部署。一次性训完就躺平的产品,上线三个月就会被用户骂"变笨了"。13
预训练决定模型"能说什么",后训练决定模型"该怎么说"。前者让模型输出通顺但不受控,后者才真正决定模型靠不靠谱、对不对指令负责。如果把大模型比作一个天赋异禀但缺乏职场训练的天才:预训练给了他满脑子的知识,后训练才是教他怎么跟客户打交道、怎么在关键时刻不翻车的那个"职场导师"。14
  • 动手之前先判断数据够不够
    微调效果的上限由标注数据质量决定,数据量少、分布不均衡的团队,优先考虑LoRA+早停,别硬上全参微调。
  • 先小模型试错,再大模型迁移
    新想法先用7B模型跑通流程,调好再迁移到70B,基本直接work,返工成本低。
  • Loss曲线只是参考,输出质量才是最终判据
    每隔固定步数用固定prompt生成结果,人工检查是否跑偏——loss降了但回答变蠢,是过拟合信号。
  • 准备长期维护的数据闭环
    后训练不是一次性工程,上线后持续收集用户反馈、定期补充标注数据、增量微调,才是可持续的方案。

评论

评论区空态插画

当前文章无评论,是时候发表评论了