本文您带来一项针对12款主流SLM进行的系统性基准测试深度解读，它涵盖了分类、信息抽取、开卷问答和闭卷问答等8个不同任务。我们不仅对比了这些模型的基础性能和微调后表现，更将其与用于生成合成训练数据的巨型教师模型进行了较量。

在人工智能飞速发展的今天，将AI能力部署到设备端、本地或边缘侧已成为许多创新应用的关键。然而，面对市场上琳琅满目的小型语言模型（SLM），如何选择并最大化其性能，成为了开发者们共同的挑战。究竟哪个模型在微调后表现最佳？哪个模型能从微调中获得最大收益？这些问题直接关系到项目成败与资源投入。

主题铺为您带来一项针对12款主流SLM进行的系统性基准测试深度解读，它涵盖了分类、信息抽取、开卷问答和闭卷问答等8个不同任务。我们不仅对比了这些模型的基础性能和微调后表现，更将其与用于生成合成训练数据的巨型教师模型进行了较量。

开篇惊喜：微调小模型，性能超乎想象

这项研究最令人振奋的发现是：经过精心微调的小型语言模型，完全能够胜过规模大得多的模型。 试想一下，一个参数规模远小于巨型模型数十倍的SLM，竟然能在性能上与之比肩甚至超越！

具体来说，微调后的Qwen3-4B模型，在所测试的8项基准任务中，有7项表现能够超越或战平一个比它模型规模大数十倍的教师模型（GPT-OSS-120B），剩下的一项任务差距也微乎其微。尤其在SQuAD 2.0数据集上，经过微调的学生模型甚至比教师模型高出近二十分。

这意味着什么？这意味着您只需极低的计算成本，就能在自己的硬件上实现原本需要顶级大型模型才能达到的准确率。这无疑为本地部署、成本敏感的AI应用打开了全新的可能性。

核心发现：揭示SLM微调的四大秘密

这项全面的基准测试为我们揭示了SLM在微调过程中的关键行为模式，帮助我们更明智地选择和利用这些模型。

我们评估了以下模型：

• Qwen3 系列
  
  ：Qwen3-8B、Qwen3-4B-Instruct-2507、Qwen3-1.7B、Qwen3-0.6B。注意，我们关闭了该系列的 “thinking” 功能，以保证实验的公平。
• Llama 系列
  
  ：Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Llama-3.2-1B-Instruct
• SmolLM2 系列
  
  ：SmolLM2-1.7B-Instruct、SmolLM2-135M-Instruct
• Gemma 系列
  
  ：gemma-3-1b-it、gemma-3-270m-it
• Granite
  
  ：granite-3.3-8b-instruct

针对每个模型，我们测量了：

• Base score：仅使用提示词（prompting）的小样本（few-shot）场景下的性能
• Finetuned score：在由我们的教师模型（GPT-OSS 120B）生成的合成数据上微调后的性能

我们的 8 项基准测试涵盖分类 （TREC、Banking77、Ecommerce、Mental Health）、文档理解 （docs）以及问答任务（HotpotQA、Roman Empire QA、SQuAD 2.0）。

为了实现公平测量，我们分别计算了每个模型在各个基准测试上的排名，然后计算所有任务上的平均排名，并以 95% 置信区间作为误差棒（error bars）绘制在图中。平均排名越低，表示整体性能越好。

一、 微调后性能最强模型：Qwen3-4B系列拔得头筹

Qwen3 系列占据了排行榜前列，其中 Qwen3-4B-Instruct-2507 摘得桂冠。值得注意的是，这款 4B 模型的表现甚至超过了更大的 Qwen3-8B，这表明在蒸馏任务中，Qwen3 的较新版本（2025 年 7 月 25 日更新的版本）比之前的 8B SLM 效果更好。

如果您追求在特定任务上微调后能够获得最高的准确率，那么Qwen3系列模型无疑是您的首选。在所有参评模型中，Qwen3-4B版本在微调后的整体表现最为出色，力压群雄。值得注意的是，这款4B模型甚至超越了同一系列的8B版本，这表明在蒸馏任务中，Qwen3的较新版本在小规模下也能实现更优异的效果。

主题铺认为，对于拥有支持约4B参数规模模型微调的GPU显存的用户来说，Qwen3-4B是当前微调的最佳选择。

二、 微调潜力最大模型（“最可塑”）：小模型带来最大惊喜

这里我们测量的是可微调性（tunability） —— 即从基础性能到微调后性能的提升幅度（finetuned_score – base_score）。一个高度可微调的模型初始表现可能较弱，但经过微调后提升显著。

有趣的是，可微调性排名与模型大小的排序正好相反。像 Llama-3.2-1B 和 Qwen3-0.6B 这样的小型模型，从微调中获得的提升最大。而规模最大的模型（如 Qwen3-8B、granite-3.3-8b）在可微调性排名中接近垫底 —— 这并非因为它们表现差，而是因为它们起点相对较高，进步空间相对有限。

有趣的是，模型从微调中获得的性能提升幅度，与模型本身的规模呈现出反向关系。小型模型从微调中获得的提升远超大型模型。

例如，像Llama-3.2-1B和Qwen3-0.6B这样参数量极小的模型，在微调后的性能提升最为显著。而那些初始规模最大的模型（如Qwen3-8B、granite-3.3-8b），由于其基础性能已经相对较高，微调后的提升空间相对有限。

核心结论：即使您受限于使用非常小的模型（例如1B到3B参数），也完全不必担心。这些模型从微调中获益最大，能够大幅缩小与更大模型之间的性能差距。这为资源受限环境下的AI部署带来了巨大希望。

三、 基础性能最强模型（未经微调）：大模型依然稳健

在未经任何微调的情况下，哪个模型开箱即用的表现最好？

正如预期，基础性能与模型大小呈正相关。8B 模型占据了榜首位置，其中 Qwen3-8B 在所有基准测试中都展现出非常稳定的性能（标准差最低）。

如果您的应用场景需要在未经任何微调的情况下，在零样本或小样本场景下也能获得较优的开箱即用性能，那么大模型依然是您的最佳选择。

测试结果显示，在未经微调的模型中，Qwen3-8B展现出非常稳定的性能，在所有基准测试中都位居前列。这符合我们对大模型能力的普遍认知：在没有额外训练数据的情况下，参数量越大，预训练知识越丰富，表现自然越好。

主题铺观察：虽然大模型在基础性能上占优，但请记住，经过微调后，这种优势会大大减弱，小模型通过“后天努力”完全可以迎头赶上。

四、 微调后的SLM，真的能媲美巨型教师模型吗？

经过微调的 4B 学生模型在 6 项基准测试上超越了 120B+ 参数的教师模型，在 1 项（HotpotQA）上持平，仅在 1 项（Banking77）上略微落后（差距在误差范围内）。提升最显著的是 SQuAD 2.0 闭卷问答任务，学生模型比教师模型高出 19 个百分点 —— 这充分证明，微调比单纯依赖提示词（prompting）能更有效地将领域知识注入模型。

答案是肯定的，而且表现令人惊艳！

我们表现最好的学生模型Qwen3-4B，在8项基准测试中的7项上，性能达到或超越了作为教师的巨型模型（一个参数规模高达120B+的模型）。它在6项测试中超越了教师模型，1项持平，仅在1项上略微落后。最显著的提升发生在SQuAD 2.0闭卷问答任务上，学生模型比教师模型高出近二十分。这强有力地证明了，微调比单纯依赖提示词（prompting）能更有效地将特定领域的知识和能力注入模型。

核心结论：一个经过适当微调的4B参数模型，可以媲美甚至超越规模高达其数十倍的大型模型。这意味着您的AI推理成本可以大幅降低，并且能够完全在本地部署运行，兼顾性能与效率。

实用建议：如何选择最适合你的SLM？

基于这项深入的基准测试，主题铺为您总结了选择基础模型的实用建议：

• 追求微调后最佳准确率
  
  ：如果您拥有支持约4B参数规模模型微调的GPU显存，那么Qwen3-4B是您的不二之选。
• 资源受限（<2B参数）
  
  ：即使只能使用非常小的模型，也请不要气馁。这些模型从微调中获益最大，能够显著缩小与更大模型之间的性能差距。Llama-3.2-1B就是其中的佼佼者。
• 无需微调，开箱即用
  
  ：如果您主要在零样本或小样本场景下使用，并且不打算进行微调，那么选择规模较大的模型，如Qwen3-8B，其基础性能会更强。
• 关键启示
  
  ：微调比基础模型的选择更为重要。一个经过良好微调的1B模型，完全可以胜过仅靠提示词驱动的8B模型。

结论

并非所有小型模型的性能都相差无几，但经过微调后，它们之间的差距会大幅缩小。这项基准测试强有力地表明，Qwen3-4B在整体微调性能上表现最佳，不仅能媲美参数规模达巨型模型的AI，还能在单块消费级GPU上部署运行。在资源极度受限的环境中，像Llama-3.2-1B这样的小模型展现出卓越的可微调性，能够大幅缩小与大模型的性能差距。

归根结底，微调的力量远超我们想象。它让小型语言模型拥有了“小而精”的巨大潜力，为AI的普及和本地化应用开辟了广阔前景。