老板直聘实验室突破：3B小模型实现推理编程智能体全能

当人工智能模型越来越庞大的时候，有没有想过一个只有30亿参数的小模型也能做到大模型才能做的事情？老板直聘旗下的南北阁大语言模型实验室最近发布了一项令人瞩目的研究成果，他们成功打造了一个名为Nanbeige4.1-3B的小型通用语言模型。这项研究发表于2026年2月，论文编号为arXiv:2602.13367v1，有兴趣深入了解的读者可以通过该编号查询完整论文。

这个模型就像一把瑞士军刀，虽然体积小巧，但功能齐全。它能够同时胜任复杂推理、代码生成和智能体任务，而这在以往通常需要几十倍大小的模型才能实现。更令人惊喜的是，它不仅能处理常见的问答任务，还能进行长达600轮的工具调用，持续解决复杂问题，这种能力即使在大型模型中也极为罕见。

研究团队面临的核心挑战就像在一个小箱子里装下整套工具箱的所有功能。传统的小模型往往只擅长某一个领域，比如有的擅长数学推理，有的擅长写代码，但很少有模型能在如此有限的参数规模下同时掌握多种技能。这就好比让一个人既要是数学家，又要是程序员，还要是个能干的助手，而且还不能占用太多"存储空间"。

为了解决这个问题，研究团队设计了一套精巧的训练方法。他们将训练过程分成几个阶段，就像培养一个全能型人才一样，先让模型掌握基础技能，然后逐步强化各个专业领域的能力。在推理能力方面，他们结合了点式和对式奖励建模，确保模型既能独立给出高质量回答，也能在比较中表现出色。在代码生成方面，他们不仅要求代码功能正确，还特别注重算法效率，让模型学会写出既能工作又跑得快的代码。

最有趣的是他们对智能体能力的训练方法。研究团队通过复杂的数据合成技术构建训练数据，并在训练过程中加入了回合级别的监督信号。这就像教一个助手不仅要完成单个任务，还要学会制定长期计划并持续执行。通过这种方法，Nanbeige4.1-3B能够可靠地执行多达600轮的工具调用，这意味着它能够处理非常复杂的多步骤问题。

实验结果显示，这个小模型的表现令人惊叹。在多项基准测试中，它不仅显著超越了同等规模的其他模型，如Nanbeige4-3B-2511和Qwen3-4B，甚至在某些任务上的表现超过了参数量是其十倍的大型模型，如Qwen3-30B-A3B。这就像一个轻量级拳手在擂台上击败了重量级选手，证明了小模型同样可以拥有强大的综合能力。

一、训练秘籍：让小模型身兼数职的精妙设计

要让一个小模型同时掌握多种技能，就像要在一个小厨房里同时准备中餐、西餐和日料一样challenging。研究团队采用了一套巧妙的分阶段训练策略，确保模型在有限的参数空间内实现最大化的能力整合。

在通用能力的培养阶段，研究团队首先对基础训练数据进行了精心调配。他们增加了代码相关数据的比例，同时引入了更多具有挑战性的数学和通用领域问题。这种调整就像给学生换了一套更有难度的教材，目的是鼓励更深层次的推理能力发展，提高在困难基准测试上的表现。

更值得关注的是，他们将上下文长度从之前的两阶段课程（32k到64k）扩展到三阶段，最终达到256k tokens。在最后的256k阶段，他们采用了专门设计的数据混合方案，包含代码（27%）、深度搜索（26%）、STEM科目（23%）、工具使用（13%）和通用领域（10%）。这种精确的配比确保了模型在长文本处理和复杂推理场景中的强大表现。

研究团队还进一步优化了解决方案精炼和思维链重构框架。他们扩大了解决方案精炼循环中的迭代次数，允许更强的批判-修订循环产生更高质量的最终解决方案。同时，他们训练了一个更强大的思维链重构模型，能够从精炼答案生成更清晰、更忠实的推理轨迹。

在强化学习阶段，研究团队采用了点式和对式相结合的奖励建模方法。点式强化学习阶段主要解决了模型输出中的格式错误和冗余推理问题。他们训练了一个通用奖励模型来评估回滚响应，这个模型自然地抑制了过度冗余、重复和低可读性的答案。通过GRPO算法，他们对每个提示采样8个回滚，使用通用奖励模型为每个响应评分作为训练信号。

对式强化学习阶段则进一步利用了强弱模型比较中的偏好信息。研究团队在涵盖代码生成和对话的配对比较数据上训练了对式奖励模型，生成响应对时采用强模型和弱模型，然后应用清单过滤策略得到可靠的胜负标签。为了减轻位置偏差，他们还添加了交换一致性正则化器，定义为响应对的预测奖励差异与交换对的负奖励差异之间的均方误差。

二、深度搜索：让AI成为超级侦探

在人工智能领域，深度搜索能力就像是给AI配备了一双"火眼金睛"和一颗"侦探大脑"。这种能力让模型能够在海量信息中抽丝剥茧，通过多轮工具交互来解决复杂的搜索导向任务。研究团队为了让Nanbeige4.1-3B具备这种超级侦探般的能力，设计了一套完整的数据构建和训练流程。

数据构建过程就像建造一个巨大的案例库。研究团队首先从维基百科构建实体关系图谱，然后进行时间感知的头实体选择。他们提取过去六个月内更新过的信息实体，确保合成问答数据的时效性和复杂性。接着，他们构建实体关系图并执行条件随机游走，提取预定义长度的关系路径。这些链条连同详细的时间上下文一起被输入到强大的大语言模型中，用于合成复杂的问题。

轨迹合成和回合级判断是整个过程的核心环节。研究团队采用多智能体框架来处理生成的查询，采样多样化的推理路径集合。这些轨迹随后被映射到统一智能体视角的多轮工具调用序列中。为了进一步保证合成数据的质量，他们实施了严格的回合级判断机制，使用评判模型基于逻辑合理性、工具调用准确性和信息获取三个维度评估交互的每个步骤。任何不满足这些标准的回合都不会参与模型训练或为模型提供负奖励，这种细粒度的过滤确保最终轨迹为监督微调和偏好对齐提供高保真信号。

为了验证这套方法的有效性，研究团队进行了初步实验。他们使用Nanbeige4-3B-2511作为基础模型，专门在通过所述方法生成的合成多跳问答和搜索轨迹上进行训练，有意排除其他开源数据。实验结果令人振奋，在xBench-DeepSearch-2505基准上，模型性能从33.0大幅提升到76.0，充分证明了他们的数据合成管道能够有效赋予模型强大的多跳推理和长上下文搜索能力。

这种训练方法的巧妙之处在于，它不是简单地让模型记住大量的问答对，而是教会模型如何像真正的侦探一样思考和行动。模型学会了如何分解复杂问题，如何选择合适的工具，如何从获得的信息中提取关键线索，以及如何将这些线索串联起来得出最终答案。这种能力的培养使得Nanbeige4.1-3B能够在面对复杂的多步搜索任务时，表现得如同经验丰富的专业调研员。

三、编程高手的养成：从正确到高效的进化

让AI写代码就像培养一个程序员，不仅要会写，还要写得好、写得快。研究团队在提升Nanbeige4.1-3B的编程能力时，采用了一套渐进式的训练策略，从基础的功能正确性逐步提升到算法效率的优化。

研究团队首先构建了一个统一的判断系统，这个系统就像一位严格的代码审查员，能够从多个角度评估代码质量。这个系统结合了多语言沙箱执行环境和专门的指导判断模型，前者用于基于执行的正确性检查，后者专门用于时间复杂度比较。这个指导模型经过专门训练，能够在强化学习环境中快速进行复杂度评估，通过将模型生成解决方案的预测时间复杂度与参考最优界限进行在线比较，提供高效的反馈。

在数据构建阶段，研究团队采用了两套互补的策略。对于监督微调数据构建，他们使用判断系统从两个关键方面评估解决方案质量：通过在沙箱中执行程序进行功能正确性检查，以及通过结合执行信号和基于模型的复杂度分析进行时间复杂度评估。在数据生成过程中，他们为每个问题采样多个候选解决方案，然后通过判断系统验证这些候选方案，保留那些被判定为时间最优（或在最佳复杂度类别中）的解决方案。

对于强化学习数据构建，每个样本包含问题陈述、测试用例、时间复杂度最优解决方案以及相应的最优复杂度标签。最优解决方案和复杂度是通过提示多个强大的大语言模型获得的，然后使用强大的大语言模型将候选方案合成为单一最佳解决方案，这些作为奖励塑形和难度控制的监督信号。

训练过程采用了巧妙的两阶段策略。从通用强化学习检查点开始，研究团队进一步进行了两个阶段的代码强化学习。在第一阶段，他们使用通过率奖励优化解决方案正确性，通过率奖励定义为每个问题通过的测试用例比例。在第二阶段，当策略能够可靠地解决问题后，他们通过引入仅在所有测试用例通过时才激活的时间复杂度奖励来鼓励更高质量的解决方案，否则奖励退化为仅基于正确性的信号。

这种门控时间复杂度奖励设计特别巧妙。具体来说，判断系统通过比较模型输出与参考最优复杂度并检查生成的解决方案是否与参考最优解决方案匹配来提供在线反馈。只有当解决方案完全正确时，时间复杂度奖励才会被激活，这确保了模型在追求效率的同时不会牺牲正确性。

在整个两阶段代码强化学习过程中，研究团队观察到了一致的改进。在第一阶段，正确性奖励急剧增加，反映了产生有效和正确解决方案方面的快速收益。在第二阶段，正确性奖励的改进更为温和，而门控时间奖励大幅上升，表明策略确实在已经实现正确性的基础上优化时间复杂度。这种渐进式的能力提升确保了模型不仅能写出能跑的代码，更能写出跑得好的代码。

四、实战验证：小模型的大能量

为了验证Nanbeige4.1-3B的真实实力，研究团队设计了一套全方位的评估体系，涵盖了从基础推理到复杂智能体任务的各个维度。这些测试就像给这个AI小钢炮进行全面体检，结果令人印象深刻。

在通用任务评估中，研究团队从五个主要类别对模型进行了测试。在代码生成方面，他们使用了LiveCodeBench-V5、LiveCodeBench-V6以及LiveCodeBench-Pro等基准，评估代码生成能力和基于执行的正确性。在数学推理方面，测试包括IMO-Answer-Bench、HMMT以及AIME-2026-I等竞赛级别的问题求解任务。科学推理则通过GPQA和HLE等基准来测量多步科学推理和领域知识整合能力。

在对齐性测试中，研究团队使用Arena-Hard-V2和Multi-Challenge来评估偏好建模的鲁棒性和在对抗性或挑战性提示下的响应质量。工具使用能力则通过BFCL和Tau2-Bench进行评估，这些基准测试函数调用可靠性和多步工具使用能力。

评估结果显示，Nanbeige4.1-3B在所有被评估的领域中都大幅超越了同等规模的模型。更令人惊喜的是，尽管只有30亿参数，它在大多数基准测试中都始终超越了300亿到320亿参数级别的模型，包括Qwen3-30B-A3B-2507和Qwen3-32B，特别是在代码、对齐和工具使用任务上。在基于执行的编码基准如LiveCodeBench-V6和LiveCodeBench-Pro-Medium上，Nanbeige4.1-3B取得了较大的绝对优势。

深度搜索任务的评估更是展现了这个小模型的惊人潜力。研究团队将其与多个类别的现有模型进行了对比，包括配备工具的通用基础模型、专门的搜索智能体模型，以及超过1000亿参数的大规模开源基础模型。结果显示，Nanbeige4.1-3B相比基线Nanbeige4-3B-2511实现了显著的性能飞跃，并且在所有基准测试中明显超越了其他小型工具型基础模型。

最引人注目的是，Nanbeige4.1-3B在几乎所有评估基准上都达到了最先进的结果，包括GAIA（69.90）、xBench-DeepSearch-05（75.00）和SEAL-0（41.44）。这些分数不仅超越了小型模型类别中的直接竞争对手，甚至与许多更大规模的研究智能体和大型工具型基础模型的性能相当或超越。

为了进一步验证模型的实际应用能力，研究团队还在真实世界的算法挑战中对其进行了测试。他们将Nanbeige4.1-3B应用于最近的LeetCode周赛问题，在标准竞技编程设置下解决比赛问题。生成的解决方案直接提交到官方LeetCode平台，性能通过最终接受率衡量。结果显示，Nanbeige4.1-3B成功解决了20个问题中的17个，达到85.0%的总体通过率。在虚拟参与模式下，模型在第487周赛中获得第1名，在第488周赛中获得第3名。

五、技术创新的核心密码

Nanbeige4.1-3B之所以能在如此紧凑的参数规模下实现多项能力的完美融合，关键在于研究团队对训练策略的精心设计和创新性突破。整个训练过程就像精心编排的交响乐，每个阶段都有其独特的作用和价值。

整个训练流程从Nanbeige4-3B-Base开始，经过结构化的后训练管道，结合大规模监督微调和级联强化学习。研究团队首先进行了扩展的监督微调，将最大上下文长度从64K增加到256K，这种更长的上下文窗口对于支持长期推理和多轮深度搜索规划至关重要。

在强化学习阶段，研究团队采用了分阶段优化策略。通用强化学习通过点式强化学习和对式强化学习依次执行，以增强独立响应质量和比较偏好对齐。代码强化学习分两个阶段进行：正确性阶段最大化执行通过率，然后是门控时间复杂度阶段，仅在实现完全正确性时激活效率奖励。最后，他们应用轻量级智能体强化学习阶段来加强工具使用和搜索行为。

这种统一训练方案的巧妙之处在于，它让Nanbeige4.1-3B能够在严格的容量约束下保持强大的领域特定性能，同时成为一个平衡良好的通用模型。每个训练阶段都经过精心设计，确保不会因为优化某一方面的能力而损害其他方面的表现。

数据混合策略也体现了研究团队的深层思考。他们在整个训练过程中采用了仔细的监督微调数据混合和多阶段强化学习，以保持这些领域之间的平衡。这种平衡的实现需要对不同类型数据的特性有深刻理解，同时还要考虑到模型容量的限制和各种能力之间可能存在的相互影响。

更值得关注的是，研究团队还特别关注了长期规划和多步骤执行能力的培养。他们通过Wiki图谱随机游走构建高质量训练数据，并在交互层面和完整轨迹层面定义奖励，让模型能够在数百个步骤的规划和执行过程中获得适当的信用分配。这种设计使得Nanbeige4.1-3B具备了在通用小语言模型中极为罕见的深度搜索和长期智能体行为能力。

六、实际应用价值和未来展望

Nanbeige4.1-3B的成功不仅仅是技术上的突破，更为人工智能的实际应用开辟了新的可能性。这种小而全的模型设计理念，为资源受限环境下的AI部署提供了全新的解决方案。

从实用角度来看，这种紧凑型的全能模型特别适合那些需要在边缘设备或资源有限环境中部署AI系统的场景。传统的大型模型虽然功能强大，但往往需要昂贵的硬件支持和大量的能耗，这限制了它们的应用范围。而Nanbeige4.1-3B这样的小型全能模型，能够在保持高性能的同时大大降低部署成本和硬件要求。

在代码生成和软件开发辅助方面，这个模型展现出的不仅是编写正确代码的能力，更重要的是对算法效率的优化意识。这种特性使其特别适合于需要高效算法解决方案的开发环境，能够帮助程序员不仅写出功能正确的代码，还能写出性能优异的代码。

深度搜索能力的突破则为信息检索和知识工作领域带来了新的工具。传统的搜索工具往往只能进行浅层的信息匹配，而具备深度搜索能力的AI助手能够进行多轮推理，从不同角度分析问题，整合多个信息源，最终提供更加全面和深入的答案。这种能力在研究、咨询、新闻调查等需要深度信息挖掘的工作中具有重要价值。

研究团队已经将Nanbeige4.1-3B开源，这为AI研究社区提供了一个重要的参考案例，证明了在严格的容量约束下联合训练推理、编程和长期行为的可行性。这种开放的态度不仅有助于推动整个领域的发展，也为其他研究者提供了学习和改进的机会。

展望未来，研究团队计划进一步推动紧凑模型在复杂编程和研究智能体场景中的边界。他们希望通过让任务能够用更短的输出和更少的工具调用来解决，从而提高推理效率。同时，他们也在探索架构创新，以进一步增强紧凑通用模型的潜力。

这种对小型全能模型的深入研究，代表了AI发展的一个重要方向。在追求更大、更强模型的同时，如何在有限的资源下实现最大化的能力，如何让AI技术更加普及和易于部署，这些问题的答案将直接影响AI技术的实际应用范围和社会影响力。Nanbeige4.1-3B的成功为这些问题提供了一个很好的答案样本。

说到底，Nanbeige4.1-3B的意义远超其技术成就本身。它向我们展示了一种新的思路：不是所有的AI应用都需要超大规模的模型，通过巧妙的设计和精心的训练，小模型同样可以拥有强大而全面的能力。这种理念不仅有助于降低AI技术的使用门槛，也为AI技术在更广泛领域的应用铺平了道路。归根结底，真正有价值的技术创新不仅要追求性能的极致，更要考虑实际应用的可行性和普及性。Nanbeige4.1-3B在这两个方面都做出了很好的示范，为AI技术的民主化和普及化贡献了重要力量。研究团队开源这个模型的举动，更是体现了对技术共享和共同进步的理想追求。有兴趣深入了解技术细节的读者，可以通过论文编号arXiv:2602.13367v1查询完整的研究报告。

Q&A

Q1：Nanbeige4.1-3B相比其他小模型有什么特别之处？

A：Nanbeige4.1-3B最大的特点是在只有30亿参数的情况下，同时具备推理、编程和智能体三大能力，这在小模型中极为罕见。它不仅能写代码、做数学题，还能执行长达600轮的复杂工具调用，甚至在某些任务上超越了参数量十倍的大模型。

Q2：这个模型能处理多复杂的编程任务？

A：Nanbeige4.1-3B在编程方面不仅能写出功能正确的代码，还特别注重算法效率。在真实的LeetCode周赛中，它成功解决了85%的问题，并在两次比赛中分别获得第1名和第3名的成绩，证明了其处理竞技编程级别问题的能力。

Q3：普通用户如何使用Nanbeige4.1-3B？

A：研究团队已经将Nanbeige4.1-3B完全开源，用户可以在HuggingFace平台上下载模型。由于它只有30亿参数，相比大模型对硬件要求更低，更适合在资源有限的环境中部署，这大大降低了使用AI技术的门槛。