1.1 原生轻量化模型的定义

原生轻量化大语言模型（Natively Lightweight Large Language Models）是指那些在模型设计之初，就充分考虑了在资源受限环境下（如个人电脑、移动设备、嵌入式系统）的部署和运行需求，并直接通过特定的架构设计和训练方法从零开始构建的模型。[32]

与通过压缩现有大型模型得到的轻量化模型不同，原生轻量化模型并非"事后优化"的产物，而是"与生俱来"就具备高效、低耗的特性。其核心思想在于，与其将一个在云端"超级计算机"上训练好的庞大模型强行"挤"进资源有限的设备，不如从一开始就为小设备的算力、内存和存储特性量身打造一个专属的"大脑"。[174]

原生轻量化模型则试图打破这一范式，通过精巧的架构设计，如稀疏计算、参数共享和量化感知训练等，在不牺牲过多性能的前提下，大幅降低模型的资源占用。例如，SmallThinker系列模型通过其创新的两级稀疏结构，在仅激活少量参数的情况下完成推理，实现了与更大规模模型相媲美的性能，同时显著降低了对计算资源的需求。[51]

1.2 与压缩模型的根本区别

1.3 原生训练的优势与挑战

原生训练的最大优势在于其能够从根本上解决模型在端侧设备上运行的效率问题。例如，SmallThinker模型通过其独特的双层稀疏架构，在推理时只调用必要的专家和神经元，极大地降低了内存占用和计算量，使其能够在普通CPU上快速运行。[167]

2.1 专家混合模型（MoE）

专家混合（Mixture-of-Experts, MoE）是原生轻量化模型中一种核心的架构设计理念，它通过将模型的前馈网络（FFN）层替换为多个并行的"专家"网络，实现了模型的稀疏激活，从而在扩大模型总参数量的同时，保持较低的计算开销。[172]

2.1.1 动态激活与稀疏计算

动态激活是MoE架构实现高效计算的关键。在传统的稠密模型中，所有的参数在每次推理时都会被激活和计算，这导致了巨大的计算和内存开销。而在MoE模型中，只有被路由器选中的少数专家会参与计算，大部分参数都处于"休眠"状态。[172]

2.1.2 SmallThinker的两级稀疏结构

SmallThinker模型在MoE架构的基础上，进一步创新地提出了两级稀疏结构，以实现更极致的轻量化。第一级稀疏性体现在专家层面，即通过路由器选择少数专家进行激活。第二级稀疏性则体现在专家内部，即每个专家网络本身也是一个稀疏网络。[172]

这种双层稀疏结构，就像是在一个大型图书馆中，首先根据主题找到相关的书架（选择专家），然后只翻阅书架上最相关的几本书（激活神经元），从而实现了计算效率的最大化。这种设计使得SmallThinker能够在总参数量达到210亿的情况下，将激活参数量控制在30亿，实现了极高的计算效率。

2.2 稀疏前馈网络

稀疏前馈网络（Sparse Feed-Forward Network）是原生轻量化模型中另一种重要的架构创新，它通过在前馈网络中引入稀疏性，进一步降低了模型的计算和存储开销。

2.2.1 选择性计算机制

选择性计算机制是稀疏前馈网络的核心。它通过某种策略（如基于输入的动态选择、静态的权重剪枝等）来确定哪些神经元或连接需要被计算。例如，可以设计一个门控机制，根据输入的token来决定哪些神经元应该被激活。[32]

2.2.2 降低计算与存储开销

稀疏前馈网络通过选择性计算，能够显著降低模型的计算和存储开销。在计算方面，由于只计算了一小部分神经元，稀疏FFN的计算量远低于稠密FFN。在存储方面，稀疏FFN可以通过特殊的存储格式来存储其非零权重，从而大大减少了模型的存储空间。[168]

2.3 预注意力路由机制

预注意力路由（Pre-Attention Routing）是一种旨在优化MoE模型中路由器计算效率的架构设计。在传统的MoE模型中，路由器需要在每个Transformer层都对输入的token进行计算，以决定选择哪些专家。

2.4 NoPE-RoPE混合稀疏注意力

NoPE-RoPE混合稀疏注意力（NoPE-RoPE Hybrid Sparse Attention）是一种针对长序列处理优化的注意力机制，它通过结合不同的位置编码方式和稀疏注意力模式，来减少KV缓存的占用，并提高长序列的处理效率。[172]

2.5 其他架构创新

2.5.1 原生1位训练（BitNet）

原生1位训练是轻量化模型领域的一项革命性突破，它彻底改变了模型参数的表示方式，从而实现了极致的压缩和效率。微软研究院的BitNet模型直接从训练开始就使用1位（或接近1位）的数值来表示权重。[98] [99]

2.5.2 量化友好型设计

除了原生1位训练，构建量化友好型模型也是实现高效部署的重要方向。量化友好型设计指的是在模型架构层面就考虑到后续的量化操作，从而使得模型在量化后能够保持更高的精度。

3.1 原生1位训练

原生1位训练是BitNet模型提出的核心创新，它彻底改变了传统模型训练与量化的关系。在传统的流程中，模型以高精度（如FP32）进行训练，然后通过一个独立的量化步骤将其转换为低精度（如INT8或更低）。[98]

3.1.1 避免量化精度损失

避免量化精度损失是原生1位训练最核心的优势。在传统的量化流程中，将高精度浮点数映射到低精度整数时，由于表示范围的限制，必然会产生舍入误差。而原生1位训练通过让模型在训练过程中直接适应1位的表示，使得模型能够自发地学习到一个对1位量化"友好"的权重分布。

3.1.2 渐进式训练策略

尽管原生1位训练的理念很美好，但直接从头开始训练一个1位模型是非常困难的。为了解决这个问题，BitNet采用了渐进式训练策略。这种策略的核心思想是从易到难，逐步增加训练的难度。[99]

3.2 优化器与学习率调度

在原生轻量化模型的训练中，优化器和学习率调度策略的选择对模型的最终性能至关重要。由于这些模型通常在参数量受限的情况下进行训练，如何高效地利用有限的参数，并使其在训练过程中稳定地收敛，是一个关键问题。

3.2.1 RAdam优化器的应用

RAdam（Rectified Adam）优化器在原生轻量化模型的训练中得到了广泛应用。RAdam是对经典Adam优化器的一种改进，它主要解决了Adam在训练初期由于自适应学习率估计不准确而可能导致的发散问题。

3.2.2 自定义学习率策略

除了优化器的选择，自定义学习率调度策略也是提升原生轻量化模型训练效果的重要手段。与大型模型通常采用的标准学习率衰减策略不同，原生轻量化模型的训练可能需要更精细化的学习率控制。

3.3 混合精度训练

混合精度训练（Mixed Precision Training）是一种在深度学习训练中广泛应用的技术，它同样适用于原生轻量化模型的训练。混合精度训练的核心思想是在训练过程中同时使用16位（FP16）和32位（FP32）浮点数进行计算。

3.3.2 数值稳定性保障

尽管FP16能够带来诸多好处，但其较窄的数值范围也带来了数值稳定性的挑战。在训练过程中，梯度的值可能会非常小，如果使用FP16进行累加，很容易出现下溢（underflow）的情况。为了解决这个问题，混合精度训练引入了损失缩放（Loss Scaling）技术。

3.4 量化感知训练（QAT）

量化感知训练（Quantization-Aware Training, QAT）是一种在模型训练阶段就模拟量化效应的技术，旨在让模型在量化前后保持性能的一致性。虽然QAT并非严格意义上的"原生"训练，但它在理念上与原生训练有共通之处。

3.4.1 训练阶段的量化模拟

在QAT中，量化模拟是关键步骤。在前向传播时，模型的权重和激活值会先经过一个模拟量化的操作，即被"伪量化"。这个操作会将连续的浮点数值映射到离散的、有限精度的数值集合上。

4.1 SmallThinker：为本地部署而生

SmallThinker是由上海交通大学IPADS研究所、人工智能学院联合初创公司本智激活（Zenergize AI）共同推出的一系列原生轻量化大语言模型，其设计目标直指端侧AI部署的痛点。[34] [51]

4.1.2 在普通CPU与嵌入式设备上的部署

SmallThinker模型最引人注目的特点之一，是其能够在不依赖昂贵GPU硬件的情况下，在普通的消费级CPU和各类嵌入式设备上实现高效部署和流畅运行。经过Q4_0量化后，SmallThinker-4B-A0.6B模型在普通的消费级CPU上，推理速度可以轻松超过20 tokens/s，同时仅占用约1GB的内存。[51]

4.1.3 性能评估与对比

为了全面评估SmallThinker的性能，研究人员在多个主流的基准测试上将其与一系列知名的开源模型进行了对比。在MMLU（Massive Multitask Language Understanding）这一综合性的语言理解基准测试中，SmallThinker-21B-A3B的得分不仅超越了参数量相近的密集模型，甚至与一些规模更大的模型相比也毫不逊色。[51]

4.2 BitNet：原生1位大语言模型

BitNet是由微软研究院发布的首个开源原生1位大型语言模型，其设计目标是让用户能够拥有自己的轻量化AI，而无需依赖云端服务。[98]

4.2.1 模型特点与优势

4.2.2 在移动设备上的应用

BitNet的轻量化特性使其非常适合在移动设备上部署。例如，BitNet可以在智能手机和平板电脑上流畅运行，为用户提供实时的AI服务。这种本地化的部署方式，不仅提升了响应速度，还更好地保护了用户的隐私数据。[99]

4.3 其他原生轻量化模型

5.1 训练与部署流程对比

5.2 性能与精度对比

压缩模型则面临着固有的性能下降风险。知识蒸馏、剪枝和量化等操作，本质上都是对原始模型信息的有损压缩。这些损失累积起来，往往会导致压缩后模型的精度显著低于原始大模型。[30] [31]

5.3 适用场景与部署考量

5.4 核心优势总结