4GB显存运行2.8万亿参数K3模型：AirLLM实现大模型"平民化"推理

导语：当业界还在讨论如何通过量化、蒸馏手段压缩大模型参数时，一个名为AirLLM的开源项目给出了另一种答案——不是把模型变小，而是改变模型的加载方式。2.8万亿参数的Kimi K3，只需一张消费级GPU就能跑起来。

一、打破”大模型必须大显存”的惯性思维

传统大模型推理对显存的要求遵循一个简单逻辑：模型参数越多，需要的显存越大。Llama 3.1 405B全精度加载需要超过800GB显存，即便使用INT4量化，也需要约60-80GB，这已将绝大多数个人用户和研究机构拒之门外。

AirLLM项目的作者、Gavin Li（高辉）却从另一个角度切入这一问题：显存瓶颈的本质，不在于模型有多大，而在于我们一次把多少模型参数加载到显存里。

AirLLM的核心思路是分层推理（Layer-wise Inference）：推理时，显存中始终只保留当前一层的权重数据，用完即释放，下一层需要时再从磁盘动态加载。这意味着，显存需求取决于单层参数大小，而非模型总参数量。

二、稀疏MoE架构：参数规模与显存需求的”解耦”

AirLLM能实现如此惊人的压缩效果，离不开当前主流大模型的底层架构——混合专家模型（Mixture of Experts，MoE）。

传统Dense模型中，每个token在每一层都需要经过全部参数处理。而MoE架构引入了多个”专家”（Expert），每个token通过路由机制只激活其中少数专家参与计算。以Kimi K3为例，其总参数量高达2.8万亿，但单次推理实际调用的参数仅占其中极小一部分。

这带来一个反直觉却极为重要的结论：参数规模不再直接等于显存需求。 AirLLM正是利用了这一特性——对于MoE模型，它甚至实现了按专家加载（Per-Expert Streaming），即每次只将token真正路由到的专家调入显存，而非整个层。

以下是目前AirLLM支持的代表性模型及其显存占用：

模型	总参数量	GPU显存需求	架构类型
Kimi K3	2.8万亿	3.72GB	MoE
DeepSeek-V3	6710亿	~12GB	MoE
Llama 3.1 405B	4050亿	~8GB	Dense
Qwen3-235B	2350亿	~3GB	MoE
Llama 3 70B	700亿	~4GB	Dense
Qwen3-30B	300亿	~1-3GB	MoE

值得注意的是，上述数据均不依赖量化、蒸馏或模型剪枝，是原汁原味模型权重的推理结果。

三、技术实现：分层加载与预取并行

AirLLM的技术实现包含以下几个关键环节：

分层权重拆分：首次加载模型时，AirLLM会将Hugging Face格式的模型按层拆分为独立权重文件，写入缓存目录。拆分后的单层权重远小于完整模型，这是实现”小显存跑大模型”的前提条件。

动态按需加载：推理过程中，模型以前馈的方式逐层处理token序列。当第N层完成计算后，其权重立即释放，第N+1层权重随后从磁盘加载。这一机制保证了任意时刻显存中只保留一层参数。

预取机制加速：由于磁盘I/O成为新的瓶颈，AirLLM在v2.5版本中引入了预取功能——在当前层计算的同时，异步预加载下一层权重，将I/O等待时间与计算时间重叠，实测可获得约10%的速度提升。

块级量化压缩（可选）：对于I/O仍然受限的场景，AirLLM还支持块级量化（Block-wise Quantization），在权重加载阶段对参数进行4bit或8bit压缩，在几乎不损失精度的前提下进一步减少数据搬运量。该方法不同于传统量化方案——它只压缩存储阶段的权重，而非激活值，因此对模型输出质量的影响微乎其微。

四、Kimi K3专项优化：实践中的关键细节

作为目前全球范围内参数量最大的开源模型之一，Kimi K3对运行环境有若干特殊要求，AirLLM项目文档中也专门给出了注意事项：

必须安装额外依赖：pip install compressed-tensors flash-attn。K3的模型代码强制要求使用Flash Attention，无论是否显式请求。

CUDA版本限制：当前版本的flash-attn仅提供CUDA 12的预编译wheel，CUDA 13用户需从源码编译或切换环境。

Transformers版本锁定：K3的remote code在transformers 5.x下无法正常加载，需使用transformers 4.56.x版本。

在单张NVIDIA RTX 6000 Ada（48GB显存）上端到端实测，Kimi K3的VRAM占用稳定在3.72GB——比参数量仅为其千分之一的Llama 3 8B还要低。

五、代码示例：一行加载任意大模型

AirLLM的使用体验被设计得极为简单，核心接口统一为AutoModel.from_pretrained()：

from airllm import AutoModel

# 初始化模型——传入Hugging Face模型ID即可
model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

# Kimi K3
# model = AutoModel.from_pretrained("moonshotai/Kimi-K3")

# DeepSeek-V3
# model = AutoModel.from_pretrained("deepseek-ai/DeepSeek-V3")

input_text = ['What is the capital of United States?']
input_tokens = model.tokenizer(input_text,
    return_tensors="pt",
    return_attention_mask=False,
    truncation=True,
    max_length=128,
    padding=False)

generation_output = model.generate(
    input_tokens['input_ids'].cuda(),
    max_new_tokens=20,
    use_cache=True,
    return_dict_in_generate=True)

print(model.tokenizer.decode(generation_output.sequences[0]))

一条from_pretrained语句，适配所有支持的模型——Llama、Qwen、DeepSeek、Mistral、Phi、Gemma、ChatGLM、Baichuan、InternLM等主流架构均已覆盖。