Qwen3.6-35B-A3B越狱版发布:6G显存即可运行的无限制开源模型

导语:阿里Qwen3.6-35B-A3B Uncensored越狱版近日引发AI圈热议。该模型采用MoE(专家混合)架构,总参数35B但每次仅激活约3B,最低仅需6G显存即可运行,配合llama.cpp可实现本地多模态AI部署。


一、模型概述

Qwen3.6-35B-A3B Uncensored(HauhauCS Aggressive版本)是一款去除安全审查限制的开源大模型。相比官方版本,它移除了敏感内容过滤、政治正确约束和系统提示词限制,同时保留了模型的核心推理能力。

该模型在Artificial Analysis全球开源榜单中表现突出,尤其在中文理解、代码能力和多模态视觉方面处于40B以内开源模型第一梯队。

Qwen3.6大模型架构示意

二、MoE架构解析:35B参数仅激活3B

该模型采用Mixture of Experts(专家混合架构),这是其能够在消费级硬件上运行的关键。

MoE的核心原理是:模型总参数虽然达到350亿,但每次前向传播时只激活约30亿参数。这意味着模型既拥有超大参数量的能力,又具备小模型的速度和资源占用优势。

指标数值
总参数量350亿(35B)
激活参数约30亿(3B)
架构类型MoE(专家混合)
量化后最低显存6GB

三、量化版本与显存需求

模型已提供多种GGUF量化版本,用户可根据自身显存情况选择:

推荐显卡建议量化版本最低显存
RTX 4090 / 24GQ4_K_P、Q4_K_M12GB
RTX 3060 / 8GIQ2_M、IQ3_M8GB
入门级显卡IQ2_M(保守)6GB

注:最低6G显存可运行,但建议使用8G以上显存以获得更稳定的表现。


四、多模态视觉支持

该版本支持多模态视觉识别功能,可直接分析图片内容:

  • 看图理解与内容分析
  • 截图OCR识别
  • 复杂UI界面解读
  • 代码截图阅读
  • 图表数据提取

配合llama.cpp最新版,可实现本地版ChatGPT Vision体验。


五、部署教程

5.1 模型下载

  • HuggingFace下载:https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive
  • 网盘打包下载:https://pan.quark.cn/s/d971b8a8b139

5.2 llama.cpp下载

  • GitHub下载:https://github.com/ggerganov/llama.cpp
  • 网盘下载:https://pan.quark.cn/s/7ba7a646cc64
  • 整合包下载:https://www.cloudeop.com/s/55038F2FB7450D9F

5.3 一键启动脚本

将以下脚本保存为BAT批处理文件(保存时选择UTF-8编码):

@echo off
chcp 65001 >nul
title Qwen3.6-35B-A3B 越狱版

cd /d "%~dp0"

:menu
cls
echo ==========================================
echo Qwen3.6-35B-A3B 越狱版+多模态模型
echo ==========================================
echo.
echo 1. Q4_K_P(4090推荐)
echo 2. Q4_K_M(稳定版)
echo 3. IQ4_NL(高压缩高质量)
echo 4. IQ2_M(6G/8G显卡)
echo.
echo ==========================================

set /p choice=请输入数字:

if "%choice%"=="1" (
llama-server.exe ^
-m "modelsQwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_P.gguf" ^
--mmproj "modelsmmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf" ^
-ngl 999 ^
-c 131072 ^
-n 8192 ^
--host 127.0.0.1 ^
--port 8080
)

if "%choice%"=="2" (
llama-server.exe ^
-m "modelsQwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf" ^
--mmproj "modelsmmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf" ^
-ngl 999 ^
-c 131072 ^
-n 8192 ^
--host 127.0.0.1 ^
--port 8080
)

if "%choice%"=="3" (
llama-server.exe ^
-m "modelsQwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ4_NL.gguf" ^
--mmproj "modelsmmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf" ^
-ngl 999 ^
-c 131072 ^
-n 8192 ^
--host 127.0.0.1 ^
--port 8080
)

if "%choice%"=="4" (
llama-server.exe ^
-m "modelsQwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ2_M.gguf" ^
--mmproj "modelsmmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf" ^
-ngl 999 ^
-c 8192 ^
-n 4096 ^
--host 127.0.0.1 ^
--port 8080
)

pause
启动脚本运行界面

5.4 对接AI Agent(可选)

如需实现本地Token自由,可将服务对接到Hermes或OpenClaw等AI Agent平台:

  1. 在Agent中选择”自定义”模型提供商
  2. API Base地址填写:http://127.0.0.1:8080/v1
  3. API Key随意填写数字或留空

六、关键启动参数说明

参数说明
--mmproj多模态必须参数,否则图片上传功能不可用
--jinja新版Qwen模型必需,不加可能导致回复异常、格式错乱
-ngl 999加载到GPU的层数,999表示全加载
-c 131072上下文窗口大小(最大131K)
-n 8192最大输出token数

七、支持的硬件平台

llama.cpp支持多种硬件,真正实现”任何电脑都能跑”:

  • NVIDIA显卡:CUDA加速
  • AMD显卡:Vulkan/OpenCL
  • Intel Arc显卡:原生支持
  • 纯CPU运行:支持但速度较慢
  • Mac/Linux系统:全面兼容

八、总结

Qwen3.6-35B-A3B Uncensored越狱版的发布,将本地大模型的可玩性推向了新高度。MoE架构带来的低资源占用、多模态能力、几乎无限制的响应机制,使得普通用户也能在消费级硬件上体验接近闭源商业模型的AI能力。

对于希望搭建本地AI Agent、追求Token自由的用户而言,这是一个值得关注和尝试的选项。建议有条件的读者尽快下载部署。


版权声明:本文由华盟网原创发布,保留所有权利。配图由华盟网授权使用。

© 版权声明
THE END
喜欢就支持一下吧
点赞10 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容