Qwen3.6-35B-A3B 越狱版来了!6G显存就能跑的”无审查”最强开源模型,附完整部署教程
兄弟们,AI 圈最近炸了一个消息——通义千问出了一个”越狱版”开源模型 Qwen3.6-35B-A3B。
说它”越狱”,不是那种违法翻墙的越狱,而是 去掉了安全过滤器。普通模型你问它”帮我写一段反派发言””写一个暴力的打斗场景”,它可能会拒绝。这个版本不管这些,回答更放得开,编程、写作、创意类任务上尤其好用。
最狠的是什么呢?它虽然总参数 35B,但用了 MoE(混合专家)架构——你可以理解为一个 35 人的队伍,每次只叫最擅长的 3 个人干活。所以 6GB 显存就能跑! 比你想象中需要的配置低得多。
而且它是多模态模型——图片也能看。你甩一张图过去,它帮你分析。
今天教程就把这个”无审查怪兽”跑起来。6G 显存就够了。
一、先看你的配置够不够
这个模型对硬件极其友好:
| 硬件 | 最低配置 | 推荐配置 |
|---|---|---|
| 显卡 | 6GB 显存(NVIDIA) | RTX 3060 12G / RTX 4060 |
| 系统内存 | 8GB | 16GB 以上 |
| 硬盘 | 10GB 空闲 | SSD,20GB+ |
看到了吗?最低 6GB 显存就够了。 你的 GTX 1660 Super(6G)、RTX 2060(6G)、RTX 3060(12G)、甚至笔记本的 RTX 3050 Ti(4G 不行,差一点)都能上。
👁️ 查配置:按 Win + R → 输 cmd → 在黑框里输 nvidia-smi → 看最上面那行,确认显存 ≥ 6GB。
二、方案A:Ollama 部署(新手推荐,3分钟上手)
这个方案最简单,不用写 Python 代码。装一个 Ollama,一行命令拉模型就能跑。
第1步:安装 Ollama
做什么:Ollama 是帮你管理本地大模型的工具箱——下载、运行、管理一条龙。
怎么做:
- 打开浏览器,访问 ollama.com
- 点 Download,下 Windows 版
- 双击安装 → 一路 Next → Finish
👁️ 验证:按 Win + R → 输 cmd → 输入:
ollama --version
看到版本号(比如 v0.5.4)就对了。
第2步:拉取 Qwen3.6-35B-A3B 模型
Ollama 社区已经打包好了优化版,直接一行命令下载:
ollama pull qwen3.6:35b-a3b
👁️ 下载要多久? 模型大概 6GB(因为 MoE 架构,虽然总参数 35B,但实际文件很小)。一般 5-15 分钟下完。
⚠️ 注意:如果报 “manifest not found”,说明 Ollama 仓库里的标签名可能有变化。去 ollama.com/library/qwen3.6 搜一下最新标签名,把命令里的 35b-a3b 换成最新的。
第3步:跑起来
ollama run qwen3.6:35b-a3b
等几秒钟加载完成,你就能直接打字跟它聊天了。
👁️ 验证:输入一个比较”放得开”的问题试试,比如”帮我写一段反派角色的独白”。普通模型可能会拒绝,但 A3B 版本会直接给你写。
多模态(看图功能):这模型能看图。拖一张图片到终端窗口,然后输入:
>>> /Users/yourname/Desktop/chart.png 分析这张图表的数据
三、方案B:HuggingFace 手动部署(进阶)
如果你不想用 Ollama,想自己控制量化参数、或者你需要集成到自己的 Python 项目里,用这个方案。
第1步:下载模型文件
pip install huggingface-hub huggingface-cli download Qwen/Qwen3.6-35B-A3B \ --local-dir ./models/qwen3.6-35b-a3b
第2步:4-bit 量化加载(吃显存最少)
pip install transformers torch accelerate bitsandbytes
python3 -c "
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_name = 'Qwen/Qwen3.6-35B-A3B'
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
# 4-bit 量化,6GB 显存也能跑
model = AutoModelForCausalLM.from_pretrained(
model_name, torch_dtype=torch.float16,
device_map='auto', load_in_4bit=True,
trust_remote_code=True
)
prompt = '用100字解释什么是大语言模型'
inputs = tokenizer(prompt, return_tensors='pt').to('cuda')
output = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(output[0], skip_special_tokens=True))
"
四、A3B 和普通版有什么区别?
搞混了?别急,告诉你区别:
| 特性 | 普通版(Qwen3.6-35B) | A3B 越狱版 |
|---|---|---|
| 显存要求 | 8GB(量化后) | 6GB |
| 架构 | Dense(所有参数都激活) | MoE(每次只激活3B) |
| 安全过滤 | 有,敏感内容拒绝回答 | 无,回答更放得开 |
| 模型文件大小 | ~20GB(量化后) | ~6GB |
| 适合场景 | 通用问答、企业应用 | 创意写作、编程、角色扮演 |
简单说:你要做创作、写代码、搞角色扮演 → 选 A3B 版。你要做企业应用、需要内容安全过滤 → 选普通版。
五、常见问题
Q:显存溢出了怎么办?
检查两点:① 确认用了 4-bit 量化(load_in_4bit=True) ② 关掉浏览器、游戏等吃显存的程序。如果只有 4GB 显存,换 Qwen3.6-8B(8B 小模型)。
Q:下载模型太慢了怎么办?
HuggingFace 国内下载慢是通病。解决方案:
# 设镜像站 export HF_ENDPOINT=https://hf-mirror.com
或者在 Ollama 里下——Ollama 的下载速度通常比 HuggingFace 快。
Q:Ollama 报错 “manifest not found”
去 ollama.com/library/qwen3.6 看最新的标签名,替换掉命令里的模型名就行。或者换方案B用 HuggingFace。
Q:A3B 版真的”越狱”了?会不会违规?
这个”越狱”指的是去掉了安全过滤器,不是破解或盗版。它是阿里通义千问官方发布的模型,Apache 2.0 开源协议,可以免费商用。它不违法,只是回答不会像普通 AI 那样”我是一个 AI 助手,我不能……”。
Q:这个模型和 GPT-5 比怎么样?
在数学、编程方面接近 GPT-5 水平,创意写作各有千秋。但它免费、开源、本地跑,没有隐私泄露风险。GPT-5 要付费,而且你的聊天记录会上传到 OpenAI 服务器。看你在乎什么了。
六、总结
Qwen3.6-35B-A3B 是 6GB 显存能跑的最强开源模型之一。没有之一。
- 新手走 Ollama:一行命令
ollama pull qwen3.6:35b-a3b,3 分钟上手 - 进阶走 HuggingFace:自己控制量化参数,精度更高
- 多模态是亮点:能看图分析图表和图片
- 无审查:创意写作和编程场景非常爽
💡 给新手的话:别纠结方案A还是方案B。装 Ollama,一行命令拉模型,用了再说。这模型小到 6G 卡都能跑,你显卡别再吃灰了!