跳至正文

Qwen3.6-35B-A3B 越狱版来了!最强无审查开源模型,6G显存都能跑

  • 由

← 返回博客

Qwen3.6-35B-A3B 越狱版来了!6G显存就能跑的”无审查”最强开源模型,附完整部署教程

兄弟们,AI 圈最近炸了一个消息——通义千问出了一个”越狱版”开源模型 Qwen3.6-35B-A3B。

说它”越狱”,不是那种违法翻墙的越狱,而是 去掉了安全过滤器。普通模型你问它”帮我写一段反派发言””写一个暴力的打斗场景”,它可能会拒绝。这个版本不管这些,回答更放得开,编程、写作、创意类任务上尤其好用。

最狠的是什么呢?它虽然总参数 35B,但用了 MoE(混合专家)架构——你可以理解为一个 35 人的队伍,每次只叫最擅长的 3 个人干活。所以 6GB 显存就能跑! 比你想象中需要的配置低得多。

而且它是多模态模型——图片也能看。你甩一张图过去,它帮你分析。

今天教程就把这个”无审查怪兽”跑起来。6G 显存就够了。

一、先看你的配置够不够

这个模型对硬件极其友好:

硬件 最低配置 推荐配置
显卡 6GB 显存(NVIDIA) RTX 3060 12G / RTX 4060
系统内存 8GB 16GB 以上
硬盘 10GB 空闲 SSD,20GB+

看到了吗?最低 6GB 显存就够了。 你的 GTX 1660 Super(6G)、RTX 2060(6G)、RTX 3060(12G)、甚至笔记本的 RTX 3050 Ti(4G 不行,差一点)都能上。

👁️ 查配置:按 Win + R → 输 cmd → 在黑框里输 nvidia-smi → 看最上面那行,确认显存 ≥ 6GB。

二、方案A:Ollama 部署(新手推荐,3分钟上手)

这个方案最简单,不用写 Python 代码。装一个 Ollama,一行命令拉模型就能跑。

第1步:安装 Ollama

做什么:Ollama 是帮你管理本地大模型的工具箱——下载、运行、管理一条龙。

怎么做:

  1. 打开浏览器,访问 ollama.com
  2. 点 Download,下 Windows 版
  3. 双击安装 → 一路 Next → Finish

👁️ 验证:按 Win + R → 输 cmd → 输入:

ollama --version

看到版本号(比如 v0.5.4)就对了。

第2步:拉取 Qwen3.6-35B-A3B 模型

Ollama 社区已经打包好了优化版,直接一行命令下载:

ollama pull qwen3.6:35b-a3b

👁️ 下载要多久? 模型大概 6GB(因为 MoE 架构,虽然总参数 35B,但实际文件很小)。一般 5-15 分钟下完。

⚠️ 注意:如果报 “manifest not found”,说明 Ollama 仓库里的标签名可能有变化。去 ollama.com/library/qwen3.6 搜一下最新标签名,把命令里的 35b-a3b 换成最新的。

第3步:跑起来

ollama run qwen3.6:35b-a3b

等几秒钟加载完成,你就能直接打字跟它聊天了。

👁️ 验证:输入一个比较”放得开”的问题试试,比如”帮我写一段反派角色的独白”。普通模型可能会拒绝,但 A3B 版本会直接给你写。

多模态(看图功能):这模型能看图。拖一张图片到终端窗口,然后输入:

>>> /Users/yourname/Desktop/chart.png  分析这张图表的数据

三、方案B:HuggingFace 手动部署(进阶)

如果你不想用 Ollama,想自己控制量化参数、或者你需要集成到自己的 Python 项目里,用这个方案。

第1步:下载模型文件

pip install huggingface-hub

huggingface-cli download Qwen/Qwen3.6-35B-A3B \
  --local-dir ./models/qwen3.6-35b-a3b

第2步:4-bit 量化加载(吃显存最少)

pip install transformers torch accelerate bitsandbytes

python3 -c "
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = 'Qwen/Qwen3.6-35B-A3B'
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

# 4-bit 量化,6GB 显存也能跑
model = AutoModelForCausalLM.from_pretrained(
    model_name, torch_dtype=torch.float16,
    device_map='auto', load_in_4bit=True,
    trust_remote_code=True
)

prompt = '用100字解释什么是大语言模型'
inputs = tokenizer(prompt, return_tensors='pt').to('cuda')
output = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(output[0], skip_special_tokens=True))
"

四、A3B 和普通版有什么区别?

搞混了?别急,告诉你区别:

特性 普通版(Qwen3.6-35B) A3B 越狱版
显存要求 8GB(量化后) 6GB
架构 Dense(所有参数都激活) MoE(每次只激活3B)
安全过滤 有,敏感内容拒绝回答 无,回答更放得开
模型文件大小 ~20GB(量化后) ~6GB
适合场景 通用问答、企业应用 创意写作、编程、角色扮演

简单说:你要做创作、写代码、搞角色扮演 → 选 A3B 版。你要做企业应用、需要内容安全过滤 → 选普通版。

五、常见问题

Q:显存溢出了怎么办?

检查两点:① 确认用了 4-bit 量化(load_in_4bit=True) ② 关掉浏览器、游戏等吃显存的程序。如果只有 4GB 显存,换 Qwen3.6-8B(8B 小模型)。

Q:下载模型太慢了怎么办?

HuggingFace 国内下载慢是通病。解决方案:

# 设镜像站
export HF_ENDPOINT=https://hf-mirror.com

或者在 Ollama 里下——Ollama 的下载速度通常比 HuggingFace 快。

Q:Ollama 报错 “manifest not found”

去 ollama.com/library/qwen3.6 看最新的标签名,替换掉命令里的模型名就行。或者换方案B用 HuggingFace。

Q:A3B 版真的”越狱”了?会不会违规?

这个”越狱”指的是去掉了安全过滤器,不是破解或盗版。它是阿里通义千问官方发布的模型,Apache 2.0 开源协议,可以免费商用。它不违法,只是回答不会像普通 AI 那样”我是一个 AI 助手,我不能……”。

Q:这个模型和 GPT-5 比怎么样?

在数学、编程方面接近 GPT-5 水平,创意写作各有千秋。但它免费、开源、本地跑,没有隐私泄露风险。GPT-5 要付费,而且你的聊天记录会上传到 OpenAI 服务器。看你在乎什么了。

六、总结

Qwen3.6-35B-A3B 是 6GB 显存能跑的最强开源模型之一。没有之一。

  1. 新手走 Ollama:一行命令 ollama pull qwen3.6:35b-a3b,3 分钟上手
  2. 进阶走 HuggingFace:自己控制量化参数,精度更高
  3. 多模态是亮点:能看图分析图表和图片
  4. 无审查:创意写作和编程场景非常爽

💡 给新手的话:别纠结方案A还是方案B。装 Ollama,一行命令拉模型,用了再说。这模型小到 6G 卡都能跑,你显卡别再吃灰了!

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注