Unsloth 于 2026 年 11 月 11 日发布了针对 Qwen3.8 系列大语言模型的最新量化版本,重点推出了基于 Dynamic V3.1 算法的 Qwen3.8-27B GGUF 格式模型 1。这一更新在保持与旧版相同文件大小的前提下,将模型的“平均准确率”提升了 5% 至 10% 1。Qwen3.8-27B 本身是一个拥有 270 亿参数的稠密模型,具备视觉和推理能力,并支持高达 256K 的上下文窗口 1。此次发布的量化模型在 Terminal Bench 2.1、DeepSWE v1.1、LiveCodeBench v6、GPQA Diamond、MMLU-Pro 以及 AIME25 等智能体基准测试中得到了验证和支持 1。
除了标准的 GGUF 格式外,Unsloth 还发布了针对 NVIDIA Blackwell 架构优化的 NVFP4 量化版本 1。该版本宣称比 BF16 检查点快约 1.5 倍,同时保留了 92% 至 97% 的 Top-1 准确率 1。对于普通用户而言,Qwen3.8-27B 的 4-bit 量化模型对硬件要求较为亲民,可在配备 16-19GB VRAM 的显卡(如 RTX 5080 或 4090)上运行,或在内存为 24GB 的 Mac 设备上流畅执行 1。为了简化本地操作流程,Unsloth Desktop 软件支持在 MacOS、Windows 和 Linux 系统上运行这些模型,并提供自我修复工具调用及代码执行等功能 1。
Unsloth has released updated quantized models for the Qwen3.8 series on November 11, 2026 1. The update introduces Dynamic V3.1 GGUF formats specifically for the 27-billion-parameter model, improving average accuracy by 5% to 10% while maintaining comparable file sizes 1. These updates target the dense Qwen3.8-27B model, which features vision and reasoning capabilities alongside a 256K context window 1.
In addition to standard GGUFs, Unsloth published NVFP4 quantizations optimized for the NVIDIA Blackwell architecture 1. This version runs approximately 1.5 times faster than BF16 checkpoints while retaining 92% to 97% top-1 accuracy 1. Users can run these models locally via llama.cpp or Unsloth Desktop, which supports macOS, Windows, and Linux with features like self-healing tool calling and code execution 1. The 4-bit quantizations require 16–19GB of VRAM (such as RTX 5080 or 4090 GPUs) or 24GB of RAM on Mac systems 1. Supported agentic benchmarks include Terminal Bench 2.1, DeepSWE v1.1, LiveCodeBench v6, GPQA Diamond, MMLU-Pro, and AIME25 1.
评论
还没有评论,欢迎留下第一条。