Unsloth rilascia i nuovi modelli GGUF per Qwen3.8-27B Dynamic v3.1

Il team di Unsloth ha annunciato il rilascio dei nuovi file GGUF (una tecnologia per la quantizzazione dei modelli) della serie Unsloth Dynamic v3.1 per il modello Qwen3.8-27B. Secondo l'annuncio, questa versione mostra un incremento della precisione tra il 5% e il 10% in test come DeepSWE e Terminal Bench rispetto a UD3, GSQ-RCO ed Exllama-3. L'aggiornamento riguarda le versioni da 2-bit a 6-bit, mentre le versioni a 3-bit sono rimaste invariate poiché i risultati sono risultati simili alla versione precedente.

Per i test di tipo "agentic", come DeepSWE e Terminal Bench, è stato utilizzato un contesto di 256K token, mentre per gli altri benchmark, tra cui LiveCodeBench (LCB), il limite è stato di 128K. Gli sviluppatori hanno eseguito i test più volte, con un numero di iterazioni compreso tra 6 e 16 per diverse metriche. L'autore del post specifica inoltre che gli algoritmi vengono ulteriormente perfezionati per essere applicati al futuro modello Qwen4.

L'autore del post contesta inoltre i risultati riportati da ISTA riguardo al benchmark AIME25. Mentre ISTA riporta un recupero di precisione vicino al 100%, le analisi di Unsloth su 14 prove indicano una media tra il 93% e il 96%. Secondo l'autore, i test di ISTA si basano su un singolo tentativo, mentre le prove di Unsloth mostrano che i vecchi quant UD3 superano le prestazioni di ISTA su LCB in quasi tutte le dimensioni.

Perché conta

L'aggiornamento introduce versioni ottimizzate che cercano di bilanciare l'uso della memoria RAM e dello spazio su disco con la precisione del modello, con l'obiettivo di rendere i quant più efficienti.