Per utilizzare un modello di intelligenza artificiale avanzato non è più necessariamente indispensabile collegarsi ai server di OpenAI, Google o Anthropic. Una parte sempre più importante della sfida sull’AI si sta infatti spostando sui computer degli utenti, e dalla Cina arriva un nuovo esempio particolarmente interessante.
Si chiama Qwen3.8-27B, appartiene alla famiglia Qwen sviluppata da Alibaba e conta circa 28 miliardi di parametri. Il modello originale occupa oltre 50 GB, ma una versione fortemente compressa realizzata da Escha Labs riesce a racchiudere i suoi 27 miliardi di parametri in appena 10,15 GB di pesi.
È soprattutto questo dato ad aver attirato l’attenzione della comunità che ruota attorno ai cosiddetti local LLM, i modelli linguistici eseguibili direttamente sul proprio computer.
Un modello da 27 miliardi di parametri in poco più di 10 GB
La versione in questione prende il nome di Qwen3.8-27B-Escha-W2 e utilizza una quantizzazione estremamente aggressiva, nell’ordine dei 2 bit.
In parole semplici, la quantizzazione riduce la quantità di memoria necessaria per rappresentare i numeri che compongono una rete neurale. È un po’ come comprimere un file molto grande cercando di conservarne il più possibile la qualità originale.
Nel caso di Escha-W2, il risultato è notevole: 10,18 GB complessivi da scaricare, dei quali circa 10,15 GB rappresentano i pesi del modello. La quantizzazione utilizzata è in realtà mista, tra 2 e 3 bit, con una media dichiarata di circa 2,47 bit per peso.
Non significa, però, che qualsiasi computer con 10 GB di RAM possa improvvisamente trasformarsi in una workstation per l’intelligenza artificiale.
10 GB di modello, però, non equivalgono a 10 GB di RAM
È probabilmente l’aspetto più importante da chiarire.
I 10,15 GB indicano lo spazio occupato dai pesi, non tutta la memoria richiesta durante l’esecuzione. Quando un modello lavora deve infatti conservare in memoria anche il contesto della conversazione, dati temporanei e altre strutture necessarie ai calcoli.
Escha Labs ha verificato ufficialmente il funzionamento su schede NVIDIA come RTX 5090 da 32 GB, RTX 4090 da 24 GB e RTX 3090 da 24 GB. Secondo gli sviluppatori, una GPU con 16 GB dovrebbe essere sufficiente utilizzando finestre di contesto più contenute, anche se questa configurazione inizialmente non era inclusa tra quelle ufficialmente validate.
Il risultato resta comunque significativo. Fino a non molto tempo fa, modelli di queste dimensioni erano associati principalmente a server costosi e grandi quantità di memoria. Ora possono essere eseguiti su una singola scheda video consumer di fascia alta.
E non si parla soltanto di riuscire ad avviarli.
Nei test pubblicati da Escha Labs, una RTX 4090 raggiunge circa 67 token al secondo nella generazione con un singolo utente, mentre una RTX 5090 supera gli 80 token al secondo. Con tecniche di speculative decoding, in alcune configurazioni la velocità può aumentare ulteriormente.
Sono prestazioni che rendono il modello concretamente utilizzabile, non una semplice dimostrazione tecnica.
Ma cosa può fare Qwen3.8-27B?
Il modello originale Qwen3.8-27B non nasce soltanto per rispondere alle classiche domande da chatbot.
Alibaba lo presenta come un modello orientato anche al ragionamento, alla programmazione e all’utilizzo di strumenti esterni. La versione completa è inoltre multimodale, quindi può elaborare testo e contenuti visivi.
Un altro dato particolare riguarda la finestra di contesto: Qwen3.8-27B supporta nativamente fino a 262.144 token. Significa poter lavorare, almeno teoricamente, con conversazioni molto lunghe, documenti corposi o grandi quantità di codice senza perdere immediatamente ciò che è stato fornito all’inizio.
Naturalmente utilizzare tutto quel contesto in locale aumenta sensibilmente il consumo di memoria.
La particolare architettura del modello aiuta però a ridurre il problema: soltanto una parte dei suoi livelli utilizza il meccanismo di attenzione tradizionale, limitando l’aumento della memoria richiesta dal contesto. Escha Labs è riuscita a sperimentare persino un contesto di 128.000 token su una RTX 4090 da 24 GB, con opportune configurazioni.
Quanto perde comprimendolo così tanto?
È la domanda inevitabile.
Portare un modello da decine di gigabyte a circa 10 GB comporta normalmente una perdita di precisione. Più si riducono i bit utilizzati per rappresentare i pesi, maggiore è il rischio di compromettere le capacità del modello.
I primi risultati di Escha-W2 sono però curiosi.
Nel benchmark GPQA-Diamond, dedicato a domande scientifiche particolarmente difficili, la versione FP8 di riferimento ha ottenuto 88,89 punti, mentre quella da circa 10 GB ha raggiunto 88,38.
Su LiveCodeBench, dedicato alla programmazione, Escha-W2 ha ottenuto 86,81 contro 85,16 della versione FP8. Gli stessi sviluppatori invitano però a non interpretare quest’ultimo risultato come se il modello compresso fosse diventato improvvisamente più intelligente: la differenza rientra nella normale variabilità statistica del test.
Ed è una precisazione importante.
I benchmark sono stati pubblicati da chi ha sviluppato la quantizzazione e, prima di trarre conclusioni definitive, serviranno confronti indipendenti su un numero maggiore di attività.
Il dato interessante, per il momento, è un altro: la perdita di qualità osservata nei test pubblicati appare sorprendentemente contenuta rispetto alla riduzione delle dimensioni.
L’intelligenza artificiale potrebbe tornare dentro il computer
È forse questa la parte più interessante dell’intera vicenda.
Negli ultimi anni ci siamo abituati a utilizzare l’intelligenza artificiale come un servizio remoto. Scriviamo una domanda, il contenuto attraversa Internet, viene elaborato in un data center e infine riceviamo la risposta.
L’AI locale ribalta questo schema.
Il modello viene scaricato e l’elaborazione avviene direttamente sul computer:
utente → PC → modello → risposta.
In determinate configurazioni non è quindi necessario inviare documenti, testi o altre informazioni a un server esterno.
Per aziende, professionisti e sviluppatori può essere un vantaggio notevole, soprattutto quando si lavora con materiale riservato. A questo si aggiungono la possibilità di utilizzare il modello senza connessione Internet e l’assenza di un costo legato a ogni singola richiesta elaborata.
Naturalmente il computer continua a consumare energia e l’hardware necessario ha un costo, quindi parlare di AI completamente “gratis” sarebbe altrettanto fuorviante.
Non è ancora il ChatGPT offline per tutti
C’è infine un limite che vale la pena sottolineare.
La versione Escha-W2 non è ancora un programma da installare con un doppio clic sul vecchio portatile di casa. La configurazione pubblicata da Escha Labs è rivolta soprattutto a utenti tecnici e utilizza Linux x86-64, GPU NVIDIA compatibili e CUDA.
Il Qwen3.8-27B originale dispone invece già di numerose quantizzazioni compatibili con ecosistemi come llama.cpp, Ollama e LM Studio, ma aumentando la facilità di utilizzo o scegliendo quantizzazioni meno aggressive cresce generalmente anche la memoria necessaria. La stessa pagina ufficiale di Qwen rimanda alle versioni quantizzate utilizzabili con questi strumenti.
AMD, inoltre, ha annunciato il supporto a Qwen3.8-27B su alcune delle proprie piattaforme Ryzen AI Max e Radeon con almeno 24 GB di memoria grafica, segno che l’ecosistema locale si sta rapidamente allargando anche oltre NVIDIA.
Una corsa che non riguarda più soltanto il cloud
Per anni la competizione sull’intelligenza artificiale è sembrata coincidere con una gara a chi costruiva il modello più grande e il data center più potente.
Qwen3.8-27B racconta un’altra parte della storia.
La domanda oggi non è soltanto quanto può diventare intelligente un modello, ma quanto piccolo, economico ed efficiente possa diventare senza perdere gran parte delle proprie capacità.
Riuscire a comprimere un modello da 27 miliardi di parametri fino a circa 10 GB non significa ancora avere un’intelligenza artificiale avanzata su qualsiasi PC. Significa però che la distanza tra i grandi modelli del cloud e quelli utilizzabili direttamente dagli utenti si sta riducendo rapidamente.
Ed è probabilmente uno degli sviluppi più interessanti da osservare nei prossimi anni: l’intelligenza artificiale potrebbe non vivere soltanto nei giganteschi data center delle Big Tech.
Una parte potrebbe finire, molto più semplicemente, dentro il nostro computer.