Bonsai 27B: il modello AI da 27 miliardi di parametri arriva su iPhone

OpenAI non è l’unica a spingere sull’AI on-device: anche PrismML sta cercando di portare modelli di classe cloud su telefoni e notebook, e con Bonsai 27B il salto è concreto.

Il nuovo modello, basato su Qwen3.6 27B, è stato presentato nella giornata di ieri in due varianti compresse, una binaria da 3,9 GB e una ternaria da 5,9 GB, con supporto per testo e immagini e licenza Apache 2.0.

Un 27B che sta “in tasca”

Bonsai 27B è stato progettato per superare il limite classico dei modelli da 27 miliardi di parametri, che in formato FP16 richiederebbero circa 54 GB di memoria.

PrismML afferma di aver ottenuto questa riduzione lavorando end-to-end sui pesi del modello, invece di applicare una semplice quantizzazione finale, così da rendere possibile l’esecuzione locale su hardware consumer, risultando funzionante anche su un iPhone più recenti. La variante da 1 bit è pensata per la massima portabilità, mentre quella ternaria privilegia una qualità più alta a fronte di un ingombro ancora molto contenuto.

Il modello non nasce come semplice chatbot alleggerito. La documentazione lo descrive come un sistema multimodale capace di accettare immagini oltre al testo, lavorare con un contesto fino a 262.144 token e gestire tool calling e flussi agentici complessi in locale. PrismML sostiene inoltre che Bonsai 27B sia adatto a ragionamento, coding, pianificazione e debugging, con un’architettura pensata per ridurre memoria, latenza e trasferimenti tra RAM e processore.

Un punto chiave è la compatibilità con MLX, il framework di Apple per Apple Silicon, che secondo la documentazione consente di far girare il modello su Mac e, nella variante binaria, anche su dispositivi mobile compatibili, ovvero i già citati iPhone. PrismML indica anche un throughput operativo su iPhone 17 Pro e una disponibilità open source del modello, elementi che rafforzano l’idea di una piattaforma davvero orientata all’AI locale.

Un potenziale punto di svolta per l’AI in locale

La rilevanza di Bonsai 27B sta nel tentativo di spostare una classe di modelli finora associata ai server cloud verso dispositivi personali, con vantaggi immediati su privacy, operatività offline e costi di inferenza. Se i risultati dichiarati reggeranno a verifiche indipendenti, il modello potrebbe diventare un riferimento per chi vuole eseguire assistenti avanzati direttamente su telefono o notebook.

Resta però una cautela necessaria: i numeri forniti da PrismML sono impressionanti, ma provengono soprattutto dall’azienda stessa e da canali che ne rilanciano gli annunci. In altre parole, Bonsai 27B segna una svolta interessante nel racconto dell’AI on-device, ma il suo peso reale sul mercato dipenderà dalle prove pratiche e dall’adozione da parte degli sviluppatori.