Perché con Copilot Vision, Microsoft ha fatto la cosa giusta

Microsoft si appresta a dare un significato al tanto criticato tasto Copilot che ha iniziato a comparire su alcune tastiere. Nei giorni scorsi vi abbiamo raccontato del debutto di Microsoft Copilot Vision che in Italia e in Europa non è ancora disponibile, ma che lo sarà presto. Sì, perché Copilot Vision è parte della nuova visione dell’azienda di Redmond, fortemente incentrata sull’intelligenza artificiale e sulla computer vision.

Cos’è Copilot Vision, in breve

Come abbiamo già raccontato, Copilot Vision è una funzionalità di Microsoft Copilot che permette all’assistente AI di “vedere” in tempo reale le finestre che l’utente decide di condividere sul proprio desktop. È attivabile manualmente (opt-in), non registra né salva immagini, e consente di ricevere aiuto contestuale su contenuti visivi: ad esempio, può riassumere un documento aperto, indicare dove cliccare in un’app o confrontare due file. Funziona anche con l’overlay Highlights, che mostra puntatori numerati direttamente sullo schermo per guidare l’utente visivamente.

Non sapete come ottenere un certo risultato con un programma di grafica? Copilot Vision vi guida tra i menu evidenziando con elementi grafici, soprapposti a quanto visualizzato sullo schermo, i comandi da usare e le procedure da seguire. Non trovate una voce nel sistema operativo o in una qualunque applicazione installata? Copilot Vision si sforzerà di trovare una soluzione, gestendo anche il caso in cui le funzioni risultano spostate e riposizionate in altre aree dell’interfaccia.

Per il momento, Copilot Vision è gratuito se utilizzato all’interno del browser Microsoft Edge. Per usarlo a livello di sistema serve un piano Copilot Pro, in abbonamento. Almeno negli Stati Uniti.

Copilot Vision: Microsoft corregge la “brutta figura” con Recall

A differenza dell’esperienza negativa legata a Recall, funzionalità di Windows 11 che registra quanto visualizzato sullo schermo e permette all’utente di effettuare ricerche in modo da estrarre informazioni d’interesse elaborate in passato, Copilot Vision ha centrato tre elementi fondamentali: controllo dell’utente, trasparenza sull’uso dei dati e valore immediato dell’assistente AI.

Copilot Vision segna una svolta importante nel modo con cui l’azienda gestisce le funzionalità AI sul desktop, proprio per evitare di ripetere gli errori che hanno travolto Recall.

Nel caso del nuovo Copilot Vision, l’assistente AI non è sempre attivo. Si abilita manualmente, solo quando l’utente lo desidera, e solo sulle finestre scelte. Microsoft dichiara inoltre che le immagini non vengono archiviate né caricate su cloud. Solo il testo delle conversazioni è mantenuto per un breve periodo al fine dello svolgimento di un monitoraggio automatico per finalità di sicurezza.

L’utente può interrompere la condivisione in qualsiasi momento, passare a un’altra finestra o rimuovere la cronologia della chat. Nessuna raccolta continua, nessun archivio personale da proteggere.

Copilot Vision offre aiuto contestuale, senza dover copiare, incollare o descrivere manualmente cosa si vede. La modalità Highlights, ad esempio, guida visivamente l’utente su cosa cliccare e indica i passaggi da seguire. A differenza di altri assistenti, Copilot Vision è inoltre perfettamente integrato nel sistema operativo, ma non opera in background, né indicizza automaticamente i contenuti.

Una nuova modalità d’interazione con il desktop

Copilot Vision introduce una modalità visiva e contestuale di supporto all’utente: possiamo “mostrare” all’assistente ciò che vediamo sullo schermo, condividendo una o due finestre selezionate in modo volontario. Il tutto in pochi clic: basta premere la combinazione di tasti Windows + C o il tasto Copilot, toccare l’icona degli occhiali, selezionare le finestre da condividere e iniziare la conversazione.

Con questa modalità, l’assistente è in grado di leggere in tempo reale ciò che visualizziamo e di rispondere in modo intelligente, tenendo conto anche del contesto e delle relazioni tra documenti, immagini, moduli, presentazioni e contenuti Web in corso di visualizzazione o modifica.

Scenari d’uso concreti e ad alto impatto

La potenza di Copilot Vision si manifesta in una varietà di contesti quotidiani:

• Revisione di documenti complessi: possiamo analizzare simultaneamente un contratto e un foglio Excel, chiedendo all’assistente di evidenziare clausole critiche, discrepanze nei modelli di ricavo o potenziali rischi.
• Supporto creativo nelle app di editing: l’integrazione visiva consente a Vision di indicare con numeri sovrapposti (“Highlights”) i comandi esatti nel sistema operativo e in qualunque software, riducendo drasticamente il tempo perso a cercare strumenti nascosti.
• Gaming e intrattenimento: durante fasi critiche di un videogioco, l’assistente riconosce la scena e fornisce suggerimenti tattici in tempo reale, senza dover ricorrere a guide esterne.
• Organizzazione di viaggi e documenti: Vision confronta informazioni tra browser e Word, segnala coincidenze rischiose nei voli, suggerisce cosa mettere in valigia in base alla destinazione e presenta tutto in un formato riepilogativo.

Note finali e prospettive

In prospettiva, Copilot Vision si configura come un assistente contestuale sempre più consapevole del nostro flusso di lavoro, con capacità visive, testuali e multimodali che possono rivoluzionare la produttività personale e professionale.

Copilot Vision rappresenta una svolta tangibile nel rapporto tra intelligenza artificiale e ambiente operativo: non più assistenti disconnessi o strumenti passivi, ma un copilota visivo che accompagna l’utente con discrezione, precisione e rispetto per la privacy.

A conferma che l’idea è quella di mettersi rapidamente alle spalle la “nomea” di Recall, Microsoft prevede importanti sviluppi:

• Indicizzazione di contenuti non salvati (come chat e streaming in tempo reale).
• Ricerche semantiche avanzate nel file system.
• Maggiore granularità nei permessi di accesso.