Microsoft riporta in vita ‘Hey, Copilot’: l’IA svolge i compiti per l'utente

Microsoft sta ampliando le capacità del suo assistente digitale Copilot in Windows 11, introducendo funzionalità vocali e agenti AI capaci di interagire direttamente con applicazioni e file locali.  Le novità rappresentano un ulteriore passo verso l’integrazione dell’intelligenza artificiale nell’ambiente desktop, trasformando Copilot da assistente passivo a collaboratore digitale attivo.

Attivazione vocale con “Hey, Copilot”

Dopo il fallimento di Cortana, Microsoft prova a ripristinare lo storico comando di attivazione vocale, trasformandolo “in salsa Copilot”.

Gli utenti di Windows 11 diventano in grado di interagire con Copilot pronunciando la parola chiave di attivazione “Hey, Copilot”. La funzione, già testata dagli iscritti al programma Windows Insider a partire da maggio, richiede l’attivazione manuale tramite l’app Copilot disponibile nel Microsoft Store.

Per abilitare l’ascolto vocale è necessario:

• Aprire l’app Copilot e cliccare sull’avatar in basso a sinistra.
• Accedere alle Impostazioni.
• Scorrere fino a Modalità vocale e attivare l’opzione “Ascolta ‘Hey, Copilot’ per iniziare una conversazione”.

Dopo l’attivazione, Copilot mostrerà un microfono sopra la barra delle applicazioni e un segnale acustico confermerà che l’assistente è in ascolto. Le richieste degli utenti sono elaborate online, ma il riconoscimento della parola chiave funziona offline grazie a un buffer audio locale di 10 secondi.

Secondo Microsoft, l’uso della voce raddoppia il coinvolgimento degli utenti rispetto all’interazione testuale, migliorando la fruibilità delle funzionalità di Copilot, come la trascrizione, la dettatura e l’accessibilità.

Copilot Vision e supporto visivo

Oltre alla voce, Copilot Vision analizza il contenuto dello schermo per fornire supporto operativo, suggerimenti passo passo e istruzioni sull’utilizzo delle app di Windows. La funzione consente di risolvere problemi di configurazione, apprendere nuove funzionalità e ottimizzare l’uso delle applicazioni.

Copilot Actions: agenti AI attivi per applicazioni e file locali

La novità più rilevante è Copilot Actions, che consente ad agenti AI di svolgere compiti concreti sui file e nelle applicazioni locali. Si tratta di agenti che possono interagire con documenti, organizzare file, inviare email e persino completare operazioni complesse simulando clic, digitazioni e scroll come farebbe un utente umano.

Ogni agente opera in un Agent Workspace isolato, implementato come una sessione figlia di Windows Remote Desktop, garantendo che le azioni rimangano confinate alla singola app e non interferiscano con il desktop dell’utente. L’isolamento protegge anche i dati personali e assicura che ogni agente rispetti le regole di sicurezza e privacy stabilite da Microsoft.

Nell’immagine, Copilot lavora su un video memorizzato in locale e lo modifica sulla base delle indicazioni ricevute dall’utente.

Sicurezza e controllo

Gli agenti Copilot sono progettati secondo quattro principi chiave di sicurezza:

• Account distinti: ogni agente opera con un account Windows standard separato, senza privilegi amministrativi.
• Privilegi limitati: accesso iniziale solo a cartelle standard (Documenti, Download, Desktop, Immagini), con possibilità di configurare l’accesso ad altre aree tramite ACL.
• Firma digitale: gli agenti sono crittograficamente firmati, permettendo a Microsoft di revocare certificati compromessi.
• Conformità normativa: gli agenti rispettano lo Standard “AI Responsabile” e l’informativa sulla privacy di Microsoft.

Copilot Actions è disattivato di default e può essere abilitato manualmente tramite Impostazioni, Sistema, Componenti IA, Strumenti agenti, Funzionalità sperimentali. In futuro, Microsoft prevede ulteriori controlli granulari per gestire l’accesso ai file e monitorare le azioni degli agenti.

Integrazione con Office e account esterni

Microsoft ha ampliato Copilot anche agli strumenti di produttività: ora può generare documenti Office e collegarsi ad account Microsoft e account di terze parti come Gmail, Google Drive e Google Calendar. Anche queste funzionalità sono opzionali e richiedono configurazione tramite l’app Copilot.

In parallelo, Microsoft sta implementando Gaming Copilot, un assistente personale per il gaming su Windows 11 e Copilot Chat, che integra il supporto AI in Word, Excel, PowerPoint, Outlook e OneNote per gli utenti business di Microsoft 365.