Frigate porta la videosorveglianza locale AI a un nuovo livello

Chi arriva dalle più famose soluzioni cloud per la videosorveglianza spesso descrive la stessa frustrazione: paghi un abbonamento, ottieni (forse) un buon filtro capace di discernere tra  una persona e una foglia ma la logica resta opaca, i dati vivono su infrastrutture di terzi e la personalizzazione reale è limitata. Con la recente ondata di funzionalità AI commerciali si è promesso molto, ma nella pratica la maggior parte dei sistemi rimane ancorata a un’analisi superficiale dell’evento: riconoscimento di oggetti generici, qualche notifica, qualche zona e poco altro.

Frigate è un NVR (Network Video Recorder) open source che è possibile installare in self-hosting per gestire telecamere IP: registra i video, rileva movimento/oggetti (persona, auto, animali, ecc.) con AI, può inviare notifiche e integrarsi molto bene con Home Assistant. In pratica, invece di affidarti a un servizio cloud, con Frigate registrazioni e analisi restano “in casa”, con più controllo su privacy, configurazione e automazioni.

Abbiamo già visto come usare Frigate per riconoscere persone e oggetti: adesso il software open source “alza la posta”: non solo detection e recording, ma un modello di “comprensione” locale degli eventi, dove l’output non è un flag binario (“c’è una persona”) bensì un pacchetto strutturato di metadati, pronto per automazioni sofisticate in Home Assistant (o in qualunque pipeline MQTT/HTTP si voglia costruire). Il punto interessante è che la nuova versione di Frigate non è l’ennesimo giocattolo LLM, ma la combinazione di tre livelli distinti che, se orchestrati bene, trasformano un NVR in un motore di rilevazione rapida, classificazione fine, e sintesi semantica.

Nell’immagine, la dashboard live di Frigate.

Frigate: evoluzione di un NVR open source

Il progetto Frigate (repository GitHub) nasce come NVR open source basato su container, progettato per funzionare con telecamere IP e acceleratori hardware per il riconoscimento degli oggetti.

Le versioni precedenti avevano già introdotto integrazioni con TensorFlow Lite e supporto per dispositivi come Google Coral. La release candidate 0.17 RC1 amplia la logica di analisi aggiungendo moduli di GenAI per la descrizione semantica delle scene, la generazione di riassunti e la classificazione del rischio.

La novità principale riguarda la possibilità di produrre output strutturati per ogni evento rilevato. Il sistema restituisce campi come title, scene e shortSummary, progettati per essere elaborati da altri servizi come Home Assistant. A differenza delle versioni precedenti, non è più necessario costruire prompt complessi per ottenere dati gestibili: la struttura è nativamente fornita dal motore di Frigate.

Editor maschere e zone integrato in Frigate.

Dal “motion detection” alla catena di analisi a più stadi

La differenza concettuale più importante è che un impianto Frigate ben configurato non deve per forza “capire tutto, sempre”. Il flusso è modulare e ottimizzato. Queste le novità degne di nota:

• Il rilevamento degli oggetti (object detection) funziona come un filtro a basso impatto computazionale, eseguito su hardware come TPU Coral (un’unità di elaborazione tensoriale dedicata all’IA) oppure su GPU o CPU, a seconda della configurazione, e serve a segnalare la presenza di elementi rilevanti nella scena, agendo da meccanismo di controllo che evita di sprecare risorse di calcolo su frame privi di contenuti utili.
• La classificazione (introdotta in Frigate 0.17) è il processo che assegna un’etichetta a un oggetto o ne determina la condizione. Serve a distinguere elementi della stessa categoria oppure a valutare lo stato di una specifica area dell’immagine: in questo modo si passa dal riconoscere genericamente “un gatto” al riconoscere “Birillo” oppure “nessuno dei miei gatti”, e allo stesso modo dal vedere “un cancello” al determinarne lo stato come “aperto” o “chiuso”.
• Revisione tramite GenAI e generazione di riepiloghi degli oggetti (quando necessario) per creare descrizioni e sintesi utili alle notifiche, alla ricerca semantica (cioè basata sul significato dei contenuti) e alla sicurezza (prioritarizzazione e classificazione degli eventi di sicurezza). Grazie a Frigate è possibile analizzare le sequenze video in tempo reale per ottenere un output organizzato e strutturato.

Output strutturato: la vera svolta per automazioni solide

Le caratteristiche generali di Frigate sono sotto gli occhi di tutti: basta dare un’occhiata al sito ufficiale del progetto. La parte più interessante introdotta con Frigate 0.17, tuttavia, consiste nell’adozione di un formato di risposta con campi definiti (i già citati title, scene e shortSummary e molti altri).

È un’innovazione che rende affidabile la catena Home Assistant: non devi più inventarti convenzioni nel prompt (“metti il titolo tra parentesi”, “usa token sostitutivi”, “non scrivere due punti”) e soprattutto non devi più sperare che il modello “oggi” risponda nello stesso formato di “ieri”.

Quando l’NVR consegna un payload, è possibile creare notifiche eleganti e consistenti (titolo più riassunto breve), assegnare una severità all’evento rilevato, archiviare e cercare gli eventi per semantica senza dover ripulire testo “creativo”, usare la confidence ovvero la fiducia del sistema in un corretto riconoscimento come segnale per richiedere una revisione manuale o per alzare/abbassare l’allerta.

L’AI diventa così, finalmente, un componente prezioso e personalizzabile di una pipeline ben orchestrata, non un oracolo (inaffidabile).

La sorveglianza come piattaforma, non come prodotto

Se dovessimo riassumere le innovazioni che emergono con il rilascio di Frigate 0.17, si potrebbe dire che la videosorveglianza diventa una piattaforma di automazione guidata da metadati, dove video e AI sono componenti integrati, ma non “la caratteristica” di riferimento, spesso sbandierata per finalità di marketing.

Il valore non è vedere i filmati, ma poter rispondere a domande e condizioni: “È uno sconosciuto o un familiare?”, “Sta succedendo qualcosa di anomalo in questa sequenza?”, “Il cancello è rimasto aperto?”, “Gli animali hanno mangiato e bevuto oggi?”, “Quante volte è accaduta la stessa scena nell’ultima settimana?”

Quando queste domande hanno risposte strutturate e locali, come con la nuova versione di Frigate, allora sì: le piattaforme cloud iniziano a sembrare primitive, non perché manchi loro l’AI, ma perché manca loro l’architettura per farne qualcosa di affidabile e personalizzabile.