OpenAI presenta un classificatore di immagini contro il CSAM generato con IA
OpenAI offre alle organizzazioni verificate un classificatore per individuare potenziale CSAM, anche generato con IA. Come funziona e perché richiede revisione umana.
OpenAI ha presentato un classificatore di immagini pensato per aiutare le organizzazioni autorizzate a individuare potenziale materiale di abuso sessuale su minori (CSAM), compreso quello generato o modificato con intelligenza artificiale. L’annuncio affianca nuove indicazioni per gli sviluppatori e misure di intervento in ChatGPT. Il punto centrale è il ruolo dello strumento: un segnale per organizzare le verifiche umane, non una decisione automatica che stabilisce da sola se un’immagine sia illegale.
Nel comunicato del 16 novembre, l’azienda spiega che il classificatore analizza caratteristiche visive e restituisce punteggi di rischio, così che i team di sicurezza possano dare priorità ai casi da esaminare. Può aiutare a individuare immagini nuove, non già riconosciute attraverso confronti con contenuti noti. OpenAI dichiara di aver sviluppato e valutato il sistema con il supporto del National Center for Missing & Exploited Children (NCMEC), che gestisce negli Stati Uniti la CyberTipline.
Un supporto alla revisione, non un verdetto
La distinzione è importante per chi integra uno strumento di questo tipo in un servizio. La scheda tecnica pubblicata da OpenAI descrive il classificatore come una componente da affiancare ad altri controlli: corrispondenza con hash di materiale già noto, analisi del contesto, revisori umani formati e procedure di segnalazione previste dalle regole applicabili. Il punteggio indica una priorità o una probabilità stimata; non conferma da solo la natura del contenuto, la sua qualificazione giuridica in un determinato paese o l’obbligo di inviare una segnalazione.
La scheda del CSAM Image Classifier descrive due segnali separati: uno relativo al possibile CSAM e uno alla possibilità che sia stato generato con IA. Non sono mutuamente esclusivi e il secondo non certifica la provenienza dell’immagine. Questa cautela evita di confondere una classificazione tecnica con un accertamento: le decisioni successive restano affidate alle procedure dell’organizzazione e alle persone incaricate di valutarle.
Che cosa indicano i primi test
OpenAI riferisce che, in una propria valutazione su immagini caricate dagli utenti, il nuovo sistema avrebbe potuto ridurre del 48% il numero di immagini da sottoporre a revisione, mantenendo un numero simile di immagini abusive individuate rispetto alle protezioni già in uso. L’azienda aggiunge che le immagini segnalate risultavano circa due volte più probabilmente abusive. Sono risultati comunicati dall’azienda su una valutazione specifica, non una garanzia di prestazioni identiche per ogni piattaforma, lingua o tipo di materiale.
Anche le prove dei partner riguardano contesti differenti. OpenAI riporta che il team di fal ha confermato come CSAM nuovo il 72% dei casi segnalati con alta confidenza nel proprio test; Invideo AI ha riferito che un caso segnalato su quattro ha portato a un ban; SafetyKit ha dichiarato di aver rilevato il 90% dei casi nel proprio insieme di disegni o animazioni che sessualizzavano minori. Queste percentuali non sono direttamente confrontabili: cambiano i contenuti valutati, le soglie e il significato di un esito positivo. Servono a descrivere le sperimentazioni dei partner, non a prevedere un risultato universale.
Accesso e lavoro degli operatori
Il servizio è offerto tramite API alle organizzazioni verificate, senza costo secondo OpenAI; l’accesso dipende però dall’autorizzazione e dai requisiti del programma. Non è quindi un filtro disponibile indistintamente a qualsiasi sviluppatore. Per costruire una risposta completa, l’azienda ha inoltre pubblicato una guida per sviluppatori su prevenzione, rilevamento, gestione delle segnalazioni e supporto alle persone che devono esaminare contenuti sensibili. Il classificatore è presentato come uno dei possibili elementi di un sistema più ampio, accanto a strumenti di moderazione e a servizi specializzati.
Lo stesso annuncio include nuove misure in ChatGPT: un avviso che interrompe tentativi di trovare materiale abusivo, rimuove la conversazione segnalata e sospende l’accesso per 24 ore, con risorse di supporto; violazioni ripetute possono portare a restrizioni più lunghe, alla chiusura dell’account o a segnalazioni alle autorità. Si tratta di interventi distinti dal classificatore via API, rivolti al comportamento degli utenti del servizio.
Perché la supervisione resta essenziale
Il valore pratico dichiarato è ridurre il tempo speso su falsi positivi e aiutare a mettere in evidenza possibili casi nuovi. Ma l’uso responsabile dipende dall’integrazione: soglie, revisione umana, protezione degli operatori e regole di conservazione e segnalazione devono essere definite dall’organizzazione. La scheda tecnica sottolinea inoltre che la classificazione non sostituisce gli obblighi locali né stabilisce da sola cosa sia illecito. In un ambito così delicato, l’automazione può ordinare il lavoro e fornire indizi; valutazione, decisioni e responsabilità devono rimanere parte di un processo di tutela più ampio.