Cosa può (e non può) dimostrare un rilevatore di testo AI

Cosa quel singolo risultato può e non può sostenere

Prima i limiti, perché contano più del titolo:

• Era un test singolo, autogestito e pienamente dichiarato. Un saggio, un modello, un rilevatore, una prova. Non è un benchmark.
• Non dice nulla sui falsi positivi. Un rilevatore che cattura testo AI reale non dice quanto spesso segnala scrittura umana.
• Non dice nulla sull’evasione tramite parafrasi. Il saggio è entrato senza modifiche. Nessuna riscrittura umana, nessun secondo modello, nessun servizio “humanizer”. Se una versione rielaborata sarebbe stata comunque rilevata è una domanda separata, e il mio test non l’ha posta.
• Non dice nulla sui watermark. Pangram è un classificatore. Legge stile e struttura di un testo. Non cerca una chiave nascosta del produttore del modello. Il mio risultato non dice nulla sui sistemi di watermarking discussi sotto.

Ciò che sostiene è stretto: in questa occasione, un modello di frontiera che sapeva di essere messo alla prova non ha mascherato abbastanza la sua prosa non modificata da ingannare un classificatore attuale.

Due tipi di prova

La lezione più utile è venuta da ciò che stava intorno al punteggio.

Il mio saggio era apertamente scritto dalla macchina. Il modello era nominato. I prompt erano pubblici. Mi ero impegnato a pubblicare l’esito. Nessuno che lo leggesse poteva essere tratto in inganno su chi l’avesse scritto. Pangram ha comunque restituito 100%, ed era corretto, perché la dichiarazione non è uno dei suoi input.

Questa è la distinzione al centro di Human Edge:

• Un rilevatore dà prova sull’artefatto. Quanto fortemente questo testo mostra i pattern associati alla generazione da macchina?
• Una dichiarazione di processo dà prova sulla produzione. Chi ha avuto l’idea, chi ha abbozzato, cosa ha cambiato un modello, quali fonti sono state usate, chi si assume la responsabilità.

Nessuno dei due può fare il lavoro dell’altro. Un punteggio non può dirti se una persona ha costruito l’argomento e usato un modello per limarlo, o se un modello ha fatto tutto e una persona ha firmato. Una dichiarazione di processo non può verificarsi da sola. Le persone possono mentire in una disclosure. I due segnali rispondono a domande diverse, e l’errore è trattare ciascuno come un verdetto sull’altro.

Il gancio di questo mese: watermark e AI Act UE

La domanda è diventata più pratica nell’ottobre 2026.

Il 5 ottobre 2026 OpenAI ha pubblicato il suo approccio alle regole UE sulla provenienza del testo. Nelle settimane successive aggiungerà un watermark invisibile — un sistema chiamato textGrain — all’output di testo idoneo di ChatGPT e Codex nell’Unione europea. I clienti API in tutto il mondo possono aderire. Ad agosto Anthropic ha spiegato che il watermark testuale di Claude è una versione del SynthID-Text di Google DeepMind e viene applicato a livello globale. Entrambe le aziende collegano la mossa all’AI Act UE. Come ha riassunto Alessandro Longo su Il Sole 24 Ore il 6 ottobre, le disposizioni di trasparenza dell’Act si applicano dal 2 agosto, con una scadenza transitoria al 2 dicembre 2026 per i sistemi già sul mercato.

Il pezzo di Longo, che vale la pena leggere per intero, fa un punto facile da perdere: watermark e rilevatori classificatori sono strumenti diversi.

• Un watermark è posto al momento della generazione dal produttore del modello. Tra le parole successive plausibili, il modello sceglie in un modo guidato da una chiave segreta, che lascia una regolarità statistica. Solo un rilevatore con accesso a quello schema può verificarla. Cerca il segnale di un fornitore, non «l’AI» in generale.
• Un classificatore come Pangram non ha chiave. È addestrato a riconoscere come tende a apparire il testo macchina.

Falliscono in modi diversi, quindi vanno giudicati separatamente.

Cosa dicono le fonti primarie sui limiti

Merito dove è dovuto: l’annuncio di OpenAI è insolitamente franco sui punti deboli. Nella sua valutazione di passaggi da 400 token, sostituire il 10% delle parole con sinonimi ha ridotto il rilevamento del watermark da circa il 92% al 66%. Sostituire il 25% lo ha portato al 17%. Passaggi brevi e contenuti a bassa flessibilità come la matematica sono più difficili da rilevare. OpenAI scrive anche che un watermark «does not measure human contribution», e che «the absence of a detected watermark does not prove human authorship.» L’accesso al rilevatore è inizialmente limitato a ricercatori approvati e organizzazioni esperte.

La parafrasi è un problema noto per i rilevatori in generale. Sadasivan et al., in “Can AI-Generated Text be Reliably Detected?” (pubblicato su TMLR), mostrano che la parafrasi ricorsiva di passaggi di circa 300 token può ridurre in modo significativo i tassi di rilevamento su rilevatori basati su watermark, neurali e zero-shot, spesso con solo una lieve perdita di qualità.

Anche il fallimento opposto, segnalare gli umani, è documentato. Liang et al., in “GPT detectors are biased against non-native English writers” (Patterns, 2023), hanno trovato che i rilevatori testati classificavano erroneamente come generati da AI una quota ampia di saggi TOEFL di scrittori di inglese non madrelingua.

I classificatori più nuovi affermano di aver superato questo. Pangram dice che Pangram 4 identifica il coinvolgimento AI nel 98,83% dei testi processati da 13 servizi commerciali “humanizer”. La sua model card Pangram 3.1 dice che il modello è calibrato in modo che un falso positivo sia cinque volte meno probabile di un falso negativo. In altre parole, preferisce mancare testo AI piuttosto che accusare a torto un umano. La stessa card riporta 0% di falsi positivi sul set non-nativo di Liang et al., che conta 91 campioni. Sono le valutazioni dell’azienda. Possono essere accurate, ma non sono audit di terze parti esterni.

Quel vuoto è ciò su cui si concentra un preprint del settembre 2026, “Watermarks Without Verification” di Nemecek, Chaudhary e Ayday. Poiché nessuno strumento pubblico può testare i watermark commerciali deployati, gli autori hanno valutato l’implementazione open-source di SynthID-Text su due modelli open-weight. Argomentano che né le rassicurazioni dei vendor né le obiezioni degli utenti possono oggi essere verificate. Chiedono output abbinati, disclosure di configurazione, audit accreditati, un protocollo di valutazione condiviso e rilevamento interoperabile.

Quindi i segnali stanno migliorando, e i loro produttori dicono apertamente che sono limitati. Nessuno di quei fatti trasforma un punteggio in una conclusione sulla condotta.

Perché il mio risultato «perfetto» si inserisce in questo quadro

Il mio test singolo, autogestito e pienamente dichiarato è coerente con tutto questo, e ne mostra anche i limiti.

Pangram ha funzionato bene sul caso più facile: prosa interamente generata da macchina, non modificata, da un modello di frontiera. È ciò che il fornitore afferma, ed è utile saperlo. Ma i casi difficili sono i testi misti e editati, gli scrittori non madrelingua, i passaggi brevi e l’output parafrasato, e il mio esperimento non li ha toccati. Un punteggio perfetto su un caso facile non rende un punteggio significativo su un caso difficile.

C’è un secondo punto. Anche nel mio caso facile, dove il punteggio era completamente giusto, non poteva ancora rispondere alla domanda a cui un lettore tiene davvero: sono stato ingannato? Non lo ero. La disclosure ha risposto a quello. La percentuale no.

Cosa chiedere al posto di un punteggio

Se sei un editore, un insegnante o un cliente, ecco cosa chiederei, più o meno in quest’ordine:

1. 1. Una dichiarazione di processo. Chi ha trovato la tesi? Chi ha abbozzato? Quali strumenti sono stati usati, e per cosa: ricerca, bozza, traduzione, editing di riga? Chi è responsabile del testo finale?
2. 2. La storia delle revisioni. Bozze, cronologia del documento, modifiche tracciate. Un lavoro che si sviluppa nel tempo lascia tracce che un file finito non lascia.
3. 3. Le fonti. Cosa è stato letto e da dove arrivano le affermazioni. Chi ha fatto la ricerca può indicarla.
4. 4. I prompt, dove l’AI è stata usata in modo sostanziale. Non servono tutti i tasti. Pubblicare le istruzioni chiave, come ho fatto nel mio test, rende concreto il ruolo del modello.
5. 5. Una conversazione. Chiedi all’autore di spiegare una conclusione, difendere una scelta, o dire cosa ha tagliato e perché. Saper ragionare sul proprio lavoro resta la prova quotidiana più forte che l’hai fatto tu.
6. 6. Poi, se vuoi, un controllo con rilevatore o watermark, usato come spunto per una domanda. Un punteggio alto è un motivo per chiedere i punti 1–5. Non è un motivo per saltarli. Un punteggio basso non è prova di paternità umana, come dice la stessa OpenAI.

Ciò che non farei è trattare una singola percentuale, da un classificatore o da un rilevatore di watermark, come sufficiente per accusare qualcuno o per certificare.

La conclusione stretta

Il mio esperimento è finito con un rilevatore che ha azzeccato esattamente. Ne sono contento. Ha reso il risultato pulito.

Ma un numero corretto resta solo un tipo di prova. Rilevatori e watermark possono dirti qualcosa su un testo. I record di processo ti dicono come è arrivato a esistere. Mentre questi strumenti si diffondono in scuole, redazioni e lavoro con clienti nell’UE, l’abitudine utile è continuare a chiedere a quale domanda ogni segnale risponde davvero.

«Rilevatori e watermark possono dirti qualcosa su un testo. I record di processo ti dicono come è arrivato a esistere.»