Se il tuo agente IA sbaglia (o allucina), chi paga davvero?
Quando un agente IA allucina o sbaglia, la responsabilità resta tua. Contratti, DPA e polizze che le PMI ignorano prima di andare in produzione.
Risposta diretta: chi è responsabile quando un agente IA sbaglia? Quando un agente IA usato dalla tua azienda causa un danno a un cliente o a un terzo, verso di loro risponde la tua azienda. Nel contratto con un cliente il Codice civile è esplicito: chi si avvale dell’opera di terzi per adempiere risponde anche dei loro errori. L’AI Act non dice chi risarcisce, ma aggiunge obblighi per chi usa sistemi ad alto rischio. Il fornitore del modello (OpenAI, Anthropic) limita la propria responsabilità nei termini commerciali; quella del fornitore che costruisce l’agente dipende dal contratto. Come deployer, sei tu l’ultima linea di esposizione legale, a prescindere da quale sistema abbia generato l’errore.
La domanda arriva sempre dopo la prima demo, quando il CEO capisce che l’agente andrà davvero in produzione: “e se sbaglia? Se dice una cavolata a un cliente, chi paga?”
Risposta onesta e scomoda: quasi sempre paghi tu. Non il modello, non OpenAI, spesso nemmeno il fornitore. Sei tu il titolare del rapporto col cliente finale.
La buona notizia: il rischio si governa. Ma va fatto prima della messa in produzione, non dopo il primo danno.
In breve:
- Verso il cliente finale, la responsabilità per un errore o un’allucinazione dell’agente IA resta della tua azienda, non del fornitore del modello.
- Molte polizze RC professionale tradizionali non coprono i danni da sistemi automatizzati: va verificato per iscritto col broker prima della produzione.
- Il contratto col fornitore di IA deve fissare perimetro, limiti di autonomia, registro immutabile delle attività e DPA art. 28 GDPR. Se tace, il rischio è tuo.
- L’AI Act chiede trasparenza ai sistemi che parlano con le persone dal 2 agosto 2026 e sorveglianza umana su quelli ad alto rischio dal 2 dicembre 2027, dopo il rinvio del Digital Omnibus.
- La difesa più efficace non è una clausola: è la supervisione umana sui casi critici e un registro che ricostruisce ogni decisione.
La catena di responsabilità che le PMI non vedono
Quando un agente sbaglia, ci sono tre soggetti nella stanza: tu (che usi l’agente), il fornitore che l’ha costruito (es. Soraia), e il fornitore del modello (OpenAI, Anthropic). L’istinto è pensare che la colpa risalga la catena. Nella pratica succede il contrario.
Verso il tuo cliente finale, il fornitore o l’ente pubblico, il responsabile sei tu. Sei tu ad aver mandato quella email, quel preventivo sbagliato, quella risposta di supporto che ha promesso un rimborso inesistente. L’agente è un tuo strumento, come lo sarebbe un dipendente junior. E per i contratti il Codice civile è esplicito: chi si avvale dell’opera di terzi per adempiere risponde anche dei loro errori (art. 1228), salvo patti diversi.
Il fornitore di IA risponde solo di quello che c’è scritto nel contratto. Il fornitore del modello, ancora meno: i termini commerciali di OpenAI e Anthropic lasciano al cliente la verifica degli output e limitano la responsabilità a quanto pagato negli ultimi 12 mesi. L’eccezione è la manleva contro le contestazioni di terzi sulla proprietà intellettuale.
Morale: se il contratto tra te e il tuo fornitore di IA è vago, il rischio resta appeso a te.
L’allucinazione non è un bug esotico, è un caso operativo
Smettiamo di trattare le allucinazioni come fantascienza. Un agente di assistenza clienti può inventare una politica di reso che non esiste. Un agente commerciale può citare uno sconto mai approvato. Un agente per l’amministrazione può leggere male un importo su una fattura.
Nessuno di questi è un evento raro. Sono il rumore di fondo di qualunque sistema probabilistico. Il punto non è “come elimino le allucinazioni” (non puoi al 100%), ma “cosa succede quando accade, e chi ne risponde”.
Due leve reali:
- Perimetro stretto. Un agente che propone e fa firmare a un umano ha un profilo di rischio completamente diverso da uno che agisce in autonomia. Meno autonomia sui casi ad alto danno, meno esposizione.
- Tracciabilità. Se non puoi ricostruire perché l’agente ha detto X, non puoi difenderti né col cliente né con un revisore. Per questo in ogni nostro sprint c’è un registro immutabile di ogni decisione: input, regole applicate, output, evento di avvio, eventuale passaggio a una persona.
Cosa dice l’AI Act, e da quando
L’AI Act non ti dice “chi paga”, ma alza gli obblighi che, se ignorati, ti mettono in torto.
- Rischio limitato (chatbot rivolti ai clienti): obbligo di trasparenza dal 2 agosto 2026 (art. 50). L’utente deve sapere che parla con un’IA.
- Rischio alto (i casi dell’allegato III, come selezione del personale, merito di credito, polizze vita e salute): chi usa questi sistemi deve seguire le istruzioni del fornitore, affidare la sorveglianza a persone competenti e conservare i log per almeno sei mesi (art. 26). Questi obblighi si applicano dal 2 dicembre 2027, dopo il rinvio deciso con il Digital Omnibus.
Se usi un agente ad alto rischio senza supervisione umana documentata e succede un danno, non stai solo pagando il danno: stai anche violando il Regolamento. Abbiamo scritto la mappa completa degli obblighi per settore nella guida all’AI Act per le PMI.
Le 4 cose da sistemare prima della messa in produzione
1. Il contratto col fornitore
Deve fissare perimetro dell’agente, limiti di autonomia, obbligo di registrazione delle attività, DPA art. 28 GDPR e chi risponde di cosa. Se il tuo fornitore non vuole metterlo per iscritto, è un segnale.
2. La polizza
Chiama il broker e chiedi per iscritto: la mia RC professionale copre danni causati da un sistema IA automatizzato? Molte polizze tradizionali non lo prevedono. Meglio scoprirlo ora che dopo.
3. La supervisione umana sui casi critici
Definisci in anticipo dove l’agente decide da solo e dove passa a un umano. Regola pratica: più alto è il danno potenziale di un errore, più l’umano deve essere dentro il processo.
4. Il registro
Senza tracciabilità non hai difesa. Ogni decisione in produzione va registrata in modo immutabile.
Quando NON serve tutta questa struttura
Te lo dico chiaro: se il tuo agente riordina la tua casella email interna o sintetizza documenti per le tue persone, gran parte di questo è eccessivo. Il rischio legale scatta quando l’output esce verso terzi o decide su persone. Per l’automazione puramente interna e a basso danno, un buon registro e una regola interna bastano.
Noi non vendiamo paura. Costruiamo agenti dove servono, con il perimetro e i controlli proporzionati al rischio reale, non a quello raccontato nelle email di marketing.
Vuoi capire in quale categoria di rischio ricade il tuo caso, e cosa serve davvero? Lo mappiamo insieme: parliamone in 20 minuti o dai un’occhiata a come costruiamo gli agenti IA con registro delle attività e DPA sempre inclusi.
Domande frequenti
Quello che ci chiedono di solito.
Se l'agente IA sbaglia, la colpa è del fornitore o mia?
Le polizze RC professionale coprono gli errori di un agente IA?
Cosa devo mettere nel contratto col fornitore di IA?
Un avviso 'contenuto generato dall'IA' mi mette al sicuro?
Continua a leggere
Agenti IA in settori regolamentati: cosa è permesso
Banche, assicurazioni, sanità: cosa puoi davvero fare con gli agenti IA in un settore regolamentato. Mappa operativa AI Act + GDPR, senza allarmismi.
GDPR e agente IA sui dati aziendali: cosa fare prima
Un agente IA che legge dati di clienti o candidati tratta dati personali. Base giuridica, DPA art. 28 e DPIA: la checklist GDPR prima di accenderlo.
Newsletter
La newsletter di Soraia
Ogni due giovedì Daniel racconta un lavoro d'ufficio ripetitivo e come lo fa un agente IA, con un caso vero dai progetti che seguiamo. Si legge in tre minuti.
Prossimo passo
Dove sei nel percorso verso l'IA?
Il check-up ti dà un punteggio di prontezza IA (0-100) + 3 prossimi passi concreti. 3 minuti, senza email.