Quando le spiegazioni falliscono, fidarsi dell'AI diventa una strategia pragmatica

1. Perché questa ricerca è importante

Con l'AI che penetra in ogni settore della società, la "spiegabilità" è spesso considerata il pilastro dell'AI etica e il fondamento della fiducia. Siamo abituati a pensare che solo dopo aver compreso la catena decisionale di un algoritmo possiamo affidargli poteri critici. Eppure "Why Trust in AI May Be Inevitable" ci offre un promemoria controintuitivo: quando la spiegazione è impossibile, la fiducia diventa una condizione necessaria. Gli autori aprono con un'affermazione forte: "We argue that trust, however, may be a pre-requisite because explanation is sometimes impossible." (p. 1)

Attraverso un modello formale rigoroso e una discussione interdisciplinare, il paper mostra che le spiegazioni possono fallire per motivi strutturali anche quando entrambe le parti sono razionali, oneste, allineate negli obiettivi, comunicano senza rumore e condividono conoscenze sovrapposte. Mentre i grandi modelli linguistici producono spiegazioni che suonano plausibili ma divergono dai veri processi di ragionamento, aumenta il rischio che le persone si affidino alla fiducia prima di scoprire un terreno comune reale. Per chi sviluppa o studia l'AI, la lezione è cruciale: il futuro dell'AI dipende non solo dai progressi di modello, ma anche dalla riprogettazione dei meccanismi di fiducia.

2. Punti chiave

1. Il paradosso spiegazione-fiducia: la spiegazione non precede sempre la fiducia; quando fallisce, la fiducia può essere l'unica opzione.
2. Modello di ricerca su rete di conoscenza: la spiegazione viene formalizzata come una ricerca a tempo limitato di nodi e percorsi condivisi in grafi di conoscenza sovrapposti.
3. Vincoli di tempo e costo di ricerca: anche con conoscenze in comune, il tempo limitato può impedire di trovare un ponte, costringendo a interrompere la spiegazione.
4. Valore strategico della fiducia: con l'espansione dei grafi di conoscenza delle AI, spiegare diventa più difficile; servono controlli indipendenti per costruire una "fiducia verificabile".
5. Direzioni future: grafi parzialmente connessi, nodi incompatibili e collaborazione multi-agente rendono la spiegazione reale ancora più complessa.

3. Dentro il modello a rete di conoscenza

3.1 Nodi, archi e obiettivo della spiegazione

Gli autori modellano chi spiega (R) e chi riceve la spiegazione (E) come reti finite di concetti: i nodi rappresentano elementi di conoscenza, gli archi rappresentano compatibilità o coerenza. L'obiettivo è trovare un nodo $Y$ all'interno dell'insieme condiviso $K$ in modo che l'esplainer colleghi il concetto bersaglio $R_0$ a $Y$ lungo un percorso nella propria rete, permettendo all'esplainée di integrare la nuova conoscenza. Tutti i nodi sono visibili e la comunicazione è perfetta, eliminando barriere come incentivi, rumore o conoscenza tacita per concentrarsi sul problema di ricerca.

3.2 Grafi completi e distribuzione ipergeometrica negativa

Nell'impostazione più ottimistica, il grafo di R è completo: ogni nodo collega a tutti gli altri in un solo passaggio. La spiegazione si riduce quindi a un campionamento senza reinserimento da $N_R-1$ nodi candidati per trovare uno dei nodi condivisi in $K$. La variabile casuale $T$, che indica il numero di passi necessari, segue una distribuzione ipergeometrica negativa con aspettativa $E(T)=\frac{N_R}{N_K+1}$. Quando $N_K$ supera una certa soglia, il tempo atteso per spiegare crolla; se $N_K$ resta basso, il costo temporale cresce rapidamente e la spiegazione viene interrotta prima di trovare il ponte.

3.3 Vantaggio di accumulo di conoscenza

Poiché $E(T)$ decresce monotonicamente con $N_K$, chi ha più conoscenza condivisa riesce a spiegarsi con facilità. Le spiegazioni riuscite aumentano a loro volta i nodi condivisi, generando un "vantaggio di accumulo della conoscenza". Team con scarsa sovrapposizione faticano a individuare un terreno comune nei tempi pratici, anche se teoricamente esiste.

4. Il paradosso: perché la fiducia può precedere la spiegazione

La spiegazione è generalmente vista come un prerequisito della fiducia, ma il paper sostiene che quando non si riesce a completarla in tempo, affidarsi prima è razionale. La sovrapposizione di conoscenze è necessaria ma non sufficiente: bisogna anche individuare il ponte. Gli autori paragonano la spiegazione a un'insegnante che cerca nella rete mentale dello studente un concetto familiare per collegare nuove informazioni. Se il ponte resta nascosto, le interazioni reali—una visita medica, la valutazione di un prestito—terminano prematuramente. La fiducia diventa l'unico mezzo per proseguire.

Visivamente, spiegare è come costruire un'autostrada tra due città: solo trovando lo svincolo comune si può far scorrere il traffico. Se non lo si individua rapidamente, il progetto si blocca pur esistendo sulla carta. Nei contesti complessi, come le decisioni di un LLM o una diagnosi medica, "trust is not the substitute for explanation but the inevitable mechanism when explanation fails."

5. Motivi razionali per interrompere la spiegazione

5.1 Aggiornamenti a priori riducono il beneficio atteso

Gli autori analizzano gli aggiornamenti bayesiani dopo fallimenti ripetuti. Supponiamo che E conosca la distribuzione della dimensione del grafo di R ($N_R$) e sostenga un costo $c(t)$ a tentativo. Dopo il primo insuccesso, l'aspettativa sul numero di nodi condivisi scende da $\mu_{K1}$ a $\mu_{K2}=\mu_{K1}-\frac{V_{K1}}{N_R-1-\mu_{K1}}$. Se la varianza a priori $V_{K1}$ è elevata, basta un fallimento per ridurre drasticamente l'aspettativa di sovrapposizione, facendo scendere il beneficio atteso $E(B_t)=B\cdot\frac{\mu_{Kt}}{N_R-t}$ sotto il costo e rendendo razionale fermarsi.

5.2 Divergenza tra prior ad alta e bassa confidenza

Se la varianza a priori è molto bassa rispetto alla media, i fallimenti incidono poco e $E(B_t)$ può persino crescere temporaneamente, consentendo di insistere. Tuttavia, $E(B_t)$ cala col tempo. Paradossalmente, chi dispone di grafi di conoscenza più grandi (alto $N_R$) vede un beneficio atteso inferiore nelle prime fasi ($t \ll N_R$) e risulta meno incline a iniziare la spiegazione anche quando la sovrapposizione esiste.

6. Implicazioni per la collaborazione uomo-AI

6.1 I LLM alzano l'asticella della spiegazione

Con l'aumentare delle dimensioni dei modelli, $N_R$ cresce. Poiché $E(B_t)$ diminuisce al crescere di $N_R$ nelle prime fasi, i modelli più potenti rendono più difficile individuare nodi condivisi entro i vincoli di tempo.

6.2 Pseudo-spiegazioni e fiducia mal riposta

Gli autori avvertono che i LLM possono generare rapidamente "pseudo-spiegazioni" fluenti ma fuorvianti, non allineate ai veri processi di ragionamento. Se gli utenti le accettano prima di trovare nodi realmente condivisi, la spiegazione si interrompe mentre la fiducia è già stata concessa, ostacolando l'integrazione reale della conoscenza.

6.3 Oltre i grafi completi: dipendenza dal percorso

Le reti di conoscenza reali sono rade e gerarchiche. Quando il grafo di R non è completo, la ricerca procede localmente e le scelte iniziali creano dipendenze di percorso che riducono ulteriormente le probabilità di successo.

6.4 Nodi incompatibili e integrazione differita

I grafi possono includere componenti scollegate. Gli archi mancanti possono indicare legami ancora da scoprire o incompatibilità autentiche. I meccanismi di fiducia permettono di "parcheggiare" le informazioni non spiegate in sottografi separati, mantenendo la coerenza e lasciando spazio a future integrazioni quando la spiegazione diventerà possibile.

7. Meccanismi di fiducia e verificabilità

Poiché la spiegazione non può coprire tutta la complessità, gli autori propongono pipeline di verifica indipendenti per radicare la fiducia. "This inevitability of needing to trust AI suggests an important strategic direction for AI development: the need to establish trustworthiness through independent verification mechanisms outside of specific task contexts." (p. 11)

In altre parole, la fiducia va trattata come una storia creditizia costruita su prestazioni verificabili, non su singole spiegazioni convincenti. Alcuni esempi:

• Sistemi AI medici sottoposti sin da subito a valutazioni di terze parti, così che i clinici possano affidarsi a accuratezze certificate anche senza trasparenza completa.
• Modelli di rischio finanziario che mantengono tracciamenti indipendenti—tassi di default, controlli manuali a campione—per fornire prove di fiducia oltre la singola spiegazione.
• Contesti regolatori o aziendali che introducono processi di "shadow evaluation" scollegati dagli output del modello, ancorando la fiducia a catene di evidenze continuamente verificabili.

Queste "pipeline della fiducia" non sostituiscono la spiegazione; procedono in parallelo. Quando la spiegazione si ferma per limiti di tempo o gap conoscitivi, la fiducia resta basata su registri oggettivi invece che sulla sola persuasione.

8. Checklist operativa per i team

1. Mappare i grafi di conoscenza e stimare la sovrapposizione: elencare i nodi per le principali coppie uomo-AI, documentare i nodi condivisi confermati e aggiornare le stime di $N_K$.
2. Impostare time-box e regole di uscita per le spiegazioni: usare l'effetto soglia di $E(T)=\frac{N_R}{N_K+1}$ per fissare un numero massimo di tentativi, registrare i nodi esplorati e i fallimenti, e usare i dati per migliorare il processo.
3. Costruire registri di fiducia verificabile: quando la spiegazione non basta, affidarsi ad audit esterni, set di validazione separati o tracciamenti di accuratezza di lungo periodo.
4. Gestire la varianza a priori: ridurre l'incertezza sulla conoscenza condivisa tramite documentazione e formazione, così da non abbandonare la spiegazione troppo presto.
5. Far funzionare due canali in parallelo: mantenere attive pipeline di spiegazione e di fiducia, in modo che, se la prima si arresta, la seconda resti supportata da evidenze verificabili e non da persuasione momentanea.

9. Piano d'azione esemplificativo

• Valutazione pre-deployment: prima di introdurre un nuovo modello decisionale, stimare $N_R$ e il potenziale $N_K$ dalle annotazioni di conoscenza e valutare se servono attività di allineamento per superare la soglia di spiegazione.
• Log post-lancio delle conversazioni: monitorare le sessioni in cui la spiegazione fallisce, registrare la sequenza di nodi esplorati e aggiornare le stime di $N_K$. Utilizzare i log per attivare percorsi alternativi di verifica della fiducia.
• Costruzione della fiducia a lungo termine: negli scenari ad alto rischio, creare compiti di verifica indipendenti non collegati agli output del modello, così che la fiducia si basi su accuratezze ripetibili, non su singole spiegazioni.

10. Direzioni future

Gli autori riconoscono che i grafi di conoscenza reali sono molto più disordinati di quelli completi: sono sparsi, stratificati e localmente connessi. Quando il grafo di R non è completamente connesso, la spiegazione diventa dipendente dal percorso e ancor meno probabile (p. 12). I grafi possono inoltre contenere sottografi disgiunti: gli archi mancanti possono segnalare potenziali legami ancora ignoti o conflitti profondi. La spiegazione può procedere solo nelle componenti compatibili, mentre i meccanismi di fiducia consentono di parcheggiare informazioni temporaneamente inspiegabili in sottografi isolati in attesa di future verifiche.

Questioni aperte includono:

1. Ottimizzazione delle strategie di ricerca: come si confrontano ricerche in ampiezza, in profondità o ibride in grafi sparsi, e quando conviene cambiare strategia?
2. Evoluzione dinamica dei grafi di conoscenza: le spiegazioni riuscite rimodellano i grafi di entrambe le parti; come modellare questa co-evoluzione?
3. Spiegazione multi-agente: quando più spiegatori e destinatari collaborano, possono superare i limiti individuali e aumentare il tasso di successo?

11. Conclusione

Il fallimento delle spiegazioni non è un incidente: nasce dalla struttura delle reti di conoscenza e dai vincoli di ricerca nel tempo. Con l'espansione delle conoscenze nei sistemi AI, spiegare diventa più arduo e la fiducia diventa un prerequisito per continuare a collaborare. Ma la fiducia non può basarsi su impressioni soggettive: va costruita in parallelo alla spiegazione tramite verifiche indipendenti, tracciamenti di accuratezza nel tempo e regole di uscita chiare. Solo così possiamo rispettare i limiti della spiegazione, cogliere le opportunità dell'AI e mantenere una relazione di fiducia uomo-AI resiliente.