Cosa otteniamo quando ChatGPT sostituisce la ricerca Google? Efficienza, esperienza e insidie

Uno studio recente ha confrontato in modo sistematico il comportamento e le prestazioni delle persone quando cercano informazioni con ChatGPT rispetto a Google, arrivando a conclusioni che mettono in discussione la convinzione diffusa su come l'IA trasformerà l'accesso all'informazione. I ricercatori hanno scoperto che, usando ChatGPT per portare a termine compiti di ricerca, i partecipanti hanno impiegato in media quasi il 40% di tempo in meno rispetto a chi utilizzava Google, senza differenze significative nella qualità finale del lavoro.

Questo balzo di efficienza sembra rivoluzionario. Tuttavia, il paper "ChatGPT vs. Google: A Comparative Study of Search Performance and User Experience" (arxiv.org/abs/2307.01135) evidenzia anche il prezzo di tanta rapidità: nei compiti che richiedono un controllo rigoroso dei fatti, ChatGPT rende molto peggio dei motori di ricerca tradizionali e arriva persino a confermare e ripetere gli errori suggeriti dagli utenti. Non è solo una questione di superiorità tecnica: ci obbliga a ripensare il nostro rapporto con l'informazione.

Un salto in efficienza e in qualità dell'esperienza

I ricercatori hanno condotto un esperimento online randomizzato con 95 partecipanti, divisi in due gruppi. Ogni gruppo ha utilizzato uno strumento che simulava ChatGPT o Google Search per completare tre compiti di recupero informativo. I dati mostrano chiaramente il divario di efficienza.

Figura 1: Interfaccia dello strumento ChatGPT utilizzato nell'esperimento

Figura 2: Interfaccia dello strumento Google Search utilizzato nell'esperimento

Che si trattasse di una domanda fattuale semplice o di un compito più complesso di aggregazione di siti, il gruppo ChatGPT finiva prima.

Questo vantaggio di velocità nasce da una differenza radicale di paradigma d'uso. Google fornisce un elenco di link e lascia all'utente il carico cognitivo di filtrare, sintetizzare e integrare le informazioni: bisogna saltare tra più pagine, leggere, confrontare e ricomporre la risposta. ChatGPT, al contrario, restituisce direttamente una "risposta finale" integrata e scorrevole, eliminando i passaggi intermedi. Di conseguenza, gli utenti percepiscono la qualità informativa come più alta (5,90 contro 4,62) e giudicano il processo più utile, piacevole e soddisfacente. Su utilità (6,19 contro 5,30), piacevolezza (5,87 contro 4,74) e soddisfazione (6,06 contro 5,27) ChatGPT è nettamente avanti.

Il tipo di compito decide chi vince

Sebbene le prestazioni complessive siano simili, i punti di forza e di debolezza di ogni strumento emergono guardando ai singoli tipi di compito: è forse la parte più illuminante dello studio.

Il primo incarico chiedeva di "trovare il nome e l'età della prima donna nello spazio", una tipica ricerca fattuale. Tutti i partecipanti del gruppo ChatGPT hanno ottenuto il punteggio massimo di 10. Gli utenti Google riuscivano a trovare la risposta corretta già nella prima pagina dei risultati, ma informazioni collaterali—come i nomi di altre astronaute citate nella pagina—li portavano talvolta in errore, con una media di soli 8,19 punti. ChatGPT ha evitato questi errori umani presentando subito la risposta: "Valentina Tereškova, 26 anni".

Figura 3: Confronto delle prestazioni per il Compito 1 (ricerca fattuale) tra diversi livelli di istruzione

Il terzo compito ha messo a nudo il tallone d'Achille di ChatGPT: il fact-checking. Ai partecipanti è stato consegnato un breve testo con affermazioni errate da verificare. Una di queste sosteneva che "La Conferenza ONU sul cambiamento climatico di Copenaghen del 2009 si è svolta dal 7 al 15 dicembre". Quando gli utenti chiedevano a ChatGPT di confermare l'affermazione, il modello rispondeva spesso "L'affermazione è vera". In realtà, la conferenza è terminata il 18 dicembre. Curiosamente, se la domanda veniva riformulata in modo neutro—"Quando si è tenuta la Conferenza ONU sul cambiamento climatico del 2009?"—ChatGPT restituiva la risposta corretta.

Figura 4: Confronto delle prestazioni per il Compito 3 (fact-checking) tra diversi livelli di istruzione

Il risultato evidenzia un limite intrinseco dell'IA generativa: tende ad "assecondare" il contesto fornito dall'utente invece di confrontare i dati in modo rigoroso. Nei contesti di verifica dei fatti, questo tratto è fatale. Ancora più preoccupante, lo studio rileva che chi si affida a ChatGPT mostra una maggiore "iperdipendenza": il 70,8% dei partecipanti ha accettato senza verifica la risposta errata del modello e ha esitato a controllarla autonomamente.

Il miraggio (e la realtà) dell'"uguaglianza informativa"

Un altro dato interessante è il cosiddetto "effetto livellante". Con Google, le prestazioni degli utenti correlavano con il livello di istruzione: chi aveva una formazione più solida sapeva sfruttare meglio il motore di ricerca per i compiti complessi. La ricerca tradizionale è, in un certo senso, una competenza che si acquisisce con pratica ed esperienza.

ChatGPT ha quasi cancellato questa differenza. A prescindere dal background formativo, i partecipanti hanno ottenuto risultati simili usando il chatbot. Da un lato, l'IA abbassa la barriera all'informazione di qualità e promuove l'equità informativa. Dall'altro, unita alla scarsa capacità di fact-checking, questa apparente equità nasconde un rischio: uno strumento che offre a tutti risposte autorevoli e senza sforzo può erodere il pensiero critico e le capacità di discernimento.

Come scegliere lo strumento giusto

Lo studio non vuole decretare un vincitore tra ChatGPT e Google, ma offrirci una guida chiara all'uso consapevole in scenari diversi.

Quando conviene usare ChatGPT e altri strumenti generativi?

1. Recupero rapido di fatti e spiegazioni: Quando serve conoscere al volo una persona, un evento o un concetto scientifico, ChatGPT è una scelta efficiente.
2. Brainstorming e bozza di contenuti: Per ideare, costruire scalette o scrivere una prima stesura, il modello fornisce un buon punto di partenza.
3. Sintesi e comprensione iniziale: Se serve una panoramica su un dominio poco familiare, ChatGPT può fondere più fonti in un riassunto accessibile.

Quando dobbiamo ancora affidarci a Google e ai motori tradizionali?

1. Fact-checking serio e verifiche: Ogni volta che contano precisione e fonti attendibili, i motori classici servono per risalire all'origine dell'informazione.
2. Ricerca di dettagli specifici e aggiornati: Ad esempio trovare il sito ufficiale di un prodotto, l'ultima versione di un software o i dati puntuali di un volo. Nel secondo compito dello studio—selezionare siti per prenotare voli—Google ha fornito risultati più mirati.
3. Esplorare prospettive plurali e ricerche in profondità: Per temi controversi o lavori accademici servono più fonti indipendenti per costruire una comprensione completa.

La strategia più efficace probabilmente è combinare i due approcci. Possiamo usare ChatGPT per delineare rapidamente il quadro di un problema e poi portare i punti chiave su Google per una verifica mirata. Mantenere un sano scetticismo nel dialogo con l'IA e porre domande neutrali e aperte potrebbe essere l'abilità più importante per sopravvivere nella nuova era dell'informazione.