Juli Ponce: "La riserva di umanità è fondamentale: le macchine sono psicopatiche, non hanno empatia." 🤖

"Con l'IA si possono prevenire disastri come una DANA, ma il fattore umano è indispensabile. La combinazione tra esseri umani e macchine definirà il futuro dell'amministrazione pubblica." 🧠+💻

Juli Ponce Solé (Barcellona, 1967), professore di Diritto Amministrativo all'Università di Barcellona, è uno dei massimi esperti in amministrazione, settore pubblico e intelligenza artificiale. Ha diretto la Scuola di Amministrazione Pubblica della Catalogna ed è uno degli esperti della Generalitat per la riforma dell'amministrazione.

Nei prossimi anni andrà in pensione un milione di dipendenti pubblici. Potrebbero essere sostituiti dalle macchine?
C'è un'ondata di pensionamenti nel settore pubblico dovuta a motivi demografici e, allo stesso tempo, calcoli su quanti posti di lavoro potrebbero essere automatizzati tramite diversi sistemi, compresa l'intelligenza artificiale. La cifra arriva a un milione. Questa proiezione di automazione coincide con questa ondata di pensionamenti prevista per il 2030. Pertanto, pensando al modello di amministrazione pubblica del futuro, sarà necessario tenere conto di entrambi i fattori.

Lei, che ha studiato la riforma dell'amministrazione ed è stato direttore della Scuola di Amministrazione Pubblica, come vede la situazione? È un'opportunità o un problema con la legislazione e la tecnologia attuali?
Stiamo vivendo tempi interessanti, e questa deve essere considerata un'opportunità, anche se comporta rischi. Il pensionamento di massa dei dipendenti del settore pubblico offre l'occasione di ripensare quale amministrazione abbiamo avuto finora e quale vogliamo per i prossimi anni. Questo avviene in un contesto di cambiamento tecnologico accelerato, dove disponiamo di tecnologie che potrebbero permetterci di costruire una migliore amministrazione pubblica: un’amministrazione che fornisca migliori servizi pubblici e realizzi il diritto dei cittadini a una buona amministrazione. La chiave sarà combinare pensionamenti e tecnologie per ottenere una miscela virtuosa e creare una migliore amministrazione pubblica. Credo che ci siano molte possibilità di miglioramento, ma anche rischi da considerare.

Quali sono questi rischi?
Sono diversi e incidono direttamente sui diritti dei cittadini nelle loro relazioni con le amministrazioni pubbliche. Diritti come la protezione dei dati o il diritto all'uguaglianza, che potrebbe essere compromesso dai pregiudizi dei sistemi di intelligenza artificiale. Anche il diritto a una buona amministrazione può essere a rischio a causa degli errori presenti in questi sistemi.

In effetti, osservando casi a livello internazionale, in alcune amministrazioni che hanno adottato l’automazione con sistemi di IA si sono verificati episodi notevoli che hanno portato a una cattiva amministrazione. Ad esempio, il caso Robodebt in Australia: un programma di sicurezza sociale che richiedeva somme a cittadini che non dovevano nulla e che ha portato a contenziosi legali. Un altro caso rilevante, che ha persino ispirato una serie televisiva che consiglio, è quello del signor Bates contro il servizio postale britannico. Un programma ha causato una serie di errori negli uffici postali del Regno Unito, accusando i gestori di quegli uffici, il che ha comportato un vero calvario con licenziamenti, processi legali e suicidi. Infine, si è scoperto che il problema non era umano, ma legato ai sistemi automatizzati.

In Spagna abbiamo un caso in attesa di risoluzione presso la Corte Suprema, noto come il caso Bosco. Questo sistema, progettato per elaborare più rapidamente il bonus sociale energetico per le persone in povertà energetica, aveva errori. La Fondazione Civio ha rilevato questi difetti e ha richiesto l'accesso al programma informatico, ma l'amministrazione pubblica lo ha negato. Finora, i tribunali hanno dato ragione all'amministrazione in due occasioni, citando ragioni di proprietà intellettuale. Tuttavia, pochi giorni fa, la Corte Suprema ha accolto il ricorso, il che significa che ci sarà una sentenza definitiva per decidere se si può accedere al codice del programma Bosco per verificare se contiene errori. Questo sarà un caso emblematico che farà scuola nei prossimi anni.

Ci sono opportunità, rischi... e costi?
Abbiamo costi ambientali, dato che i sistemi di intelligenza artificiale consumano una quantità considerevole di acqua ed energia. Spetta a noi umani, anche nel settore pubblico, valutare costi e benefici e analizzare esattamente dove possiamo migliorare l'amministrazione e dove i rischi e i costi eccessivi rendono non conveniente l'acquisto di sistemi di IA.

In Catalogna, il caso più noto è quello di Riscanvi?
Sì, probabilmente. È un sistema molto semplice, algoritmico, senza intelligenza artificiale perché tutto è umano, influenzato da un mio collega dell'Università di Barcellona, il dottor Antonio Andrés Pueyo e il suo team. È un sistema progettato per aiutare nel processo decisionale nell’ambito penitenziario, ad esempio per questioni di libertà condizionale, tra le altre. Mi sembra un’iniziativa interessante, ma anche in questo caso dobbiamo considerare rischi e benefici. Alcuni sostengono che offra benefici reali, come l'automazione e la motivazione delle decisioni basate su una serie di criteri. Tuttavia, come qualsiasi sistema algoritmico, non è esente da critiche. Alcuni studi citano il caso Riscanvi come esempio del cosiddetto pregiudizio da automazione.

Cosa significa il pregiudizio di automazione?
Significa che noi umani tendiamo a fidarci troppo delle macchine perché, generalmente, fanno bene il loro lavoro. Ad esempio, tendiamo a fidarci del GPS perché ci porta a destinazione, ma a volte può guidarci su percorsi assurdi e ci sono stati persino casi di persone che hanno perso la vita seguendo ciecamente le indicazioni del GPS. Nel caso di Riscanvi, potrebbe esistere un pregiudizio di automazione nell'essere umano che prende la decisione finale, dato che nel 97% dei casi accetta ciò che gli indica il sistema algoritmico.

Quali altri utilizzi dell’IA esistono nell’amministrazione in Catalogna?
Molti chatbot sono stati introdotti nelle amministrazioni municipali e in altri enti per mantenere conversazioni con gli utenti. Sono sistemi interessanti che permettono l'interazione, ma anche in questo caso i rischi sono presenti.

Come immagina l’amministrazione tra 10 anni? Con più esseri umani che macchine o con più macchine, ma con gli esseri umani al comando?
Se pensiamo a un decennio, senza dubbio ci saranno più esseri umani che macchine, ma la presenza di sistemi di automazione nelle attività amministrative, inclusa l'IA, aumenterà. La difficoltà sta nel prevedere in quale proporzione. È possibile trovare un equilibrio adeguato tra esseri umani e macchine per migliorare l'amministrazione. Tuttavia, il rischio è di finire con il peggio di entrambi i mondi: il peggio delle macchine (mancanza di empatia, forme di ragionamento limitate) e il peggio degli esseri umani (pregiudizi e limitazioni nella capacità di elaborare informazioni). Questo è ciò che dovremmo evitare.

Con l’IA avremo una migliore amministrazione tra 10 anni?
Dipende. L'amministrazione che abbiamo oggi è chiaramente migliorabile, quindi sì, è possibile, ma solo con una combinazione adeguata di esseri umani e macchine. Tutto dipenderà dalle decisioni strategiche prese ora pensando alle prossime decadi. E dipenderà da decisioni umane; non sarà ChatGPT a risolvere la questione. Le decisioni strategiche che prendiamo ora su come migliorare l’amministrazione — e in Catalogna abbiamo ampio margine di miglioramento secondo le classifiche internazionali — e su come combinare macchine ed esseri umani influiranno in modo decisivo nei prossimi decenni.

Tra 10 anni, se ci fosse una DANA a Valencia, con più IA si eviterebbe una cattiva gestione? Per certe cose, è meglio affidarsi alle macchine piuttosto che agli esseri umani?
Per certe cose, sì, ma solo se le macchine sono supervisionate dagli esseri umani. Non ho alcun dubbio che, con sistemi avanzati di automazione e IA, fenomeni come il disastro di una DANA sarebbero più facili da prevedere, rilevare e gestire. Tuttavia, ci scontreremo sempre con il fattore umano.

Un esempio illustrativo è il caso del colonnello Petrov negli anni Ottanta, durante l'Unione Sovietica. Lavorava in una base di missili nucleari che un giorno rilevò, attraverso i suoi sistemi algoritmici, un presunto attacco nucleare statunitense. Petrov aveva in mano la decisione di rispondere all'attacco. Se non avesse risposto e l'attacco fosse stato reale, ciò avrebbe significato la distruzione dell'Unione Sovietica. Ma se l'attacco non fosse stato reale e avesse reagito, avrebbe provocato la distruzione degli Stati Uniti e, probabilmente, del mondo. Fu un momento angosciante. Alla fine, Petrov decise di propria iniziativa di non reagire al presunto attacco. Non era convinto, aspettò qualche minuto e, infatti, non c’era nessun attacco.

Pertanto, tra 10 anni potremmo prevenire le DANA e persino le guerre nucleari, ma, ancora una volta, dobbiamo prestare attenzione alla combinazione uomo-macchina.

Nel suo ultimo libro, Il Regolamento sull’Intelligenza Artificiale dell’Unione Europea 2024: il diritto a una buona amministrazione digitale e il suo controllo giudiziario in Spagna, parla della riserva di umanità. Questo significa che avremo un’amministrazione in cui le macchine faranno il lavoro pesante e gli esseri umani prenderanno le decisioni più selettive o politiche? Oppure la riserva di umanità dovrebbe applicarsi a tutti i livelli dell’amministrazione?
La riserva di umanità implica l’esistenza di una serie di compiti e funzioni che non dovrebbero essere affidati alle macchine. Ad esempio, cosa preferirebbe un cittadino? Essere giudicato da una macchina o da un essere umano? Oppure che le decisioni urbanistiche del suo paese non fossero prese dal consiglio comunale, ma da una macchina a cui fossero stati delegati questi compiti? O che la regolazione dell’accesso all’università o questioni mediche fossero decise da una macchina?

Alcuni si sentirebbero a proprio agio, altri meno, anche se non fossero luddisti. L’idea della riserva di umanità non è nuova. Già negli anni Settanta del secolo scorso fu creato un chatbot chiamato Eliza, a cui le persone si affezionarono.

Nel settore pubblico, la riserva di umanità si basa su tre motivi principali:

1. Mancanza di empatia nelle macchine. Le macchine sono psicopatiche; né a medio né a lungo termine smetteranno di esserlo perché non hanno empatia. Mentre il 99% degli esseri umani non è psicopatico, il nostro sistema neurale funziona correttamente, abbiamo neuroni specchio e siamo allenati all’empatia. In decisioni come l’espropriazione o la sanzione, la capacità di comprendere la situazione di una persona colpita è essenziale, qualcosa che le macchine non possiedono.

2. Ragionamento umano contro IA. Le IA che abbiamo oggi non ragionano come gli esseri umani. Le più semplici, quelle degli anni Cinquanta, funzionano con sistemi di ragionamento abduttivo. Le più sofisticate, basate sull’apprendimento automatico o profondo, utilizzano ragionamenti induttivi: elaborano grandi quantità di dati per dedurre schemi, previsioni e decisioni. Tuttavia, gli esseri umani non ragionano solo in questi modi; abbiamo il buon senso e la conoscenza del mondo che ci permettono di formulare ipotesi corrette.

3. Ascoltare il cittadino. Nel settore pubblico, è indispensabile ascoltare la persona interessata da una decisione. Non possiamo implementare sistemi automatici che prendano decisioni senza fermarsi a elaborare informazioni rilevanti e considerare i bisogni e le preoccupazioni umane.

La riserva di umanità è fondamentale per garantire che l’amministrazione pubblica non perda di vista questi valori essenziali nel processo decisionale.

C’è anche il tema delle scatole nere dell’IA, come spiega nel suo libro.
Esatto. Ci sono sistemi così sofisticati che sappiamo quali informazioni inseriscono e quale decisione generano, ma non sappiamo come arrivano a quella decisione. Qualcuno potrebbe dire: “Come gli esseri umani.” È vero che nessuno sa esattamente come un giudice o un urbanista elabori il proprio ragionamento, ma non è la stessa cosa. L’opacità dei sistemi è maggiore rispetto a quella degli esseri umani.

Pertanto, la riserva di umanità implica che certe decisioni non possano essere lasciate alle macchine perché non hanno empatia, non possono ragionare abduttivamente e, inoltre, è necessario ascoltare altri esseri umani. Questi limiti della riserva di umanità sono sufficientemente importanti e, di fatto, sono già inclusi nel regolamento dell’IA dell’Unione Europea in relazione a giudici e giudici. Il regolamento stabilisce che l’IA può aiutare i giudici a prendere decisioni, ma non sostituirli completamente.

In un paese mediterraneo, la riserva di umanità potrebbe favorire la corruzione nell’amministrazione pubblica? Non crede che le macchine psicopatiche potrebbero ridurre certi livelli di corruzione umana?
È un pensiero ragionevole. Infatti, qualche anno fa, in Giappone, un robot si candidò alle elezioni locali e ottenne un numero considerevole di voti. Uno degli argomenti degli elettori era che, almeno, non sarebbe stato corrotto.

Tuttavia, non dobbiamo essere ingenui. I programmi e i dati che utilizzano questi sistemi provengono da qualche parte, non da mondi puri. Quell’aura di purezza che a volte viene attribuita ai sistemi di IA deve essere sfumata. Così come i pregiudizi possono essere introdotti attraverso i programmatori umani, i sistemi potrebbero anche essere manipolati. È vero che, in linea di principio, le macchine non dovrebbero avere incentivi umani per agire in modo corrotto, ma questo non significa che siano immuni all’influenza.

Se fossi Carles Puigdemont, forse preferirei essere giudicato da un’IA piuttosto che dal giudice Marchena. Se fossi Sandro Rosell, forse preferirei un’IA al posto della giudice Lamela. E se fossi un abitante di Paiporta, forse mi fiderei più di un’IA che di Carlos Mazón per gestire una DANA.
In tutti questi casi, prima di preferire un’opzione o l’altra, mi chiederei: “Da dove proviene questa macchina, questo sistema?”. È stato sviluppato internamente dal settore pubblico o è stato esternalizzato e acquistato da un’azienda privata? Se è il secondo caso, quale azienda privata lo ha sviluppato e quali garanzie ci sono che non siano stati introdotti pregiudizi o altri elementi?

Non è così semplice. Ad esempio, pochi mesi fa è uscito il film Giustizia artificiale, che consiglio vivamente. In alcuni casi in cui i giudici supervisionano decisioni amministrative, ci sono mandati legali che obbligano l’amministrazione a tenere in considerazione aspetti umanitari.

Nel libro cita un caso del Canada.
Sì, l’amministrazione aveva negato l’asilo a una persona, ma un giudice umano è stato in grado di considerare una serie di elementi legati alla compassione, all’empatia e all’equità, proteggendo quella persona. Questo tipo di interventi dimostra l’importanza di preservare la riserva di umanità in alcune decisioni critiche.

Potrebbe essere che in futuro i pregiudizi diventino l’ideologia del presente? Oggi l’ideologia è riservata agli esseri umani, ma in futuro potrebbe essere rappresentata dai pregiudizi delle macchine? Nel suo libro parla della discrezionalità...
Senza dubbio, oggi è piuttosto ragionevole affermare che, sia negli esseri umani che nelle macchine, quando nella presa di decisioni c’è un margine di apprezzamento, ci troviamo di fronte a ciò che i giuristi chiamano poteri discrezionali. Non è lo stesso decidere su una richiesta di credito bancario, basata su condizioni chiare e che può essere automatizzata, rispetto a contrarre matrimonio, dove intervengono numerosi fattori soggettivi.

Ci sono decisioni molto semplici in cui l’IA può svolgere un ruolo importante, ciò che tecnicamente chiamiamo poteri regolati. In Europa, ci sono già città che stanno considerando l’uso dell’IA per la concessione di permessi edilizi, perché, in teoria, si tratta di decisioni semplici e regolamentate. Vienna, ad esempio, ha un progetto in corso chiamato Brise. Vitoria sta valutando la sua implementazione e Madrid sta promuovendo un programma simile.

Tuttavia, in Catalogna, i permessi edilizi possono richiedere fino a un paio d’anni, il che dimostra la necessità di snellire questi processi.

Invece, non permetterebbe a un’IA di redigere il Piano Regolatore Generale di una popolazione.
Non permetterei a un’IA di avere l’ultima parola sul Piano Regolatore Generale di un comune. Tuttavia, circa un anno fa, ha fatto il giro del mondo la notizia che, a Porto Alegre, in Brasile, il consiglio comunale aveva approvato un’ordinanza redatta da ChatGPT riguardante i contatori e i consumi dell’acqua. Un consigliere spiritoso aveva introdotto la proposta senza informare i suoi colleghi, e tutti avevano votato a favore dell’ordinanza senza cambiare neanche una virgola.