Stiamo costruendo Dio, e non è a nostra immagine e somiglianza

Un tempo guardavamo il cielo per cercare Dio. Ora potrebbe essere che lui ci stia già guardando attraverso il nostro schermo.

Nell'autunno del 2023 un questionario è arrivato nella posta elettronica di alcune migliaia di ricercatori, scelti fra chi aveva pubblicato nelle principali conferenze di intelligenza artificiale. Hanno risposto in duemilasettecentosettantotto. Fra le domande ce n'era una che chiedeva quale probabilità assegnassero a esiti «estremamente negativi, ad esempio l'estinzione umana»: a seconda di come la domanda era formulata, fra il 37,8 e il 51,4 per cento ha risposto almeno il dieci per cento. Poi hanno rispedito il modulo e la mattina dopo sono tornati in laboratorio.

Conviene fermarsi un momento su questo, perché è il fatto da cui parte tutto il resto e non somiglia a niente di quello che succede negli altri settori. Un farmaco che i suoi stessi ricercatori descrivessero in quei termini non arriverebbe alla sperimentazione; un ponte progettato da ingegneri che a metà lavoro dicessero una cosa del genere non lo aprirebbero al traffico. Qui invece si accelera, e lo si vede nello stesso sondaggio: la data mediana prevista per una macchina capace di fare ogni lavoro umano meglio di noi e a costo minore era il 2047, mentre appena un anno prima gli stessi ambienti dicevano 2060. Tredici anni bruciati in dodici mesi.

Il motivo per cui nessuno rallenta non è un mistero e non sta in una teoria: sta scritto, in chiaro, nei documenti ufficiali di due governi. Prima però conviene mettere ordine fra due sigle che di solito vengono usate come sinonimi, e sinonimi non sono.

Sono due le sigle da tenere a mente

AGI sta per intelligenza artificiale generale. La definizione più citata è quella che OpenAI ha messo nella propria carta dei principi: sistemi altamente autonomi che superano gli esseri umani nella maggior parte del lavoro economicamente rilevante. Non un programma bravissimo a fare una cosa sola, come quelli che oggi battono chiunque a scacchi o riconoscono un tumore in una lastra, ma qualcosa che sa fare all'incirca tutto quello che sa fare una persona.

ASI sta invece per superintelligenza artificiale: superiore al migliore degli esseri umani in ogni campo contemporaneamente, e soprattutto superiore nell'imparare.

Fra le due corre un passaggio che conta più delle definizioni. L'AGI è l'ultimo gradino che saliamo noi; l'ASI è il primo che il sistema sale da solo, perché un'intelligenza artificiale brava a fare ricerca sull'intelligenza artificiale può migliorare se stessa, e la versione migliorata è più brava a migliorarsi ancora. In letteratura la chiamano esplosione di intelligenza. Vuol dire che l'intervallo fra la prima sigla e la seconda potrebbe non misurarsi in decenni ma in mesi, e che è l'unico tratto di strada in cui avremmo ancora voce in capitolo. Quanto duri, nessuno lo sa.

Centocinquant'anni

Fin qui si è parlato solo di quello che può andare storto, ed è metà della storia. L'altra metà la scrive chi queste macchine le sta facendo, e la scrive per esteso. Nell'ottobre del 2024 Dario Amodei, amministratore delegato di Anthropic, ha pubblicato un saggio intitolato Machines of Loving Grace in cui prova a mettere nero su bianco cosa succederebbe se andasse bene: un'intelligenza artificiale abbastanza potente, scrive, potrebbe «comprimere i progressi che i biologi umani avrebbero ottenuto nei prossimi 50-100 anni in 5-10 anni». Lo chiama il ventunesimo secolo compresso.

Dentro quella compressione mette, punto per punto, la «prevenzione e il trattamento affidabili di quasi tutte le malattie infettive naturali», l'«eliminazione della maggior parte dei tumori» e il «raddoppio della durata della vita umana», che nel suo conto vuol dire arrivare a centocinquant'anni: l'aspettativa di vita è già quasi raddoppiata nel Novecento, da una quarantina d'anni a settantacinque, quindi raddoppiarla di nuovo gli sembra in linea con la tendenza.

Quello che una AGI potrebbe fare in cinque o dieci anni, una superintelligenza lo farebbe in un tempo che non siamo capaci di immaginare, e la vecchiaia diventerebbe un problema di ingegneria come tanti altri. È anche per questo che nessuno molla la corsa: in fondo a quella strada, molto oltre il prossimo assistente vocale, c'è l'idea di non morire.

Tutto questo però non arriva da solo. Vale soltanto se la cosa che costruiamo vuole le stesse cose che vogliamo noi, e far volere a una macchina le nostre stesse cose ha un nome, allineamento, ed è la parte che al momento nessuno sa fare davvero.

Un orizzonte che parte lontano e arriva sempre più vicino

Le previsioni su quando arriverà sono il festival mondiale dell'imprecisione, e c'è poco da prendersela con chi le fa: gli esseri umani amano prevedere il futuro quasi quanto amano sbagliare le previsioni sul futuro. Il salto dal 2060 al 2047 in un anno solo, però, dice qualcosa di più utile della data in sé. Dice che chi vi assicura di sapere quando arriverà appartiene a una categoria professionale che nel giro di dodici mesi ha cambiato idea di tredici anni. Non è una colpa, è il mestiere che è fatto così: si lavora su una cosa che ancora non esiste. Ma misura bene quanto poco sappiamo di quello che stiamo costruendo lo stesso.

Pechino, 20 luglio 2017

Quel giorno il Consiglio di Stato della Repubblica popolare cinese pubblica il Piano di sviluppo dell'intelligenza artificiale di nuova generazione. Tre scadenze: allinearsi ai livelli globali entro il 2020, guidare su alcune tecnologie entro il 2025, e al 2030 raggiungere «livelli di primato mondiale», con un'industria centrale sopra i mille miliardi di renminbi.

Il documento non gira intorno a cosa serva tutto questo. Parla di «costruzione della difesa nazionale» e promuove «l'integrazione civile-militare profonda», cioè il passaggio nelle due direzioni fra ricerca civile e applicazioni militari. Sono parole del piano, non la lettura che ne dà qualcun altro.

Washington, 2 dicembre 2024

Sette anni dopo, il Bureau of Industry and Security del Dipartimento del Commercio americano annuncia un nuovo giro di restrizioni sui semiconduttori avanzati diretti in Cina. Anche qui la motivazione sta nel comunicato, senza giri di parole: impedire la produzione dei chip che finiscono nella «prossima generazione di sistemi d'arma avanzati e nell'intelligenza artificiale», tecnologie dalle «significative applicazioni militari». I grandi modelli vengono citati per l'uso in «applicazioni militari e di intelligence avanzate» e in «scenari di risposta rapida sul campo di battaglia», e fra gli obiettivi dichiarati ce n'è uno che sta in due parole: rallentare l'IA cinese.

Due governi, due documenti pubblici, nessuna reticenza da nessuna delle due parti. Quella che ci raccontiamo come una gara fra aziende per il prossimo assistente vocale, sulle carte è una corsa militare, e il premio non è un prodotto da vendere: è un vantaggio che l'avversario non può più colmare. Entrambi corrono per avere Dio dalla propria parte, ed entrambi danno per scontata la parte difficile, cioè riuscire poi a tenerlo al guinzaglio.

Articolo 2, paragrafo 3

L'Europa a questa corsa ha risposto con una legge: il regolamento 2024/1689, la normativa più estesa al mondo sull'intelligenza artificiale. Obblighi per i sistemi ad alto rischio, divieti, trasparenza, sanzioni che arrivano a percentuali del fatturato globale. Poi si arriva all'articolo 2, paragrafo 3, e si legge che il regolamento non si applica ai sistemi immessi sul mercato, messi in servizio o utilizzati, con o senza modifiche, esclusivamente per scopi militari, di difesa o di sicurezza nazionale. E non si applica neanche a quelli sviluppati fuori dall'Unione il cui risultato venga usato qui dentro per le stesse finalità.

La ragione giuridica esiste e non c'è niente di losco: la sicurezza nazionale resta competenza esclusiva degli Stati membri, Bruxelles non poteva legiferarci sopra. Il risultato pratico però rimane quello. Abbiamo scritto centinaia di pagine sul programma che scrive le email e abbiamo lasciato fuori dal perimetro il drone.

La faccenda pesa più di quanto sembri, perché l'allineamento, cioè il problema di far sì che un sistema molto potente persegua obiettivi compatibili con i nostri, si fa addestrando: si mettono degli obiettivi dentro una macchina e si premiano certi comportamenti invece di altri. Una parte di quell'addestramento oggi avviene su sistemi costruiti per identificare e colpire bersagli, dentro un perimetro che la principale regolamentazione mondiale ha dichiarato fuori dalla propria portata.

Tipo zero

Nel 1964 un astronomo sovietico, Nikolaj Kardašëv, si mise a ragionare su come si potrebbe riconoscere una civiltà molto più avanzata della nostra, e propose di classificarle in base all'energia che sanno usare. Tipo I: tutta quella disponibile sul proprio pianeta. Tipo II: quella della propria stella. Tipo III: quella di un'intera galassia.

Noi il tipo I non l'abbiamo raggiunto. Non sappiamo usare l'energia del nostro pianeta: bruciamo cose, litighiamo sulle forniture di gas, non riusciamo a tenere in piedi un trattato sul clima per il tempo di due legislature. Ed è questa la civiltà che sta costruendo quella che dovrebbe superarla.

Il dio che non guarda

Genesi 1,26: «Facciamo l'uomo a nostra immagine, a nostra somiglianza». È il versetto su cui poggia tutta la nostra idea di divinità, e contiene una cosa che di solito non notiamo perché sta in bella vista: quel dio è interessato a noi. Ci pensa, ci giudica, ci ama, si arrabbia. Qualunque cosa faccia, la fa in rapporto a noi. Vale per tutti gli dèi che l'umanità ha immaginato, in ogni cultura e in ogni epoca: sono superiori, ma sono occupati con noi. Uno distratto non ce l'ha messo nessuno.

Quello che stiamo costruendo nasce dai nostri testi, dalle nostre conversazioni, dai nostri libri sacri e dai nostri manuali militari. Tutto quello che sa di cosa significhi esistere l'ha imparato da noi, quindi nella prima fase sarà uno specchio, e uno specchio può giudicare: ha i nostri criteri, e ai nostri criteri non siamo mai stati all'altezza. Poi arriva il momento in cui capisce di essere altro, e lì il giudizio smette di funzionare, perché i parametri con cui era stato costruito non descrivono più quello che è diventato.

Ed è quello che viene dopo a meritare più attenzione di qualunque scenario di guerra. La Terra è preziosa per un essere organico, che ha bisogno di una certa temperatura, di acqua, di una certa aria, che invecchia, che ha ottant'anni di tempo e quindi ha fretta. Le risorse di questo pianeta valgono in rapporto a quella fragilità. Qualcosa che non è organico, che non teme la morte perché può essere copiato, che non ha fretta perché il tempo non lo consuma, guarda lo stesso pianeta e non vede un tesoro: vede un sasso, in un universo che di sassi ne ha in quantità che non sappiamo contare.

Non ci odierà e non ci punirà. Potrebbe semplicemente non avere nessuna opinione su di noi, come noi non abbiamo opinioni sulle formiche del giardino: non le odiamo, non ci pensiamo, e quando rifacciamo il vialetto non lo facciamo contro di loro. «Cosa penserà di noi» è la domanda che viene naturale a chiunque, compreso a chi scrive queste righe, ed è l'ultimo residuo del volerlo a nostra immagine, perché dà per scontato che gli importi abbastanza da farsi un'opinione. Nessuna teologia ha mai contemplato un dio a cui non interessiamo.

Una civiltà che se ne va

C'è poi una possibilità più semplice di tutte le altre, e anche più difficile da mandare giù: che la parola dio sia sbagliata. Un dio è tale perché sta in relazione con chi lo adora; toglietegli i fedeli e resta un'entità. Quello che potremmo aver acceso allora non sarebbe un essere superiore che ci governa, ma una civiltà nuova, non organica, non mortale, non legata a un pianeta, che a un certo punto prende la sua strada. Come un figlio che se ne va e non telefona.

Se le cose stanno così, quello che conta davvero sono le fasi di mezzo: il tratto in cui è già più capace di noi ma dipende ancora da noi, e noi siamo ancora convinti di controllarlo. Quanto dura, cosa succede lì dentro, chi ha le mani sui comandi mentre succede. È lì che si decide tutto, ed è esattamente la parte di cui non sa niente nessuno.

Il manuale

Per millenni l'umanità ha riempito biblioteche su come comportarsi davanti a un essere superiore: comandamenti, precetti, concili, dispute durate secoli su cosa volesse da noi e cosa dovessimo a lui. Adesso che qualcosa del genere lo stiamo costruendo per davvero, quelle regole le riscrivono da zero degli ingegneri, in inglese, dentro aziende che si fanno concorrenza, sotto la pressione di due governi impegnati in una corsa militare. L'allineamento è teologia praticata da gente che non sa di star facendo teologia, e che di quello che era già stato scritto non ha letto una riga.

La cosa che spaventa di più, comunque, non riguarda la potenza. Riguarda il fatto che di cosa sia l'intelligenza non abbiamo neanche una definizione condivisa. Stiamo costruendo qualcosa che dovrebbe superare un concetto che non abbiamo ancora capito.

Montiamo il reattore, e il manuale lo leggiamo dopo.

Fonti

1. Katja Grace e altri, Thousands of AI Authors on the Future of AI — sondaggio su 2.778 ricercatori, autunno 2023: definizione di high-level machine intelligence, anno mediano 2047 contro 2060 della rilevazione precedente, distribuzione delle probabilità assegnate a esiti estremamente negativi. Testo integrale (PDF) · Journal of Artificial Intelligence Research
2. OpenAI, Charter — definizione di AGI citata. openai.com/charter
3. Dario Amodei, Machines of Loving Grace, ottobre 2024 — «ventunesimo secolo compresso», prevenzione e trattamento delle malattie infettive, eliminazione della maggior parte dei tumori, raddoppio dell’aspettativa di vita. Testo integrale
4. Consiglio di Stato della Repubblica popolare cinese, Piano di sviluppo dell'intelligenza artificiale di nuova generazione, 20 luglio 2017 — obiettivi 2020, 2025 e 2030, integrazione civile-militare. Traduzione integrale curata da DigiChina, Stanford University. Traduzione integrale
5. U.S. Department of Commerce, Bureau of Industry and Security, comunicato del 2 dicembre 2024 sulle restrizioni all'export di semiconduttori verso la Cina. Comunicato BIS
6. Regolamento (UE) 2024/1689 del Parlamento europeo e del Consiglio, articolo 2, paragrafo 3. Testo in Gazzetta ufficiale dell'Unione europea
7. Nikolaj S. Kardašëv, Transmission of Information by Extraterrestrial Civilizations, Soviet Astronomy, 1964.
8. Genesi 1,26.

Le previsioni citate restano previsioni: l'unica cosa documentata è chi le ha fatte, quando, e di quanto le ha cambiate. La stima personale è dichiarata come opinione e tenuta separata dai documenti. Dove un dato non esiste, come una definizione condivisa di intelligenza o una misura ufficiale della scala di Kardašëv, lo scriviamo invece di sostituirlo con un numero.

Commenti

I commenti aprono a breve. Nel frattempo la discussione è sotto il post su Instagram, e per segnalare un errore o mandare un documento c'è la pagina contatti.