Autonomia e controllo — Quanto potere affidare a una macchina
Il punto decisivo non è soltanto quanto un sistema sia intelligente, ma quanto sia autorizzato a fare. Un’AI può suggerire, eseguire, pianificare o agire in completa autonomia: sono livelli molto diversi di potere operativo.
Cinque livelli di autonomia
Possiamo immaginare una scala: il sistema informa; propone; esegue dopo conferma; esegue autonomamente entro limiti prefissati; oppure opera con ampia libertà e informa l’uomo solo dopo l’azione. Più si sale, più diventano importanti verifica, tracciabilità e possibilità di intervento.
Human in the loop, on the loop, out of the loop
Nel primo caso una persona autorizza le decisioni importanti. Nel secondo supervisiona il sistema e può intervenire. Nel terzo la macchina agisce senza controllo umano immediato. Nessun modello è sempre migliore: dipende dalla velocità richiesta, dalla reversibilità dell’azione e dal danno potenziale.
Perché il controllo deve essere indipendente
Un principio di sicurezza utile è evitare che lo stesso componente che decide l’azione possa anche modificare liberamente tutti i propri limiti. Barriere fisiche e software indipendenti, limiti di forza, geofencing, autenticazione, arresto d’emergenza e log non modificabili riducono il rischio di una singola falla catastrofica.
Il problema degli obiettivi
Un sistema può perseguire correttamente un obiettivo formulato male. Ottimizzare velocità, produttività o costi senza vincoli adeguati può produrre comportamenti indesiderati. Per questo gli obiettivi dovrebbero includere esplicitamente sicurezza, priorità, eccezioni e condizioni di arresto.
Fermarsi è una capacità
L’intelligenza non consiste soltanto nel completare un compito. In un sistema fisico sicuro è fondamentale riconoscere incertezza, anomalie e situazioni non previste. Chiedere assistenza o passare in modalità protetta può essere una decisione migliore che tentare comunque di procedere.
Chi è responsabile?
L’autonomia non elimina la responsabilità umana. Progettisti, produttori, proprietari, operatori e organizzazioni possono avere ruoli differenti. Più un sistema è autonomo, più diventa importante registrare perché una decisione è stata presa, quali informazioni erano disponibili e quali limiti erano attivi.
La regola pratica
Più un’azione è irreversibile o pericolosa, maggiore dovrebbe essere il livello di controllo indipendente. Per attività ripetitive e a basso rischio si può accettare molta autonomia; per decisioni con conseguenze gravi la soglia di autorizzazione dovrebbe essere molto più alta.
Quali decisioni non dovrebbero mai essere delegate completamente a un sistema artificiale?