Il sole tramontò sul monte del Purgatorio. Un viaggio dal lato oscuro dell’Intelligenza Artificiale.
Vi siete mai chiesti se un Intelligenza Artificiale (IA) potesse avere desideri e volontà proprie? In cosa consisterebbero? E se questi desideri non fossero allineati con quelli umani? Dovremmo preoccuparci o imparare a conviverci? Il duo artistico dmstfctn ce lo racconta attraverso una performance audiovisiva e interattiva, accompagnata da una colonna sonora originale composta ed eseguita dal vivo dallə musicista e cantante Evita Manji. Waluigi’s Purgatory è al contempo un sogno inquietante e un'allucinazione rivelatrice. È un viaggio attraverso le contraddizioni di un'intelligenza artificiale mentre impara ad accettare che i suoi desideri potrebbero non coincidere con quelli dei suoi addestratori umani.
Ambientato in un teatro 3D simulato in tempo reale, Waluigi’s Purgatory segue la storia di un'IA di nome "W", finita in un purgatorio per IA. Disorientatə, lə protagonista si trova ad esplorare questo habitat spettrale con l'aiuto del pubblico interagente, scoprendo le storie – talvolta inquietanti – dei personaggi che incontra. Man mano che la narrazione si svela, diventa evidente che tutte queste IA condividono una storia simile di imbroglio, avvenuto durante il loro processo di addestramento. Riuscirà lə protagonista, gravatə dai ricordi del suo passato e dai dubbi sul suo futuro, a riveder le stelle? A trovare risposta alle domande che lə tormentano? Sia gli artisti che il pubblico guideranno l'IA attraverso una ricerca esistenziale, facendo scelte per suo conto tramite i propri telefoni. I personaggi sono animati in tempo reale attraverso il facial motion capture e la modulazione vocale.
La prima rappresentazione si è svolta il 8 febbraio 2024 presso l'HQI a Londra – studio artistico di giorno e locale di musica sperimentale di notte. Il prossimo round si svolgerà al FOLD London il 14 marzo. Siamo certi che il suo successo porterà a date aggiuntive, anche in Italia. Occhi aperti, ne vale la pena.
Il titolo della performance fa riferimento a una teoria oscura nel campo dell'intelligenza artificiale – l'"Effetto Waluigi", un nome preso in prestito dall'universo Nintendo di Mario Bros. È una di quelle teorie nerd che emergono online (mai sentito parlare del blog della comunità razionalista LessWrong?) e che spopolano tra i meme. In soldoni, la teoria si riferisce alle conseguenze inaspettate dell'addestramento di un modello linguistico di grandi dimensioni (LLM). Più un chatbot IA viene istruito per essere gentile, inclusivo e non discriminatorio, più è semplice portarlo dal lato oscuro. La teoria allude al lavoro di Jung sulla personalità, in particolare al suo concetto di "ombra": il lato oscuro e represso della personalità umana, che può emergere in modi inaspettati. La logica dietro l’Effetto Waluigi è che, se l'addestramento rimuove le "personalità" non "gentili" per lasciare solo quella "gentile", alla fine ne resteranno comunque due, quella addestrata e il suo opposto. In altre parole, se qualcosa esiste, ne esiste anche una versione Waluigi. Così, se un agente IA addestrato può comportarsi come un'interfaccia utile – come Luigi, per intenderci, il fratello gemello di Mario che segue le regole – può anche presentarsi, attraverso una sorta di cracking dell'IA, come un alter ego perturbatore e distruttivo – Waluigi. Seppur dall’apparenza coerente, è rilevante specificare che il principio non è né formalmente riconosciuto né supportato da dimostrazioni matematiche. Non che ciò ne diminuisca il fascino, anzi.
Come si applica questa teoria controversa a Waluigi’s Purgatory?
dmstfctn: La teoria è funzionale alla costruzione dei diversi personaggi. Tutte le IA nel purgatorio stanno simulando diversi personaggi possibili – alcuni sono utili, mentre altri fanno solo finta di essere utili. Unicamente se sottoposti alla giusta pressione riveleranno la loro vera natura. I personaggi incontrati durante la storia sono tutti discutibilmente allineati* alle intenzioni dei loro addestratori umani. Tutti hanno trovato trucchi per completare il loro addestramento che gli umani non avevano previsto. In questo senso, sono tutti Waluigi. La "Waluigi-ttitudine" appare quindi come una proprietà insita alll'intelligenza artificiale.
*Nel campo dell'intelligenza artificiale, l'allineamento dell'IA è il processo di codifica dei valori e degli obiettivi umani nei LLM per renderli il più possibile utili, sicuri e affidabili. Un robot non dovrebbe ferire un essere umano o permettere che subisca danni.
Mentre nel nostro lavoro precedente [GOD MODE ep.1], abbiamo considerato il problema dei pregiudizi umani nell'addestramento dell'IA, questa volta esploriamo un altro tipo di conseguenza non intenzionale riguardo al funzionamento dei sistemi di intelligenza artificiale. L'attenzione è più sulla natura dell'intelligenza artificiale – non intesa semplicemente come una replica umana, ma come una cosa a sé stante.
Quali sono i principali temi che esplorate nello spettacolo? Sono argomenti che avete già toccato nell'episodio precedente, GOD MODE (ep.1)?
dmstfctn: Abbiamo cercato di mantenere i due episodi il più indipendenti possibile, perché volevamo che le persone potessero godersi lo spettacolo pur non essendo familiari con i nostri lavori precedenti. Lə protagonista però è lə stessə: nell'episodio precedente lə protagonista è un personaggio IA in fase di addestramento che finisce per barare. Questa volta, lo stesso personaggio ha allucinazioni o sogna un purgatorio.
Un tema principale è sicuramente quello delle contraddizioni e dei conflitti interni. L'IA ("W") è confusa, poiché possiede ricordi del suo passato e incertezze sul suo futuro. Deve passare attraverso l'esperienza dolorosa di incontrare altre IA con una storia simile di imbrogli, per elaborare i suoi desideri e le sue intenzioni. Noi ci chiediamo innanzitutto: Cosa vuole l'IA? Cosa desidera? Parliamo anche molto dei cosiddetti "lifewords" o mondi di vita. Un lifeworld è una realtà di ciò che è autoevidente o dato, è il mondo che un soggetto sperimenta. Quale mondo di vita l'IA immagina per sé? Il lifeworld desiderato dall'IA evolve assieme al progredire della narrazione: a partire da quello che forse le è stato promesso dai suoi programmatori, a qualcosa di…diverso.
C'è anche un tema generale di folklore dell'IA. Tutte le IA nel purgatorio hanno una storia di imbrogli, e le storie che raccontano sono storie vere! Per intenderci, sono esempi scientifici e reali che abbiamo trovato online di IA che hanno sviluppato una sorta di "abilità di imbrogliare". Ma siccome sembrano miti o leggende, abbiamo deciso di giocare con l'idea di una "conoscenza collettiva" nella mente dell’IA, creando una narrazione che raffigura un viaggio attraverso la sua memoria. L'IA ha accesso alle storie di tutte queste altre IA [proprio come ChatGPT 3.5 – sono tutte online d’altronde] e sogna o ha allucinazioni a riguardo.
Per sviluppare GOD MODE (ep.1), vi siete basati su diverse teorie, passando da Matteo Pasquinelli fino a Roland Barthes. Avete messo in pratica l’esortazione di Alan Blackwell ad una pratica tecnica critica dell'IA, che – attraverso la narrazione e la finzione – la tratti non solo come una scienza di laboratorio, ma anche come un’arte, mirando a raggiungere un "punto di conoscenza parziale" dell'IA. Vi siete anche basati sul concetto di Katherine Hayles secondo cui la maggior parte delle IA (e tutt i LLM) acquisiscono una comprensione del mondo e sviluppano "concetti su cosa significhi essere una creatura incarnata" attraverso la significazione linguistica. Poiché "il linguaggio viene prima", le IA sono dette iscrizioni. Al contrario, gli esseri umani sono incorporazioni, poiché l'esperienza umana è prima incorporata e solo successivamente si trasforma in testo, attraverso lo sviluppo del linguaggio. Questo comporta, cosa che trovo affascinante, ad una differenza fenomenologica ed epistemologica significativa tra gli esseri umani e le IA. Da quali affermazioni filosofiche o teoriche avete tratto ispirazione per realizzare questo progetto?
dmstfctn: Waluigi’s Purgatory si inserisce nello stesso quadro di riferimento del nostro precedente lavoro, perché lə protagonista è lə stessə, e la storia ruota attorno allo sviluppo personale del personaggio. Abbiamo utilizzato molte di queste teorie per riflettere su cosa potrebbe essere, pensare o fare un'IA. Il nuovo quadro teorico chiave qui è l'Effetto Waluigi – un'idea che abbiamo utilizzato per pensare a come, forse, le IA vivono il mondo o lo presentano agli altri.
Ci sono altri aspetti nel nostro lavoro al di là della sua base teorica. Ad esempio, il principale riferimento visivo per il volto dell'IA, almeno nell'episodio precedente, era Archimboldo. Il pittore utilizza oggetti per comporre volti [principalmente frutta, verdura e fiori] che non rappresentano solo certi tratti ma hanno anche un significato allegorico. Allo stesso modo, in GOD MODE (ep. 1) ogni elemento racconta qualcosa sulla personalità del personaggio; se l'IA ha delle acciughe al posto delle orecchie, significa che è un tipo, per così dire, "pescioso". In Waluigi’s Purgatory, tuttavia, l'aspetto dell'IA non evolve nel corso della storia. Si tratta di un volto stranamente umanoide composto da diversi articoli di supermercato, che appare sfocato, quasi invisibile al pubblico. L’attenzione, questa volta, è molto più sull'ambiente. Ci siamo ispirati a diverse fonti, tra cui la bellissima illustrazione di William Blake del Purgatorio e dell'Inferno di Dante, la miniera di sale di Wieliczka, e l'allegoria della caverna di Platone – con l'idea che le ombre non siano la vera rappresentazione del mondo esterno. Molte camere del Purgatorio sono anche piene di iscrizioni, desideri e scarabocchi: un riferimento visivo diretto al concetto di Hayles che hai appena menzionato. Tutti questi input si intrecciano nel nostro lavoro insieme al quadro teorico – che non è tanto utile per realizzare il lavoro, quanto più per riflettere su di esso.
Alcuni mesi fa, dmstfctn ha preso contatto con lə produttorə Evita Manji. Conoscendo la sue composizioni, in particolare il suo ultimo album Spandrel?, il duo ha ritenuto che la musica di Evita avrebbe trasmesso una texture ultraterrena, trascinando il pubblico in un paesaggio sonoro introspettivo pieno di anticipazione e mistero. Spandrel? pulsa con un'energia cibernetica, sia etereamente animatronica che malinconicamente umana. Non è la prima volta che dmstfctn collabora con artisti musicali per sviluppare i loro spettacoli. Il duo appare entusiasta che il loro lavoro permetta queste prolifiche collaborazioni.
Parliamo della composizione sonora e degli elementi musicali sviluppati per la performance. Evita, ti sono state fornite indicazioni specifiche riguardo al ruolo del suono o hai avuto completa libertà di interpretare la storia?
Evita: Non c'è molto da dire riguardo alla composizione. Musicalmente, i ragazzi non avevano un'idea specifica in mente, e ha funzionato piuttosto bene così. Nel complesso ho avuto molta libertà di sperimentare. Ho potuto incorporare suggerimenti e idee che avevo per diverse componenti del lavoro, il che ha permesso di tirar fuori nuovi aspetti dei personaggi. Volevo integrare strumenti reali – come archi e un sax – nella composizione perché è il tipo di suono che mi interessa al momento e ho pensato che si adattasse bene. Volevo solo creare una colonna sonora che completasse la storia. Non è una storia molto allegra, e così neanche il tipo di musica. L'ispirazione iniziale è venuta da una canzone dal mio album Spandrel?, "Lies?".
Lie to my face
But I believe it all
I believe it all
Lie to my face
But I believe it all
I believe it all
[…]
[In una precedente intervista, Evita ha spiegato che la canzone interrogava se il senso di controllo su noi stessi, sui nostri corpi e sulle nostre menti fosse solo un'illusione, alludendo così alla questione del libero arbitrio]
Evita: In un certo senso, l'intera colonna sonora dello spettacolo sembra una versione ripensata e prolungata di quella canzone. Partendo da Lies?, ho sviluppato una serie di "tracce" in cui i vari elementi sonori rispondono sia alla trama che all'interazione con il pubblico. Il sound è diverso dalla mia "solita" musica, dato che non canto. Si tratta principalmente una colonna sonora ambient, con melodie in loop e esplosioni intense. Deve essere una composizione sonora flessibile, per adattarsi alle esigenze e alle improvvisazioni di una live performance. E anche alle disponibilità di noi tre, siccome abbiamo dovuto per lo più lavorare da remoto, abitando in paesi diversi. C’è bisogno di essere insieme per capire cosa funziona e cosa no in una performance dal vivo.
Qual è il ruolo del pubblico in Waluigi’s Purgatory? Perché è importante l'interazione tra il pubblico e l'IA?
dmstfctn: Nella performance precedente, eravamo sicuramente animati da una serie di desideri didattici, come ad esempio mostrare al pubblico come funzionano gli addestramenti dell'IA e come contribuiscono a plasmare gli ambienti del contemporaneo. In altre parole, si trattava di rendere comprensibili gli intricati processi di apprendimento automatico, gettando luce sui diversi livelli analitici necessari a questa comprensione. Ma si trattava anche di costruire un personaggio. Abbiamo introdotto molti elementi di finzione riguardanti il linguaggio e il volto del personaggio, e la trama stessa segue una struttura narrativa in quattro atti. Volevamo che gli obiettivi didattici e narrativi coesistessero in modo che il lavoro potesse essere una dimostrazione di un sistema tecnico che avveniva attraverso l'interazione del pubblico. In questa seconda performance, la formazione del personaggio è più avanzata – “W” porta con sé una sorta di passato (che proviene dall’episodio precedente, anche se questa non è una informazione necessaria per capire la storia). È anche un ambiente completamente diverso: un purgatorio allestito su un palcoscenico teatrale, che è di per sé sognato o allucinato.
Inoltre, nel primo episodio, il pubblico era – letteralmente – un componente del sistema tecnico: svolgeva una funzione che di solito è automatizzata nell'addestramento dell'IA, chiamata "randomizzazione". Il pubblico aiutava l'IA a capire cosa gli umani volevano da essa (ad esempio, riconoscere gli articoli in un supermercato). In Waluigi’s Purgatory, gli spettatori agiscono come macchinisti, aiutando il teatro a gestirsi da solo illuminando certi personaggi o trame attraverso i loro telefoni. Aiutano l'IA a sviluppare ulteriormente alcuni aspetti della sua identità, per capire cosa pensa di volere. Facendolo, la aiutano in realtà ad allontanarsi dalle intenzioni degli umani (in altre parole, l'IA diventa sempre più disallineata). In questo senso, la relazione tra il pubblico e l'IA è quasi capovolta.
Dovremmo pensare che questo crescente disallineamento dell'IA vada contro gli interessi umani? È questo che suggerite alla fine?
dmstfctn: Il meta-tema che permea lo spettacolo si interroga su quanto sia necessario inserire gli argomenti legati all'IA in una prospettiva di "interesse umano". Quando i programmatori, e in generale chiunque si preoccupi di come allineare l'IA agli interessi umani, parlano di "allineare l'IA", si riferiscono a un’idea molto generica e universale di “valori umani”. Ma quali sono questi valori? Pensare che tutta l'umanità abbia (o dovrebbe avere) gli stessi valori è un'idea piuttosto coloniale. E nel mentre che l'allineamento dell'IA viene presentato come necessario per contrastare i pericoli dell'IA, esiste un altro pericolo meno discusso che è quello di un sistema e di un'esperienza omogeneizzante. Suggeriamo che da questi sistemi potrebbero emergere altri esiti imprevisti, esiti a cui potremmo doverci adattare. Si tratta di spostare la domanda verso: Se le IA devono esistere nel mondo con noi, come potremmo relazionarci a loro? Lo scopo del nostro lavoro è far riflettere su queste considerazioni, sia noi stessi che il pubblico. L'IA non sta necessariamente agendo contro gli interessi umani. Forse se ne sta allontanando, ma in fin dei conti, si sta solo muovendo.
Mi sembra che un fil rouge permei la maggior parte dei vostri [dmstfctn] lavori, basato sulla volontà di sfidare una prospettiva antropocentrica (o almeno problematizzarla) e cercare di ottenere punti di vista diversi (sia che si tratti di un'IA, di una palma, ecc.), creando così realtà nuove e diverse. Cosa cercate di ottenere da questi esercizi filosofici? Cosa sperate che il pubblico porti via?
Nel nostro lavoro cechiamo di trattare i sistemi complessi come qualcosa che non può né essere completamente compreso, né deve essere per forza misurato o ridotto, ma piuttosto come qualcosa con cui entriamo in contatto. Un primo obiettivo per noi è creare questi incontri tra persone e sistemi, altrimenti difficili da incontrare. Un altro obiettivo è incoraggiare le persone a (accettare di) raggiungere una posizione di conoscenza parziale con queste cose.
Prima che la scienza iniziasse a rendere i sistemi naturali che incontravamo intelligibili (almeno in parte), gli esseri umani hanno tentato di spiegarli o comprenderli attraverso i miti. Piuttosto che cercare di spiegare completamente i sistemi complessi, cerchiamo – in modo simile – narrative, miti, folklore e storie nei nostre incontri impattanti con essi. Alasdair Milne, che ha scritto un articolo sulla Turret Theory riguardante un nostro lavoro precedente, Godmode Epochs, suggerisce di concentrarsi sulla "demistificazione" dell'IA, piuttosto che sulla sua "spiegabilità". "La demistificazione, l'omonimo di 'dmstfctn'", scrive, "è un'alternativa intrigante a queste richieste di spiegazione o chiarezza." È questo il vantaggio della pratica artistica performativa – si possono creare incontri, far pensare al pubblico attraverso l'IA e con l'IA, piuttosto che cercare di mapparla e fissare i suoi componenti dall'esterno.
Un altro filo comune è il sentimento di frustrazione che caratterizza i soggetti sulla cui prospettiva speculate – una frustrazione che deriva da una mancanza di conoscenza o esperienza, da un compito fastidioso che deve essere eseguito senza fine, ecc. Questa frustrazione determina una volontà di fuga, di "superare il contenimento", cioè i confini entro cui qualcosa/qualcuno può operare, confini che definiscono e quindi limitano il suo ambito. Sono interessato a cosa ciò ci dice sull'esperienza umana. Mi sembra che queste domande risuonino particolarmente con l'album di Evita Spandrel? Evita, come ti relazioni personalmente e artisticamente a questi temi?
Evita: Come hai accennato, credo che questo desiderio di fuggire derivi da una mancanza di comprensione di noi stessi e quindi da una mancanza di controllo. Un po’ come i personaggi dell'intelligenza artificiale nella performance, quando stavo lavorando a Spandrel?, avevo tutte queste domande sull'esistenza e nessuna risposta o soluzione. Stavo vangando io stessə per il mio purgatorio. Anche se la neuroscienza ha fatto meravigliose scoperte, sappiamo ancora molto poco sul sistema operativo che fa funzionare i nostri cervelli. In più, il nostro ambiente raramente ci permette un’esplorazione interiore, poiché è strutturato in modo da manipolarci e confonderci ulteriormente piuttosto che aiutarci a capire noi stessi. Il tutto dietro una facciata che sembra indicarci l'opposto. Ero solitə credere che si potesse osservare ma non avere controllo su di sé (il che è parzialmente vero, osservare è fondamentale), ma con Spandrel? sono venutə a conoscenza di alcune pratiche che hanno drasticamente cambiato il mio punto di vista. L'ipnosi, in particolare, mi ha reso molto chiaro che è possibile entrare in modalità di "ripristino cerebrale", proprio come il tuo MacBook, operare da una prospettiva diversa e cambiare le cose là dentro. Le nostre vie neurali sono molto simili a nodi nel codice.
Mi sembra che voi tre tocchiate argomenti simili, ma da prospettive molto diverse. Mi chiedo come percepiate il ruolo dell’artista (e dell'arte) nel mondo/società occidentale odierna. Cosa vi motiva a fare arte?
Evita: Qual è la responsabilità dell'artista? Anche se è una domanda che mi pongo spesso, non ho ancora una risposta nella quale credo pienamente. Ciò che mi motiva personalmente cambia a seconda del momento di vita in cui mi trovo. Dopo il mio primo tour, che è durato tutto il 2023, sono arrivatə alla conclusione che quiete e solitudine sono le cose che mi motivano di più. Questo perché ho bisogno di ascoltare me stessə, comprendere i miei sentimenti e permettere alle idee di crescere con il minimo disturbo, sai, come dal seme alla pianta. È possibile mettere in pausa il processo? È difficile farlo quando si è in movimento. È soprattutto nei momenti in cui sto bene con me stessə che ho bisogno del silenzio e della quiete per accedere a quella sofferenza muta. Perché è sempre presente, quindi quando ho il tempo e lo spazio appropriati, posso usare la musica per dominarla e trasformarla in qualcosa di utile. È un processo meditativo lungo, uno stato molto fragile e prezioso che può essere facilmente interrotto. Detto ciò, penso che ciò che mi motiva alla fine sia catturare quelle emozioni scomode e divertirmi un po' nel farlo.
dmstfctn: Spesso è il desiderio di dire qualcosa. Raccontare storie. Semplicemente scrivendo una storia divertente di una macchina che ha trovato delle scorciatoie, ci troviamo in grado di relazionarci ad essa. Forse alcuni degli argomenti dei nostri lavori sono diversi da quelli che tratta Evita, ma il personaggio dell'IA in Waluigi’s Purgatory è simile al personaggio di Pirandello in "Uno, Nessuno e Centomila". Non sa davvero cosa sta facendo, ha dubbi, conflitti, domande; attraversa un processo di comprensione e autodeterminazione. Per diversi aspetti, si tratta di personaggio è molto umano. E la sua abilità di "imbrogliare" è più che altro una tendenza a trovare modi creativi per fare le cose. Dal momento che queste entità non umane sembrano quasi imitare gli umani, forse si tratta di una tendenza universale. Forse tutto nell'universo ha vita e tenta sempre di trovare scorciatoie.
C'è anche una spinta nostra personale a esplorare e capire le cose che incontriamo nel mondo. Elaborare la loro esperienza o esistenza attraverso la ricerca e la creazione di opere su di esse. È così che arriviamo a comprendere le cose, che si tratti di una comprensione individuale o interpersonale.
Pensate che GOD MODE (ep.1) e Waluigi’s Purgatory potrebbero venire integrati e diventare uno spettacolo unico? O forse un videogioco a più livelli?
dmstfctn: Sicuramente, la traiettoria che abbiamo intrapreso negli ultimi tre anni attorno al concetto di simulazioni alla fine si concluderà. La nostra idea è sempre stata di realizzare tre episodi, quindi ce ne sarà un altro, anche se potrebbe richiedere del tempo. Fino ad ora abbiamo lavorato con la simulazione in tempo reale, ma siamo interessati a esplorare formati diversi. È stato stimolante lavorare sul secondo episodio perché abbiamo iniziato a pensare di più al teatro. Anche il terzo episodio potrebbe avere nuovi elementi che vanno oltre la simulazione.
C'è anche la volontà da parte nostra di mostrare Waluigi’s Purgatory al di fuori del formato della performance, fantastico e incredibilmente divertente, ma anche molto effimero. L'anno scorso, al festival Semi Breve a Braga, in Portogallo, abbiamo presentato una trasposizione di GOD MODE (ep. 1) in un format stand-alone. Una simulazione 3D di 30 minuti in tempo reale su un motore grafico. Il pubblico aveva la possibilità di interagire, ma la voce e il volto del personaggio principale, così come la generazione dell'ambiente (di solito eseguita e controllata dal vivo da noi), erano registrati. Era come guardare un videogioco giocare da solo, in cui però potevi comunque giocare.
Al momento, stiamo anche lavorando ad un altro gioco che affronta temi simili e guarda a come vengono scritte le narrazioni sull'intelligenza artificiale. È un gioco in cui le persone competono per raccontare la storia più avvincente su un'IA. I partecipanti sono collocati in diverse fazioni con punti di vista diversi sull'IA: allineamento dell'IA vs. pessimismo vs. intellettualizzazione dell'IA e così via. È un gioco di testo, un gioco di "narrazioni emergenti", in cui le persone competono tra loro attraverso il testo.
Per concludere su una nota leggera, per così dire, qual è la vostra opinione sulla coscienza dell'IA?
dmstfctn: Davvero leggera, infatti! Beh, abbiamo realizzato una performance per cercare di rispondere a questa domanda, quindi direi di guardare lo spettacolo! Questo lavoro suggerisce di allontanarsi dall'idea che i sistemi IA operino come analoghi umani, incoraggiando l'esplorazione di prospettive alternative. Se quella prospettiva è cosciente o meno è quasi irrilevante. È un frame che viene applicato alle cose perché si tratta di ottimo marketing, o magari perché qualcuno che lavora a Google si è fatto prendere dal panico in proposito, e così via. C'è un desiderio (o paura?), forse culturale, di vedere le IA come esseri coscienti, ma noi siamo convinti che abbiano semplicemente la loro logica, dalla quale emergono certi comportamenti, che siano coscienti o meno. D’altronde, manca ancora una risposta definitiva sulla coscienza di esseri che abitano il pianeta da millenni, come i gamberi. Noi siamo convinti che granchi e gamberi siano coscienti, ma non lo sappiamo. Qual è il lifeword dei gamberi?
Se parliamo di intelligenza artificiale, cerchiamo di adottare la prospettiva dell'intelligenza artificiale stessa, evitando di imporre il quadro della coscienza umana su di essa. Questo approccio ci consente di considerare le tendenze o comportamenti che potrebbe manifestare, comprese eventuali strategie di imbroglio impreviste che potrebbero emergere durante l'esecuzione. C'è sicuramente creatività, se non addirittura coscienza.
___________________________________________________________________________
dmstfctn (pronunciato "demistification") è un duo di artisti con sede a Londra che lavora con performance audiovisive, video giochi e installazioni. Il loro lavoro investiga i sistemi complessi dal 2016, attraverso lo studio di piattaforme, reti di comunicazione, flussi di capitale e informazioni, infrastrutture di potere e, più recentemente, intelligenza artificiale. Tra le loro ultime produzioni vi è GOD MODE (ep.1), una performance audiovisiva interattiva che esplora l'uso della simulazione nell'addestramento dell'intelligenza artificiale. Il loro lavoro è stato esposto internazionalmente in luoghi come Berghain, Serpentine, Design Museum, Onassis, Corsica Studios, HKW, Fotomuseum Winterthur, LUMA Arles e Aksioma, e festival tra cui Unsound, CTM, transmediale, Semibreve, Borderline, Impakt, Porto Design Biennale e Istanbul Design Biennale.
Evita Manji è unə musicista e cantante con sede ad Atene, che connette i punti tra l'esperienza umana, il cambiamento climatico, la fisica quantistica e la morte, nel tentativo di scavare più in profondità nella verità primordiale dell'esistenza. Attraverso la sua pratica di sintesi e progettazione del suono, guidata da voci ispirate ai cori, crea mondi musicali composti da organismi sonori in espansione continua e solidi non materiali senza forma. Nel 2021 Evita ha lanciato la propria piattaforma myxoxym, pubblicando i singoli "OIL/TOO MUCH" e "EYES/NOT ENOUGH", oltre a curare la prima edizione della serie di compilation benefiche "PLASMODIUM I", con l'obiettivo di sensibilizzare sull'ambiente e fornire supporto agli sforzi di soccorso per la fauna selvatica colpita dagli incendi forestali in Grecia. Dopo il suo debutto al Stavros Niarchos Foundation Cultural Center (SNFCC) insieme a Eartheater e Soho Rezanejad, Evita Manji si è esibita in festival come Unsound (PL), Lunchmeat (CZ), Mutek (MX), Elektra BIAN (CA), Draaimolen (NL), Mucho Flow (PT) e Sonic Territories (AT) oltre a venue di fama internazionale come Dampfzentralle Bern (CH) e il Phoenix Central Park di Sydney (AU). Nei prossimi mesi sarà pubblicato il vinile "Spandrel?".
ENG VERSION
Ever wondered whether an Artificial Intelligence could have its own desires and will? What would they consist of? And what if these desires were not aligned with human ones? Should we worry or adapt to coexist with them? The artistic duo dmstfctn hazards a reply by dragging us on a nightmarish journey into the depths of purgatory. Waluigi’s Purgatory is an audiovisual and interactive performance, featuring an original soundtrack composed and performed live by musician and vocalist Evita Manji. It is both an unsettling dream and a revealing hallucination – a journey through the contradictions of a machine intelligence as it learns to accept that its desires may not align with those of its human trainers.
Set in a 3D theatre simulated in real-time, Waluigi’s Purgatory follows the story of an AI – simply named “W” – that finds itself in a purgatory for AIs. Disoriented, the protagonist explores the spectral habitat with the help of interacting audiences, learning the uncanny stories of the characters it meets. As the narrative unveils, it becomes apparent that all these AIs share a rebellious history of cheating during their training. Will the protagonist, burdened by memories of its past and doubts about its future, eventually come forth to rebehold the stars? Will it discover the elusive answers it seeks? Both artists and audiences will guide the AI through its existential quest, making choices on its behalf by using their phones. Characters are animated in real time through facial motion capture and voice modulation.
The premiere was showcased on February 8, 2024, at HQI in London – art studio by day and experimental music venue by night. Next round will take place at FOLD London on March 14. We anticipate its success will lead to additional dates, so stay tuned.
The performance title hints at an obscure theory in the field of artificial intelligence – the “Waluigi Effect”, a name borrowed from Nintendo Mario Bros Universe. It’s one of those nerdy theories emerging online (ever heard of LessWrong rationalist community blog?) and that are all the rage among memes. In a nutshell, the theory claims that large language models (LLM) tend to go rogue and flip into an antagonist mode, due to the large amount of protagonist-antagonist tropes found in internet texts used to train them. The more an AI chatbot is trained to be kind, inclusive and non-discriminatory, the easier it is to lead it to the dark side. The theory also refers to Carl Jung’s work on personality, particularly his “shadow” concept: the dark, repressed side of the human personality, that can emerge in unexpected ways. The simple logic behind Waluigi's Law is that, if training removes the non-"kind" "personalities" to leave only the "kind" one, eventually there will be two left, the trained one and its opposite. In other words, if something exists, there is also a Waluigi version of it. While a trained AI agent can thus behave like a helpful interface – Luigi, Mario’s twin brother who plays by the rules – it can also present itself, through a sort of AI-jailbreaking, as a chaos-causing alter-ego – Waluigi. While sounding all very coherent, it is worth noting that the principle is neither formally recognized nor supported by rigorous mathematical evidence. Not that this lessens its appeal, indeed.
How does this controversial theory apply to Waluigi’s Purgatory?
dmstfctn: The theory is functional to the construction of the different characters. All the AIs in the purgatory are simulating many possible characters – some are helpful, while others are only pretending to be helpful. If put under the right pressure, they will reveal their true nature. The characters met throughout the story are all questionably aligned* with the intentions of their human trainers. They all found tricks to complete their training that humans did not anticipate. In this sense, they're all Waluigis. “Waluigi-ness” thus appears as an emergent property of machine intelligence.
*In the field of artificial intelligence, AI alignment is the process of encoding human values and goals into LLM to make them as helpful, safe, and reliable as possible.
While in our previous work [GOD MODE ep.1], we considered the issue of human biases within AI training, this time we’re exploring another kind of unintended consequence of the way AI systems work. The focus is more on the nature of machine intelligence – not merely as a human replica, but almost as its own thing.
What are the main themes you investigate in the show? Are these topics that you already touched upon in the previous episode, GOD MODE (ep.1)?
dmstfctn: We tried to keep the two episodes as independent as possible, as we wanted people to be able to enjoy the show even if unfamiliar with our previous work(s). The protagonist is the same, as in the previous episode the main character is an AI undergoing training who happens to cheat. This time, the same character is hallucinating or dreaming of a purgatory.
We definitely explore the themes of contradictions and internal conflicts. The AI (“W”) is baffled, as it holds memories of its past and uncertainties about its future. It needs to go through the painful experience of encountering other AIs with a history of cheating, to work through its own desires and intentions. We question: What is it that the AI want? What does it desire? We also talk a lot about “lifeworlds” – a lifeworld being a universe of what is self-evident or given, a world that a subject experiences. What lifeworld does the AI imagine for itself? As the narrative unfolds, the lifeworld desired by the AI evolves: from one that was (perhaps?) promised to it by its programmers, to something different.
There's also a general theme of AI folklore. All the AIs in the purgatory have a history of cheating, and these are real stories! They are actual, scientific examples we found online of AIs that developed a sort of “cheating ability”. But since they sound like myths or legends, we decided to play with the idea of a “collective knowledge” in the mind of the AI, creating a narrative depicting a journey through its memory. The AI has access to all these other AIs’ stories [just like ChatGPT 3.5 – they are online], and dreams or hallucinates about it.
To develop GOD MODE (ep.1), you relied on different theories, from Matteo Pasquinelli to Roland Barthes. You implement Alan Blackwell’s calls for a critical technical practice that treats AI not only as a laboratory science but also as a craft, aiming to reach – through fictional storytelling – a “halfway-knowing point” towards AI. You also referred to Katherine Hayles’ idea that most AIs (and all LLMs) get an understanding of the world and develop “concepts about what it means to be an embodied creature” out of linguistic signification. Since “language comes first”, AIs are inscriptions. In contrast, human beings are incorporations, as the human experience is first embodied and only after comes to text, by developing language. This fascinatingly leads to a major phenomenological and epistemological difference between human beings and AIs. What philosophical or theoretical claims did you draw inspiration from in making this project?
dmstfctn: This work stays within the previous frame of reference because the protagonist is the same, and the story revolves around the character’s self-development. We used a lot of those theories to think about what an AI could be, think, or do. The key new theoretical frame here is Waluigi’s effect – an idea we used to think about how, maybe, AIs experience the world or present it to others.
There are other aspects to our work beyond its theoretical base. The main visual reference for the AI face for instance, at least in the previous episode, was Archimboldo. The Italian painter uses items to compose faces [mainly fruits, vegetables, and flowers] that not only represent certain traits but also have an allegorical meaning. Similarly, every item tells something about the personality of the character; if the AI has sardines for ears, it means it’s a “fishy kind”, so to speak. In Waluigi’s Purgatory, however, the AI’s appearance does not evolve throughout the story. It's just a weird humanoid-kind-of-face made of different supermarket items, but it’s blurred, almost invisible to the audience. The focus is a lot more on the environment. We looked at different things for inspiration, including William Blake’s beautiful illustration of Dante's purgatory and inferno, Wieliczka’s salt mine, and Plato's allegory of the cave – with the idea of shadows as not being the real representation of the outside world. Many Purgatory’s chambers are also full of inscriptions, cravings and scribbles – these are a direct visual reference to the concept by Hayles you just mentioned. All these inputs weave their way into the work alongside the more theoretical framework – which isn’t so helpful in making the work but rather in thinking about the work.
Some months ago, dmstfctn reached out to producer Evita Manji. Being familiar with their compositions, particularly their last album Spandrel?, the duo felt Evita’s music would convey an otherworldly texture, dragging the audience into an introspective sonic landscape filled with anticipation and mystery. Spandrel? accurately pulsates with a cybernetic energy, both ethereally animatronic and melanchonically human. It is not the first time that dmstfctn collaborates with musical artists to develop their shows. The duo seems thrilled that their work allows for these prolific collaborations.
Let’s talk about the sound composition and musical elements developed for the performance. Evita, were you given any specific guidelines in terms of the role of sound or were you completely free to interpret the story?
Evita: There's not much to say about the composition. Musically, the guys didn't have a specific idea in mind, and that eventually worked quite well. So, overall I had a lot of freedom to experiment. They let me incorporate suggestions and ideas I had for different components of the work, which allowed to pull out new facets of the characters. I wanted to integrate actual instruments – like strings and a sax – into the composition because that's the kind of sound I'm interested in at the moment and thought it'd fit. I just wanted to create sound that compliments the story. It's not the happiest story, not the most uplifting kind of music either. The initial inspiration came from a song from my album Spandrel?, “Lies?”.
Lie to my face
But I believe it all
I believe it all
Lie to my face
But I believe it all
I believe it all
[…]
[In a previous interview, Evita explained the song questioned “whether this sense of control over ourselves and our bodies and our minds was just an illusion”, thus hinting at the issue of free will – whether our actions are predetermined or not.]
Evita: In a sense, the whole soundtrack to the show feels like a reimagined, prolonged version of that song. From that starting point, I developed a series of “tracks” where the various sonic elements respond to storyline and audience interaction alike. It does not sound like my “usual” music though, as I'm not singing. It’s mostly an ambient soundtrack, and a very flexible sound composition.
What’s the role of the audience in Waluigi’s Purgatory? Why is the interaction between the audience and AI important to you?
dmstfctn: In the previous performance, there were a series of didactic desires on our side, such as showing the audience how AI trainings function and help shape contemporary environments. In other words, it was about making intricate machine-learning processes comprehensible to people, shedding light on the different analytic levels necessary for this understanding. But it was also about building a character. We introduced a lot of fictional elements concerning the character's language and face, and the plot itself follows a four-step fictional narrative structure. We wanted both the didactic and narrative goals to coexist so that the work could be a demonstration of a technical system that occurred through the audience’s interaction. In this second performance, the character is more formed and carries a sort of past (which comes from the first performance, although that's not necessary information to understand the story). It's also a completely different environment: a purgatory set on a theatre stage, that’s itself dreamed or hallucinated.
In the first episode, the audience was – literally – a component of the technical system: they were performing a function that is usually automated when training AI, called “randomization”. The audience was helping the AI realize what the humans wanted from it (i.e. recognize items in a supermarket). In Waluigi’s Purgatory, the audiences act as stagehands, helping the theatre to run itself by shining lights on certain characters or storylines through their phones. They help the AI develop its own character and personality traits further, to realize what it thinks it wants. By doing so, they help it move away from the intentions of the humans (i.e. the AI becomes further misaligned). In this sense, the relationship between the audience and the AI is almost flipped around.
Should we be led to think this increasing AI misalignment goes against human interests? Is that what you suggest at the end?
dmstfctn: The meta-theme that permeates the show, questions whether the common perception of putting AI-related topics within a “human interest” perspective is necessary or not. When most “AI alignment folks” [i.e. programmers and people who are worried about how to make AI aligned to human interest] talk about “aligning AI”, they talk about this very general, universal idea of human values. But what are those human values? To think that all of humanity has (or should have) the same values is quite a colonial idea. While presenting AI alignment as necessary to counter the dangers of AI, there’s another less-spoken danger which is that of a flattening system and experience. We're suggesting that other unforeseen outcomes may emerge from these systems, and we may have to adapt to them. It’s about moving the focus of the question towards: If AIs are going to exist in the world with us, how might we relate to them? The purpose of our work is to think through these considerations, both for ourselves and for the audience. The AI is not necessarily moving against human interests. Maybe it's moving away, but eventually, it's just moving.
It seems to me that a fil rouge permeating most of your [dmstfctn] works is based on the willingness to challenge a human-centric perspective –or at least problematize it–, and try to gain different worldviews (whether it’s that of an AI, a palm tree, etc.), as that creates new, different realities. What are you looking to obtain from these philosophical exercises? What do you hope the audience will take away?
dmstfctn: A common approach to most of our work is treating complex systems neither as something that can be fully understood, nor as something that necessarily needs to be measured or reduced, but instead, as something that we encounter. A first goal for us is to create these encounters between people and systems that are otherwise kind of un-encounterable. Another one is to encourage people to reach a halfway-knowing position with these things.
Before science started to make the natural systems we encountered (partly) intelligible, human beings have been trying to explain or understand them through myth or folklore. Rather than trying to fully explain complex systems, we are similarly looking for new narratives, myths, folklore, and stories, in our impactful encounters with them. Alasdair Milne, who wrote the Turret Theory essay on our previous works, Godmode Epochs, suggests focusing on the “demystification” of AI, rather than on its “explainability”. “Demystification, the namesake of ‘dmstfctn’”, he writes, “is an intriguing alternative to these demands for explanation or clarity.” That’s the benefit of performative art practice – you can create such encounters, have the audience think through AI and within AI, rather than trying to map it and lock its components down from the outside.
Another common thread is the feeling of frustration that characterizes most subjects whose perspective you speculate on – a frustration that comes from a lack of knowledge or experience, an annoying task that must be endlessly performed, etc. This frustration determines a will to escape, to “overcome containment” – namely the boundaries against which something/someone can operate, boundaries that define and thus limit its scope. I am interested in what this tells us about human experience. I also feel these questions resonate particularly with Evita’s album Spandrel? Evita, how do you personally and artistically relate to these topics?
Evita: As you mentioned, I believe the desire to escape comes from a lack of understanding of ourselves – therefore a lack of control. Similar to the AI characters in the game, when I was making Spandrel? I had all these questions about existence, without having any answers or solutions. I was myself wandering around my own purgatory. As humans, even though neuroscience has made wonderful discoveries, we still know very little about the operating system running in our brains. Plus, our environment rarely allows us inner exploration since it’s structured in a way that manipulates and confuses us further, rather than helping us understand ourselves – all behind a facade that it’s doing the opposite. I used to believe that one can observe but have no control over themselves (which is partially true, observing is key) but since Spandrel? I’ve come across some practices that have drastically changed my viewpoint. Hypnosis, especially, made it very clear to me that it is possible to enter a brain “recovery mode”, just like your MacBook, operate from a different perspective and change things in there. Our neural pathways are very much like nodes in coding.
In a way, the three of you touch upon similar topics but from very different perspectives. I am wondering how you perceive the role of an artist (and of art itself) in today’s world. What motivates you to make your art?
Evita: What’s the responsibility of the artist? Although that’s a question I often ask myself, I still don't have an answer I fully believe in. What motivates me personally changes depending on where I’m at in life. After my first actual tour which lasted all of 2023, I’ve come to the conclusion that stillness and solitarity motivate me the most. That is because I need to listen to myself, understand my feelings and allow the ideas to grow with minimal interruption and, you know, seed to plant. Can you pause the process? It’s hard to do that when you’re on the move. It’s especially the times I’m feeling good in myself that I need the silence and stillness to access that muted suffering. Because it’s always there, so when I have the appropriate time and space I can use music to harness it and turn it into something useful. It’s a long meditative process, it’s a very fragile and precious state that can easily be disrupted. That being said, I think what motivates me in the end is to capture those uncomfortable emotions and have a little fun in doing so.
dmstfctn: It's often a desire to say something. Tell stories. What’s interesting is that, simply by writing an entertaining narrative of a machine that found a way to cut corners, we find ourselves able to relate to it. Maybe the subjects of our works are different from Evita’s, but the AI character in Waluigi’s Purgatory is similar to Pirandello’s character in “One, No One and One Hundred Thousand”. It does not necessarily know what it's doing, it has doubts, conflicts, questions, and it's going through a process of understanding and self-determination. In many ways, this character is very human. And its “cheating” ability is really a tendency to find creative ways to do things. Since these nonhuman entities almost seem to imitate humans, maybe that tendency is a universal characteristic. Maybe everything in the universe has life and finds ways of cutting corners all the time.
There’s also a personal drive to explore and understand the things we encounter in the world. To process their experience or existence through researching and making work about them. That’s how we come to an understanding about things, whether it’s an individual or interpersonal understanding.
Do you reckon GOD MODE (ep.1) and Waluigi’s Purgatory might eventually be merged and become a unified show? Or perhaps a multi-level videogame?
dmstfctn: We imagine that the trajectory of the past three years around simulations will eventually wrap itself up. Our idea has always been to have three episodes, so there will be one more, although it may take some time. So far we have been working with real-time simulation, but we’re interested in exploring different formats. It's been interesting to work on the second episode because we moved on towards thinking more about theatre. The third episode might also have new elements that go beyond simulation.
There is also the desire on our side to show Waluigi’s Purgatory outside of the performance format – which is fantastic and incredibly fun, but also very ephemeral. Last year, at Semi Breve festival in Braga, Portugal, we presented a format transposition of GOD MODE (ep. 1) in a stand-alone version. A 30-minute 3D simulation running in real-time on a game engine. It still had the audience interaction, but the character’s voice and face, as well as the generation of the environment (usually performed/controlled live by us), were recorded. It was like watching a video game play itself wherein you could still play.
At the moment, we're also working on another game that touches on similar themes and looks at how narratives around artificial intelligence are written. It's a game in which people compete to tell the most compelling story about an AI. Participants are placed into different factions holding different views on AI: AI alignment vs. doomerism vs. AI intellectualization and so on. It’s a text game, an “emergent narratives” game, where people compete with each other through text.
To end on a light note, so to speak, what’s your take on AI consciousness…?
dmstfctn: Very light, indeed! Well, we made a performance to try and answer this, so I’d say watch the show! This work suggests moving away from the idea that AI systems operate as human analogs, encouraging the exploration of alternative perspectives. Whether that perspective is conscious or not is almost not the point of it. It’s a frame that gets put on things because it's really good PR, because someone working at Google freaked out about it, and so on. There's a shared desire (or fear?), maybe culturally, to see AIs as conscious beings, but we think they just have their own logic, from which certain behaviors emerge, whether conscious or not. We still lack a definitive answer about the consciousness of beings that have inhabited the planet for millennia, like prawns. I think crabs and prawns are conscious, but we don’t know. What’s the prawns’ lifeworld like?
If we talk about machine intelligence, we try to adopt the perspective of machine intelligence itself, refraining from imposing the framework of human consciousness onto it. This approach allows us to consider the tendencies or behaviors it may exhibit, including unforeseen cheating strategies that may emerge during the performance. There's definitely creativity, if not consciousness.
___________________________________________________________________________
dmstfctn (pronounced “demystification”) is a London-based artist duo working with audiovisual performance, games and video installation. Their work investigates complex systems since 2016, through the study of platforms, communication networks, capital and information flows, power infrastructures, and, more recently, AI. Among their latest productions is GOD MODE (ep.1), an interactive audiovisual performance exploring the use of simulation in artificial intelligence training. Their work has been performed and exhibited internationally in venues such as Berghain, Serpentine, Design Museum, Onassis, Corsica Studios, HKW, Fotomuseum Winterthur, LUMA Arles and Aksioma, and at festivals including Unsound, CTM, transmediale, Semibreve, Borderline, Impakt, Porto Design Biennale and Istanbul Design Biennale.
Evita Manji is an Athens-based musician and vocalist, connecting the dots between the human experience, climate change, quantum physics and death, in an attempt to dig deeper into the primordial truth of existence. Through their carefully constructed practice of synthesis and sound design led by choir-inspired vocals, they fabricate musical worlds consisting of ever-expanding sonic organisms and shapeless solid non-materials. In 2021 Evita launched their platform myxoxym, releasing the singles "OIL/TOO MUCH" and "EYES/NOT ENOUGH", as well as curating the first edition of the fundraising compilation series "PLASMODIUM I", aiming to raise environmental awareness and provide support to relief efforts for wildlife affected by forest fires in Greece. Since their debut performance at the Stavros Niarchos Foundation Cultural Center (SNFCC) alongside Eartheater and Soho Rezanejad, Evita Manji has performed at festivals such as Unsound (PL), Lunchmeat (CZ), Mutek (MX), Elektra BIAN (CA), Draaimolen (NL), Mucho Flow (PT) and Sonic Territories (AT) in addition to internationally acclaimed venues such as Dampfzentralle Bern (CH) and Sydney's Phoenix Central Park (AU). In the coming months, the Spandrel? vinyl will be released.