di Anna Vittoria Magagna
LOREM è il progetto multidisciplinare curato da Francesco D’Abbraccio, musicista, artista visivo e ricercatore indipendente italiano. LOREM lavora con reti neurali e sistemi di intelligenza artificiale, per produrre suoni, immagini e testi con una forte componente narrativa e politica.
Il suo lavoro è stato esposto (tra gli altri) ad Ars Electronica, Biennale di Venezia, London Design Biennale, Berlin Transmediale, NXT Museum Amsterdam, Sheffield International Documentary Festival, Museo Triennale di Milano, HEK Basel, Design Museum, Elevate Graz. È co-direttore creativo di Krisis Publishing, una piattaforma editoriale e curatoriale che si concentra sull’impatto della cultura dei media sui contesti contemporanei.
Seeyousound festival ha portato il suo LIVE A/V “Distrust Everything” al Cinema Massimo come evento straordinario della sezione dedicata ai videoclip SOUNDIES, per indagare il rapporto sempre più importante tra linguaggio sonoro e cinematografico.
Le nuove tecnologie hanno ampliato i paradigmi e gli orizzonti del mondo dell’arte. Insieme ai media lasciano affluire sui nostri schermi e le nostre vite continui input, immagini e informazioni che si accumulano e rimangono in qualche modo sospesi e in attesa. Nella tua pratica hai scelto il sistema di Machine Learning per la loro rielaborazione, cosa ti ha guidato ad avvicinarti alla complessità dell’AI e come è nato Lorem?
Mi interesso di intelligenza artificiale e del suo impatto sulle culture che la producono da alcuni anni. Eppure ho cominciato a lavorare con le reti neurali intorno al 2016, dopo aver visto un video demo di Tero Karras, ricercatore di NVIDIA.
Nel video c’erano delle piccole immagini di sedie che sembravano morphare l’una nell’altra. La cosa che mi ha colpito era che quelle immagini erano diverse da qualunque render avessi mai visto…Nessun obiettivo aveva scattato quelle foto, eppure le immagini sintetizzate con l’AI sembravano proprio uscite da una macchina fotografica. In un mondo in cui ancora le immagini hanno il valore di “evidenza” e di prova, quanto pericoloso e affascinante è un dispositivo che rende quasi indistinguibile un’immagine “catturata” da una sintetica? E cosa ci dice delle immagini e del nostro atteggiamento in quanto fruitori?
La tua pratica è multidisciplinare e si sviluppa tra testo, immagine, video e sound. Potresti raccontarmi il processo creativo e i suoi passaggi anche in relazione all’AI?
Uno degli aspetti interessanti dell’AI è che ti permette di passare senza alcuno sforzo tra media diversi. Così, un analisi dell’audio può interferire sulla generazione dei video, influenzando ad esempio il framerate e “costringendo” il video a generare meno fotogrammi quando la musica accelera (velocizzando il video) e più fotogrammi quando decelera (rallentando il video, che segue sempre l’andamento della musica). Allo stesso modo, spesso accade il contrario, e cioè che la generazione della musica sia informata dagli eventi audio. Capita così che filtri ed equalizzatori si aprano e chiudano in funzione dell’intensità dei punti luce presenti nei frame. In generale, in questo lavoro il ruolo chiave è però fondato sui testi e sulle loro interpolazioni. è a partire dalla generazione dei sogni che sono sintetizzate tutte le voci (realizzate attraverso un sistema Text-2-Speech trainato da Ilyas, un bambino belga di 8 anni che ha messo a disposizione la sua voce per costruirne un modello AI). Anche le immagini AI presenti nel lavoro sono spesso sintetizzate a partire da un Diffusion Model che produce frame a partire da prompt di testo. A partire da un dataset di oltre 700.000 immagini labellizzate, il sistema è infatti in grado di produrre immagini sintetiche in cui sono presenti i soggetti descritti dal prompt. Anche quando le immagini sono costruite (grazie a Karol Sudolski) con fotogrammetrie, lo sforzo è sempre quello di assecondare la sceneggiatura provando a rappresentarla nei minimi dettagli.
In Distrust Everything hai lavorato tra reale e onirico. In particolare, il tuo incontro con Mirek Hardiker, artista e ricercatore che ha costruito un massivo dataset a partire dalla propria attività onirica, ha dato il ”la” al lavoro. Mi racconteresti in che modo LOREM è intervenuto?
Mirek “Amendant” Hardiker è un artista e ricercatore americano/polacco che per 21 anni ha costruito un enorme Dream Report Dataset (DRD). Ogni mattina, dal 1973 al 1995, trascriveva i suoi sogni al risveglio ed etichettava personaggi, collegamenti alla sua vita quotidiana ed eventuali ricorsività. Io ho conosciuto il suo lavoro nel 2018, grazie a un suo vecchio videogame capolavoro, Zaum Gadget (che è disponibile su Archive.org al link https://archive.org/details/hypercard_zaum-gadget). Una volta contattato, operazione comunque non facile, mi ha parlato del suo progetto Stella e abbiamo cominciato a collaborare. Nel 2020, finalmente, ho iniziato ad allenare reti neurali generative sui testi dei DRD. Le reti selezionano 3 archetipi di riferimento, generano tutte le azioni della scena, e in una fase successiva vengono generate descrizioni e dialoghi, grazie a uno “syle transfer letterario” basato su testi selezionati dallo stesso Hardiker.
“Distrust Everything” tocca due mondi diversi: il primo legato alla sfera della psiche e dell’umano il secondo alla macchina, creando un paradosso in cui l’algoritmo e il sistema AI, generano una narrativa, profondamente legato alle emozioni, la percezione con la ricostruzione di archetipi, personaggi e immagini sintetiche. Volevo chiederti pensi che la macchina, gli algoritmi e i dati siano in grado di leggere in questo senso la psiche umana?
Per come la vedo, il paradosso del rapporto umano/macchina è solo apparente in questo lavoro. In questo momento l’AI è qualcosa di molto diverso dall’immaginario comune. Le macchine non sono (ancora?) soggetti e intelligenze autonome. Al contrario, essa è uno strumento statistico molto potente, che ci permette di estrarre informazioni e pattern da grosse architetture di dati. Di recente due ricercatori, Matteo Pasquinelli e Vladan Joler, hanno provato a descrivere questa funzione di magnificazione introducendo l’immagine del Nooscopio ( https://nooscope.ai/ ). Il Nooscopio è uno strumento immaginato da Leibniz che funzionava più o meno come un canocchiale, o come un microscopio, ma che rivolge la propria attenzione alla “conoscenza umana” anziché all’ottica. Per Joler e Pasquinelli, dunque, l’AI è uno strumento per estrarre informazioni dai dataset e per scoprire pattern e conoscenze altrimenti inaccessibili all’operatore. è con questa idea in mente che mi avvicino a un materiale particolare come un Dream Report. Cosa scopriamo di noi quando osserviamo i sogni così da vicino? E cosa succede quando questi sogni proviamo a interpolarli tra loro, per creare qualcosa di nuovo?
Nei tuoi lavori il rapporto tra video e sound è fondamentale, hai attivato anche delle collaborazioni con la musica ad esempio con Acre e i Kid Brothers. Come si genera la scelta del sound, invece, e come si relaziona con il video?
Nelle performance e nei lavori che ho fatto fino ad ora, il suono era sempre stato il punto di partenza. In Adversarial Feelings, ad esempio, è quasi sempre l’immagine a “piegarsi” alla musica, e la sintesi visiva era influenzata dall’analisi dell’audio.
In Distrust Everything, invece, più spesso avviene il contrario. Ho cercato di pensare la musica come una colonna sonora, che deve adeguarsi alla storia e valorizzarne gli elementi drammatici. Anche la voce, che è elemento centrale dell’installazione, prende uno spazio importante della narrazione, e viene valorizzata dal sound design. Le collaborazioni con Acre e Kid Brothers nascono proprio dall’idea di sonorizzare momenti specifici del racconto. Con Krisis Publishing da qualche anno porti avanti un dialogo su questioni politiche legate all’AI, potresti condividere con noi alcuni temi e pensieri?
La politica ed estetica dell’intelligenza artificiale è sicuramente uno dei temi che stiamo indagando con Krisis Publishing. Insieme ad Andrea Facchetti, co-direttore del progetto, abbiamo curato il volume AI&Conflicts, che raccoglie una serie di testi inediti fondamentali per il tema. Abbiamo inoltre curato alcuni eventi, panel e simposi online e offline.
Nel testo, come negli incontri, ad emergere è una riflessione critica a 360 gradi, informata dalla prospettiva ecologica, che tiene in considerazione le questioni sociali ed economiche connesse, il ruolo dei bias e il modo in cui essi si trasferiscono negli output delle macchine, il lavoro umano che tende a scomparire e rendersi “invisibile” e l’impatto ambientale della tecnologia a livello hardware, software e logistico.
Oltre alle questioni strettamente politiche sull’AI, ci interessano le sue derive estetiche. Il recente lavoro disco/software “RECKON”, di Eric Culm, va in questa direzione.
Distrust everything è un vero statement o una provocazione. Mi sembra una sorta di invito a prendere coscienza delle nostre percezioni e a metterle in discussione, interrogando sempre la nostra realtà e la verità ad essa connessa. Potresti spiegarmi con quali elementi si esplicita tutto questo anche nel tuo lavoro?
Beh, non è facile rispondere a questa domanda… diciamo che Distrust Everything è un invito a riorganizzare il nostro rapporto con il mondo esterno, che spesso percepiamo come una cosa "data", come un dato oggettivo appunto. Come diceva James Ballard nel lontano 1996, il confine tra sogno e realtà è sempre più labile, il che mi sembra particolarmente vero nel mondo di oggi. Nella cosiddetta società della "post verità", abitiamo letteralmente dentro alle bolle delle nostre narrazioni. Io credo che l'idea stessa di verità, per come la vediamo oggi, sia diventata in qualche modo un principio di realtà ampiamente sopravvalutato. è una cosa molto chiara ai movimenti populisti di estrema destra, che hanno ben capito come le emozioni incidano sul mondo più delle azioni che compiamo effettivamente. Forse, allora, dovremmo ripartire da lì, da emozioni, sogni pulsioni, e ripensare a questa idea di verità piuttosto normativa, per provare a costruire nuove narrazioni e immaginari, che ci aiutino a guarire invece di limitarci a "capire" il mondo. Ripartiamo dai nostri inconsci. Si potrebbe dire che questo è più o meno ciò di cui tratta Distrust Everything, se questo vuol dire qualcosa.
ENGLISH VERSION
LOREM is a multidisciplinary project curated by Francesco D'Abbraccio, an Italian musician, visual artist, and independent researcher. LOREM works with neural networks and artificial intelligence systems, to produce sounds, images, and texts with a strong narrative and political component. His work has been exhibited (among others) at Ars Electronica, Venice Biennale, London Design Biennale, Berlin Transmediale, NXT Museum Amsterdam, Sheffield International Documentary Festival, Museo Triennale di Milano, HEK Basel, Design Museum, Elevate Graz. He is co-creative director of Krisis Publishing, an editorial and curatorial platform that focuses on the impact of media culture on contemporary contexts.
Seeyousound festival has brought its LIVE A/V "Distrust Everything" to the Cinema Massimo as an extraordinary event of the section dedicated to the video clips SOUNDIES, to investigate the increasingly important relationship between sound language and cinema.
New technologies have expanded the paradigms and horizons of the art world. Together with the media, they allow continuous inputs, images, and information to flow onto our screens and our lives that accumulate and remain somehow suspended and waiting. In your practice, you chose the Machine Learning system for their reworking, what guided you to approach the complexity of AI and how was Lorem born?
I am interested in artificial intelligence and its impact on the cultures that have produced it for some years. And yet I started working with neural networks around 2016, after watching a demo video of Tero Karras, a researcher at NVIDIA.
In the video, there were small images of chairs that seemed to morph into each other. The thing that struck me was that those images were different from whatever renders I had ever seen... No lens had taken those photos, and yet the images synthesized with the AI seemed to have come out of a camera. In a world where images still have the value of "evidence" and proof, how dangerous and fascinating is a device that makes an image "captured" by a synthetic image almost indistinguishable? And what about the images and our attitude as users?
Your practice is multidisciplinary and develops between text, image, video, and sound. Could you also tell me about the creative process and its steps in relation to AI?
One of the interesting aspects of AI is that it allows you to effortlessly switch between different media. Thus, an audio analysis can interfere with video generation, such as influencing the framerate and "forcing" video to generate fewer frames when music accelerates (speeding up video) and more frames when decelerating (slowing down the video, which always follows the music trend). In the same way, the opposite often happens, namely that the generation of music is informed by audio events. So it happens that filters and equalizers open and closes according to the intensity of the light points present in the frames.
In general, however, the key role in this work is based on texts and their interpolations.
It is from the generation of dreams that all the voices are synthesized (realized through a Text-2-Speech system driven by Ilyas, an 8-year-old Belgian child who made his voice available to build an AI model). Even the AI images present in the work are often synthesized from a Diffusion Model that produces frames from text prompts.
Starting from a dataset of over 700,000 labeled images, the system is able to produce synthetic images in which the subjects described by the prompt are present.
Even when images are constructed (thanks to Karol Sudolski) with photogrammetry, the effort is always to support the script trying to represent it in detail.
In Distrust Everything you worked between real and dreamlike. In particular, your meeting with Mirek Hardiker, an artist and researcher who built a massive dataset from his own dream activity, gave the "la" to the work. Would you tell me how Lorem intervened?
Mirek "Amendant" Hardiker is an American/Polish artist and researcher who for 21 years has built a huge Dream Report Dataset (DRD). Every morning, from 1973 to 1995, he transcribed his waking dreams and tagged characters, links to his daily life and any recursiveness. I got to know his work in 2018, thanks to his old videogame masterpiece, Zaum Gadget (which is available on Archive.org at the link https:///archive.org/details/hypercard_zaum-gadget). Once contacted, the operation however not easy, he told me about his project Stella and we began to collaborate. In 2020, finally, I started training generative neural networks on DRD texts. The networks select 3 reference archetypes, generate all the actions of the scene, and at a later stage are generated descriptions and dialogues, thanks to a "syle literary transfer" based on texts selected by Hardiker himself.
"Distrust Everything" touches two different worlds: the first linked to the sphere of the psyche and the human the second to the machine, creating a paradox in which the algorithm and the AI system, generate a narrative, deeply linked to emotions, perception with the reconstruction of archetypes, characters, and synthetic images. I wanted to ask you, do you think that the machine, the algorithms, and the data are able to read the human psyche in this sense?
As I see it, the paradox of the human/machine relationship is only apparent in this work.
At the moment AI is something very different from the common imagination. Machines are not (yet?) autonomous subjects and intelligence.
On the contrary, it is a very powerful statistical tool, which allows us to extract information and patterns from large data architectures. Recently two researchers, Matteo Pasquinelli and Vladan Joler, tried to describe this magnification function by introducing the image of the Nooscope ( https://nooscope.ai/ ). The Nooscope is a tool imagined by Leibniz that functioned more or less as a canopy, or like a microscope, but that turns its attention to "human knowledge" instead of optics. For Joler and Pasquinelli, therefore, the AI is a tool to extract information from datasets and to discover patterns and knowledge otherwise inaccessible to the operator.
It is with this idea in mind that I approach a particular material like a Dream Report. What do we find out about ourselves when we observe dreams so closely? And what happens when we try to interpolate these dreams between them, to create something new?
In your works the relationship between video and sound is fundamental, you have also activated collaborations with music for example with Acre and the Kid Brothers. How do you generate the choice of sound, instead, and how does it relate to video?
In the performances and works I have done so far, the sound had always been the starting point. In Adversarial Feelings, for example, it is almost always the image that "bends" to the music and visual synthesis was influenced by audio analysis.
In Distrust Everything, however, more often the opposite happens. I tried to think of music as a soundtrack, which must adapt to the story and enhance its dramatic elements. Even the voice, which is the central element of the installation, takes an important space of the narration and is enhanced by sound design. The collaborations with Acre and Kid Brothers were born from the idea of sounding specific moments of the story.
With Krisis Publishing for some years you have been conducting a dialogue on political issues related to AI, could you share with us some themes and thoughts?
The politics and aesthetics of artificial intelligence are certainly one of the issues we are investigating with Krisis Publishing. Together with Andrea Facchetti, co-director of the project, we edited the volume AI&Conflicts, which collects a series of unpublished texts fundamental for the theme. We also curated some events, panels, and symposia online and offline.
In the text, as in the meetings, to emerge is a 360-degree critical reflection, informed by the ecological perspective, which takes into account the related social and economic issues, the role of bias, and the way in which they are transferred into the outputs of machines, human work that tends to disappear and make itself "invisible" and the environmental impact of technology at the hardware, software, and logistical level.
In addition to strictly political issues about AI, we are interested in its aesthetic drifts. The recent work disk/ software "RECKON", by Eric Culm, goes in this of
“Distrust everything” is a statement or a provocation. It seems to be a kind of invitation to become aware of our perceptions and to question them, always questioning our reality and the truth connected to it. Could you explain to me what makes this clear in your work?
Well, it’s not easy to answer… We say that “Distrust Everything” is an invitation to reorganize our relationship with the outside world, which we often perceive as a "given" thing, as an objective fact. As James Ballard said back in 1996, the line between dream and reality is increasingly blurred, which seems particularly true in today’s world. In the so-called “post-truth” society, we literally dwell within the bubbles of our narratives. I believe that the very idea of truth, as we see it today, has somehow become a largely overrated principle of reality. This is very clear to the extreme right-wing populist movements, who have well understood how emotions affect the world more than what we actually do. Perhaps, then, we should start from there, from emotions, dreams drives, and rethink this idea of truth rather normative, to try to build new narratives and imaginaries, that help us heal instead of limiting ourselves to "understand" the world. Let’s start from our subconscious. We could say that this is more or less what Distrust Everything is about if that means something.