Parliamo di...

I ricercatori usano l'intelligenza artificiale per generare immagini basate sull'attività cerebrale delle persone

#05Marzo  #Tech  #MRI  #brain  #brainwave 

Contenuto originale di VICE US - TECH
E se un'intelligenza artificiale potesse interpretare la tua immaginazione, trasformando le immagini nella tua mente in realtà? Anche se sembra un dettaglio in un romanzo cyberpunk, i ricercatori ora hanno realizzato esattamente questo, secondo un articolo pubblicato di recente.
I ricercatori hanno scoperto di poter ricostruire immagini ad alta risoluzione e altamente accurate dall'attività cerebrale utilizzando il popolare modello di generazione di immagini Stable Diffusion, come delineato in un articolo pubblicato a dicembre. Gli autori hanno scritto che, a differenza degli studi precedenti, non avevano bisogno di addestrare o mettere a punto i modelli di intelligenza artificiale per creare queste immagini.
Annuncio
I ricercatori, della Graduate School of Frontier Biosciences dell'Università di Osaka, hanno affermato di aver prima previsto una rappresentazione latente, che è un modello dei dati dell'immagine, dai segnali fMRI. Quindi, il modello è stato elaborato e ad esso è stato aggiunto del rumore attraverso il processo di diffusione. Infine, i ricercatori hanno decodificato le rappresentazioni del testo dai segnali fMRI all'interno della corteccia visiva superiore e le hanno utilizzate come input per produrre un'immagine finale costruita.
Screenshot dalla carta
I ricercatori hanno scritto che alcuni studi hanno prodotto ricostruzioni di immagini ad alta risoluzione, ma è stato solo dopo l'addestramento e la messa a punto dei modelli generativi. Ciò ha comportato limitazioni perché l'addestramento di modelli complessi è impegnativo e non ci sono molti campioni nelle neuroscienze con cui lavorare. Prima di questo nuovo studio, nessun altro ricercatore aveva provato a utilizzare modelli di diffusione per la ricostruzione visiva.
Questo studio è stato uno sguardo ai processi interni dei modelli di diffusione, hanno concluso i ricercatori, affermando che lo studio è stato il primo a fornire un'interpretazione quantitativa del modello da una prospettiva biologica. Ad esempio, esiste un diagramma creato dai ricercatori che mostra la correlazione tra stimoli e livelli di rumore nel cervello. Maggiore è il livello degli stimoli, maggiore sarà il livello di rumore e maggiore sarà la risoluzione dell'immagine. In un altro diagramma, i ricercatori mostrano l'impegno di diverse reti neurali nel cervello e come ridurrebbe il rumore di un'immagine per ricostruirla.
Screenshot dalla carta
“Questi risultati suggeriscono che, all'inizio del processo di diffusione inversa, le informazioni sull'immagine sono compresse all'interno dello strato del collo di bottiglia. Man mano che il denoising progredisce, emerge una dissociazione funzionale tra gli strati U-Net all'interno della corteccia visiva: cioè, il primo strato tende a rappresentare dettagli su scala fine nelle prime aree visive, mentre lo strato del collo di bottiglia corrisponde a informazioni di ordine superiore in aree semantiche più ventrali ”, hanno scritto i ricercatori.


RSS - Mastodon