VIDEO: AI izolira instrumente iz glazbenog videa

Znanstvenici MIT-evog CSAIL laboratorija razvili su AI sustav dubokog učenja pod nazivom PixelPlayer koji može prepoznavati pojedine instrumente iz glazbe unutar glazbenih video filmova, izolirati ih, miksati, editirati te pojačavati ili stišavati. Drugim riječima kada gledate neki glazbeni video, mišem možete označiti instrument koji vidite, a AI će ga "izvući" iz snimke, nakon čega možete raditi s njim što želite, mijenjati ga ili editirati. 

Dodatna zanimljivost je u tome što je sustav u potpunosti "samodostatan", što znači da ljudi ne trebaju unositi nikakve podatke o tome koji se instrumenti nalaze na snimci, niti kako bi trebali zvučati, kao što možete vidjeti u ovom videu.

PixelPlayer je uvježban s više od 60 sati glazbenih video klipova, nakon čega je mogao iz nikad prije viđenih videa prepoznavati pojedinačne instrumente na, kako kažu, razini piksela i izvlačiti zvukove koji su povezani s tim instrumentima.

Znanstvenici kažu da bi se ova nova sposobnost AI-a u budućnosti mogla koristiti kako pomoć tonskim inženjerima u poboljšavanju audio kvalitete starih koncertnih snimki, a producenti i kompozitori bi se mogli kamerom snimati u izvođenju svoje nove pjesme na recimo gitari, a potom bi umjesto njenog zvuka mogli ubacivati zvukove drugih instrumenata kako bi odmah čuli kako zvuči prije odlaska u studio ili pisanja partitura.

U svom znanstvenom radu tim je demonstrirao da PixelPlayer zasad može prepoznati zvukove 20 različitih instrumenata, no mogao bi i znatno više kada bi ga opremili novim setovima podataka za treniranje.

Prijašnja softverska rješenja uglavnom su se fokusirala na izoliranje glazbenih instrumenata, šumova i vokalnih dionica iz audio datoteka, dok PixelPlayer koristi i računalni vid kako bi mogao izolirati instrumente iz videa.

Znanstvenici tvrde da sustav može prepoznavati stvarne elemente glazbe, pa određene frekvencije harmonija može stavljati u korelaciju s pojedinačnim instrumentom poput violine, dok pulsirajuće uzorke dovodi u vezu s instrumentima poput ksilofona.

Također kažu da bi se sustav jednog dana mogao naći i u robotima kako bi bolje razumjeli zvukove koje stvaraju razni objekti u njihovom okruženju, poput životinja i vozila.