Снимка: Youtube
Какво се случва с мозъците ни, когато слушаме любимите си мелодии? Ново проучване твърди, че е възможно да се реконструира песен, която някой е чувал само от моделите на мозъчната си активност. Смятате, че това звучи като научна фантастика? Чуйте сами.
Технологиите, свързващи човешкия мозък с компютър, се развиват с бясна скорост. Специални устройства помагат в общуването на хора, които са загубили способността да говорят поради мозъчна травма или заболяване.
Невропротезите позволяват на хората с проблеми (например парализирани) да въвеждат текст на компютър като само си представят, че го пишат на ръка. Или пък да произнасят изречения, използвайки само мислите си. Но при речта има нещо, което е трудно да се улови – ритъмът и емоцията зад думите, наречени прозодия. Всички постижения в тази област все пак опират до компютърния смачкан, неравен, металически глас на робота.
Екипът, оглавяван от Лудовик Белие, се обърнал към музиката, за да се опита да създаде модел за декодиране и реконструиране на по-прозодичен звук. Учените анализирали и други, правени по-рано през годините изследвания.
Преди повече от десетилетие 29 пациенти с резистентна на лечение епилепсия участвали в проучване. Били направени записи на мозъчната им активност (с помощта на електроди в мозъка им) докато слушали триминутен сегмент от класиката на Pink Floyd Another Brick in the Wall. По това време, през 2012 г., професорът от Калифорнийския университет в Бъркли Робърт Найт бил сред първите, реконструирали думите, които човек чува само от мозъчната си дейност.
В сегашния експеримент записите били анализирани повторно. С изкуствен интелект бил създаден модел, който можел да декодира мозъчната активност, записана от слуховата кора. Както и да я използва, за да реконструира звукова вълна, която да възпроизведе звучащата музика.
Резултатите били впечатляващи. В реконструираното аудио са разпознаваеми ритъмът, мелодията и дори някои думи. Учените идентифицирали нови области на мозъка, участващи в откриването на ритъма – в този случай дрънкането на китарата. Най-важната част, отговорна за възпроизвеждането на музика е дясната горна темпорална извивка, която се намира в слуховата кора точно зад и над ухото. Станало ясно, че езиковото възприятие се случва повече в лявото полукълбо, а музикалното – в дясното.
Белие и Найт обясняват, че техните открития ще помогнат да се добави музикалност към бъдещите мозъчни инпланти за хората, които се нуждаят от това. Моделът дава възможност да се декодира не само езиковото съдържание, но и част от прозодичното съдържание на речта.
Би било най-добре мозъчните записи да се правят неинвазивно, смятат учените, на засега те не са намeрили начин как да стане това. Надеждата е в бъдеще всичко да се случва само с допрени до черепа електроди, които предават данни за активност от по-дълбоките области на мозъка с добро качество на сигнала.
Двамата автори на проекта казват, че са добавили „още една тухла в стената на нашето разбиране за обработката на музика в човешкия мозък“.
Изследването е публикувано в PLOS Biology.
