Снимка: Youtube
Първата в света неинвазивна AI система може да превърне беззвучните мисли в текст. И не, няма никакви импланти в мозъка. Нужна е само една специална, плътно прилепнала към главата шапка. Австралийските изследователи, разработили технологията, наречена DeWave, тестваха процеса, използвайки данни от работата на системата с над 25 души.
Специална шапка записва мозъчните вълни на ползвателя на системата чрез електроенцефалограма (ЕЕГ) и ги декодира в текст. С по-нататъшно усъвършенстване DeWave може да помогне на пациентите с инсулт и парализа да общуват и да улесни хората да управляват машини като бионични ръце или роботи. „Това изследване представлява пионерско усилие в превеждането на необработени ЕЕГ вълни директно на съответния език, отбелязвайки значителен пробив в областта“, казва Чин-Тенг Лин от Технологичния университет в Сидни (UTS). Въпреки че DeWave постига засега само малко над 40 процента точност въз основа на един от двата набора от показатели в експерименти, проведени от Лин и колегите му, това е 3 процента подобрение спрямо предишния стандарт за превод на мисли от EEG записи.
Целта на изследователите е да подобрят точността до около 90 процента – такава е успеваемостта и на конвенционалните методи за езиков превод или софтуер за разпознаване на реч.
Други методи за превеждане на мозъчни сигнали в езикови елементи изискват инвазивни операции за имплантиране на електроди или обемисти, скъпи машини за ядрено-магнитен резонанс. Това ги прави непрактични за ежедневна употреба. Налага се да се използва проследяване на очите, за да се преобразуват мозъчните сигнали в части на ниво дума. Когато очите на човек се стрелкат от една дума към друга, разумно е да се предположи, че мозъкът му прави кратка пауза между обработката на всяка дума. Преводът на необработена ЕЕГ вълна в думи – без проследяване на очите, за да се посочи съответната целева дума – е по-труден.
След задълбочено обучение, енкодерът на DeWave превръща ЕЕГ вълните в код, който след това може да бъде съпоставен с конкретни думи въз основа на това колко близо са те до записите в „кодовата книга“ на DeWave. Лин нарича процеса „невронно декодиране“.
Учените използвали обучени езикови модели, включващи комбинация от система, наречена BERT с GPT.
DeWave дава най-високи резултати в разчитането на глаголи. При съществителните - има какво да се желае още, уточнява Лин. Системата давала синоними, а не превеждала едно към едно равнозначното на мозъчния импулс.
Изследването беше представено на конференцията NeurIPS 2023, а предпечната му версия е достъпна на ArXiv.
