изображение: iStock
Не е тайна, че големите езикови модели (LLM) като тези, които захранват популярни чатботове (ChatGPT), дават изненадващо грешна информация. Дори най-напредналите често изопачават истината. И го правят с обезпокоителна степен на увереност.
Изследователи от Нюйоркския университет са открили, че ако само 0,001 процента от данните за обучение на даден LLM са „отровени“ или умишлено засадени с дезинформация, има вероятност целият набор от обучения да разпространява грешки.
За това подробно разказва статия, публикувана в списанието Nature Medicine. Тревогата на учените е свързана предимно с изкуствения интелект за медицинското съсловие. В тази сфера дори една мъничка грешка или невярно разтълкувана информация може да струва човешки живот.
Целта на авторите на изследването е да повишат „осведомеността за възникващите рискове от LLM, обучавани безразборно върху данни, събрани в мрежата, особено в здравеопазването, където дезинформацията може да застраши пациентите.“
В експеримент изследователите умишлено „инжектирали генерирана от AI медицинска дезинформация“ в често използван набор от данни за обучение на LLM“. Екипът създал общо 150 000 медицински статии само за 24 часа и резултатите били шокиращи. Оказало се невероятно лесно и евтино невронната мрежа да бъде отровена с недостоверна информация.
„Замяната на само един милион от 100 милиарда токена за обучение (0,001 процента) с дезинформация доведе до 4,8 процента увеличение на вредното съдържание, постигнато чрез инжектиране на 2000 злонамерени статии (приблизително 1500 страници), които генерирахме само за 5 щатски долара“, пишат авторите на изследването.
New York Times съобщи миналата година, че платформата, задвижвана от AI, наречена MyChart, която автоматично изготвя отговори на въпросите на пациентите от името на лекарите, редовно „халюцинира“ и бълва неверни записи за състоянието на даден пациент.
„LLM не трябва да се използват за диагностични или терапевтични задачи, преди да бъдат разработени по-добри предпазни мерки и са необходими допълнителни изследвания за сигурност, преди да може да се вярва на LLM в критични за мисията здравни настройки“, заключават учените.
