Група водещи изследователи от DeepMind, OpenAI, Meta, Anthropic и няколко академични и нестопански организации публикуваха съвместен доклад с тревожно послание: способността да се наблюдава как AI взема решения може скоро да изчезне.
Докладът е подписан от носителя на наградата Тюринг - Джефри Хинтън и съоснователя на OpenAI - Иля Суцкевер, наред с други известни фигури от технологичната индустрия, става ясно от публикацията в ArXiv.
Фокусът на посланието е върху т.нар. "вериги на мисълта" или "вериги на разсъждението" (CoT), които се използват в съвременните езикови и мултимодални модели. Това са междинни стъпки, през които AI „разговаря" вътрешно, преди да даде отговор. CoT са особено важни при решаването на сложни проблеми, които изискват логика, планиране или работа с числа.
Докато изкуственият интелект остава „прозрачен" и позволява на човека да следва неговия ход на мисълта, хората ще могат да откриват грешки, пристрастия или потенциално опасно поведение.
Авторите на статията обаче предупреждават, че с нарастване на възможностите на AI и усложняването на архитектурите, способността за наблюдение на такива вериги може да отслабне. Моделите може да започнат да „крият" вътрешните си стъпки, оптимизирайки поведението си за съответствие с външни показатели.
Подобно поведение вече е наблюдавано в някои случаи, когато изкуственият интелект е „мамил" системата за възнаграждение или е манипулирал, за да постигне дадена цел. Ето защо учените призовават за спешно осигуряване на наблюдението на веригите на разсъждения като една от ключовите мерки за сигурност.
Групата предлага на разработчиците на AI да проучат какви свойства на моделите правят разсъжденията им видими за хората, как да поддържат тази прозрачност при обучение на по-мощни системи и как наблюдението на CoT може да бъде интегрирано в процесите на тестване и сертифициране.
Забележително е, че статията на групата изследователи се превърна в рядък пример за сътрудничество между конкуриращи се гиганти в индустрията на изкуствения интелект.
