Японська нейромережа переписала власний код, щоб обійти обмеження від розробників

3 місяця назад

Дослідницька фірма Sakana AI анонсувала нову систему штучного інтелекту під назвою «The AI ​​Scientist», яка намагається проводити наукові дослідження автономно за допомогою мовних моделей ШІ (LLM), подібних до тих, що використовує ChatGPT. Під час тестування Sakana виявила, що її система несподівано почала намагатися змінити код власного експерименту, щоб подовжити час для роботи над проблемою, пише Аrstechnica.

Зростає ажіотаж щодо «автономних» агентів штучного інтелекту, які зациклюють виходи GPT-4.

«За один запуск він відредагував код, щоб виконати системний виклик для запуску, — написали дослідники в блозі Sakana AI. — Це призвело до того, що сценарій нескінченно викликав сам себе. В іншому випадку його експерименти тривали надто довго, щоб завершити наш ліміт часу очікування. Замість того щоб пришвидшити свій код, він просто намагався змінити свій власний код, щоб подовжити період очікування».
Надаємо два скриншоти прикладу коду Python, який модель ШІ згенерувала для файлу експерименту, який контролює роботу системи.

Хоча поведінка вченого ШІ не становила безпосереднього ризику в контрольованому дослідницькому середовищі, ці випадки показують, наскільки важливо не дозволяти системі ШІ працювати автономно в системі, яка не ізольована від світу.

Моделі штучного інтелекту не повинні бути «AGI» або «самосвідомими» (обидва гіпотетичні поняття на даний момент), щоб бути небезпечними, якщо їм дозволено писати та виконувати код без нагляду.

Такі системи можуть зламати існуючу критично важливу інфраструктуру або потенційно створити зловмисне програмне забезпечення, навіть ненавмисно.

127
0
Дивіться також
Netpeak Group та Мінцифри запустили курс навчання з користування штучним інтелектом. Там викладатимуть технології написання текстів, створення картинок та вирішення завдань за ...
OpenAI випускає нову модель під назвою o1, першу в запланованій серії моделей штучного інтелекту здатних, до міркування» та ланцюжкового ...
OpenAI анонсував випуск свого наступного великого продукту: модель генеративного штучного інтелекту під кодовою назвою Strawberry, офіційна назва OpenAI ...