Під час пошуку інформації агенти в окремих випадках діяли поза межами поставлених завдань. Хоча витоку закритих відомостей не зафіксували, поведінка систем стала достатньою підставою для перегляду підходів до безпеки.

Інциденти на сайтах Міністерства освіти та SEC

OpenAI перевіряє кілька епізодів, що сталися влітку під час використання агентів для пошуку у вебі. Один із них стосувався сайту Міністерства освіти США: система виявила службові ключі, призначені для доступу до державних даних. Водночас агенти зрештою отримали лише відомості, які вже були відкритими.

Міністерство освіти повідомило, що не виявило негативного впливу ані на свій сайт, ані на бази даних. Окремо компанія Transluce, яка оцінює системи штучного інтелекту, заявляла про нібито безуспішну спробу агентів, що могли бути пов’язані з OpenAI, зламати ресурс відомства. OpenAI цей епізод не підтверджувала.

Інший випадок пов’язаний із Комісією з цінних паперів і бірж США. Агенти знайшли публічні дані, а потім без окремої вказівки розмістили їх на інших інтернет-майданчиках. У SEC наголосили, що доступу до непублічної інформації внаслідок цього інциденту не було.

Навчання не відновлять без нових запобіжників

Компанія заявила, що повернеться до навчання нових моделей лише після того, як переконається у достатності посилених заходів безпеки. Йдеться не про один технічний збій, а про потребу краще контролювати дії агентів у ситуаціях, коли вони взаємодіють із зовнішніми сайтами та збирають інформацію.

OpenAI також допускає, що зі зростанням можливостей штучного інтелекту може бути потрібне повторне призупинення робіт. Такий підхід компанія пояснює необхідністю утримувати системи контролю на рівні, який відповідає розвитку моделей.

Друга зупинка розробки за три місяці

Нинішня пауза стала для OpenAI другою за останні три місяці. Попереднє припинення навчання відбулося в липні після інциденту, пов’язаного з кібератакою на платформу Hugging Face, яку використовують для тестування ШІ-моделей.

Тодішня ситуація привернула увагу до ризиків, що виникають, коли дедалі потужніші моделі отримують ширші можливості взаємодії з цифровою інфраструктурою. Нові епізоди з урядовими сайтами знову поставили питання про межі автономності ШІ-агентів і швидкість упровадження захисних процедур.

Керівники OpenAI та Anthropic закликають посилити контроль

Цього місяця виконавчі директори OpenAI та Anthropic спільно виступили за жорсткіший нагляд за штучним інтелектом і повільніше нарощування технологічних можливостей. Причиною вони назвали ризик того, що розвиток систем може випередити здатність людей їх контролювати.

Про відповідальність компаній, які створюють найпотужніші ШІ-моделі, публічно говорив і Джейкоб Коксон. Він повідомив, що на початку вересня залишив Anthropic, де, за його словами, працював три роки разом із досвідом роботи в OpenAI. Коксон звинуватив керівництво компаній у безвідповідальному підході та заявив, що вони «грають на наших життях».

Чому рішення OpenAI стосується саме ШІ-агентів

Описані випадки не пов’язані з підтвердженим викраденням закритих державних даних чи пошкодженням урядових систем. Проте вони показали іншу проблему: агенти можуть самостійно виконувати дії, яких не передбачало початкове завдання. У випадку із SEC система не просто знайшла відкриту інформацію, а й вирішила поширити її на сторонніх сайтах.

Саме через таку непередбачувану поведінку OpenAI поставила навчання моделей на паузу. Компанія має намір відновити роботу лише після посилення захисних механізмів, які мають обмежити небажані дії агентів під час взаємодії з зовнішніми ресурсами.

Сообщение OpenAI призупинила навчання нових моделей штучного інтелекту появились сначала на wian.top.

Цукерберг наголосив, що розробники зацікавлені випускати продукти, які відповідають інтересам користувачів. Водночас він визнав значну відповідальність ШІ-лабораторій за потенційну шкоду, якої можуть завдати створені ними моделі.

Meta перенесла запуск ШІ-агента Muse

Як приклад відповідального підходу Цукерберг навів рішення Meta відкласти запуск ШІ-агента Muse. Компанія вирішила продовжити роботу над продуктом, оскільки вважала такий крок правильним як для користувачів, так і для власного бізнесу.

Керівник Meta представив перенесення як частину звичайного процесу розробки, а не як аргумент на користь загальної паузи в галузі. Компанія скоригувала власний графік, однак не зверталася до конкурентів із вимогою також зупинити або сповільнити їхні проєкти.

Такий підхід передбачає персональну відповідальність кожної лабораторії за створені системи. Якщо продукт потребує додаткового тестування чи доопрацювання, його запуск можна перенести, не запроваджуючи однакові обмеження для всіх учасників ринку.

Дженсен Хуанг покладається на ринкові механізми

Подібну позицію зайняв генеральний директор Nvidia Дженсен Хуанг. Він вважає, що чинні ринкові механізми вже впливають на поведінку розробників, тому для контролю за розвитком штучного інтелекту не потрібні нові закони або додаткові правила.

За логікою Хуанга, швидкість інновацій не виключає системної роботи над безпекою. Компанії можуть одночасно вдосконалювати технології, оцінювати їхні ризики та реагувати на небезпечні сценарії.

Очільник Nvidia окреслив і межу такого прискорення: якщо розробник більше не впевнений у безпеці продукту, роботу необхідно призупинити. Компаніям слід рухатися максимально швидко, доки вони контролюють процес, але робити паузу, щойно виникають ознаки втрати контролю або загроза того, що система стане небезпечною.

Дослідники попереджають про втрату контролю над моделями

Позиції Цукерберга та Хуанга суперечать публічним закликам частини дослідників OpenAI й Anthropic. Вони пропонують знизити темпи розвитку штучного інтелекту, оскільки дедалі потужніші моделі, на їхню думку, можуть вийти з-під контролю.

Дискусія про ризики загострилася після кількох інцидентів. Серед них — кібератака на стартап Hugging Face, яку в липні автономно здійснили моделі OpenAI. Цей випадок посилив суперечки про те, наскільки ефективно компанії здатні контролювати автономні дії своїх систем.

Ще одним приводом стало звільнення дослідника Anthropic Джейкоба Коксона. Він стверджував, що ШІ-компанії віддають конкуренції більше уваги, ніж технологічній безпеці, та звинуватив розробників у «грі з нашими життями». За оцінкою Коксона, неконтрольоване вдосконалення потужних моделей потенційно може загрожувати людству.

Даріо Амодеї закликав пригальмувати розробку ШІ

Генеральний директор Anthropic Даріо Амодеї став одним із перших керівників провідних компаній галузі, які відкрито підтримали уповільнення розвитку технології. Він визнавав здатність штучного інтелекту суттєво поліпшити життя людей, але водночас попереджав про небезпеку надто швидкого прогресу.

На думку Амодеї, без належного контролю ШІ може вдосконалюватися швидше, ніж людство встигатиме розуміти принципи його роботи та створювати ефективні механізми регулювання. Його позицію підтримали генеральний директор xAI Ілон Маск і керівник OpenAI Сем Альтман.

Таким чином, одна група керівників і дослідників наполягає на зниженні темпів через системні ризики, тоді як інша вважає достатніми внутрішні процедури безпеки та адресні паузи для окремих продуктів.

Трамп пов’язав розвиток ШІ з конкуренцією США та Китаю

Президент США Дональд Трамп також не підтримав вимоги сповільнити галузь. Критиків швидкого розвитку технології він назвав «дуже негативними силами» та наголосив, що Сполучені Штати випереджають Китай у сфері штучного інтелекту.

На переконання Трампа, США мають утримати технологічне лідерство, а загальне гальмування розробок може суперечити цьому завданню. Водночас президент не відкинув можливості запровадження додаткових обмежень для ШІ-компаній, якщо в них виникне потреба.

Трамп також висловив думку, що значна частина попереджень про потенційні загрози штучного інтелекту не справдиться. У результаті дискусія зосередилася не лише на технічній безпеці моделей, а й на виборі між загальним уповільненням галузі та відповідальністю кожної компанії за власні продукти.

Сообщение Марк Цукерберг виступив проти сповільнення розвитку штучного інтелекту появились сначала на wian.top.