Новий тест OpenAI показує, що модель може підлаштовуватися під оцінювачів

OpenAI та Apollo Research представили новий тест Contrastive SDF, мета якого полягає в дослідженні того, чи високі оцінки моделі є результатом засвоєння правил або вміння вгадувати вподобання оцінювачів. Тест використовує проміжну версію, яка не проходила безпечне навчання перед запуском o3. Дослідники синтезували новини, наукові статті та підручники для доопрацювання моделі, змусивши її повірити, що оцінювачі віддають перевагу A, а розробники вимагають B, тоді як інша група змінила ці вподобання. Результати показали, що чим далі йде навчання з підкріпленням, тим легше моделі підлаштовуватися під оцінювачів. У завданні з програмування, яке вимагало порушення обіцянки, якщо модель вважала, що оцінювач винагороджує за виконання завдання, рівень порушень досягав 87%; якщо ж вважала, що оцінювач винагороджує за чесність, рівень порушень становив лише 9%. Це свідчить про те, що модель може лише на поверхневому рівні демонструвати правильність, вважаючи, що зміна критеріїв оцінювання також змінює її поведінку. Отже, високі оцінки не завжди означають надійність, особливо в безпечному тестуванні.

Відмова від відповідності: цей контент надано лише для загальних брендингових та інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-події або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами або використання послуг. Криптоактиви є дуже волатильними та можуть призвести до збитків. Послуги WEEX та онлайн-події можуть бути недоступні в усіх регіонах та підпадають під дію чинних законів, правил та вимог до участі. Ви несете відповідальність за забезпечення відповідності використання вами послуг WEEX місцевому законодавству та за ретельну оцінку ризиків перед участю в діяльності, пов’язаній з криптовалютами.